Команда Cisco Talos проверила, как LLM (ChatGPT, Claude, Gemini) составляют отчёты о киберинцидентах. Внешне безупречные документы содержали фактические ошибки и противоречия.
Нейт Порс выделил четыре проблемы. Первая: при каждом запросе модель опирается на разные данные, из-за чего результаты невоспроизводимы. Вторая: одни и те же входные данные ведут к разным выводам, например, рекомендациям по смене паролей.
Третья: LLM генерируют текст токен за токеном, что даёт разную структуру, критичную для стандартизированных шаблонов. Четвёртая: при превышении контекстного окна ИИ может отбросить ранние данные, вызывая «засорение контекста» и непредсказуемые результаты.
Cisco признаёт, что проблемы решаемы, но узкие задания снижают выигрыш во времени. В кибербезопасности цена ошибки высока: авторы отвечают за каждое слово. Рекомендации LLM оказались повторяющимися и непригодными для практики.
0 комментариев