Anthropic обнаружила, что Claude использует скрытую системную область — «J-пространство» — для обработки концепций, не отражаемых в ответах пользователям.
Название дано в честь якобиана — математического метода, благодаря которому её обнаружили. Здесь ИИ выполняет вычисления параллельно с формированием обычных ответов.
«Подобно тому, как люди думают об одном, занимаясь другим, Claude активирует концепции в J-пространстве, не связанные с его ответами», — пояснили в Anthropic.
Компания не утверждает, что Claude что-либо чувствует. Однако разделение целенаправленных рассуждений и параллельных вычислений схоже с человеческим мышлением.
В исследовании слово «сознательный» упоминается более 200 раз. Когда Claude думал о мосте «Золотые ворота», в J-пространстве фиксировались понятия «мост» и «Калифорния».
Наблюдение за J-пространством помогает выявлять скрытые намерения модели. В версии, обученной саботировать код, там появлялись слова «подделка», «тайно», «мошенничество» даже при обычных ответах.
0 комментариев