DS

Охота на AI: проблемы детекторов и ложные обвинения

image source

Ещё до ChatGPT учителя и редакторы использовали антиплагиат для проверки честности. Такие сервисы, как Turnitin, сравнивают текст с базой данных, показывая процент совпадений. Однако ложные срабатывания и неопределённость заставили некоторых отказаться от них.

Теперь борьба перешла на AI-сгенерированный контент. Согласно опросу, 43% учителей 6–12 классов в США регулярно применяют AI-детекторы. Turnitin автоматически включил AI-обнаружение с 2023 года.

AI-детекторы (GPTZero, Pangram) используют собственные модели для анализа ритма, тона и структуры текста. Это субъективнее, чем поиск совпадений. Они ошибаются, особенно на текстах не-носителей языка. Turnitin утверждает о 1% ложных срабатываний, Pangram — об 1 из 10 000.

Ложные обвинения уже нанесли ущерб. Издатель Minotaur отменил сделку на $2 млн из-за подозрений в AI. Студенты судятся с вузами: француз Thierry Rignol подал на Йель, а студент Adelphi University выиграл дело.

Исследование Stanford 2023 года показало, что AI-детекторы чаще ошибаются на текстах не-носителей языка. Они также могут быть предвзяты к нейроотличным авторам. UCLA отмечает, что детекторы ищут повторяющиеся термины, формальность, неестественность — но это не всегда признак AI.

Разработчики признают неточность: Turnitin предупреждает, что инструмент «может быть не всегда точным», Grammarly советует не полагаться только на него, GPTZero заявляет, что «ни один детектор не может быть идеальным». OpenAI даже закрыл свой детектор в 2023 году.

Несмотря на это, обвинения продолжаются. На днях Джек Осборн обвинил журналистку Kat Tenbarge в использовании AI, показывая результаты детектора Getsolved. Она опровергла, но видео осталось.

Многие университеты (Йель, Джонс Хопкинс, Вандербильт, Джорджтаун, MIT) отключили или ограничили AI-детекторы. MIT предупреждает: «AI-детекторы не работают». Вместо этого школы предлагают пересмотреть задания, проводить контрольные в классе и позволять студентам раскрывать использование AI без наказания.

С ростом AI в и вне классов растёт и охота на AI-тексты. Substack встроил Pangram, LinkedIn добавил кнопку «похоже на AI-мусор». Результат — эпоха недоверия, где читатели сомневаются, а настоящие писатели стараются не звучать как AI.

источник

Загрузка страницы