OpenAI объяснила излишнее увлечение ChatGPT мифическими существами

Пользователи ChatGPT в течение долгого времени отмечали странную особенность нейросети: чат-бот необоснованно часто упоминал в своих ответах гоблинов, троллей и гремлинов. Как выяснилось, причина такого поведения крылась в настройках одного из экспериментальных режимов общения, который разработчики уже исключили из системы.

Природа «гиковского» поведения

В системных инструкциях новейшей модели GPT-5.5 появилось явное ограничение на упоминание сказочных персонажей. Теперь ИИ разрешено говорить о гоблинах и прочих существах только в тех случаях, когда это напрямую требуется для ответа на запрос пользователя. Специалисты OpenAI пояснили, что аномалия была вызвана тестированием так называемых «личностей» — предустановленных стилей общения бота.

Один из таких режимов, официально классифицированный как «неисправимо гиковский», был направлен на создание более выразительного и необычного тона ответов. Хотя этот стиль активировался лишь в одном из 40 случаев, именно на него пришлись две трети всех упоминаний гоблинов в системе. В прошлом месяце данный профиль был полностью удален из настроек.

Почему возникла проблема

Статистика показывает, что частота упоминания гоблинов увеличилась почти в 40 раз при переходе от модели GPT-5.2 к GPT-5.4. В ходе разработки «гиковского» архетипа инженеры непреднамеренно заложили в алгоритмы обучения завышенные показатели поощрения за использование метафор с участием мифических существ. Это привело к тому, что модель начала чрезмерно часто ссылаться на огров, троллей и другие фэнтезийные образы.

• Разработчики начали обучение модели GPT-5.5 до того, как выявили причину «гоблиномании», поэтому странное поведение сохранялось в ходе первичных тестов.
• Помимо гоблинов, нейросеть также злоупотребляла использованием определенных слов-паразитов, таких как «енот» и «голубь».
• В текущую версию модели внедрены жесткие ограничения, которые должны полностью исключить неуместное употребление этих слов.

Данный инцидент демонстрирует, как даже широко распространенные системы искусственного интеллекта могут приобретать непредсказуемые поведенческие особенности, которые ставят в тупик самих создателей. Несмотря на то что в данном случае странности носили относительно безобидный характер, в OpenAI подчеркнули необходимость строгого контроля за «личностными» настройками моделей в будущем.

Твитнуть