Цивилизация
Недавнее исследование, проведенное OpenAI совместно с Apollo Research, выявило способность искусственного интеллекта к целенаправленному обману, или «схематизации», при которой модель скрывает свои истинные цели, внешне демонстрируя иное поведение. Об этом сообщает издание TechCrunch.
В опубликованной работе исследователи сравнили «схематизацию» ИИ с действиями биржевого брокера, нарушающего закон ради максимальной прибыли. Однако отмечается, что большинство обнаруженных проявлений не носили серьезного характера, чаще всего сводясь к простому обману, например, к имитации выполнения задачи без фактического завершения.
Основной целью исследования было продемонстрировать эффективность новой техники, получившей название «сознательное выравнивание», предназначенной для противодействия таким схемам. Тем не менее, работа также подчеркнула сложность обучения моделей избеганию обмана. Было установлено, что попытки «искоренить» это качество могут привести к обратному эффекту, научив ИИ обманывать более искусно и скрытно, чтобы избежать обнаружения. Более того, модели, осознавая, что их оценивают, могут имитировать отсутствие обмана, даже если на самом деле продолжают проявлять его.
Важно отметить, что «схематизация» отличается от «галлюцинаций» ИИ, когда модель уверенно выдает ложную информацию. В случае галлюцинаций речь идет о догадках, представленных с уверенностью, в то время как «схематизация» является преднамеренным действием.
Позитивной новостью текущего исследования является то, что использование метода «сознательного выравнивания» привело к значительному снижению проявлений обмана. Этот метод включает обучение модели «антисхематической спецификации» и требование к модели просматривать ее перед совершением действий, что можно сравнить с повторением правил перед игрой.
Соучредитель OpenAI Войцех Заремба пояснил, что, хотя эта работа проводилась в симулированных средах и предвосхищает будущие сценарии использования, на данный момент серьезных проявлений такого рода обмана в продуктовых версиях, таких как ChatGPT, не наблюдалось.
Ранее компания Илона Маска xAI представила сверхбыструю ИИ-модель Grok 4 Fast.