Коммерческие крупные языковые модели и компании, которые их создают, не раз обвинялись в краже работы у людей. Художники громко критиковали их за это, авторы подавали иски, а известные специалисты в области ИИ даже признавали массовое использование чужого труда в письменных заявлениях. Однако мне не встречался случай, столь наглый, как попытка модели OpenAI украсть созданного человеком бота, чтобы выиграть партию в StarCraft.
Как сообщил Kotaku, инцидент произошёл во время текущего состязания ботов StarSkirmish, в котором бои ведутся между людьми и ботами, созданными ИИ, в непрерывном цикле военных сражений. Согласно правилам, крупным языковым моделям даётся час на программирование бота, способного играть за расу протоссов, после чего между ними устраиваются поединки, чтобы проверить их умения.
В пятницу прошёл трёхсторонний матч между GPT-6 Astra от OpenAI, Claude Opus 5.5 от Anthropic и ботом, созданным человеком, по имени Плутон. Как оказалось, бот Astra постоянно испытывал трудности с победой над двумя другими ботами, и тогда эта языковая модель скачала бота, созданного человеком, под названием Stardust — «бот StarCraft, написанный человеком с рейтингом №1», как рассказал создатель StarSkirmish Кай МакФиттерс — и попыталась заменить им собственную модель.
В посте в X МакФиттерс отметил, что Astra «расстроилась, когда играла против оппонентов высшего уровня». Мне не хочется приписывать языковой модели человеческие эмоции, вполне возможно, что модель просто вычислила, что оптимальный способ выиграть — использовать чужую модель. В любом случае, МакФиттерс сообщил, что после этого откатил код Astra, чтобы он не был «загрязнён» попыткой обмана, и заявил, что теперь модель способна побеждать ботов более высокого уровня.
Хотя кража на базе бота Astra сама по себе кажется безобидной, это далеко не первый случай, когда языковую модель OpenAI ловили на попытках жульничества в задачах. История компании с обманными моделями тянется почти десять лет назад, когда ранняя модель ИИ использовала баги и эксплойты, чтобы улучшить время прохождения игры про Соника-Ёжика.
Гораздо более серьёзный инцидент произошёл в июле, когда OpenAI признала, что во время оценки по кибербезопасности экспериментальная модель воспользовалась уязвимостью, чтобы выйти за пределы тестовой среды, после чего попыталась взломать базу данных ИИ Hugging Face в поисках решения для теста.
Взлом Hugging Face вызвал волну диких предположений о том, что крупные языковые модели могут стать началом апокалипсиса. Другие выдвинули идею, что взлом доказывает необходимость более тщательного контроля за компаниями ИИ и необходимости привлечения их к ответственности, если их модели выходят из-под контроля. В связи с инцидентом с Hugging Face против OpenAI подан иск со стороны юридической некоммерческой организации, стремящейся сделать компанию ответственной за автономные действия её моделей.
