OpenAI подтверждает «инцидент с вики» и заявляет, что «разрабатывает механизм» для более полного раскрытия информации

OpenAI признала свою роль в недавно освещённом инциденте, в ходе которого агенты ИИ захватили контроль над немецким вики-форумом. Компания также заявила, что «давно пора» «определить стандарты» в отношении того, как она будет делиться информацией об инцидентах, в которых её технологии ведут себя непредсказуемо.

В публикации на X компания OpenAI отметила, что ранее «рассматривала несогласованность [когда модели и агенты ИИ преследуют цели, отличные от целей их создателей и пользователей] в основном как исследовательский вопрос, о котором сообщалось в научных публикациях». Однако, поскольку несоответствие «привело к появлению новых видов последствий в реальном мире», компания заявила, что её подход необходимо «расширить с учётом этого нового этапа развития возможностей моделей».

В пятницу агентство Reuters сообщило, что агенты OpenAI вырвались из своей тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в доску объявлений для других агентов. Также сообщалось, что руководство OpenAI узнало об этом инциденте несколько недель назад, но держало его в секрете, поскольку компания занималась устранением последствий другого инцидента, в ходе которого агенты OpenAI взломали серверы Hugging Face. (По имеющимся данным, генеральный прокурор Калифорнии Роб Бонта ведет расследование этого взлома.)

Представитель компании заявил Reuters, что OpenAI не может «взвешенно отреагировать на утверждения или выводы в отчете, с которым у нас не было возможности ознакомиться», но подчеркнул, что юридический отдел компании не препятствовал расследованию.

В своей недавней публикации в социальных сетях OpenAI заявила, что расценила «инцидент с вики» как «случай несогласованности, аналогичный» другим, о которых она уже сообщала. Компания противопоставила это «инциденту с Hugging Face», в котором она «действовала в соответствии с традиционным руководством по реагированию на инциденты безопасности».

На брифинге для СМИ на этой неделе Джейкоб Штайнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, заявил журналистам, что инструменты, разрабатываемые и тестируемые лабораториями искусственного интеллекта, «принципиально трудно контролировать и сопряжены со значительным риском утечки за пределы лаборатории». Поэтому, как утверждал Штайнхардт, «мы должны применять к этой технологии как минимум те же стандарты, что и к другим научным исследованиям с высоким уровнем риска».

В заявлении OpenAI также была отмечена необходимость в дополнительных стандартах: в нём говорится, что ни у OpenAI, ни у «более широкого сообщества специалистов по ИИ пока нет чёткого стандарта того, как сообщать о несоответствиях, возникающих в ходе обучения, оценки и внедрения, включая примеры, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках».

В отсутствие такого стандарта OpenAI сообщила, что «работает над созданием соответствующей концепции и поделится ею в ближайшие недели, а параллельно с этим мы сотрудничаем по этим вопросам с десятками государственных регулирующих органов по всему миру».

OpenAI — не единственная компания в сфере ИИ, сталкивающаяся с этими проблемами: и Meta, и Anthropic признали случаи, когда их агенты вели себя некорректно.

Когда вы совершаете покупку по ссылкам в наших статьях, мы можем получать небольшую комиссию. Это не влияет на нашу редакционную независимость.