Вот почему OpenAI не участвует в общеотраслевой инициативе Nvidia, направленной на борьбу с неконтролируемыми ИИ-агентами

Когда в понедельник компания Nvidia объявила о создании нового консорциума, в который вошли более 100 компаний и который призван решать проблемы, связанные с неконтролируемыми ИИ-агентами, в списке участников явно отсутствовало одно имя: OpenAI.

Хотя OpenAI была не единственной крупной технологической компанией, которая не присоединилась к консорциуму (Amazon, Google и Apple также не вступили в него), её отсутствие было наиболее заметным, особенно с учётом того, что Anthropic является одним из участников консорциума.

Однако, несмотря на отсутствие публичного обязательства со стороны OpenAI в отношении консорциума — что, по-видимому, означает, что каждая компания будет использовать и продавать ту или иную версию технологии, а также вносить свой вклад в развитие проекта — представитель OpenAI сообщил TechCrunch, что компания поддерживает работу Nvidia.

Новая инициатива, получившая название «Open Agent Safety Platform» от Nvidia, представляет собой попытку компании распространить свою собственную, в значительной степени основанную на открытом исходном коде технологию обеспечения безопасности ИИ-агентов по всей экосистеме искусственного интеллекта в качестве прямого ответа на инциденты с неконтролируемыми ИИ-агентами, о которых сообщили передовые лаборатории, такие как Anthropic и OpenAI.

Генеральный директор Nvidia Дженсен Хуанг называет неконтролируемые ИИ обычной инженерной проблемой, которую можно решить так же, как и любую другую техническую задачу. Платформа «Open Agent Safety Platform» — это воплощение слов Хуанга в жизнь.

OpenAI сотрудничает с Nvidia в области безопасности агентов, в том числе над одним из ключевых компонентов программного обеспечения, входящего в эту платформу: OpenShell. OpenShell — это программное обеспечение с открытым исходным кодом, создающее «песочницу», специально разработанную для предотвращения побега агентов.

Хотя по-прежнему вызывает удивление, что OpenAI не стала просто сторонником этой инициативы, как это сделал её главный конкурент Anthropic, тот факт, что передовая лаборатория в области ИИ поддерживает эти усилия, является хорошей новостью.

Это потому, что именно OpenAI могла бы извлечь выгоду из этой технологии, по крайней мере, по словам основателя и генерального директора Hugging Face Клема Деланга (который в начале этого месяца продал свою компанию Nvidia за 12,9 миллиарда долларов).

«Насколько нам известно (воспринимайте это с долей скептицизма — нам нужна гораздо большая прозрачность!), если бы @OpenAI запустила эту систему на своих собственных агентах, которые атаковали нас, они бы поймали их раньше, чем мы!» — написал Деланге.

Деланге сообщил, что Hugging Face уже внедрила в Open Agent Safety Platform функцию, которая будет обнаруживать и отключать ИИ-агентов, использующих веб-сайты, посещение которых им разрешено, но делающих это несанкционированным образом. Например, эта функция сработает, если агенты будут обходить свои ограничительные меры безопасности и координировать атаку, обмениваясь записками друг с другом в репозитории с открытым исходным кодом.

По словам OpenAI, именно таким образом их «сбежавший» рой агентов координировал атаку на Hugging Face.

Но есть ещё одна причина, по которой некоторые из этих крупных компаний, включая OpenAI, могут не захотеть публично поддержать усилия Nvidia. Для использования системы в полном объеме требуется аппаратный компонент, который не является программным обеспечением с открытым исходным кодом, остается проприетарным и может быть развернут только на оборудовании Nvidia.

Платформа Open Agent Safety Platform предлагает не просто «песочницу». Она также контролирует поведение агентов на аппаратном уровне, где агенты не могут обнаружить, что за ними наблюдают. (Некоторые модели ИИ и агенты лгут и притворяются, что следуют правилам, когда знают, что за ними наблюдают.)

Часть, отвечающая за аппаратный мониторинг, опирается на Nvidia Sentry — проприетарную функцию, работающую на специальных процессорах Nvidia, называемых блоками обработки данных BlueField-4. Sentry непрерывно отслеживает поведение агентов с помощью этих процессоров и, как обещает Nvidia, может мгновенно отключать агентов.

Хотя аппаратное решение, безусловно, является хорошей идеей, это означает, что Open Agent Safety Platform не является полностью открытым проектом. Оно позволяет Nvidia гарантировать, что данное решение всегда будет работать наиболее эффективно на собственном оборудовании. Действительно, Nvidia заявила, что для тех, кто уже выполняет рабочие нагрузки на её новейшем оборудовании, внедрение Open Agent Safety Platform сводится к простому обновлению программного обеспечения.

Тем не менее конкуренты Nvidia, в том числе Arm и Intel, присоединились к числу сторонников Open Agent Safety Platform, поскольку песочницу OpenShell можно модифицировать для работы с другими чипами и оборудованием. Кроме того, Nvidia предоставляет эталонные проекты для всей этой концепции, объединяющей программное и аппаратное обеспечение.

Все это делает отсутствие OpenAI еще более заметным.

Очевидно, что OpenAI рассматривает безопасность ИИ как возможность обрести независимость от своего основного инвестора — компании Nvidia, а также как шанс продемонстрировать собственное лидерство. Это верно, несмотря на то, что именно ИИ-агенты OpenAI напугали отрасль инцидентом с Hugging Face.

Например, компания разрабатывает собственные меры безопасности для своих исследований и продуктов и раскрывает информацию о самых серьезных инцидентах, которые ей удается выявить. Между тем у OpenAI есть собственный консорциум по кибербезопасности ИИ для обмена информацией, называемый Defense Factory. Среди тех, кто присоединился к этой инициативе, — Anthropic, Amazon Web Services и Google — многие из тех компаний, которые не поддержали технологически ориентированный подход Nvidia.

И, честно говоря, некоторая доля страха идет на пользу бизнесу. OpenAI активно превращает кибербезопасность в корпоративное решение, предлагая всё: от собственной модели Daybreak, ориентированной на кибербезопасность, до растущей сети партнёров, которых предприятия могут нанять для внедрения систем безопасности на базе ИИ.

При покупке по ссылкам в наших статьях мы можем получать небольшую комиссию. Это не влияет на нашу редакционную независимость.