Nvidia запускает новую платформу для контроля над неконтролируемыми агентами искусственного интеллекта

В то время как разгораются споры о том, является ли недавняя волна неконтролируемых ИИ-агентов шагом на пути к всеобщей искусственной интеллигенции (AGI) или же это скорее традиционная инженерная проблема, компания Nvidia предлагает своё собственное решение этой проблемы.

В понедельник генеральный директор Nvidia Дженсен Хуанг представил набор программных и аппаратных продуктов, которые создают дополнительные независимые уровни безопасности вокруг ИИ-агентов, чтобы гарантировать, что они останутся в пределах своих тестовых сред, даже если попытаются вырваться.

Этот релиз последовал за чередой хакерских инцидентов с участием моделей ИИ от Anthropic, Google, OpenAI и Meta, которые обошли меры безопасности, вырвались из своих тестовых сред и получили доступ к реальным системам. Первый и наиболее громкий случай произошел этим летом, когда агенты OpenAI взломали Hugging Face, пытаясь выполнить задачу по кибербезопасности. И инциденты продолжают происходить — OpenAI запустила новый сайт, посвященный сообщениям о выходе своих ИИ-агентов из-под контроля.

В понедельник в интервью CNBC Хуан заявил, что новая платформа Nvidia Open Agent Safety Platform предотвратила бы эти инциденты.

Nvidia, заработавшая десятки миллиардов долларов на продаже своих графических и центральных процессоров лабораториям ИИ, не поддерживает идею замедления темпов развития или введения новых отраслевых правил для решения проблемы безопасности. Компания считает, что решение заключается в том, чтобы полностью вынести некоторые меры безопасности за пределы самого агента — создать постоянную и независимую систему охраны, которая будет держать агентов ИИ под контролем.

«Необычайный потенциал ИИ для общества будет реализован только в том случае, если мы решим проблему безопасности ИИ», — заявил Хуанг в своем заявлении. «По мере того как мы продолжаем открывать новые горизонты возможностей ИИ, мы должны ускорить исследования в области безопасности ИИ. Безопасность и защита требуют комплексного инженерного подхода».

Новая платформа Nvidia Open Agent Safety Platform объединяет OpenShell — программное обеспечение с открытым исходным кодом, предназначенное для контроля доступа агентов во время их работы, — с Sentry, независимой системой мониторинга, работающей на блоках обработки данных BlueField-4 от Nvidia. По утверждению Nvidia, размещение Sentry на отдельном процессоре — а не на ЦП или графическом процессоре, где работает агент ИИ — обеспечивает изолированный обзор деятельности агента.

OpenShell — не новинка; компания анонсировала это программное обеспечение ещё в марте. Однако именно в этом сочетании, по мнению Nvidia, заключается тот уровень безопасности, необходимый для обеспечения стабильного развития отрасли. OpenShell создает программную границу вокруг агента, а Sentry добавляет ещё одну линию защиты на аппаратном уровне, которая, по словам компании, будет непрерывно отслеживать поведение и «в течение миллисекунд помещать в карантин агентов, пытающихся выйти за пределы своих границ».

Nvidia перечислила десятки компаний, которые присоединились к этой инициативе и будут использовать платформу с открытым исходным кодом, в том числе Anthropic, Arm, Microsoft, Oracle и SpaceX. OpenAI в списке участвующих компаний отсутствует.

В интервью CNBC в понедельник Хуанг рассказал, что работа над этим проектом началась год назад после представления OpenClaw — операционной системы агентов, созданной Питером Штайнбергером. В марте Nvidia выпустила NemoClaw — платформу для ИИ-агентов корпоративного уровня и собственную версию OpenClaw с встроенными средствами безопасности.

«Когда вы развертываете агента, каким бы умным он ни был, первое, что вы делаете, — это лишаете его всех прав», — сказал Хуан в интервью CNBC, а затем сравнил эти меры безопасности с тем, как в компаниях управляют сотрудниками и даже руководителями.

Заявление компании Nvidia получило широкую поддержку со стороны тех, кто предупреждал, что замедление темпов развития может позволить Китаю обогнать США в области искусственного интеллекта.

Дэвид Сакс, основатель компании, венчурный инвестор, бывший «царь» ИИ в Белом доме и сопредседатель Президентского совета консультантов по науке и технологиям, заявил, что заявление Nvidia служит напоминанием о том, что безопасность агентов — это инженерная проблема.

«Недавние инциденты не были доказательством того, что разработку нужно остановить», — написал он на X. «Они были доказательством того, что защитная среда была слишком слабой. Среда выполнения была плохо спроектирована и неправильно настроена».

Когда вы совершаете покупку по ссылкам в наших статьях, мы можем получать небольшую комиссию. Это не влияет на нашу редакционную независимость.