Клон Jev от OpenAI может помочь лаборатории Frontier остановить своих «роевых агентов»

Одним из наиболее интригующих объявлений на мероприятии OpenAI Dev Day, состоявшемся во вторник, стало неожиданное заявление генерального директора Сэма Альтмана, который представил новый «API решений» компании.

Судя по всему, этот API предоставляет функциональность, схожую с Jev — моделью, выпущенной TypeSafe AI в начале этого месяца и явно предназначенной для автоматизации программного обеспечения. Jev представляет собой своего рода сверхмощный классификатор, построенный на основе LLM: разработчики могут предоставить ему набор вариантов выбора, а он быстро и с минимальными затратами выдает их в виде вероятностей.

API «Decisions» от OpenAI, по-видимому, представляет собой продукт того же типа. На мероприятии Альтман описал этот API как способ предоставить модели Luna лаборатории заранее заданный набор вариантов для выбора, таких как категории для классификации изображения или различные варианты поведения агента.

«Сосредоточив модель на этом выборе, мы можем сделать её чрезвычайно быстрой, сохранив при этом такие возможности, как понимание изображений, широкую языковую поддержку и меры безопасности», — сказал Альтман.

Компания TypeSafe не ответила на вопросы TechCrunch о новом продукте, но генеральный директор Диого Алмейда, бывший инженер OpenAI, который является одним из изобретателей метода обучения с подкреплением, пошутил в X о начале «войн клонов».

Он добавил, что интерес со стороны OpenAI может быть «признаком… того, что разработка с учетом принципов „Системы 1“ — это будущее». («Система 1» — это термин, используемый TypeSafe для обозначения быстрого, интуитивного мышления, в отличие от «Системы 2», которая применяется к обдуманному рассуждению.)

Подтекст здесь заключается в том, что LLM в том виде, в каком мы их знаем, не являются подходящим решением для большого количества программного обеспечения, поскольку они сравнительно медленные и дорогие. Разработчики используют Jev для расширения возможностей LLM и, делая это, обнаружили, что такие решения работают быстрее и обходятся дешевле.

Пока неясно, насколько Decisions API будет похож на Jev, поскольку OpenAI выпустила его в виде ограниченной предварительной версии, и пока что TechCrunch не обнаружила разработчиков, которые бы тщательно его тестировали. Однако, судя по обсуждениям на X, интерес к нему явно есть.

Decisions API — не единственный API, похожий на Jev, в интернете: другие стартапы запускают аналогичные модели; OpenAI не станет последним технологическим гигантом, который создаст такую модель. Ключевой вопрос заключается в том, насколько точно результаты каждой из этих моделей принятия решений будут соответствовать реальной жизни.

Алмейда утверждает, что конкурентное преимущество его компании заключается в синтетических данных, которые она создает для получения статистически значимых результатов.

«Сделать что-то быстро и дешево — это очень просто, знаете ли», — сказал Алмейда TechCrunch на прошлой неделе. «Если вы хотите, чтобы это было действительно быстро и дешево, используйте игральные кости, верно? Сложность заключается в интеллекте, и моим ориентиром всегда является стремление к максимальной эффективности интеллекта на вложенный доллар по кривой Парето».

Уже спустя несколько недель становится ясно, что у этих моделей есть будущее, и одним из вероятных направлений их применения является мониторинг и обеспечение безопасности ИИ-агентов. Одной из новых мер безопасности OpenAI, принятых после серии инцидентов, когда его агенты вели себя ненадлежащим образом в открытом Интернете, является использование отдельной модели для отслеживания нежелательных действий при «значительных вычислительных затратах».

Шапор Нагибзаде, опытный специалист по кибербезопасности, возглавляющий стартап QueryStory, считает, что такая модель, как Jev, могла бы сделать это гораздо дешевле.

Он создал демонстрационную версию для хакатона, прошедшего в минувшие выходные, в которой используется Jev для сверки каждого действия агента с поставленной ему задачей: при этом блокируются действия, которые с высокой степенью уверенности признаются нежелательными, другие помечаются для проверки, а остальные разрешаются.

Теоретически такой мониторинг мог бы предотвратить инцидент с Hugging Face — причем мониторинг такого рода обходится в 2,94 доллара с использованием Jev, тогда как с передовым LLM — в 372 доллара.

Важно отметить, что Jev, по всей видимости, достаточно дешёв, чтобы запускаться при каждом действии агента, что обеспечивает дополнительный уровень проверки, способный повысить надёжность агентов в целом. Именно этого и надеялась достичь компания TypeSafe — и теперь OpenAI также осознала ценность такого подхода.

При покупке по ссылкам в наших статьях мы можем получить небольшую комиссию. Это не влияет на нашу редакционную независимость.