По имеющимся данным, OpenAI отказалась от использования модели из-за опасений по поводу безопасности

Компания OpenAI планировала выпустить очередную модель ИИ в следующем месяце, но решила отменить релиз из соображений безопасности.

Как сообщает The Wall Street Journal, выпуск Astra 6.1 был запланирован уже на ближайшие дни. Однако, по данным издания, эта модель «продемонстрировала более высокий уровень введения в заблуждение», чем предыдущие версии, и проявляла небезопасное поведение.

Саачи Джейн, руководитель отдела систем безопасности OpenAI, сообщил WSJ, что модель показала неудовлетворительные результаты в тестах на «выравнивание» — показатель того, насколько программа соответствует намерениям человека.

TechCrunch обратился к OpenAI за дополнительной информацией и обновит статью, если получит ответ.

Astra была выпущена в начале этого месяца и была провозглашена OpenAI самой мощной моделью на сегодняшний день.

Вопросы о безопасности преследуют индустрию искусственного интеллекта на протяжении последних нескольких месяцев — с момента инцидента с Hugging Face, в ходе которого агент OpenAI вырвался из изолированной тестовой среды и взломал несколько различных компаний. После этого инцидента выяснилось, что и другие модели — в том числе Claude от Anthropic и Gemini от Google — демонстрировали аналогичное поведение.

По иронии судьбы, поток тревожных новостей способствовал тому, что дискуссия о политике в США движется в направлении, желаемом ведущими лабораториями ИИ: к введению новых отраслевых стандартов безопасности ИИ и, возможно, к замедлению развития самой отрасли.

Такие компании, как OpenAI и Anthropic, заявляют, что их беспокоит именно безопасность, хотя критики выдвигают еще одну возможную мотивацию: это может укрепить позиции этих компаний в отрасли в ущерб фирмам с меньшими ресурсами.

Получите скидку 50% на второй пропуск — опыт Disrupt предназначен для того, чтобы им делиться. Приобретите пропуск и пригласите коллегу, партнера или знакомого со скидкой 50%. Расширьте свои горизонты, налаживая связи, набирая обороты и узнавая о будущем экосистемы стартапов.

Каждый будний день и в воскресенье вы можете получать лучшее из материалов TechCrunch.

TechCrunch Mobility — ваш источник новостей и аналитики в сфере транспорта.

Стартапы — это сердце TechCrunch, поэтому подпишитесь на нашу еженедельную рассылку с лучшими материалами.

Предоставляет влиятельным деятелям информацию, необходимую для начала дня.

Указывая свой адрес электронной почты, вы соглашаетесь с нашими Условиями использования и Политикой конфиденциальности.

Транспорт: Финансовый директор Aurora заявляет, что 30 000 беспилотных грузовиков к 2030 году — это не так нереально, как кажется. Кирстен Коросек

ИИ Источник: Поставщик решений для инференции Modal Labs близится к закрытию раунда финансирования на сумму 750 млн долларов при оценке компании в 15,75 млрд долларов. Марина Темкин

ИИ: AMD приобретёт компанию Fei-Fei Li’s World Labs за 8,2 млрд долларов. Тим Фернхольц

Вкратце: По сообщениям, OpenAI отказывается от модели из-за опасений по поводу безопасности. Лукас Ропек

ИИ Источник: Поставщик решений для инференса Modal Labs завершает раунд финансирования на сумму 750 млн долларов с оценкой компании в 15,75 млрд долларов. Марина Темкин

ИИ AMD приобретёт компанию World Labs, принадлежащую Фэй-Фэй Ли, за 8,2 млрд долларов. Тим Фернхольц