Новая речевая модель v4 от ElevenLabs обеспечивает более широкие возможности управления выразительностью и поддерживает 90 языков

В понедельник компания ElevenLabs представила две новые речевые модели — ElevenLabs v4 и v4 Turbo, — которые обеспечивают более точный контроль над интонацией, меньшую задержку для голосовых агентов и поддержку более 90 языков.

В прошлом году компания выпустила модель v3, а в начале этого года представила её на мероприятии в Варшаве. В моделях поколения v4 ElevenLabs использует новую архитектуру, которая обеспечивает лучший контроль и более быстрое клонирование. Компания сообщила, что с помощью v4 пользователи смогут клонировать голос, имея всего 10 секунд аудиозаписи.

С творческой точки зрения модель лучше сохраняет голосовую индивидуальность при работе с более длинными фрагментами текста. Кроме того, она учитывает контекст текста при его чтении вслух, чтобы изменять интонацию. В версии v3 ElevenLabs ввела встроенные теги для определения интонации, а в версии v4 расширяет их функционал, позволяя пользователям комбинировать несколько тегов, а модели — следовать заданной последовательности.

Предыдущая версия поддерживала 70 языков, и ElevenLabs работала над тем, чтобы в новой версии это число увеличилось до 90. Стартап отметил, что наибольший скачок качества был зафиксирован в японском, бразильском португальском, мандаринском и кантонском языках.

За последний год ElevenLabs стремительно расширила свой бизнес в сфере корпоративных телефонных звонков: более 55 % её оборота приходится на крупные компании. Компания отметила, что новая модель подходит для голосовых агентов, поскольку в новой версии снижена задержка, что позволяет вести более плавный разговор. Кроме того, версия v4 может начинать генерировать аудио, как только лежащая в ее основе большая языковая модель (LLM) начинает формировать ответы. Более того, модель также по-разному реагирует на конфликтные ситуации, эскалации и ожидание на линии, что способствует более эффективному решению проблем.

Конкуренция в сфере речевых моделей усилилась, поскольку такие стартапы, как Cartesia, Deepgram, Fish Audio, Boson и WellSaid Labs, создали выразительные речевые модели. Крупные компании, такие как Google и OpenAI, также усовершенствовали свои голосовые модели.

В начале этого года ElevenLabs привлекла 500 миллионов долларов от Sequoia в рамках раунда, возглавляемого этой компанией, в результате чего оценка компании составила 11 миллиардов долларов. Уже ходят слухи о следующем раунде привлечения инвестиций, в ходе которого оценка компании может составить 22 миллиарда долларов. Годовой темп роста выручки ElevenLabs вырос с примерно 330 миллионов долларов в начале года до более чем 600 миллионов долларов. Компания активно нанимала персонал на различных рынках, таких как Индия, Европа и Бразилия, в результате чего численность её сотрудников превысила 800 человек.

В недавнем интервью TechCrunch соучредитель и генеральный директор компании Мати Станишевски заявил, что компания нацелена на IPO «в ближайшие годы», но не назвал конкретных сроков.

Когда вы совершаете покупку по ссылкам в наших статьях, мы можем получать небольшую комиссию. Это не влияет на нашу редакционную независимость.