Из звука в текст и обратно. Инженер Евгений Брицын — об эволюции голосовых технологий

Евгений, как развивалась мировая индустрия голосовых технологий и что с ней происходит сейчас? 

Решить задачу распознавания речи пытались еще во второй половине XX века. Прорыв с нейросетевыми моделями в массовых зарубежных продуктах пришелся на начало 2010-х. Индустрия переизобрела голосовых роботов минимум трижды, и на каждой волне наши технологии были двигателем голосовых продуктов банка.

В 2016 году мы начали работать над собственной технологией распознавания речи для колл-центра. Уже через два года наша модель обрабатывала все звонки в компании и транскрибировала их в текст, что помогало отследить и повысить качество обслуживания клиентов. Два из трех слов она распознавала верно — для спонтанной речи из шумного телефонного канала это было прорывом. 

Затем появились голосовые роботы, следующее поколение которых сейчас называют агентами, а вместе с ними — и новые вызовы: теперь нужны были не только «уши» для распознавания речи, но и «голосовые связки». В 2019 году в Т-Банке запустили собственный синтез речи, а технологии распознавания и синтеза объединили в платформу VoiceKit. Как и вся индустрия, мы стремились синтезировать чистую студийную речь, однако со временем поняли, что пользователям некомфортно взаимодействовать с ней. В итоге стали записывать обычных людей. Тут возникла еще одна сложность: зачитывая текст вслух, человек неосознанно начинал вести себя как диктор. Тогда мы сделали ставку на спонтанные монологи. 

Вместе с тем развивались и технологии. В 2023 году мы перешли на синтез на LLM-подобных моделях: новый голос теперь можно было задать образцом в несколько секунд, без переобучения. А учились эти модели на живой речи, поэтому и звучали естественнее, с запинками и другими шероховатостями. 

Задачи распознавания и синтеза речи сегодня можно считать практически решенными. Исключения остаются — например, когда несколько человек говорят одновременно в один микрофон или на редком языке, — но базовые задачи «услышать, перевести в текст» и «озвучить текст» решены. Свою потоковую модель распознавания для телефонных звонков, T-one, мы в 2025 году выложили в открытый доступ. 

Раньше голосовой робот собирался из трех частей: распознавание переводило речь в текст, языковая модель придумывала ответ, а синтез его озвучивал. Но на каждом стыке что-то терялось. Опираясь на научные статьи и открытые наработки, мы начали обучать собственную модель, которая заменяет все три части: слышит звук и сразу отвечает звуком. Она может подстраиваться под собеседника: на шепот ответить тише, на спешку — короче, на раздражение — мягче. При этом она слушает и говорит одновременно. Привычные ассистенты работают как рация: сказал — подождал — услышал ответ. А в живом разговоре мы постоянно поддакиваем и перебиваем. Наша модель тоже так умеет: вставляет «угу», пока вы говорите, сразу замолкает, если ее перебить, и отвечает без долгих пауз. 

Мы работаем над моделью с осени 2024 года. Тогда это была рискованная ставка: было неясно, заработает ли такой подход. Сейчас модель выходит на первые тесты в продакшен-сервисах, а крупнейшие мировые лаборатории идут в ту же сторону. 

В каких областях применимы голосовые сервисы Т-Банка? 

Везде, где есть голос. Например, в больших колл-центрах для автоматизации рутинных звонков, чтобы клиенты не ждали на линии. В записи звонков, когда мы с кем-то поговорили и в приложении можем посмотреть текстовую выжимку. В телефонном секретаре, который спасает от спамеров. Также голосовые сервисы можно использовать в режиме реального времени в качестве ассистентов на онлайн-встречах. 

VoiceKit — базовая платформа распознавания и синтеза речи Т-Банка. Сегодня на ней работает множество продуктов компании: от голосовых роботов и интерфейсов в приложении до решений для бизнеса в области речевой аналитики. На рынке много технологий, но когда у компании есть собственная разработка, всегда можно ее доработать и адаптировать под себя, и это окупается. 

Как языковая модель обрабатывает похожие слова и адаптируется, например, к сленгу и узкоспециализированным терминам?

Различать похожие по звучанию слова помогает контекст. На слух «код» и «кот» звучат одинаково, но по соседним словам «введите … из SMS» модель понимает, что речь про «код». На реальных примерах модель осваивает сленг и профессиональные термины. Когда в речи появляется новое слово или название продукта, мы добавляем записи с ним в обучающую выборку — и модель начинает его узнавать. 

Как изменился подход к сбору и разметке данных за десять лет и как вы обеспечиваете их безопасность? 

Вопрос безопасности всегда очень важен, особенно в банкинге. Поэтому для обучения моделей мы не используем чувствительную информацию, а работаем с обезличенными данными в защищенном контуре. На старте мы собирали записи по крупицам. Я лично размечал их, чтобы обогатить выборку. Сейчас ручной разметкой в промышленных масштабах занимаются специальные разметчики. Однако современным моделям требуются сотни тысяч часов речи — вручную столько не разметить. Здесь помогает псевдоразметка — когда данные для новой модели готовят сами нейросети. Обучившись на небольшом, но идеально выверенном людьми датасете, они расшифровывают гигантский объем неразмеченных записей. Фрагменты, которые распознаны с высокой уверенностью, автоматически пополняют обучающую выборку, и на ней мы обучаем следующую, более сильную модель. 

Какие ограничения влияют на качество распознавания звука сильнее всего?

Прежде всего акустические условия: качество микрофона, фоновый шум и сжатие звука в телефонном канале. Поэтому мы учим модели работать в реальных условиях, без предварительного шумоподавления. 

Еще одно ограничение — вычислительные ресурсы и скорость ответа. Нейросети очень прожорливы: для их работы нужны кластеры из мощных видеокарт. Чем крупнее модель, тем выше качество распознавания, но тем дороже ее работа и тем дольше нужно ждать результата. А в живом диалоге задержка критична, поэтому мы балансируем и выбираем золотую середину.

Кроме того, важно, чтобы при неразборчивом звуке или тишине модель не пыталась «додумать» то, чего не было, то есть не галлюцинировала. Фантазии ИИ уместны в генерации изображений, но не в распознавании речи. 

Вы выложили речевую модель T-one в открытый доступ на GitHub (облачное хранилище для проектов с исходным кодом. — Прим. ред.). С какой целью это было сделано? 

Базовые технологии должны быть доступны всем. Open source двигает индустрию вперед. В свое время мы опирались на открытые разработки и сейчас возвращаем долг. К тому же, когда мы только начинали, открытых моделей на русском языке не было. Большинство исследований писалось и пишется на английском языке, и модели либо работают только на английском, либо заточены в первую очередь на него. T-one — русскоязычная потоковая модель. Выкладывая ее в открытый доступ, мы можем получить фидбек от сообщества и улучшить продукт, если на каких-то срезах данных она будет работать не очень хорошо. Еще один неочевидный бонус — открытость привлекает талантливых инженеров в компанию.

Выкладывая технологию в открытый доступ, бизнес сталкивается с определенными рисками, например подделкой голосов в мошеннических целях... 

Мы выкладывали только модель распознавания. А вот модели синтеза речи действительно добавляют угроз — это общая проблема. Существуют способы скрытой маркировки сгенерированных изображений, текстов и аудио, незаметной для человека, но считываемой специальным ПО. Но борьба между теми, кто выстраивает защитные механизмы, и теми, кто пытается их обойти, вечна. К счастью, человеческое восприятие постепенно меняется и адаптируется к ИИ-контенту, который уже не вызывает такого доверия.

Какое будущее у голосовых моделей в ближайшие пять-десять лет? Что еще можно внедрить, но пока нет технической возможности?

«Голос — максимально естественный способ коммуникации между людьми, но пока не между людьми и технологиями. Сейчас с чат-ботом переписываешься как с настоящим человеком, то же будет происходить в голосовом канале. В передовых лабораториях и у нас уже есть модели с очень естественным голосовым интерфейсом, но у них есть проблемы с когнитивными способностями. По сравнению с текстовыми моделями они недостаточно «умные»: им сложнее глубоко рассуждать, помнить длинный разговор и работать с инструментами внешних систем, чтобы решать прикладные задачи. Этот барьер еще предстоит перешагнуть.

Автор: Анна Алексеева

Стилист: Кристина Логунова

Визажист: Екатерина Клочкова

Одежда героя: Grate, Lime, Mademan, Idol