ИИ-помощник ГигаЧат теперь лучше понимает аудио: распознавание эмоций, краткое содержание и таймкоды

Новая модель GigaChat Audio доступна в ИИ-помощнике ГигаЧат и в Open Source для свободного использования разработчиками по всему миру, сообщает пресс-служба Сбера.

Пользователям ИИ-помощника ГигаЧат стала доступна обновлённая нейросеть GigaChat Audio – большая языковая модель, которая способна обрабатывать аудиофайлы и голосовые сообщения без предварительного преобразования речи в текст. Искусственный интеллект научился понимать интонацию пользователя и получил расширенные возможности по обработке звуковой информации.

Изображение: пресс-служба Сбербанка

– Голос – самый естественный способ общения с технологией, но и самый требовательный: любая ошибка в распознавании или неверно считанная эмоция сразу разрушает доверие к ассистенту. Поэтому мы считаем аудио точкой роста для рынка ИИ-помощников. Запуская эти модели в открытый доступ, мы даём мощный инструмент разработчикам и учёным. От синхронного голосового перевода до сервисов для людей с нарушениями речи – спектр применений у голосовых технологий очень широкий. А мультиязычность и возможность легкого обучения другим языкам открывает для них и международные перспективы, – комментирует старший вице-президент и руководитель блока «Развитие генеративного ИИ» Сбербанка Антон Фролов.

ИИ-помощник стал более эмпатичным

Теперь ГигаЧат распознает с позитивной или негативной эмоцией обращается к нему пользователь – по интонации, характеристикам голоса и нюансам произношения. Это позволяет ему реагировать уместнее, например, мягче отвечать раздражённому пользователю или поддержать настроение, если человек делится хорошей новостью.

Модель может обрабатывать записи длиной до трех часов и ориентироваться внутри них: можно спросить, в какой момент разговора обсуждали конкретный вопрос, попросить пересказать отдельный отрезок или получить краткое содержание всей записи со ссылками на таймкоды. Нейросеть также способна различать в записи спикеров. Эти возможности будут полезны для разбора совещаний и звонков, навигации по записям, протоколирования.

ИИ-помощник теперь сможет запомнить важные факты для пользователя прямо из голосового диалога и опираться на них в следующих сессиях. При повторном обращении ГигаЧат будет учитывать ранее озвученные пожелания, например, составляет маршрут путешествия с учётом интересов пользователя. Пользователь полностью контролирует функцию: зафиксированные факты можно посмотреть, отредактировать или отключить память в настройках профиля в любой момент.

По результатам внутренних тестов, новая модель GigaChat Audio способна понимать и отвечать на голосовые запросы на уровне лучших мировых аналогов. Это подтверждает тест Arena Hard Audio, где другие нейросети «вслепую» сравнивают ответы разных моделей на одни и те же голосовые вопросы. GigaChat Audio набрала 75% побед – почти как у Gemini-3-Flash-preview (77,5%) и больше, чем у Gemini-2.5-Pro (62%). По замерам точности распознавания эмоций новой модели – модель Сбера достигает 80%. Это выше, чем у модели Qwen3-Omni-30B (70%) или Kimi-Audio (62%).

Доступность для разработчиков

Помимо интеграции в ИИ-помощник, команда выложила в открытый доступ облегчённую версию GigaChat3.1-Audio-10B. Нейросеть распознаёт русский, английский и другие языки. На основе модели можно создавать сервисы транскрибации, тренажёры произношения, инструменты для оценки качества озвучки, голосовые переводчики с пониманием контекста и сервисы пересказа длинных записей.

Сбер также выложил в открытый доступ GigaAM Multilingual – семейство моделей автоматического распознавания речи. Это первая российская открытая модель, работающая с несколькими языками, и лучшее из открытых решений по качеству распознавания речи на русском. По замерам, GigaAM допускает в 1,5–2 раза меньше ошибок, чем ближайшие конкуренты. Модель поддерживает русский, английский, киргизский, казахский и узбекский языки и доступна в двух версиях – компактной, которая работает на обычных процессорах, и флагманской, обеспечивающей более высокое качество распознавания. GigaAM подойдёт для кол-центров и голосовых ассистентов, расшифровки встреч, интервью и подкастов, голосового ввода в приложениях и автосубтитров.

Обе модели прошли предварительное обучение на большом числе языков, поэтому их можно быстро дообучить под дополнительные, в том числе языки стран СНГ. Для этого достаточно нескольких десятков часов размеченных аудиозаписей. Модели уже доступны на GitVerse и Hugging Face. Научные статьи о новых моделях приняты на одну из ведущих международных конференций по речевым технологиям Interspeech 2026.

Реклама ПАО Сбербанк, Erid: 2VfnxwMjvWo