Точность распознавания русской речи: замер 14 моделей

На нашем наборе русской речи точнее всех оказалась модель gpt-transcribe: 2,3 % ошибочных слов. Модель gpt-4o-mini-transcribe, на которой работает «Так», ошибается в 3,1 % слов и стоит 0,19 ₽ за минуту звука, в 2,6 раза дешевле лидера. Мы сравнили 14 моделей на 63 клипах общей длиной 8,5 минуты и проверили поведение на тишине, длинных записях и терминах, а не одну только точность.

Замер мы сделали сами, чтобы выбрать модель для приложения, а не как независимая лаборатория. Ниже методика, полные таблицы и ограничения, чтобы вы могли оценить выводы сами. Цифры верны на 27 октября 2026.

Главное из замера

1. Лучшая точность: gpt-transcribe, 2,3 % ошибочных слов. Следом grok-stt-1.0 (2,5 %), gpt-4o-mini-transcribe и voxtral-small-transcribe (по 3,1 %).
2. Различия до 3 процентных пунктов ничего не значат. Живой речи в наборе 12 клипов и 81 слово, одно слово даёт 1,2 п. п.
3. Надёжность важнее десятых долей. gpt-4o-transcribe отвечает чужой речью на тишину в 18 из 18 попыток, а через один из хостов ещё и обрезает длинные записи. У Whisper есть редкие ответы на тишину, у gpt-4o-mini-transcribe и gpt-transcribe их не было.
4. Цена различается в 28 раз: от 0,02 до 0,57 ₽ за минуту звука.
5. Подсказка со словарём терминов сработала только у части хостов, а Whisper она испортила.

Точность и цена: все модели

Сортировка по WER на всём наборе (63 клипа), запросы без подсказки. Цены в рублях за минуту звука; там, где есть цена у второго хоста (OpenRouter, пересчёт по 90 ₽ за доллар), она в скобках.

Строка gpt-4o-transcribe показывает разницу между хостами: через routerai модель обрезала часть длинных записей (WER длинных клипов 28,5 %), через OpenRouter общая цифра нормальная, но тишина осталась проблемой на обоих. У остальных моделей оба хоста дали одинаковый WER, поэтому в таблице одна строка. Модели google/chirp-3, microsoft/mai-transcribe-2, fish-audio/transcribe-1 и meta/muse-voice-transcribe-1.0 в таблицу не вошли: они не приняли формат webm или были недоступны.

Как читать таблицу

• WER (word error rate): доля ошибочных слов, то есть подмены, пропуски и лишние слова. CER считается так же, но по символам.
• Термины точно: доля терминов и брендов, записанных так, как в словаре: Tilda, а не «тильда». Всего 41 вхождение. Если считать любую запись, лишь бы слово узнали, результат выше: у gpt-4o-mini-transcribe 93 %, у gpt-transcribe 95 %, у Whisper large-v3-turbo 76 %.
• Числа: доля чисел, дат, адресов почты и телефонов, записанных любой допустимой формой, цифрами или словами. Всего 8 клипов.
• Тишина: на шести клипах без речи эталон пустой. Считается ответ, в котором есть хотя бы одно слово.
• Задержка p50: медиана времени от отправки запроса до ответа на клипах короче 15 секунд, один клиент, три запроса одновременно.

Живая речь, шум и длинные записи

WER по категориям у шести основных моделей, в процентах:

Колонку «Живая речь» нельзя читать как рейтинг: в ней 81 слово, и разница в одно слово равна 1,2 п. п. Синтетические категории (разговорный синтез, быстрая речь, шёпот) оказались слишком лёгкими: почти все модели дали там 0–2 %, и они ничего не различают.

Тишина и длинные записи

Эти две проверки мы повторили по три раза: ответы нейросетей недетерминированы даже при temperature: 0. Получилось 18 запросов тишины и 9 запросов длинных записей на модель.

Типичные ответы на тишине: у Whisper «Продолжение следует…», у gpt-4o-transcribe случайные немецкие и английские фразы («Hallo!», «Können Sie mir helfen?»), у AssemblyAI «Да.», «Вот.», «Так.», у ElevenLabs «[тишина]» и «Привет! Как твои дела сегодня?». Для диктовки это важно: случайное нажатие хоткея не должно вставлять чужой текст в письмо.

Подсказка со словарём терминов

Многие сервисы принимают вместе со звуком подсказку: список слов, которые нужно писать так, как в словаре. Мы проверили её на 16 клипах с терминами, 8 с числами, 6 тишинах, 12 клипах живой речи и одной длинной записи. В таблице доля терминов, записанных точно:

Два вывода. Во-первых, у одной и той же модели подсказка может работать или молча игнорироваться в зависимости от хоста: проверять нужно на своём канале. Во-вторых, Whisper подсказка вредит: на коротких фразах он теряет начало или всю фразу, WER живой речи вырастает с 1,2 % до 30–51 %. На тишине модели OpenAI с подсказкой возвращают саму подсказку, и такое «эхо» нужно отфильтровывать.

Методика

Набор данных

63 клипа, 8,5 минуты, формат как у приложения: webm/opus, моно, 48 кГц.

Корпус Golos распространяется по лицензии SberDevices с указанием авторства (статья, репозиторий). Common Voice и OpenSTT мы не использовали: Common Voice закрыт авторизацией, лицензия OpenSTT некоммерческая.

Метрики и запросы

WER и CER считались после нормализации: нижний регистр, «ё» заменена на «е», знаки препинания убраны, цифры переведены в слова. Расчёт идёт по русским категориям суммарно по словам. Цена берётся из поля usage.cost ответа и делится на минуты звука; у OpenRouter сумма в долларах пересчитана по условному курсу 90 ₽ за доллар.

Запросы отправлялись так же, как в приложении: POST /audio/transcriptions, звук в base64 в формате webm, язык ru, temperature: 0. Каждая конфигурация прогонялась один раз, кроме тишины и длинных записей (три раза). Всего около 2 900 запросов, ошибок среди них не было (кроме четырёх недоступных моделей). Отдельно мы отправили по 30 одновременных запросов на семь конфигураций: 210 ответов 200, ни одного 429.

Что выбрали и почему

В «Так» основная модель gpt-4o-mini-transcribe, запасная whisper-large-v3-turbo. Причины:

• WER 3,1 % отличается от лидера (2,3 %) в пределах шума. На шуме и длинных записях результат хороший (1,8 и 2,8 %). На живой речи 8,6 %, это худший итог среди шести основных моделей, но там всего 81 слово, и вывод по такой выборке делать рано.
• Ни одного ответа на тишину и ни одной обрезки длинной записи в 27 запросах.
• 0,17–0,19 ₽ за минуту против 0,43–0,50 ₽ у gpt-transcribe: час диктовки обходится примерно в 11 ₽.
• Whisper-large-v3-turbo стоит 0,02–0,07 ₽ за минуту и работает на другой инфраструктуре, поэтому подходит как запасной вариант: при отказе основной модели запрос повторяется на нём без подсказки.

Не взяли gpt-4o-transcribe (тишина и обрезка), AssemblyAI и ElevenLabs (ответы на тишине), Deepgram и Parakeet (слабые термины), Qwen3-ASR (p95 задержки 37 секунд). Кандидаты для «качественного» режима, которые мы ещё проверим: gpt-transcribe и grok-stt-1.0.

Ограничения

• Мало живой речи. Всего 12 клипов и 81 слово. Эта категория ближе всех к реальной диктовке, и именно в ней данных меньше всего.
• Синтез не равен голосу. Почти половина набора сделана синтезаторами речи, и шёпот Gemini TTS остаётся голосом синтезатора, а не настоящим шёпотом в шумной комнате.
• Один прогон. На каждую конфигурацию приходится один прогон, повторы только для тишины и длинных записей.
• Одна машина. Задержку мы измеряли с одного компьютера и одной сети.
• Цены и хосты меняются. Маршрутизация провайдеров на агрегаторах не фиксирована: routerai не позволяет выбрать провайдера и сам решает, кто обслуживает Whisper. Цифры верны на 27 октября 2026.
• Четыре модели не проверены. Они не приняли webm или были недоступны, а менять формат ради них мы не стали.

Как сослаться на замер

Замер «Так»: сравнение 14 моделей распознавания русской речи на 63 клипах, 27 октября 2026, takapp.ru/guides/tochnost-raspoznavaniya-russkogo. При повторном замере страница обновляется, а дата вверху меняется.

Готовые программы для диктовки, а не модели, сравниваются в обзоре программ голосового ввода. Как запустить Whisper самому, написано в руководстве по Whisper на Windows.