На 197 записа с ясна българска реч Transkriptsiya сгреши 4,3 % от думите. Whisper large-v3, отвореният модел, на който работят много безплатни инструменти, сгреши 12,1 %, тоест 2,8 пъти повече. Gemini на Google имаше 6,2 % във варианта Flash и 4,6 % във варианта Pro. Направихме теста на 14 октомври 2026 г. на седем езика; по-долу са всички резултати и точното описание на метода.
Какво означава 4,3 % грешни думи
Мярката се нарича WER (word error rate): делът на думите, които човек трябва да поправи, изтрие или добави, за да съвпадне транскрипцията с оригинала. 4,3 % означава около 4 поправки на 100 думи. Колкото по-ниско, толкова по-добре.
В българския всяко грешно окончание или член се брои като цяла грешна дума: „решението“ вместо „решение“ е една грешка, макар изречението да остава разбираемо. Затова WER при езици с богата морфология обикновено е по-висок, отколкото при английския, дори когато текстът е напълно използваем.
Резултати за български
| Инструмент | Грешни думи | Диапазон 95 % |
|---|---|---|
| Transkriptsiya | 4,3 % | 3,5–5,2 % |
| Whisper large-v3 | 12,1 % | 10,7–13,5 % |
| Gemini Flash | 6,2 % | 4,0–9,5 % |
| Gemini Pro | 4,6 % | 3,8–5,5 % |
Разликата спрямо Whisper е голяма и сигурна: при всички 1000 повторни извадки (вижте метода по-долу) Whisper имаше повече грешки. Спрямо Gemini Flash имахме по-малко грешки на български. С Gemini Pro сме наравно: разликата е по-малка от неточността на измерването.
Всички седем езика
Използвахме същия метод и същия брой записи за всички езици на нашите сайтове. Дял на грешните думи, по-ниско е по-добре:
| Език | Записи | Transkriptsiya | Whisper large-v3 | Gemini Flash | Gemini Pro |
|---|---|---|---|---|---|
| словенски | 195 | 8,7 % | 20,2 % | 8,1 % | 7,5 % |
| хърватски | 199 | 5,5 % | 10,9 % | 5,6 % | 4,8 % |
| чешки | 192 | 4,3 % | 11,5 % | 3,4 % | 3,4 % |
| словашки | 200 | 2,8 % | 9,5 % | 3,2 % | 2,7 % |
| полски | 199 | 3,9 % | 4,9 % | 3,1 % | 2,5 % |
| румънски | 200 | 3,1 % | 8,3 % | 3,9 % | 2,8 % |
| български | 197 | 4,3 % | 12,1 % | 6,2 % | 4,6 % |
Накратко: на шест езика Transkriptsiya прави 2–3 пъти по-малко грешки от Whisper; при полския разликата е по-малка (3,9 % срещу 4,9 %). С Gemini Flash сме наравно на словенски, хърватски и словашки, по-добри сме на български и румънски, а Flash е по-добър на чешки и полски. Gemini Pro е с около пункт по-добър на словенски, хърватски, чешки и полски, а на останалите езици сме наравно.
Сравнявайте инструментите в рамките на един език, а не езиците помежду им: словенските записи например бяха най-трудни за всички инструменти.
Какво не показва този тест
- Записите са ясно четена реч. Един говорител, тиха стая, изречения от Уикипедия. Срещи с няколко души, телефонни разговори, шум и силен диалект дават повече грешки на всички инструменти. С колко повече, този тест не мери.
- Числата, написани по различен начин, се броят за грешка. „2026“ и „две хиляди двадесет и шест“ са различни думи в теста. Това вдига резултата на всички инструменти еднакво.
- Точността не е всичко. Транскрипция с отбелязани говорители, времеви маркери и субтитри SRT спестява повече работа от един пункт по-малко грешки, ако така или иначе редактирате текста.
Ако искате да знаете как се справя даден инструмент с вашите записи, вземете 2–3 минути от типичен запис, транскрибирайте ги и пребройте поправките. В Transkriptsiya първият файл до 30 минути е безплатен.
Как тествахме
- Записи: тестовата част на набора FLEURS (Google, лиценз CC BY 4.0), в който носители на езика четат изречения от Уикипедия. За всеки език с фиксирана хеш функция избрахме около 200 записа, общо 33–41 минути звук на език. За български 197 записа, тоест 34 минути.
- Transkriptsiya: със същите настройки като в приложението, тоест с модела ElevenLabs Scribe v2, който използваме за разпознаване на речта.
- Whisper large-v3: отвореният модел на OpenAI, пуснат чрез faster-whisper, beam 5.
- Gemini: през API на Google, версии gemini-3.8-flash и gemini-3.1-pro-preview.
- Оценка: всичко с малки букви, без пунктуация, после дял на грешните думи за всички записи заедно. Диапазонът показва къде е бил резултатът в 95 % от 1000 повторни извадки от записите.
- Дата: 14 октомври 2026 г. Някои говорители започваха изречението отначало; това дава еднакви грешки на всички инструменти.
Всички транскрипции и скриптът за повтаряне на теста са запазени при нас, така че можем да повторим теста, когато моделите се обновят.