How accurate is Sunlo?
We ran public Urdu test recordings through the live tool and counted the mistakes. Here is the method, the numbers and what it gets wrong.
Results
Clean recordings
27/28 clips returned text; WER 20.8% (161/775 words); CER 8.5%
With background noise (15 dB SNR), sent as WhatsApp-style Opus
28/28 clips returned text; WER 23.0% (188/818 words); CER 9.3%
Word error rate counts every word that differs from the human transcript, including spelling variants and numbers written as digits instead of words, so the text is usually easier to read than the number suggests.
Method
Recordings: the first 30 clips of the Urdu (ur_pk) test split of Google's FLEURS dataset (CC BY 4.0), read sentences of about 10 seconds; 28 downloaded. Each was encoded to Opus like a WhatsApp voice note and sent through the same API the page uses, marked as a test. Speech model: Whisper large-v3-turbo with the language fixed to Urdu, on Cloudflare Workers AI. Roman Urdu and English: Llama 4 Scout. Diacritics and punctuation are removed before comparing. Scripts: scripts/eval/ in the project repository.
What goes wrong. Real voice notes are harder than read sentences: fast speech, Punjabi or Pashto mixed in, people talking at once and names. One recognition slip can change the English badly: in a noisy test, "jald rihaa" (released quickly) was heard as "jal raha" (burning), and the English said the hostages were set on fire. For money, medicine, addresses and times, listen to the note yourself.
Examples (clean clips)
| Human transcript | Sunlo | Sunlo English |
|---|---|---|
| ان کے دور میں خفیف تلوُّث ایزا مسئلہ نہیں تھا جیسا کہ وہ آج ہے ان کی سکونت ایسے شہروں یا حوزات میں ہے جہا ں تک بآسانی پہنچا جا سکتا ہے بہ نسبت ان مقامات کے جو ماڈرن زمانے میں تعمیر کئے گئے | ان کے دور میں خفیب تلویس ایزا مسئلہ نہیں تھا جیسا کہ وہ آج ہے ان کی سکونت ایسے شہروں یا حوزات میں ہے جہاں تک بہتسانی پہنچا جا سکتا ہے بنسبت ان مقامات کے جو مارڈرن زمانے میں تعمیر کیے گئے | In their time, television was not a problem as it is today. They reside in cities or areas that are very accessible, compared to the places that were built in modern times. |
| فلپائنی فوٹوگرافروں کے ساتھ چھےاغوا شدگان کو جلد رہا کر دیا گیا تھا جِن میں بچّے اور بُوڑھے شامل تھے | فیلپائنی فوٹوگرافروں کے ساتھ چھے اگوا شدگان کو جلد رہا کر دیا گیا تھا جن میں بچوں اور بڑے شامل تھے | Six abductees including children and adults were released quickly with Philippine photographers |
| اٹلانٹک ہریکین سیزن کے دسواں نامی طوفان سب ٹراپیکل اسٹارم جیری آج بحراوقیانوس میں بن گیا | اٹلانٹک ہریکین سیزن کے دس ماں نامی توفان سب ٹروپیکل سٹرم جاری آج بہرہ وکیانوس میں بن گیا | The Atlantic hurricane season's tenth named storm Sub Tropical Storm Cari formed today in the open Atlantic |
| آسٹریلیا کے مائیکل گورلی نے مردوں کے اسٹینڈنگ سوپر جی میں گیارہواں مقام حاصل کیا جب کہ مردوں کے سیٹنگ سوپر-جی میں چیک کے حریف اولڈریچ جیلنیک چھٹے مقام پر رہے | آسٹریلیا کے مائیکل گولڈی نے مردوں کے سٹینٹنگ سوپر جی میں گیاروہ مقام حاصل کیا جبکہ مردوں کے سٹینٹنگ سوپر جی میں چیک کے حریف آلڈرائز چینلنگ چھٹے مقام پر رہے | Australia's Michael Goldie finished 11th in the men's ski jumping super G while Czech rival Aldrys Channeling finished 6th in the men's ski jumping super G |
| بکریوں کو غالباً سب سے پہلے ایران کے زغروز پہاڑوں میں قریباً 10،000 سال پہلے گھروں میں پالا گیا۔ | بکریوں کو گالباً سب سے پہلے ایران کے زگزروز پہاڑوں میں قریباً دس ہزار سال پہلے گھروں میں پالا گیا | Goats were probably first domesticated in the Zagros Mountains of Iran about ten thousand years ago. |
| جس عہد میں یہ واقعات پیش آئے اسے عام طور پر 11ویں، 12ویں، اور 13ویں صدی 1000–1300عیسوی میں یوروپی تاریخ عہد کا قرون وسطی کہا جاتا ہے۔ | جس اہد میں یہ واقعات پیش آئے اسے عام طور پر گیاروی باروی اور تیروی صدی میں یورپی تاریخ اہد کا قرون وستی کہا جاتا ہے | The period in which these events occurred is commonly referred to as the High Middle Ages in European history, around the 11th, 12th and 13th centuries. |