Okamžité rozpoznávání nejen nápisů, barev a světla pomocí iPhonu

Adam Samec

V dřívějším článku Rychlé a spolehlivé rozpoznávání českých bankovek, balených potravin a jiných objektů pomocí iPhonu jsme se blíže seznámili s aplikací LookTel Recognizer. Tentokrát si představíme a naučíme se používat dvě další aplikace pro systém iOS, které rovněž rozpoznávají a čtou bez čekání a nadbytečných kroků, velmi dobře doplňují schopnosti LookTel Recognizeru a pomocí odečítače VoiceOver se snadno ovládají.

První aplikace, Aipoly Vision, se vymyká zejména dovedností rychle a jednoduše číst různý text například na balených potravinách a tím potraviny při nejmenším identifikovat. Hodí se dále třeba pro rychlé třídění korespondence nebo dokumentů. Druhá aplikace nese název Seeing Assistant Home Lite, a v porovnání s jinými stejně zaměřenými aplikacemi především umožňuje okamžitě a poměrně dobře rozlišovat barvy, případně také zdroj a intenzitu okolního osvětlení, nebo čárové a QR kódy, které umí rovněž vytvářet pro vytisknutí.

Další velkou předností Aipoly Vision je, že mnohdy dovede přečíst také stylizované písmo vyskytující se často právě na nejrůznějším baleném zboží, zatímco ostatní přístupné OCR aplikace, včetně jinak špičkového KNFB Readeru, jsou většinou úzce optimalizovány na standardní písmo používané na tištěných dokumentech, které nicméně na druhou stranu zvládají číst zase spolehlivěji a pohodlněji než Aipoly Vision.

Aplikace Aipoly Vision kromě čtení textu nabízí ještě několik dalších režimů rozpoznávání, ale vzhledem k jejich dosavadní přesnosti mi zatím nepřijdou tak zajímavé, takže si je představíme jen stručně a blíže se zaměříme pouze na režim rozpoznávání textu.

Aipoly Vision a rychlé rozpoznávání nápisů nebo třídy objektů

Aipoly Vision je možné nainstalovat zdarma zde z App Storu, avšak bez předplatného bude dostupná jen omezená funkcionalita, k čemuž se ještě dostaneme.

Tato aplikace je na ovládání velmi jednoduchá, skládá se pouze z hlavní obrazovky a nastavení. Ve spodní části hlavní obrazovky jsou dvě řady tlačítek pro přepínání aktuálního režimu rozpoznávání, jejichž funkce a příklady využití jsou následující:

1. General – Obecný režim, který umí rozlišit 1000 objektů různého druhu. Celkem spolehlivě pozná například laptop, skříň nebo kuchyň, ale větší zázraky nečekejte. Na druhou stranu je to pozoruhodné, protože objekty jsou stejně jako u ostatních režimů oznamovány v reálném čase během toho, co pohybujete kamerou.
2. Text – Rozpoznávání textu, ale spíše krátkého nebo všelijakých nápisů, ale to nás právě zajímá. Momentálně jako jediný vyžaduje připojení k Internetu, ale vývojáři zvažují, že by v příštích verzích nebylo potřeba.
3. Color – Rozlišování barev. V nastavení lze přepnout jestli má být ohlašováno jen 30 základních barev, nebo výchozích 900. To je sice oslňující číslo, ale aplikace má potíže i s těmi třiceti, kdy je běžné, že při namíření na objekt s nerozhodností střídavě hlásí dvě značně odlišné barvy jako zelená a červená. S barvami si mnohem lépe poradí aplikace, na níž se podíváme v druhé části tohoto článku.
4. Food – Snaží se rozlišovat mezi 1000 pokrmy a potravin, například banán, bílý chléb nebo pizza.
5. Product – V budoucnu má rozpoznávat zboží. Tento režim zatím nefunguje a bude nejspíš vyžadovat připojení k Internetu.
6. Currency – Rozlišování peněz, ale zatím jen amerických dolarů. Další měny údajně časem přibudou.
7. Animal – Rozlišování zvířat včetně psích plemen nebo druhů ptactva.
8. Plant – Rozlišování druhů rostlin. Dohromady s předchozím režimem pro rozpoznávání zvířat by jich měl poznat 2000.
9. Navigation – Rozlišování překážek pro pohyb v interiéru nebo exteriéru. Řekl bych, že jde jen o redukci obecného režimu na objekty, které mají význam pro prostorovou orientaci.
10. Settings – Otevře obrazovku, ze které se dostanete do nastavení aplikace, do správy předplatného a k informacím o aplikaci. Samotné nastavení aplikace je přístupné přes ještě jedno tlačítko Settings, a tam je důležitý hlavně přepínač “Speaking Voice”, jehož zapnutí způsobí, že při rozpoznávání budou názvy objektů nebo text automaticky čteny nahlas, aby jste je nemuseli číst ručně z obrazovky.

V horní a střední části hlavní obrazovky se nachází oblast, v jejímž středu se zobrazuje název naposledy rozpoznaného objektu, a v případě režimu Text je zde rozpoznaný text, takže si ho můžete v klidu přečíst hlasem VoiceOveru a případně použít rotor pro čtení po slovech nebo znacích, avšak po řádcích nebo jiných větších úsecích jej bohužel číst nejde.

Prostředí aplikace je tedy v angličtině, ale názvy rozpoznaných objektů jsou už v češtině a čte je český hlas.

Předplatné a zkušební doba

Režim rozpoznávání textu stejně jako rozpoznávání rostlin, zvířat, jídel a peněz vyžaduje předplatné v částce 139 korun za měsíc, což sporadického uživatele pochopitelně odradí. Nicméně je možné si tyto režimy alespoň vyzkoušet v rámci týdenní zkušební doby, po níž však bude účtováno první měsíční předplatné, ale jen pokud toto nadcházející předplatné 24 hodin před koncem zkušební doby nezrušíte.

Jestliže tedy chcete tyto režimy bezplatně vyzkoušet, tak nezapomeňte nadcházející předplatné včas zrušit přes tlačítko Settings, poté tlačítko “Manage subscription”, které by po chvíli mělo otevřít obrazovku, kde najděte tlačítko “Zrušit předplatné”.

Jak používat režim rozpoznávání textu a jeho přesnost

Pokud je nějaký text před kamerou rozpoznán, tak bude přečten asi do vteřiny poté, co režim poklepáním na tlačítko Text aktivujete. Přičemž rozpoznání nového textu, například když jste se poprvé úplně dobře netrefili a aplikace čte nesmysly, můžete provést hned na to dalším poklepáním na tlačítko Text.

I pomocí Aipoly Vision lze proto poměrně velmi pohodlně a v řádu několika vteřin nalézt třeba ten správný čaj postupným čtením textů na jednotlivých čajových krabičkách, či přečíst hodnotu jakékoliv bankovky, kterou jiná aplikace rozpoznat nedokáže. Může posloužit i pro rychlé zjištění, co se asi odehrává na obrazovce nějakého zařízení, když nemluví.

Přesnost rozpoznávání není dostačující pro čtení knih nebo časopisů, ale stačí při nejmenším na to, aby jste se dozvěděli, o čem text pojednává.

Abyste však od Aipoly Vision nějaký smysluplný text vůbec obdrželi, tak je třeba předlohu nasnímat obecně z kratší vzdálenosti než u jiných OCR aplikací. V případě textu o velikosti běžně používané v knihách se mi osvědčila vzdálenost kolem 10 až 15 centimetrů, což znamená, že není možné najednou zachytit zas tak velkou oblast textu, jako třeba běžný dokument A4 .

Rozpoznávání textu se dá uplatnit také jednorázově bez nutnosti dlouhodobě platit předplatné, a to příhodně v kombinaci s aplikací LookTel Recognizer. Například v momentě nedostupnosti vidící osoby, která by vám pomohla přiřadit vlastní popisky k baleným potravinám, jenž aplikaci LookTel Recognizer chcete naučit rozpoznávat podle jejich vzhledu, protože je sami podle hmatu nepoznáte.

V takovém případě, Aipoly Vision nejprve jednorázově použijete pro zjištění například názvu čaje, popřípadě jeho složení či návodu na přípravu. LookTel Recognizer poté naučíte tento čaj rozpoznávat a ohlašovat vámi přiřazený popisek pokaždé, kdy jen namíříte kameru na tento čaj, což je ostatně zatím pořád rychlejší než používat nějakou aplikaci pro rozpoznávání textu na obalech potravin.

Seeing Assistant Home Lite a rozpoznávání barev nebo zdroje a intenzity světla

Aplikace Seeing Assistant Home Lite je zdarma a v App Storu ji naleznete zde. Vedle této bezplatné verze je tam ještě placená plná verze za jednorázových 59 korun, jejíž název je stejný až na to, že nekončí slůvkem Lite. Pokud budete chtít používat jen rozpoznávání barev, tak vám zcela stačí bezplatná verze,ale další funkce jsou v ní částečně nebo úplně omezeny, jak bude dále uvedeno.

Po prvním spuštění aplikace a odsouhlasení podmínek užití tlačítkem “I Agree” se dostanete na hlavní obrazovku, kde najdete devět tlačítek s těmito funkcemi:

1. Voice commands – Zahájení naslouchání příkazům pro ovládání aplikace hlasem.
2. Scan code – Čtení čárových kódu a QR kódů. Po rozpoznání čárového kódu jej lze tlačítkem “Add to database” v levém dolním rohu obrazovky uložit a přiřadit k němu vlastní textový popisek, který bude zobrazen při příštím rozpoznání tohoto kódu.
3. Recognize color – Aktivace režimu rozpoznávání barev, o němž si toho řekneme více a uvedeme si jedno doporučení, které zlepší jeho přesnost. Doposud jsem nenatrefil na aplikaci, která by barvy dokázala poznat lépe než tato.
4. Light detector – Aktivace detektoru zdroje a intenzity světla, ke kterému také prohodíme pár slov.
5. Magnifier – Digitální lupa, která ale nenabízí tolik funkcí jako lupa zabudovaná v systému od verze iOS 10.
6. Codes – Vytváření a správa čárových a QR kódů. Z obou typů kódů je zde možné také zhotovit PDF soubor pro vytisknutí, rozstříhání a nalepení jednotlivých kódů na vaše osobní předměty.
7. Settings – Nastavení aplikace nebo také zálohování a obnova čárových a QR kódů spolu s jejich popisky prostřednictvím internetového úložiště Dropbox.
8. More – Přístup povětšinou k různým informacím o aplikaci včetně otevření návodu k používání aplikace přes tlačítko Tutorial.
9. Repeat announcements – Opětovné přehrání posledních hlášení aplikace.

Bezplatná verze aplikace má následující omezení: detekci světla a digitální lupu můžete používat nanejvýš jednu minutu denně, lze uložit jen 5 čárových kódů, vytvořené QR kódy mohou obsahovat jen 10 znaků, nepodporuje zálohování a obnovu uložených čárových a QR kódů přes Dropbox a nezahrnuje možnost ovládání aplikace hlasem.

Jak používat rozpoznávání barev či světla a jeho přesnost

Poklepáním na “Recognize color” začne aplikace průběžně v angličtině číst převažující barvu před kamerou stejným hlasem jako používá VoiceOver. Rozlišována je základní paleta barev, případně ohlásí Mix, pokud je barev v záběru kamery příliš. Barvu lze přečíst také ručně na obrazovce.

Přesnost rozpoznávání barev se dle mé zkušenosti znatelně zlepší, když během něj zapnete osvětlovací diodu. To provedete zatřesením mobilního zařízení, přičemž by se mělo ozvat “Torch on”. Dalším zatřesením přisvětlení případně opět vypnete a měli byste slyšet hlášku “Torch off”.

Tato aplikace se mi osvědčila dokonce i při rozlišování jednobarevných triček složených ve skříni, aniž bych je vytahoval na světlo. Ale například čisté bílé triko od světle šedého s touto aplikací spolehlivě nerozlišíte. Nicméně pro vytřídění bílého prádla na praní ji třeba použít lze.

Detektor světla spuštěný tlačítkem “Light detector” signalizuje intenzitu světla, které dopadá na kameru, výškou vydávaného tónu nebo je možné ji najít jako procentuální hodnotu v horní části obrazovky.

Příkladem užití detektoru světla je zjištění, jestli je nějaké světlo v pokoji rozsvíceno, nebo zda obrazovka určitého přístroje či jistá kontrolka svítí.

Vyhlídky počítačového vidění

Rychlé rozpoznávání nápisů a další režimy aplikace Aipoly Vision nevyjdou zrovna dvakrát levně, ale pro porovnání například chytrá jednotka OrCam MyEye s repráčkem a kamerou, které lze připevnit k brýlím, jenž víceméně disponuje dovednostmi chytrého telefonu vybaveného aplikací Aipoly Vision v kombinaci s LookTel Recognizerem, stojí v přepočtu přibližně 80000 korun.

Vývoj ale postupuje kupředu a už byla uvolněna bezplatná aplikace pro iOS od Microsoftu nazvaná Seeing AI rovněž s podobnými funkcemi, akorát je dostupná zatím jen v některých zemích, mezi nimiž Česká republika chybí. Aplikace Seeing AI vznikla v rámci výzkumného projektu, kde se mimochodem také počítá s využitím jejích schopností chytrými brýlemi Pivothead SMART, které nyní pořídíte zhruba za 6900 korun.

Aplikace Seeing AI se tedy dost možná časem i u nás stane bezplatnou alternativou za Aipoly Vision, která pravděpodobně bude muset přehodnotit svou cenu nebo přijít s nějakým zásadním vylepšením.