Tento článok popisuje systém na rozpoznávanie zvislých dopravných značiek. V danom systéme sa využíva Cambridge optický korelátor (CC z angl. Cambridge Correlator) na porovnávanie obrazov vo fáze rozpoznávania. V našom prípade CC porovnáva detegované dopravné značky s referenčnými. Daný systém vo fáze detekcie dopravných značiek využíva tri rôzne detekčné metódy.

Úvod

V súčasnej dobe sú asistenčné systémy vodiča (DAS z angl. Driver Assistance System) v automobilovom priemysle veľmi populárne, ale aj veľmi dôležité a potrebné. Tieto systémy zvyšujú bezpečnosť a pohodlie vodiča. Cestná infraštruktúra je pre sociálny a ekonomický rozvoj jednotlivých štátov veľmi dôležitá a medzi jej najdôležitejšie zložky patria dopravné značky. Systémy pre rozpoznávanie dopravného značenia patria tiež medzi DAS a používajú sa pre rozpoznávanie rýchlostných limitov, výstražných značiek, regulačných značiek a následne upozorňujú vodiča v určitých nebezpečných situáciách. Taktiež môžu byť použité pre zber informácií o dopravných značkách – pozícia GPS (z angl. Global Positioning System). Tieto získané informácie môžu byť uložené v databázach a použité aj v iných systémoch, napr. inventarizačnom systéme.

V tomto článku sa sústredíme na nami navrhnutý systém, presnejšie na metódy detekcie zvislých dopravných značiek. Tento príspevok obsahuje popis troch detekčných metód: metóda na báze farebnej filtrácie, metóda na báze detekcie tvarov a kombinácia oboch metód – hybridná metóda [1-4, 6].

1. Systém na rozpoznávanie zvislých dopravných značiek

Dopravné značky sa používajú hlavne na riadenie premávky, poskytujú informácie o smere alebo vzdialenosti destinácií a upozorňujú vodiča v prípade nebezpečných úsekov. Líšia sa od seba predovšetkým svojou farbou a tvarom, teda detekcia dopravných značiek môže byť založená na základe týchto informácií. Princíp činnosti systému na rozpoznávanie dopravného značenia je znázornený na Obr. 1.

Obr. 1 Princíp činnosti systému na rozpoznávanie zvislých dopravných značiek

Prvým krokom tohto systému je zachytenie reálnej premávky pomocou farebnej HD (z angl. High Definition – vysoké rozlíšenie) videokamery. Ďalším krokom po získaní obrazu je predspracovanie, v ktorom sa zachytený obraz upraví za účelom ľahšieho získania potrebných informácií. Šum z obrázka sa odstráni pomocou Gaussovho filtra a vlastnosti ako je jas a kontrast sú tiež zmenené. Hlavnou úlohou detekcie je nájsť kandidátov zvislých dopravných značiek v predspracovanom obraze. Existujú tri hlavné metódy detekcie zvislých dopravných značiek: metóda na báze farebnej filtrácie, metóda na báze detekcie tvarov a hybridná metóda.

Každá metóda bude opísaná v nasledujúcej kapitole. Po detekcii, kandidáti, ktorí predstavujú zvislé dopravné značky sú porovnávaní s referenčnými dopravnými značkami, ktoré sú uložené v databáze. Proces rozpoznávania sa vykonáva pomocou CC, ktorý využíva optické technológie spracovania signálu a porovnáva obrazy na základe ich podobností. Cieľom opísaného procesu je detegovať a rozpoznať zvislé dopravné značky zo zachytenej scény [2,4,6].

2. Metódy detekcie objektov

Cieľom detekcie je nájsť oblasť záujmu (ROI z angl. Region of Interest), ktorá predstavuje oblasť, kde by sa mala nachádzať dopravná značka. Dopravné značky sú navrhnuté v štandardných geometrických tvaroch ako je trojuholník, kruh, obdĺžnik alebo štvorec a pre ich farebné odlíšenie sa využíva hlavne červená, modrá a žltá farba. Tieto informácie je možné použiť ako základ detekčných metód dopravných značiek [1-5].

2.1. Metóda na báze farebnej filtrácie

Farebná filtrácia je proces odfiltrovania obrazových prvkov, ktoré nepatria do rovnakého rozsahu farieb daného filtra. Dopravné značky sa vyznačujú hlavne červenou, modrou a žltou farbou, teda farebná filtrácia je založená na základe týchto farieb. V našom prípade sme použili HSL (z angl. Hue – odtieň, Saturation – sýtosť, Lightness – svetlosť) farebný priestor. Obr. 2. znázorňuje princíp metódy detekcie na báze farebnej filtrácie.

Obr. 2 Princíp metódy na báze farebnej filtrácie

Prvým krokom je aplikácia farebnej filtrácie, čím sa získajú tri jednoduché obrazy, ktoré obsahujú iba obrazové body obsahujúce farbu daného filtra. Ďalším krokom sa tieto obrazy transformujú do odtieňov sivej a následne sa prevedú do binárnych obrazov procesom prahovania. Prahovanie je najjednoduchší spôsob segmentácie obrazu, kde biele obrazové body reprezentujú body s hodnotou, ktorá je v rámci prahového rozsahu. Čierne obrazové body predstavujú hodnoty mimo prahového rozsahu. Nasleduje použitie morfologickej operácie – diletácie, ktorá umožňuje objektom expandovať cez vypĺňanie malých otvorov a spájanie disjunktných objektov.

V ďalšom kroku sa aplikuje Canny hranový detektor, čím dostávame súbory uzavretých kriviek, ktoré označujú hranice objektov a rovín. Obrazy môžu obsahovať aj mnoho zhlukov, ktoré nereprezentujú zvislé dopravné značky. Tieto zhluky sa z obrazu odfiltrujú na základe ich veľkosti – všetky objekty menšie alebo väčšie ako stanovené rozmery sú zo snímky odfiltrované. Posledným krokom je ohraničenie a extrakcia najväčšieho objektu, ktorý predstavuje ROI a teda je považovaný za kandidáta zvislej dopravnej značky. Obr. 3. znázorňuje zachytený obraz a vybraný ROI [1-6].

Obr. 3 Príklad kandidáta dopravnej značky

2.2. Metóda na báze detekcie tvarov

Zvislé dopravné značky sú navrhnuté v štandardných geometrických tvaroch ako je kruh, obdĺžnik, štvorec alebo trojuholník, teda dopravné značky je možné detegovať na základe ich tvarov. Metóda na báze detekcie tvarov má spoločné kroky ako metóda na báze farebnej filtrácie, avšak samotná farebná filtrácia je z procesu vynechaná (Obr. 4).

Obr. 4 Princíp metódy na báze tvarovej detekcie

Prvým krokom danej metódy je transformácia obrazu do odtieňov sivej a následne jeho prevod na jednoduchý binárny obraz pomocou prahovania. V ďalšom kroku sa použije morfologická operácia – diletácia. Nasleduje aplikácia Canny hranového detektora a filtrácie zhlukov. V nasledujúcom kroku sa použijú algoritmy, ktoré hľadajú známe tvary zvislých dopravných značiek. Posledným krokom je ohraničenie a extrakcia najväčšieho objektu [6].

2.3. Hybridná metóda

Obe metódy, či už na báze farebnej filtrácie alebo na báze detekcie tvarov, majú rôzne výhody a nevýhody. Hybridná metóda v sebe spája výhody oboch metód a v procese spracovania využíva farebnú filtráciu, ale aj algoritmy na hľadanie známych tvarov (Obr. 5). Prvým krokom je farebná filtrácia a nasledujúce kroky sú totožné s metódou na báze detekcie tvarov.

Obr. 5 Princíp hybridnej metódy

3. Experimenty a výsledky

V našom experimente boli použité statické obrazy, ktoré boli zachytené z videa reálnej premávky. Každý zachytený obraz obsahoval najmenej jednu zvislú dopravnú značku. Bola navrhnutá databáza obsahujúca 43 referenčných dopravných značiek, ktoré boli nájdené vo videu reálnej premávky. Experiment pozostával z dvoch fáz – z detekcie a rozpoznávania. Hlavnou úlohou detekcie bolo nájsť kandidáta zvislej dopravnej značky z obrazov reálnej premávky. Boli použité tri vyššie uvedené detekčné metódy, teda sme získali 43 kandidátov pomocou každej metódy.

V druhej časti nášho experimentu boli získaní kandidáti zvislých dopravných značiek porovnávaní s referenčnými dopravnými značkami pomocou CC. Hlavnou funkciou CC je porovnávať vstupné obrazy na základe ich podobnosti. Vstupná scéna sa skladala z kandidáta dopravnej značky a referenčnej dopravnej značky. Optický výstup obsahuje vysoko lokalizované korelačné špičky a ich veľkosť odráža mieru podobnosti vstupných obrazov. Hodnota intenzity korelačných špičiek môže byť v rozsahu <0;255>, kde hodnota 255 znamená úplnú zhodu porovnávaných obrazov. Percentuálna zhoda porovnávaných obrazov je vyjadrená nasledujúcou rovnicou:

(1)

kde I₁ a I₂ sú intenzity jednotlivých korelačných špičiek. Ak bola hodnota zhody väčšia ako 70%, kandidát bol považovaný za dopravnú značku. Výsledné hodnoty priemerných intenzít a percentuálna zhoda medzi kandidátmi a referenčnými dopravnými značkami sú uvedené v Tabuľke I.

Tab.1 Výsledné hodnoty

Metóda		Farebná filtrácia	Detekcia tvarov	Hybrid
Detegované dopr. značky		34	35	40
Priemerná hodnota intenzít	Všetky	171,7	176,1	195,1
	Rozpoznané	190,1	195,8	200,2
Percentuálna zhoda	Všetky	67,3%	69,1%	76,5%
	Rozpoznané	74,9%	76,8%	78,5%

Záver

V tomto článku bol opísaný princíp činnosti systému na rozpoznávanie zvislých dopravných značiek. Daný systém používal v procese detekcie tri rôzne detekčné metódy, pomocou ktorých sme z videa reálnej premávky získali 3 sady kandidátov (43 vzoriek). Títo kandidáti boli pomocou CC porovnávaní v procese rozpoznávania s referenčnými dopravnými značkami, ktoré boli uložené v databáze a získali sme priemerné hodnoty intenzít. Najvyšší počet pozitívne rozpoznaných dopravných značiek (40) sme získali pomocou hybridnej metódy. Priemerná percentuálna zhoda rozpoznaných dopravných značiek bola 78.5%. Metóda na báze farebnej filtrácie a metóda na báze detekcie tvarov dosiahli podobné výsledky v počte pozitívne rozpoznaných dopravných značiek. Video reálnej premávky bolo získané pomocou farebnej HD videokamery v skorých ranných hodinách, teda svetelné podmienky mali významný vplyv na detekciu. Úspešnosť detekcie každej metódy závisí od svetelných podmienok ako aj od počasia.

Zoznam použitej literatúry

1. Š. Toth, “Recognition of the European Traffic Signs,” in TRANSCOM 2011: 9-th European conference of young research and scientific worker, Žilina, Slovakia, ISBN 978-80-554-0372-4., pp. 233-236, Jún 2011.
2. D. Soendroro, I. Supriana, “Traffic sign recognition with Colour-based Method, Shape-arc estimation on SVM,” International Conference on Electrical Engineering and Informatics (ICEEI), pp. 1-6, 17-19 Júl 2011.
3. C. Bahlmann, Y. Zhu, R. Visvanathan, M. Pellkofer, T. Koehler, “A system for traffic sign detection, tracking, and recognition using colour, shape, and motion information,” Proceedings. IEEE Intelligent Vehicles Symposium, 2005, pp. 255–260, 6–8 Jún 2005.
4. Z. Song, B. Zhao, Z. Zhu, M. Wang, E. Mao, “Research on Recognition Methods for Traffic Signs,” FGCN ’08. Second International Conference on Future Generation Communication and Networking, 2008, pp. 387–390, 13–15 Dec. 2008.
5. Š. Toth, E. Kršák, “Traffic Sign Recognition and Localization for databases of Traffic Signs,” Acta Electrotechnica et Informatica, Vol. 11, No. 4, 2011, 31-35, DOI: 10.2478/v10198-011-0039-2.
6. D. Solus, Ľ. Ovseník, J. Turán, “Image Pre-processing in Vertical Traffic Signs Detection System,” Carpathian Journal of Electronic and Computer Engineering, Vol. 8, No. 1, 2015.

---

Spoluautorom článku je doc. Ing. Ľuboš Ovseník, PhD., Katedra elektroniky a multimediálnych telekomunikácií, FEI TUKE, Slovenská republika