Gépi tanulás – Új mintafelismerő módszerek fejlesztése

A Robotika laborban számos új osztályozó és mintafelismerő módszer került kifejlesztésre az elmúlt évek során. Ezek jellemzően valamiféle lágyszámításos módszerrel (pl. fuzzy logika, fuzzy halmazok) vizsgálják meg a bemeneti adatokat és választják ki a már ismert modellek közül a leginkább rájuk illeszkedőt. Itt ezek közül mutatunk be néhányat.

FHM – Fuzzy Hypermátrixok

1. ábra: Az FHM osztályozó szerkezete egy 2 dimenziós, 3 osztályos problémára – (a) adott 1…3 osztályokba tartozó ismert minták helye a problématérben, (b)-(d) az adott osztályokhoz rendelt fuzzy függvény értékek (0 és 100 között)

  • Egy nagyon egyszerűen implementálható és gyors osztályozó, ami közvetlenül rendel a bemenetekhez fuzzy értékeket (ezáltal minimalizálva a felismeréshez szükséges időt)

  • cserébe viszont az egész problémateret a memóriában kell tartani (többdimenziós mátrixok formájában), ami nagyon nagy lehet.

  • Ideális alacsony paraméterszámmal rendelkező bemenetű problémákra, mint pl. képeken adott színárnyalatú képpontok megtalálása

SFIT – Szekvenciális Fuzzy Indexelő Táblák

2. ábra: Az SFIT osztályozó szerkezete egy N dimenziós problémára

  • Egy szintén gyors osztályozó, ami a bemeneti paramétereket használva lépésről lépésre szűkíti le a problématérbeli keresési területet

  • N db paraméter esetén N db lépésben megadja a hozzá legközelebb eső modellt, vagy egy statisztikai alapon becsült legjobban hasonlító modellt.

  • Kicsit lassabb, mint az FHM osztályozó, de bonyolultabb (magasabb dimenziójú) problémákra is alkalmazható.

  • Több változata is kifejlesztésre került, pl. az ESFIT (Extended SFIT) változó hosszúságú mintákat képes felismerni, míg a SiSFIT (Szimplifikált SFIT) egy újabb, rotáció-invariáns változat.

Fuzzy Alakzatfelismerő

3. ábra: Egy kéz körvonalának felépítése – (a) Canny éldetektor kimenete, (b) képpontokból épített fák visszametszésével előállt egyszerűsített szekvenciák, (c) az egyesített kontúr.

  • Szintén kifejlesztésre került egy fuzzy alakzatfelismerő, ami adott detektált (pl. FHM által megjelölt) területek körvonalának elemzésére szolgál.

  • A kontúrvonalak megjelölése Canny éldetektorral történik

  • A kontúrvonalakat alkotó képpontokból egy-egy pixelfa készül, melyek egyszerűsítéséből és felesleges ágainak visszametszéséből, majd egyesítéséből áll elő az alak kontúrja.

4. ábra: Lényeges pontok (zöld) meghatározása egy kéz kontúron, különböző együttható beállítások mellett.

  • Az alak kontúrját ezután elemezni lehet.

  • Lényeges pont az a pont, ahol szignifikáns változás történik a körvonal irányában (pl. sarok). Az egyenletes terítés érdekében bizonyos (szabadon választott) hosszonként is kijelölésre kerülnek lényeges pontok.

  • A lényeges képpontokat analizáljuk az őket megelőző és követő képpontok relatív helyzete alapján:

    • közbezárt szög

    • előző ponttól való távolság és következő ponttól való távolság aránya

    • előző ponttól való távolság és a teljes alakzat átmérőjének aránya

  • Ennek megfelelően 0…149 címkét kapnak.

  • A címke sorozatok SFIT osztályozóval kerülnek feldolgozásra, az alakzatok (pl. kéztartás) felismerése céljából.

Egy gyakorlati alkalmazás – templomok, épületek tető alapján való azonosítása drónfotók alapján

Az említett, egyetemi fejlesztésű mintafelismerő módszerekre (FHM és SiSFIT) és más képfeldolgozási módszerekre építve fejlesztés alatt áll egy gyakorlati alkalmazás is, aminek célja drónfelvételek alapján épületek (pl. templomok) tető alak alapján való felismerése.

5. ábra – Az alakzat alapján való azonosítás folyamata

A rendszer működése a következőképpen történik:

6. ábra – Egy bemeneti kép (Bíňa körtemplom)

A tanítás során egyrészt betanításra kerülnek az FHM színmodellek a felismerendő objektumok (tetők) szín alapján, valamint a SiSFIT osztályozó a felismerendő alakzat szekvenciákkal.

7. ábra – Az FHM kimenete

1. A bemeneti képen az FHM osztályozó segítségével nagy sebességgel (1 művelet/pixel) megtalálhatók a keresett színárnyalatú képpontok. Az így kapott, jellemzően zajos képet sűrűség alapú szűrővel és morfológiai operátorokkal zajmentesítjük.

8. ábra – A zajszűrés eredménye

2. A megtalált alakzatokhoz kinyerjük azok körvonalait a fuzzy alakfelismerővel.

9. ábra – Az alakzat kontúrja a beazonosított lényeges pontokkal (alakleírokkal)

3. Az alakzat kontúrját reprezentáló képpont szekvencián végigmenve megkeressük a lényeges pontokat. A SiSFIT osztályozó az így kapott címke szekvenciához leginkább hasonló, ismert modellt megkeresve azonosítja az alakzatot.

10. ábra – Egy további példa: Klížska Nemá templom tetejéhez meghatározott alakleíró szekvencia

Kutatással kapcsolatos cikkek:

KONFERENCIACIKK: Shape Recognition in Drone Images Using Simplified Fuzzy Indexing Tables

B. Tusor, O. Takac, A. Molnar, S. Gubo, A. R. Várkonyi-Kóczy: Shape Recognition in Drone Images Using Simplified Fuzzy Indexing Tables. In IEEE 18th World Symposium on Applied Machine Intelligence and Informatics : proceedings. 2020. pp. 129-134. ISBN 978-1-7281-3149-8 link

KÖNYVFEJEZET: An Indexed Rule-Based Fuzzy Color Filtering Method

B. Tusor, A. R. Várkonyi-Kóczy, J. T. Tóth: An Indexed Rule-Based Fuzzy Color Filtering Method. In Recent Advances in Intelligent Engineering (Topics in Intelligent Engineering and Informatics 14). Cham, CH : Springer, pp. 299-307, 2020. ISSN 2193-9411 link

KONFERENCIACIKK: A Fuzzy Data Structure for Variable Length Data and Missing Value Classification

A. R. Várkonyi-Kóczy, B. Tusor, J. T. Tóth: A Fuzzy Data Structure for Variable Length Data and Missing Value Classification. In Recent Advances in Technology Research and Education (Advances in Intelligent Systems and Computing 660). Cham, CH : Springer, pp. 297-304, 2018. ISSN 2194-5357 link

KONFERENCIACIKK, KÖNYVFEJEZET: A Fuzzy Shape Extraction Method

A. R. Várkonyi-Kóczy, B. Tusor, J. T. Tóth: A Fuzzy Shape Extraction Method. In Recent Developments and the New Direction in Soft-Computing Foundations and Applications (Studies in Fuzziness and Soft Computing 361). Cham, CH : Springer, pp. 383-395, 2018. ISSN 1434-9922 link