Разпознаване на маркери за опасни вещества посредством мобилен робот dangerous substances placards recognition using mobile robot



Дата19.01.2017
Размер122.93 Kb.
#13093
РАЗПОЗНАВАНЕ НА МАРКЕРИ ЗА ОПАСНИ ВЕЩЕСТВА ПОСРЕДСТВОМ МОБИЛЕН РОБОТ

Dangerous substances placards recognition using mobile robot
М. Младенов, М. Мустафа
Катедра Автоматика, информационна и управляваща техника, Русенски Университет “Ангел Кънчев”, ул. Студентска 8, тел.+359 82 888 747, e-mail: mladenov@uni-ruse.bg, mmustafa@uni-ruse.bg

Abstract: A possibility for dangerous substances placards recognition using digital image analysis is presented in this paper. The placard images are obtained by CCD cameras mounted on a mobile robot. An approach for formal description of placards on the basis of main placard characteristics, that can be extracted from images, is proposed. Three classifiers for placards recognition based on artificial neural networks and kNN algorithm are compared. The classifier training is implemented in two variants – using stylized placards descriptions only and adding corrupted placards descriptions. The classification task is divided in two stages. The first stage is related to corruption level estimation and rejection of inadmissible corrupted descriptions. The corruption of placard descriptions is caused by errors in placard characteristics identification. During the second stage the recognition of placard descriptions is carried out through classifiers trained by stylized placard descriptions. The classifiers assure correct classification in the training stage. The PNN classifier gives smallest error when tested with corrupted placard descriptions. The maximum testing error of this classifier, when placard description has two wrongly determined components, is 4,76%, which is 7,14% and 52,7% less than kNN and BPN classifiers respectively.
Keywords: mobile robots, placards recognition, classifiers, computer vision


въведение

Една от основните мисии на системата RESCUER, разработвана в рамките на проекта RESCUER (IST-2003-511492, RESCUER), е да изследва зоната на инцидента, да открива различни източници на риск (ИР), да оценява техните характеристики и да формира оценка за степента на опасност, обуславяна от откритите в средата ИР в конкретните условия [1]. Комплексната оценка на зоната на инцидента е изходна информация за редица действия, свързани с ограничаване на последствията от намиращите се в зоната ИР и тяхното обезвреждане, както и с организирането на операции, свързани със спасяването на оцелели. Тя включва следното: откриване и локализиране на различни ИР, като локални разрушения и пожари, пропадания в терена, импровизирани експлозиви, невзривени боеприпаси, опасни газове, разливи на опасни течни флуиди, твърди опасни вещества, опасни субстанции, източници на радиация и други; оценяване на основни характеристики на откритите в средата ИР; определяне на степента на опасност, която те създават в средата при конкретните условия; откриване и локализиране на оцелели; формиране на локална карта на зоната на инцидента [12,14].


Идентифицирането на различни източници на риск в системата RESCUER може да се извършва по няколко начина: автоматично въз основа на данни, получени от специализираните сензори; автоматично въз основа на видими изображения на специализирани маркери, чрез които се обозначават различни опасни вещества [15]; от оператора въз основа на визуален анализ на изображението на средата и наличните в нея обекти.
Откриването, идентифицирането и локализирането на източници на риск посредством мобилни роботи е актуално направление в роботиката. Известни са редица разработки на разузнавателни мобилни роботи [2,6,9,18,19], чрез които могат да се откриват отделни източници на риск и оцелели, както и да се формира локална карта на зоната на инцидента. За разлика от известните решения системата RESCUER дава възможност да се формира комплексна оценка на изследваната среда, включваща посочените по-горе компоненти. В известните варианти на разузнавателни мобилни роботи липсва възможност за автоматично разпознаване на опасни вещества по изображения на маркери.
Целта на настоящата работа е да представи подхода, методите и процедурите за автоматично разпознаване на изображения на маркери за опасни вещества. Резултатите от разпознати маркери са необходими за формиране на локалната карта на зоната на инцидента, в която откритите източници на риск се изобразяват с тяхната позиция в тримерна координатна система и изображението на маркера [12].

ФОРМИРАНЕ НА ИЗОБРАЖЕНИЯ НА МАРКЕРИТЕ

Системата RESCUER включва мобилен робот (МР) и мобилен център за управление (МЦУ). Мобилният робот се използва основно за изследване на зоната на инцидента. Той е снабден с различни специализирани сензори за идентифициране на източници на риск, както и със стерео система за техническо зрение (СТЗ). Навигацията на робота и управлението на СТЗ се извършва от оператор, намиращ се в МЦУ. Чрез стерео дисплей операторът получава непрекъснато стерео картина на изследваната среда. При откриване на източници на риск, достатъчно отдалечени от робота, за които не може да бъде получена информация от специализираните сензори, операторът стартира процедура за разпознаване на ИР посредством анализ на неговото изображение. Нормално ИР трябва да бъдат обозначени със специализирани маркери [15].



Формално представяне на описанията на маркерите

Изображения на маркери за различни опасни вещества са представени на фиг. 1.



Фиг. 1. Маркери за опасни вещества


Анализът на изображенията дава възможност да бъдат отделени основните признаци, на базата на които е възможно и целесъобразно да бъдат структурирани формални описания на маркерите. Това са:

  • основен цвят на маркера. В международно възприетата система [15] за изобразяване на маркерите са приети следните основни цветови фонове: оранжев, червен, зелен, син, бял и жълт;

  • форма на външния контур на маркера, както и форма на съставните му елементи. По този признак маркерите могат да бъдат групирани в следните основни групи: квадратна форма, два триъгълника с еднакъв цвят, два триъгълника с различни цветове, квадрат със щрихи и триъгълник със щрихи (фиг. 2).

Фиг. 2. Маркери за опасни вещества с различна форма




  • наличието на специфични символи в рамките на маркера. В различните варианти на маркери се използват символите, показани на фиг. 3;


Фиг. 3. Символи използвани в маркерите за опасни вещества




  • наличие на втори контур в изображението;

  • наличие на надписи. Вариантите на маркерите включват: маркери без надпис; надпис от една дума; надпис на два реда и надпис на един ред с две думи (фиг. 4).

Фиг. 4. Различни варианти на надписи в маркерите


Многомерните векторни описания имат вида:

x=(x1; x2; x3; x4; x5; x6)

където: x1 – цвят; x2 – форма; x3 – втори контур; x4 – символ в горната част на маркера; x5 – символ в долната част; x6 – вид на надписа.
Компонентите на тези векторни описания се представят с целочислени стойности, както е показано в таблици 1, 2, 3 и 4.
Таблица 1


Цветове

Код

червено

1

оранжево

2

зелено

3

жълто

4

синьо

5

бяло

6

Таблица 2



Съставни елементи
















Код

1

2

3

4

5

Таблица 3



Втори контур / Символ в горната част / Символ в долната част

Код

открит

1

не е открит

0

Таблица 4



Надписи

Код

без надпис

0

на един ред

1

на два реда

2

от две думи

3

Примерно формално представяне на няколко маркера е представено в таблица 5.


Таблица 5

Маркер









Код

2,1,1,1,1,0

1,2,0,0,0,1

4,3,1,1,1,0

1,4,1,1,1,2



Определяне на основните признаци в описанията на маркерите

За отделянето на всяка от характеристиките на маркерите са разработени процедури, използващи стандарти процедури от компютърното зрение и невронни мрежи.


Процедурата за отделяне на цветовите характеристики се основава на невронни мрежи, чрез които се сегментират цветните изображения. Дефинирани са шест цвята, които участват в маркерите и за тях са съставени обучаващи извадки, с които се обучават невронните мрежи. Данните за обучаващите извадки са получени от цветни изображения на маркерите, формирани при няколко различни източника на светлина (лампа с нажежаема жичка, луминесцентна лампа, дневна светлина) и при пет нива на интензивност на светлината. Така обучените невронни мрежи реализират първата процедура при анализа на изображенията, в които се очаква да има потенциални маркери. Ако в резултат на тази процедура не са открити обектни зони с характерни цветови характеристики, се прекратява по нататъшният анализ на изображението.
Втората процедура служи за определяне на формата на обектите, в които са открити характерни за маркерите цветови зони. Ако е открит обект с характерна цветова зона, се прави бинаризация на обектната зона. Анализира се контурът на обектната зона и ако съвпада с едни от представените в таблица 2 контури, процедурата продължава с търсене на втори контур, откриване на символи и надписи в рамките на обектната зона.
За откриването на втори контур, горен и долен символ и надпис, се използва следната процедура. В изображенията на еталонните маркери се локализират зоните, включващи посочените елементи. В анализираното изображение се откриват съответните зони на базата на цветови анализ. Сравняват се позициите и площите на откритите елементи с позициите и площите на тези елементи в еталона. При откриване на съвпадение с подпрагова стойност на грешката се взема решение за наличието на съответния елемент в изображението на маркера.

Инструментариум за разпознаване на описания на маркери



Избор на класификационна стратегия. В информационната система ERGO [15] различните видове опасни вещества са групирани в девет класа, всеки от който е разделен на няколко подкласа. За всеки от подкласовете се използва един или няколко маркера за обозначаване на опасните вещества, влизащи в този подклас. Целта на процедурата за разпознаване е въз основа на структурираното за даден неизвестен маркер описание да се определи принадлежността на маркера към един от дефинираните девет класа. Допълнително са специфицирани още четири класа, в които се включват маркери, чиито описания са еднакви, но по принцип принадлежат към различни класове опасни вещества. При такива маркери правилото е да се отнесат към клас опасни вещества, обуславящи по-висок риск в средата.
За решаване на тази класификационна задача могат да бъдат използвани различни подходи.
Първият подход е да се структурират еталонни описания на всички видове маркери. Тези еталонни описания се групират в посочените тринадесет класа и подходящ класификатор се обучава за разпознаване на тези еталонни описания. В реални условия на формиране на описанията на маркерите е напълно възможно да се получи грешка при определяне на една или повече компоненти в описанието на неизвестен маркер. Тези грешки се дължат на процедурите за разпознаване на посочените по-горе основни характеристики на маркерите. По принцип, ако не са разпознати едновременно първите две компоненти в описанието, анализираният обект от изображението се отклонява от класификация (приема се, че това не е изображение на маркер). Предварителните изследвания показват, че обикновено се получават грешки при оценяването на трета, четвърта и пета компонента на описанието. Приемаме, че са допустими грешки в оценката на една или максимум на две от компонентите в описанието. При грешки в три и повече компоненти считаме, че имаме недопустим шум. Това налага за отхвърляне на шумовите вектори да се разработи класификационна процедура, която да може да оценява броя на компонентите, в които има грешки в описанието в сравнение с еталоните. Вектори, в които липсват грешки в описанието или грешките са в до две от компонентите, трябва да бъдат подложени на класификация. Очаква се, че подходящо избраният класификатор ще разпознава коректно описанията, съответстващи на еталоните и ще асоциира коректно описания с грешки в една или две от компонентите към съответния еталон.
Вторият възможен подход е да се подбере класификатор, който коректно разпознава описание без, с една или с две грешки в описанието и отхвърля входни вектори в които има грешки в три и повече от компонентите.
Избор на подходящи класификатори. При варианта, при който се използва класификатор, обучен с еталоните, може да се разглеждат следните подходящи варианти за класификатор – Backpropagation Network (BPN), Probabilistic Neural Network (PNN) и kNN алгоритъм [4,16]. Изборът на тези класификатори се обуславя от факта, че еталоните представляват многокомпонентни вектори с целочислени стойности на компонентите и обучението на класификатора се извършва чрез еталонните описания. Описания с грешки в компонентите се асоциират към един от зададените еталони. Популярните стратегии за класификация, като дискриминантен анализ [11], Бейсов класификатор [3,10], Support Vector Machine [5,17], кластерен анализ [13] и други [4,7,8,16], които строят граници между класовете, в случая не са подходящи, поради това, че липсва геометрична представа за класовете и тяхното разположение в пространството. Поради характера на описанията също не са подходящи класификатори, които асоциират към център на клас и използват данни за вероятностното разпределениe на векторите от класовете.

Сравнителен анализ на класификаторите

За избор на окончателен вариант на класификатор е направено следното изследване. Трите класификатора са обучени с еталони от тринадесетте класа и са тествани с зашумени вектори с грешки в една, две и в три от компонентите. Резултатите от класификацията са представена в таблица 5.


Таблица 6

Класификатор

kNN

PNN

BPN

тест с описания с един грешен

елемент


0,6

1,19

29,1

тест с описания с два грешни

елемента


11,90

4,76

57,48

тест с описания с три грешни

елемента


35,71

30,36

80,95

Грешката от класификация представлява относителния брой на некоректно класифицирани входни вектори.


Анализът на получените резултати показва, че с приемливи грешки се разпознават описанията, съответстващи на еталоните и имащи по една или две грешки в компонентите на описанието. При наличие на три грешки в описанията класификационната грешка нараства значително и анализът показва, че това се дължи не на отхвърляне на такива описания, а предимно на асоциирането на тези описания към един от основните тринадесет класа. Това означава, че използването на тази класификационна стратегия при неизвестни входни вектори, за които не се знае в колко компоненти има грешка, няма да бъде ефективно.
Това налага при решаване на разглежданата класификационна задача да бъде използван първият подход, описан по-горе, или предварително да бъде определен броят грешки в описанието на входния вектор в сравнение с еталона, да бъдат отклонени от последваща класификация векторите с три и повече грешки, а векторите, в които липсват грешки или има една или две грешки в описанието, да бъдат подложени на класификация чрез избрания от таблица 6 класификатор с минимална класификационна грешка. За определяне на броя на грешките в описанието отново се използва един от класификаторите, представени в таблица 6. В случая те се обучават да разпознават четири класа: еталонни описания, описания с една грешка, описания с две и описания с три грешки в компонентите на входния вектор.
Резултатите от класификацията на входните описания в дефинираните по горе четири класа, са представени в таблица 7.
Таблица 7

Класификатор

kNN

PNN

BPN

Грешка

3,57

3,57

4,46

Получените резултати показват, че kNN и PNN дават най-малки грешки.


Ако входният вектор принадлежи към един от първите три класа, той се подава към класификатора за идентифициране на класа на маркера. В противен случай входният вектор се отхвърля.

заключение

Предложеният модел на описание на маркерите за опасни вещества, комбиниран с разработената стратегия и съответните класификатори, дават ефективно решение за разпознаване на маркерите.


При разглежданите условия, разпознаването на маркери в общия случай, без отхвърляне на недопустимите зашумявания, е с неприемлива грешка. Докато разпознаването на еталонни описания и на вектори с една и две грешки в описанието може да се счита за достатъчно коректно. Това означава, че използването на класификационна стратегия, включваща предварителното определяне на броя на грешките в описанието, отхвърлянето на вектори с недопустимо зашумяване и асоциирането на останалите вектори към един от зададените еталони, е целесъобразно при разглежданите условия.
При използване на тази стратегия, класификатор PNN осигурява коректно разпознаване на описанията, съответстващи на еталоните, а точността при разпознаване на описания с една и две грешки, е съответно 1,19% и 4,76%.

ЛИтературни източници





  1. Младенов М. Комплексна оценка на опасни среди по данни от мултикомпонентна сензорна система, базирана върху мобилен робот. Автоматика и информатика, №. 1, 2010, с. 45-48.

  2. Baker M., R. Casey, B. Keyes, H. A. Yanco. Improved Interfaces for Human-Robot Interaction in Urban Search and Rescue. Proceedings of the IEEE Conference on Systems, Man and Cybernetics, October 2004.

  3. Bayesian Classification. http://www.cs.sunysb.edu/ /spring2007/group8_final.ppt.

  4. Bishop C. Pattern Recognition and Machine Learning, Springer, 2006.

  5. Cristianini N. J. Shawe-Taylor. An Introduction to Support Vector Machines and other kernel-based learning methods. Cambridge University Press, 2000.

  6. Dailey, M.N., M. Parnichkun. Simultaneous localization and mapping with stereo vision. In Proceedings of the International Conference on Automation, Robotics, and Computer Vision, 2006.

  7. Duda R., P. Hart, D. Stork. Pattern Classification. Wiley, 2001.

  8. Herbrich R. Learning Kernel Classifiers: Theory and Algorithms. MIT Press, 2001.

  9. Huang G. Q., A. B. Rad, Y. K. Wong. A new solution to map dynamic indoor environments. In International Journal of Advanced Robotic Systems, Vol. 3, 2006.

  10. Kotsiantis S., P. Pintelas. Increasing the Classification Accuracy of Simple Bayesian Classifier. Lecture Notes in Artificial Intelligence, AIMSA 2004, Springer-Verlag, Vol. 3192, 2004, pp. 198–207.

  11. Mika, S. et al. Fisher Discriminant Analysis with Kernels. IEEE Conference on Neural Networks for Signal Processing, 1999, pp. 41–48.

  12. Mladenov, M., M. Mustafa. RESCUER technology for incident area mapping. Information Technologies and Control, №. 3, 2009, pp. 33-36.

  13. Moore A. K-means and Hierarchical Clustering Tutorial. http://www.autonlab.org/ tutorials/kmeans.html.

  14. Noykov Sv., Ch. Roumenin. Occupancy grids building by sonar and mobile robot. Robotics and Autonomous Systems, volume 55, issue 2, 2007, pp. 162-175.

  15. The Emergency Response Guidebook. washttp://www.ehso.com/hmerg.php.

  16. Theodoridis S., K. Koutroumbas. Pattern Recognition (4th edition), Elsevier, 2009.

  17. Vapnik V. The Nature of Statistical Learning Theory. Springer-Verlag, 1995.

  18. Wei S., Y. Yagi, M. Yachda. Building local floor map by use of ultrasonic and omni-directional vision sensor. IEEE Int. Conf. On Robotics and Automation, 1998, pp. 2548-2553.

  19. Yanco H. A., M. Baker, R. Casey, B. Keyes, P. Thoren, J. L. Drury, D. A. Few, C. Nielsen and D. J. Bruemmer. Analysis of Human-Robot Interaction for Urban Search and Rescue. In Proceedings of the IEEE International Workshop on Safety, Security, and Rescue Robotics, Gaithersburg, MD., 2006, pp. 22-24.


Изследванията са подкрепени по договор № BG051PO001-3.3.04/28, „Подкрепа за развитие на научните кадри в областта на инженерните научни изследвания и иновациите”. Проектът се осъществява с финансовата подкрепа на Оперативна програма „Развитие на човешките ресурси” 2007-2013, съфинансирана от Европейския социален фонд на Европейския съюз“.




Каталог: files -> article
article -> Характеристики на горивата за двигатели с вътрешно горене ic engines fuel characteristics
article -> Утвърдил весела неделчева
article -> Конкурс за проект, при реализирането на проекти, финансирани със средства от европейските фондове, по реда на зоп
article -> Христо Смирненски
article -> Информация по чл. 4, ал. 3 от Наредбата за овос
article -> Алгоритми за настройване триточково осветление при наблюдение или заснемане на сценични обекти
article -> Analysis of reliability of the chassis of light lorry during operation
article -> A decision for plant- growing in large agricultural farms by spreadsheets
article -> International Scientific Conference 18 – 19 November 2011, gabrovo


Сподели с приятели:




©obuch.info 2024
отнасят до администрацията

    Начална страница