1

Raport ș tiint ific șintetic al proiectului CNCS – UEFISCDI, Project No. PN-II-RU-TE-2011-3-0005 Controlul la diștant a a robot ilor bazat pe un șiștem de

comanda reconfigurabil Marton Lorinc - Univerșitatea Sapientia

http://www.mș.șapientia.ro/~martonl/MartonL_Reșearch_TE.htm

Cuprins

Introducere ........................................................................................................................................2

Obiective specifice .............................................................................................................................3

Metode folosite .................................................................................................................................4

Soluțiile dezvoltate ............................................................................................................................4

Etapa 1 ...................................................................................................................................................... 4

1-1. Algoritmi reconfigurabili pentru controlul la distanță a sistemelor robotice ................................ 4

1-2. Algoritmi și protocoale de transmisie în timp real pentru transmisii video prin rețea aplicate în

sisteme de teleoperare ......................................................................................................................... 6

1-3. Mediu de simulare pentru sistemele de comandă robotice comandate la distanță .................... 6

Etapa 2 ...................................................................................................................................................... 7

2-1. Algoritmi reconfigurabili pentru controlul la distanță a roboților având în bucla de reglare

operatorul uman ................................................................................................................................... 7

2-2. Algoritmi și protocoale de transmisii video pentru sisteme de teleoperare ................................. 8

2-3. Mediu de testare pentru sisteme de teleoperare ......................................................................... 9

Etapa 3 .................................................................................................................................................... 10

3-1. Algoritm de teleoperare pentru roiuri de roboți ......................................................................... 10

3-2. Controlul traficului pe rețea pentru sisteme telerobotice implementate pe rețele fără fir ....... 11

3-3. Pachet de program pentru de controlul la distanță a sistemelor robotice ................................. 12

Concluzii .......................................................................................................................................... 12

Lista Publicațiilor ..................................................................................... Error! Bookmark not defined.

2

Introducere Obiectivul principal al proiectului de cercetare a fost dezvoltarea unor algoritmi de control și

protocoale de comunicații pentru sisteme robotice, care sunt aplicate în medii greu accesibile

pentru om și sunt supervizate prin informații video. Metodele dezvoltate trebuie să ia în

considerare starea canalelor de comunicații respectiv faptul că bucla de reglare include și

operatorul uman.

Pe parcursul proiectului de cercetare ne-am concentrat pe sisteme robotice comandate la distanță

prin intermediul Internetului și a rețelelor fără fir folosind metoda teleoperării bilaterale.

Teleoperarea bilaterală permite comanda la distanță a roboților în medii periculoase, greu

accesibile. Principiul acestei metode se poate rezuma astfel: forța generată de operatorul uman

inițiază mișcarea unui robot master. Semnalele de poziție și viteză a robotului master sunt

transmise prin reţea la robotul slave care urmărește mișcarea robotului master. Când robotul

slave intră în contact cu mediul înconjurător, forța sau momentul de reacție perceput de robotul

slave este transmis înapoi prin rețea și aplicat robotului master. Astfel operatorul uman are la

dispoziție și informația despre forța de contact pe lângă informația video.

Pe parcursul proiectării și implementării sistemelor de teleoperare bilaterale cea mai importantă

problemă este legată de stabilitatea sistemului de teleoperare în prezența întârzierilor. A doua

problemă este legată de transparența sistemului de teleoperare și anume cuplarea cât mai bună a

operatorului uman ți a robotului aflat la distanță prin transmiterea cât mai fiabilă a semnalelor de

poziţie şi viteză, respectiv a semnalelor de forță în direcția opusă (coordonare de poziţie,

reflectarea transparentă a forței). Pentru detalii vezi de exemplu: P. F. Hokajem, M. W. Spong,

Bilateral Teleoperation: An historical survey, Automatica 42, 2006, pp 2025 – 2057.

În sistemele de teleoperare bilaterală o problemă deschisă, neabordată a fost analiza influenței

transmisiei video asupra performanțele de teleoperare respectiv dezvoltarea unor algoritmi de

reglare a fluxurilor de date în sistemele de teleoperare care asigură stabilitatea și transparența

teleoperarii.

Astfel, pe parcursul proiectului de cercetare ne-am focusat pe:

- Dezvoltarea unor algoritmi de control reconfigurabili pentru sisteme de teleoperare, care

pe lângă stabilitatea sistemelor de teleoperare, asigură performanțe de teleoperare

superioare luând în considerare nevoile operatorul uman.

- Dezvoltarea unor metode de comunicare, algoritmi de reglare a fluxurilor de date video

care facilitează teleoperarea transparentă și stabilă.

- Extinderea metodelor dezvoltate pentru sisteme robotice complexe: sisteme cu mai multe

camere video, sisteme multirobot.

- Dezvoltarea unui pachet de programe, care permite validarea tuturor algoritmilor,

metodelor dezvoltați în situații realistice.

3

Obiective specifice În contractul de cercetare am prevăzut următoarele obiective:

„First year of research

Algorithms for WLAN based networked robot control

Real time transmission algorithms and protocols for reliable video transmission over

networks

Simulation environment for WLAN based networked robot control

2-3 conference papers

Second year of research

Algorithms for reconfigurable networked robot control with human in the loop

Video transmission algorithms and protocols in multiple camera environment

Experimental setup for human in the loop experiments

2-3 conference papers, 1-2 journal papers”

Thir year of research

Algorithms for reconfigurable networked robot control for mobile robot agents

Real time video transmission algorithms and protocols over WLAN

Experimental setup for networked control of mobile robot agents

2-3 conference papers, 2-3 journal papers“

1. Obiectivele “Algorithms for WLAN based networked robot control” (primul an),

“Algorithms for reconfigurable networked robot control with human in the loop” (al doilea an)

respectiv “Algorithms for reconfigurable networked robot control for mobile robot agents” (al

treilea an) se referă la proiectarea și implementarea unor metode de reglare care garantează

stabilitatea buclei de reglare ce include operatorul uman și funcționează peste rețele cu

parametrii variabili. Reconfigurabil înseamnă că starea canalelor de comunicații este monitorizat

în mod continuu și, în funcție de parametrii de rețea estimați, algoritmii de reglare se adaptează

automat la starea rețelei.

Partea „networked robot control“ se referă la extinderea metodei pentru sisteme multirobot. În

general fiecare agent din grupul de roboți are informații limitate despre comportarea întregului

roi de roboți, cunoaște doar despre starea vecinilor săi. Din punctul de vedere al teleoperării la

aceste sisteme o problemă importantă reprezintă controlul întregului grup de către un singur

operator uman.

2. Obiectivele “Real time transmission algorithms and protocols for reliable video transmission”

(primul an), “Video transmission algorithms and protocols in multiple camera environment” (al

doilea an) și “Real time video transmission algorithms and protocols over WLAN” (al treilea an)

urmăresc rezolvarea problemelor generate de transmiterea unor cantități mari de date de către

camerele video de monitorizare a robotului comandat, care influențează direct parametrii

canalului de comunicații folosit pentru comanda robotului. Astfel trebuie să dezvoltăm

protocoale de comunicații care ajustează fluxul de date video astfel încât comunicația în canalele

critice de comunicare între robot și operatorul uman să nu fie perturbată. Pentru teleoperarea

4

sistemelor robotice mobile echipate cu camere video trebuie luate în considerare caracteristicile

rețelelor fără fir, de exemplu schimbarea în timp a puterii semnalului radio. Metodele dezvoltate

trebuie să fie aplicabile și în sisteme cu mai multe surse video.

3. Obiectivele „Simulation environment for WLAN based networked robot control” (primul an),

„Experimental setup for human in the loop experiments” (al doilea an) “Experimental setup for

networked control of mobile robot agents“: Pentru verificarea, validarea metodelor şi

protocoalelor dezvoltate este necesar proiectarea, implementarea și finalizarea unui pachet de

programe modulare și a unei medii de simulare care implementează comanda la distanță în timp

real a roboților prin rețele WLAN și Internet. Programele trebuie să implementeze metodele,

algoritmii de comandă, protocoalele de comunicații dezvoltate pe parcursul proiectului de

cercetare. Pachetul de programe trebuie testat în diferite condiții reale.

Metode folosite Pentru proiectarea algoritmilor de control al sistemelor de teleoperare bilaterală am folosit teoria

sistemelor pasive și disipative, metode de detectare a erorii în sisteme de reglare neliniare (fault

detection).

Pentru proiectarea algoritmilor de reglare a fluxurilor de date video în sisteme de teleoperare am

folosit metode de optimizare multicriterială cu restricții respectiv metode de control optimal

neliniar.

Pentru extinderea algoritmilor pentru sisteme multirobot am folosit metode de control dezvoltate

pentru roiuri de roboți (swarm robotics).

Pachetele de programe au fost dezvoltate în limbaj C++, am folosit biblioteca Boost.Asio pentru

implementarea comunicației între entitățile sistemelor de teleoperare. La unele probleme

specifice am folosit mediul de simulare V-Rep și mediul de programare Matlab.

Algoritmii de teleoperare dezvoltați au fost testate pe manipulatori mobili KUKA youBot (braț

de robot și platformă mobilă), dispozitive Haptice Sensable Phantom Omni respectiv Novint

Falcon.

Pentru validarea măsurătorilor efectuate în rețele de calculatoare am folosit dispozitive de

capturare și analiză a pachetelor de rețea Aircap NX.

Soluțiile dezvoltate

Etapa 1

1-1. Algoritmi reconfigurabili pentru controlul la distanță a sistemelor robotice

1-1.a. Algoritm de control pentru sisteme de teleoperare bilaterală

Am dezvoltat un algoritm de control pentru sisteme de teleoperare bilaterală tip estimator de

pasivitate- regulator de pasivitate care, pe lângă stabilitate și transparență, garantează

siguranța operatorului uman aflat în spațiul de lucru al roboților.

5

Algoritmul de control este proiectat astfel încât toate semnalele de forță și viteză din sistemul de

teleoperare sunt sub o limită predefinită; astfel cerințele de siguranță prescrise de standardul

ISO-10218 pot fi satisfăcute. Următoarele condiții trebuie îndeplinite de către roboți pentru a

asigura siguranța operatorului uman: viteza robotului trebuie să fie sub 0.25 m/sec și forța

maximă statică exercitată de robot trebuie să fie sub 150N sau puterea dinamică maximă a

sistemului robotic trebuie să fie sub 80W. Am demonstrat că stabilitatea sistemelor de

teleoperare poate fi garantată dacă semnalele, care sunt transmise prin rețea între master și slave

au o rată de variație (derivata de ordinul 1) limitată. Valoarea maximă a ratei semnalelor

transmise depinde de limitele de viteză și forță, respectiv de întârzierea maximă în rețea. Am

arătat că algoritmul garantează stabilitatea și în cazul în care unele pachete de date se pierd în

rețea (problemă specifică rețelelor WLAN). Am dezvoltat un algoritm nou de filtrare pentru a

garanta transparența sistemelor de teleoperare cu semnale având rată limitată. Pentru

demonstrarea matematică a stabilității sistemului de teleoperare am folosit teoria stabilității

sistemelor pasive. Algoritmul de comandă dezvoltat este reconfigurabil în sensul că estimatorul

de pasivitate monitorizează în mod continuu dacă sistemul de teleoperare a ajuns la limita

instabilității. Regulatorul de pasivitate este activat doar când observatorul arată că sistemul a

ajuns în stare critică. Aplicabilitatea algoritmului a fost demonstrată prin experimente efectuate

în timp real.

Pentru detalii vezi publicația [1-3].

1-1.b. O aplicare a algoritmului de comandă dezvoltat

Am arătat că algoritmul prezentat în 1-1.a. rezolvă problema legată de implementabilitatea

algoritmilor clasici tip estimator de pasivitate - regulator de pasivitate și anume garantează că

semnalele de comandă rămân limitate în orice circumstanță.

În algoritmi de control tip estimator de pasivitate - regulator de pasivitate clasici, datorită

structurii specifice a regulatorului de pasivitate, semnalele de comandă calculate pot lua valori

mari, neimplementabile. Această problemă a fost menționată și în articolul B. Hannaford and J.-

H. Ryu, “Time-domain passivity control of haptic interfaces,” IEEE Transactions on Robotics

and Automation, vol. 18, no. 1, pp. 1–10, 2002, ca o problemă potențială, care limitează

aplicabilitatea acestor algoritmi. În sistemele de control întotdeauna trebuie luat în considerare că

elementul de execuție poate să reproducă exact doar semnale de comandă a căror valoare este

sub limita lui de saturație. Am demonstrat că această cerință poate fi întotdeauna îndeplimită cu

regulatorul de pasivitate propus.

Pentru detalii vezi Publicația [1-4].

1-1.c. Generalizarea algoritmului de control bilateral (Partea I)

Am arătat că algoritmul de control prezentat poate fi generalizat pentru comanda tolerantă la

erori a sistemelor de control neliniare.

Pe baza balanței de energie a sistemelor mecanice am dezvoltat un algoritm de compensare a

erorilor din elementele de execuție a sistemelor mecatronice. Am arătat algoritmul dezvoltat este

generalizarea algoritmului estimator de pasivitate - regulator de pasivitate. Am dezvoltat o

varianta filtrată a algoritmului care asigură performanțe de teleoperare îmbunătățite când

regulatorul de pasivitate este activă. Algoritmul de control obținut garantează stabilitatea

sistemului de control neliniar astfel încât semnalele de comandă în sistem rămân întotdeauna

limitate.

6

Pentru detalii vezi [1-2].

1-2. Algoritmi și protocoale de transmisie în timp real pentru transmisii video prin

rețea aplicate în sisteme de teleoperare

Am proiectat și implementat un protocol de comunicare pentru sisteme de teleoperare bilaterală

care folosesc rețele locale fără fir (WLAN) și am extins sistemul cu transmisia imaginilor video

de la slave la master.

În primul rând, am analizat cerințele și problemele posibile care trebuie luate în considerare la

proiectarea modulului de comunicare a sistemului de teleoperare bilaterală. Ținând cont de

cerințele de timp real impuse de transferul datelor periodice în sisteme de teleoperare precum și

de transferul unui volum mare de date în timp real pentru asigurarea calității imaginilor transmise

se impune monitorizarea permanentă a parametrilor de rețea. Pornind de la specificul rețetelor

WLAN și de la cerința de a putea utiliza o infrastructură de comunicații existente fără

modificarea acestuia, protocolul propus estimează parametrii rețelei (variația întârzierii,

pierderea pachetelor, retransmisia pachetelor) la nivel de aplicație și identifică problemele

specifice rețelelor fără fir cum ar fi congestia, coliziunea. Am efectuat măsurători experimentale

sistematice pentru a analiza influența parametrilor canalului de comunicare video (cum ar fi rata

de transfer, dimensiunea pachetelor) asupra canalului de comunicare a poziției și a forței. Am

arătat că arhitectura propusă asigură transferul simultan al datelor periodice (poziție, forță) și al

fluxurilor video necesare în sisteme de teleoperare bilaterală folosind o rețea fără fir cu arie de

acoperire mare (WDS), în condiția în care rata de transfer video se ajustează în funcție de

parametrii estimați.

Pentru detalii vezi [1-1].

1-3. Mediu de simulare pentru sistemele de comandă robotice comandate la distanță

Am dezvoltat un mediu de simulare tip HIL (Hardware In the Loop) pentru testarea în condiții de

laborator a algoritmilor de control și a protocoalelor de comunicație dezvoltate.

În sistemul dezvoltat am folosit două laptop-uri pentru rularea programelor de control și

comunicație pe partea master și pe partea slave. Atât ca master cât și ca slave am folosit

echipamente haptice care generează semnalele de poziție și viteză pe partea master respectiv

semnalele de forță pe partea slave. Semnalul video pe partea slave este captat de o cameră

Microsoft webcam. Mediul de comunicare (rețeaua WLAN cu arie de acoperire extinsă) a fost

implementată folosind mai multe routere WLAN tip TPLINK conectate între ele fără fir (WDS).

Programul dezvoltat folosește protocolul UDP și creează canale de comunicații separate pentru

semnale video respectiv semnalele de forță și poziție. Comunicația prin rețea a fost implementată

folosind platforma Boost.Asio. Sistemul dezvoltat a fost aplicat cu succes pentru testarea

algoritmilor și protocoalelor dezvoltați pe parcursul muncii de cercetare, vezi publicația [1-1].

7

Etapa 2

2-1. Algoritmi reconfigurabili pentru controlul la distanță a roboților având în bucla

de reglare operatorul uman

2-1.a. Extinderea metodei pentru roboți mobili comandate prin WLAN

Am propus un algoritm de reglare pentru comanda la distanță a roboților mobili prin rețele

WLAN care garantează stabilitatea sistemului de teleoperare și o metodă pentru generarea

traiectoriei robotului.

Am dezvoltat un sistem pentru comanda la distanță a roboților mobili care împart un spațiu de

lucru comun. Fiecare robot mobil este comandat independent de un utilizator uman. Astfel

pentru fiecare robot ceilalți roboți reprezintă obstacole aflate în mișcare. Pentru aceste sisteme

am introdus un algoritm de control care, pe baza poziției dispozitivului haptic acționat de

operatorul uman, determină referințele de viteză şi de viteză unghiulară a robotului mobil

comandat. Pentru a evita obstacolele aflate în mișcare, am propus o metodă pentru generarea

forței de reacție, care este aplicat dispozitivului haptic. Forța de reacție este calculată pe baza

distanței robot-obstacol. Pentru a garanta stabilitatea sistemului în prezența întârzierilor prin

rețea am introdus un algoritm supervizor, care monitorizează continuu starea sistemului şi, dacă

este necesar, reconfigurează algoritmul de comandă a robotului pentru a garanta stabilitatea. Am

efectuat măsurători în timp real folosind o flotă de roboți pentru a arăta eficienta algoritmilor

propuși.

Pentru detalii vezi publicațiile [2-3] și [2-13].

2-1.b Evaluarea performanței operatorului uman în sisteme de teleoperare

implementate pe WLAN

Am arătat experimental că performanțele sistemelor de teleoperare sunt puternic influențate de

intensitatea traficului de date pe canalul de comunicare fără fir.

Am analizat capacitatea operatorului uman de a comanda la distanță robotul mobil pe un traseu

dat, luând în considerare că robotul şi operatorul comunică prin WLAN. Am propus o metodă

pentru a evalua performanțele de teleoperare în condiții diferite de trafic în rețeaua fără fir.

Rezultatele experimentale arată influența puternică a traficului de date pe capacitatea

operatorului uman de a urmări o traiectorie, independent de tipul de trafic (TCP sau UDP).

Pentru detalii vezi publicația [2-6].

2-1.c. Generalizarea algoritmului de control bilateral (Partea II)

Folosind tehnici de detectare, identificare și izolare a erorilor în sisteme de control, am arătat că

algoritmul observator de passivitate poate fi extins pentru detectarea erorilor ce pot apărea în

elementele de execuție a sistemelor de control neliniare. În primul rând, am arătat că, bazat pe

balanța de energie a sistemelor de comandă neliniare, puterea semnalului de eroare poate fi

estimată. Folosind metoda celor mai mici pătrate generalizate am propus o metodă pentru

identificarea și izolarea erorilor pe baza semnalului de putere estimat. Aplicabilitatea

algoritmului a fost demonstrată pe diferite sisteme mecatronice.

Pentru detalii vezi publicația [2-2].

8

2-1.d Teleoperarea formațiilor robot

Am propus un algoritm de teleoperare pentru sisteme multirobot în care formația de roboți poate

fi reconfigurată in timpul teleoperării de către operatorul uman. Pentru teleoperare operatorul

uman folosește două dispozitive haptice. Primul dispozitiv haptic este folosit pentru controlul

lider-ului grupului al doilea dispozitiv este folosit pentru reconfigurarea grupului. Reacția de

forță pe dispozitivele haptice reflectă prezența obstacolelor respectiv starea reconfigurării

grupului (distanța dintre centrul grupului real și centrul prescris a grupului). Am mai propus un

algoritm de evitare a obstacolelor pentru formația de robot reconfigurabilă. Eficacitatea

algoritmilor propuși am demonstrat prin experimente de simulare și experimente cu roboți mobili

în timp real.

Pentru detalii vezi publicațiile [2-4] și [2-8].

2-2. Algoritmi și protocoale de transmisii video pentru sisteme de teleoperare

2-2.a. Analiza influenței mediului de comunicare pe teleoperarea bilaterală

Prin măsurători efectuate pe un sistem de teleoperare implementat prin Internet, am analizat

efectul întârzierii prin rețea respectiv efectul variației întârzierii pe sisteme de teleoperare

bilaterală care folosesc algoritmi de reglare tip estimator de pasivitate – regulator de pasivitate.

Rezultatele experimentale arată că metoda asigură stabilitatea sistemului în diferite condiții de

comunicare, dar transparența teleoperării este influențată direct de valoarea întârzierii și valoarea

variației întârzierii. Am arătat că algoritmul propus în 1.1.-c poate atenua efectul negativ al

variației întârzierii pe performanțele de teleoperare.

Pentru detalii vezi publicația [2-9].

2-2.b Algoritm de control a traficului de date în sisteme de teleoperare

Am proiectat și implementat un algoritm de control pentru traficul de date care asigură

funcționarea stabilă și eficientă a sistemului de teleoperare.

Algoritmul de comandă monitorizează în mod continuu calitățile canalele de comunicare între

operatorul uman și robotul comandat, canale în care sunt transmise semnalele de comandă. În

aceste canale se măsoară întârzierea prin rețea, variația întârzierii (jitter) și numărul de pachete

de date pierdute. Pe baza acestor informații se calculează un factor de calitate a canalului. Având

în vedere inter-influența canalelor de comunicare pe rețelele fără fir, prin modificarea fluxului de

date în canalul video putem influența transmisia calității în canalele de comunicare operator-

robot. Am dezvoltat un algoritm de reglare a fluxului de date video pentru evitarea congestiei și

reducerea abaterii întârzierii, necesară pentru transmisia fiabilă a datelor în canalele operator-

robot. Pe parcursul proiectării am aplicat metode de optimizare multicriteriale. Astfel algoritmul

asigură cea mai bună transmisie video posibilă pentru un factor de calitate prescris. Pe

parcursul proiectării am luat în considerare și existența traficului independent în rețea.

Algoritmul de comunicare a fost implementat și verificat prin măsurători în timp real. Rezultatele

arată influența pozitivă a algoritmului pe calitatea teleoperării.

Pentru detalii vezi publicațiile [2-1], [2-10].

9

2-2.c Extinderea algoritmului de control al traficului de reţea pentru sisteme de

teleoperare cu mai multe surse video.

Am proiectat un sistem de teleoperare în care pot fi incluse mai multe canale de comunicații

video cu flux de date reglabile. Am proiectat un algoritm de reglare a fluxurilor de date video

pentru sisteme de teleoperare cu mai multe camere video.

În multe aplicații de teleoperare operatorul uman are la dispoziție imaginile mai multor camere

video. Pentru a introduce mai multe canale de date video am extins sistemul de teleoperare clasic

Master-Slave într-un sistem de Master - Slave - Multiple Video Slave. Fiecare Video Slave se

conectează la Master cu un canal video și are la dispoziție un canal de control prin care Master-

ul poate trimite pentru Video Slave semnale de control care reglează fluxul video pentru Video

Slave-ul corespunzător.

Algoritmul de control al traficului video prezentat în 2.2-b a fost extins şi pentru sisteme de

teleoperare care conțin mai multe surse video. Am folosit metoda lexicografică de optimizare

multicriterială presupunând că fiecare sursă video are o prioritate predefinită în misiunea de

teleoperare. Eficacitatea sistemului a fost demonstrată prin măsurători experimentale în timp-

real.

Pentru detalii vezi publicația [2-5] și [2-7].

2-3. Mediu de testare pentru sisteme de teleoperare

2-3.a Platformă software pentru comunicaţie în timp real

Am dezvoltat un pachet de programe pentru controlul la distanță a sistemelor robotice care

implementează principiul teleoperării bilaterale.

Platforma cuprinde modulele Master, Slave şi Video Slave. Programul a fost dezvoltat aplicând

metoda de proiectare Proactor. Am folosit platforma Boost.Asio pentru implementarea canalelor

de comunicații. Protocolul de comunicație dezvoltat este potrivit pentru rețele fără fir. La

modulele Slave și VideoSlave pot fi conectate camere video. Modulul Slave implementează

algoritmul de reglare a robotului. La modulul Master pot fi conectate echipamentele haptice.

Platforma este implementată astfel încât cu ajutorul ei pot fi comandați și roboți mobili și

manipulatori cu ajutorul echipamentelor haptice. Programul implementează metodele de reglare

dezvoltate pe parcursul proiectului de cercetare.

Pentru detalii vezi publicațiile [2-7] și [2-12].

2-3.b. Mediu de simulare pentru sisteme de teleoperare

Am dezvoltat un mediu de simulare pentru formații de roboți mobili. În mediul de simulare pot fi

introduși un număr dorit de roboți și obstacole. Prin interfața grafică a simulatorului se poate

urmări și înregistra comportamentul roboților simulați, comandate de la distanță. Mediul de

simulare poate fi conectat prin WLAN la modulul Master, astfel roboții din mediul de simulare

10

pot fi comandați cu ajutorul echipamentelor haptice reale de la distanță. Simulatorul este folosit

pentru testarea unor algoritmi de reglare care sunt critice din punct de vedere al stabilității, astfel

necesitând o testare prin simulare înainte de implementare.

Pentru detalii vezi publicațiile [2-4] și [2-14].

Etapa 3

3-1. Algoritm de teleoperare pentru roiuri de roboți

3-1.a. Analiza grupurilor de roboți din punctul de vedere al teleoperări

În multe aplicații robotice este nevoie de mai mulți roboți pentru a rezolva o sarcină prescrisă. În

cazul roiurilor de roboți nu este necesară ca toți membri să fie în contact direct cu operatorul

uman, care prescrie sarcina grupului; este de ajuns ca un număr redus de membrii ai roiului să

cunoască sarcina prescrisă, iar ceilalți roboți să copieze mișcarea, comportarea vecinilor

apropiați.

Am analizat modul în care unele caracteristici ale roiurilor de roboți semi-informați afectează

implementarea sarcinii prescrise a grupului. Am propus indicatori de performanță (timpul de

execuție al sarcinii, elongația grupului, deriva grupului) care determină calitatea execuției

sarcinii și am analizat influența caracteristicilor (de exemplu numărul membrilor de roboți

informați, viteza de mișcare ai roboților) asupra indicatorilor selectați. Performanța roiului de

roboți a fost analizat în mediul V-Rep, care oferă o simulare realistică a sistemelor robotice. Am

analizat în detaliu indicatorii de performanță în diferite condiții. Concluziile rezultate în urma

experimentelor efectuate oferă informații importante privind proiectarea grupurilor de roboți

teleoperate.

Pentru detalii vezi publicația [3-5].

3-1.b. Metodă pentru teleoperarea grupurilor de roboți fără comunicație directă între

membrii grupului

Ne-am focusat pe proiectarea unui algoritm de control care permite conducerea unui grup mare

de roboți de către un singur operator uman. Am presupus că doar un singur membru al grupului

(leader) comunică cu operatorul uman, acest membru poate fi controlat direct de către operator.

De asemenea am presupus că nu există comunicație directă între membrii grupului. Membrii

grupului au informații despre vecini pe baza unor senzori de distanță și senzori optici (de

exemplu camere video). Leader-ul grupului, care comunică cu operatorul uman, are caracteristici

distincte, detectabil cu senzori optici de către ceilalți membrii ai grupului. Ceilalți membrii pot fi

divizați în două categorii: cei care detectează pe lângă vecini și leader-ul (membrii informați) și

cei care detectează doar vecinii (membrii neinformați). Am dezvoltat algoritmi de comandă

diferiți pentru cele două grupuri, care asigură urmărirea leader-ului de către toți membrii

grupului. Pentru membrii informați am introdus o metodă nouă de a calcula viteza de comandă:

algoritmul fuzionează informațiile obținute de la senzorii de distanță și senzorii optici. Pentru

membrii neinformați viteza de comandă depinde doar de datele obținute de la senzori de distanță.

Metoda de teleoperare a fost testată în mediul de simulare V-Rep folosind modele de robot

KUKA youBot respectiv E-Puck și rezultatele obținute indică eficacitatea metodei de control

propuse.

11

Pentru detalii vezi publicația [3-4].

Rezultatele de cercetare obținute în domeniul teleoperării roiurulor de roboți arată că prin

combinarea metodelor de teleoperare și a algoritmilor de comandă dezvoltate pentru roiuri de

roboți se poate realiza teleoperarea unui număr mare de roboți cu necesități de comunicare

minime.

3-2. Controlul traficului pe rețea pentru sisteme telerobotice implementate pe rețele

fără fir

3-2.a Algoritm de control al traficului de date pentru compensarea variației

semnalului radio

Am adresat problema teleoperării bilaterale a manipulatoarelor mobili prin rețele fără fir. Am

propus un algoritm de control pentru reglarea fluxului de date între robot și operator uman pentru

a asigura performanțe bune de comunicare chiar în cazul când puterea semnalului radio și

implicit rata de transfer în rețelele fără fir nu este constantă. La nivelul legăturii de date în rețele

fără fir fiecare echipament implementează un protocol de ajustare a ratei de transfer, în acest sens

lățimea de bandă disponibilă scade automat dacă se detectează scăderea puterii semnalului radio.

Acest fapt deteriorează performanțele de comunicare și implicit performanțele sistemului de

teleoperare. Am considerat că în sistemul de teleoperare robotul comandat transmite semnal

video înapoi operatorului uman pe parcursul teleoperării. Luând în considerare inter-influența

diferitelor canale de comunicații, precum și zgomotul în mediul de comunicare fără fir,

algoritmul de reglare propus ajustează rata de transfer a fluxului video astfel ca întârzierea și

abaterea întârzierii în canalele de comunicare critice din punctul de vedere al teleoperării să

rămână sub un nivel prescris chiar și în cazul în care puterea semnalului radio se schimbă în

timp. Algoritmul folosește metode de optimizare multicriterială asigurând o rată de transfer

optimă pentru transmiterea fluxului video în funcție de puterea semnalului radio disponibilă. O

serie de măsurători experimentale în timp real confirmă eficacitatea algoritmului propus.

Rezultatele experimentale arată că metoda propusă pentru reglarea fluxurilor de date în rețelele

fără fir asigură transparență și stabilitate bună în sisteme de teleoperare bilaterală.

Pentru detalii vezi studiul [3-2].

3-2.b. Metodă de acordare a parametrilor regulatorului traficului de date în sisteme de

teleoperare implementate pe rețele fără fir

Am dezvoltat o procedură de acordare a parametrilor regulatorului ratei de transfer a canalelor de

comunicații în sisteme de teleoperare implementate pe rețele fără fir. Metoda propusă presupune

că router-ul pentru rețeaua fără fir implementează un protocol AQM (Active Queue

Management). Având în vedere că modelul care descrie dinamica fluxurilor de date în rețele fără

fir este neliniar, am proiectat un regulator Proporțional – Integral (PI) cu parametrii variabili în

timp. Parametrii regulatorului depind de starea mediului de comunicare. Semnalul de comandă

este rata fluxului date dominant (din punct de vedere al volumului de date) în sistemul de

teleoperare (canalul video), iar ieșirea măsurată și controlată a sistemului reprezintă întârzierea

pachetelor de date în canalele de control. Problema acordării parametrilor regulatorului a fost

abordată folosind metoda SDRE (State Depenedent Riccati Equation). Analizând regimul de

lucru staționar am determinat fluxul maxim de date exogene (provenite de la alte aplicații ce vor

folosi același mediu de comunicație) ce poate fi compensată folosind metoda propusă. Am

12

efectuat simulări pentru a studia eficacitatea metodei de reglare propus. Simulările arată că

algoritmul PI neliniar proiectat poate asigura întârzierea prescrisă pentru sistemul de teleoperare

chiar în prezența fluxurilor de date exogene în același mediu de comunicare.

Pentru detalii vezi publicația [3-3].

3-3. Pachet de program pentru de controlul la distanță a sistemelor robotice

Bazat pe algoritmii de control și metodele de comunicare proiectate pe parcursul proiectului, am

dezvoltat un pachet de program pentru teleoperarea sistemelor robotice incluzând platformă

mobilă și manipulatori robotici (manipulatori mobili). Am introdus algoritmi de control tip

estimator de pasivitate – regulator de pasivitate îmbunătățiți, care pe lângă faptul că asigură

transparența și stabilitatea teleoperării bilaterale, au un necesar de resurse redus. Pachetul de

program implementează două tipuri de algoritmi de control: algoritmi PO-PC filtrat cu semnal

de control limitat și algoritmul PO-PC bazat pe scalarea corespunzătoare a semnalelor de control

primite prin rețea. De asemenea programul implementează și algoritmii de reglare a ratelor de

date în canalele de comunicare a sistemului de teleoperare.

Pentru detalii vezi publicația [3-1].

Concluzii Pe parcursul proiectului de cercetare am dezvoltat o soluție completă pentru comanda la distanță

a sistemelor robotice. În cadrul sistemului de teleoperare dezvoltat operatorul uman are la

dispoziție informații video și informații haptice de la robotul aflat la distanță. Am dezvoltat

algoritmi de control pentru sisteme de teleoperare bilaterală care asigură transparența și

stabilitatea sistemelor de teleoperare. Am proiectat algoritmi de reglare a fluxurilor de date în

sisteme de teleoperare care asigură performanțe de teleoperare bune și în cazul când calitatea

transmisiei de date în mediul de comunicare folosit este slabă. Aceste metode sunt aplicabile și în

cazul rețelelor fără fir. Algoritmii dezvoltați sunt bazați pe analize sistematice a rețelelor de

calculatoare din punctul de vedere al teleoperării. Un accent deosebit s-a pus pe aspectul

reconfigurabil al algoritmilor dezvoltați în sensul că intervin în procesul de teleoperare doar în

cazul când este detectat că sistemul de teleoperare sau mediul de comunicare se află în stare

critică.

Pachetul de programe, care implementează sistemul de teleoperare dezvoltat, este public (licență

Open Source) prin serviciul de găzduire web pentru proiecte de dezvoltare a programelor de

calculator GitHub:

https://github.com/TARC-Sapientia/TO

Documentarea programului este accesibili pe platforma web al proiectului:

http://www.ms.sapientia.ro/~martonl/MartonL_Research_TE.htm

Am validat sistemul de teleoperare dezvoltat în diferite condiții reale de comunicații:

- Rețele fără fir locale în diferite condiții de comunicare (putere de semnal radio variabil; în

prezența fluxurilor de date exogene), pentru detalii vezi [3-2, 2-1].

- Rețele mixte (comunicații cu fir și fără fir) incluzând comunicații prin Internet între două țări

diferite din Europa (Universitatea Sapientia, Tîrgu Mureș, România și Universitatea Obuda,

Budapesta, Ungaria), pentru detalii vezi [3-1].

13

- Rețele mixte (comunicații cu fir și fără fir) incluzând comunicații prin Internet transatlantice

(Universitatea Sapientia, Tîrgu Mureș, România și Universitatea McGill, Montreal, Canada),

pentru detalii vezi [3-6].

Metodele de control la distanță dezvoltate au fost aplicate și pentru sisteme multirobot, am

proiectat metode de teleoperare pentru roiuri de robot. Am dezvoltat un mediu simulare pentru

teleoperarea roboților mobili care este public (licență Open Source) prin serviciul de găzduire

web pentru proiecte de dezvoltare a programelor de calculator GitHub:

https://github.com/TARC-Sapientia/SwarmController

Diseminarea rezultatelor științifice obținute pe parcursul proiectului: 5 articole (3 publicate

/acceptate + 2 aflate sub evaluare), 1 capitol în carte, 2 “lecture notes”, 15 publicații în volumele

unor conferințe, 1 raport (white paper). Rezultatele de cercetare au fost prezentate în conferințe

științifice din România, SUA, Franța, Germania, Spania, Italia, Portugalia, Ungaria, Slovacia.

Pagina web al proiectului apare pe site-ul firmei KUKA youBot, ca proiect de referință care

folosește robotul firmei:

http://www.youbot-store.com/developers/projects

Algoritmii de control și de comunicare dezvoltate pe parcursul proiectului de cercetare sunt bine

fundate din punct de vedere teoretic și au potențialul să fie aplicate în sisteme de teleoperare

practice.