Prelucrări Complexe de Semnal în Aplicații Multimedia [626550]

2020

Prelucrări Complexe de Semnal în Aplicații Multimedia
Departamentul AII – Facultatea de Automatic ă și Calculatoare

Proiect de cercetare semestrul II

Dispozitiv inteligent pentru ajutorarea
persoanelor cu deficien țe de vedere

Masterand: [anonimizat]: Prof. dr. ing. Popescu Dan

2

Cuprins:

1. Introducere ………………………….. ………………………….. …………………. 3

2. Definirea modului de lucru ………………………….. ……………………….. 3

3. Schema hardware a dispozitivului ………………………….. …………….. 5

4. Pseudocod utilizat ………………………….. ………………………….. ………. 7

5. Concluzii ………………………….. ………………………….. …………………… 10

6. Bibliografie ………………………….. ………………………….. ……………….. 11

3

1. Introducere

Orientarea în spațiu este o sarcină dificilă și o provoca re pentru persoanele
care suferă de deficiențe de vedere . Sisteme le de ghidare vizează aceste persoane
și vin în sprijinul lor , oferind soluții alternative la problemele actuale, pe diferite căi:
audio și tactil. În această lucrare s -a încercat propunerea unei soluții electronice care
ar ate nționa utilizatorul pe cale audio în cazul în care acesta ar întampina un
obstacol pe care l -ar observa cu greu în mod normal.
Aceste persoane cu deficiențe de vedere au mari dificultăți în perceperea și
interacțiunea cu mediul înconjurător, în special cu cele care nu sunt cunoscute. Din
fericire, există sisteme sau instrumente de navigație disponibile pentru persoanele cu
deficiențe de vedere. În mod tradițional, majoritatea oamenilor se bazează pe
bastonul alb pentru deplasarea locală, pe care îl balanse ază constant în față pentru
detectarea obstacolelor. Cu toate acestea, ele nu pot percepe în mod adecvat toate
informațiile necesare, cum ar fi volumul sau distanța .
În această etapă a cercetării va fi propusă metoda bazată pe senzori cu
ultrasunete . În primă fază vom realiza teoretic organigrama și vom stabili modul de
lucru, urmand ca in etapa 3 a cercetării să fie realizată practic, urmând a fi testată în
cazuri practice.

2. Definirea modului de lucru

Metoda pe bază de senzori cu ultrasunete poate măsur a distanța până la
obstacol și o poate compara cu un prag de distanță setat de programator pentru a
decide dacă se poate înaint a, dar nu poate determina direcția exactă înaintare și
poate suferi probleme de interferență cu senzorii înșiși în cazul în care radarul cu
ultrasunete (senzor cu ultrasunete) este utilizat sau i nterferează cu alte semnale din
mediul interior.
Procedeul de măsurare a distanțelor până la un obstacol se bazează pe
prelevarea informațiilor furnizate de un senzor ultrasonic, model HC-SR04 . Senzoru l
este foarte util izat în robotică pentru precizia sa și costul scăzut . Acest este capabil
să măsoare distanța până la cel mai apropiat obiect solid, ceea ce este într -adevăr o
informație utilă, dacă se încearcă evita rea coliziunii cu un corp solid ce ar putea
cauza rănirea persoanei nevăzătoare.
HC-SR04 poate fi conectat direct la un Arduino sau un alt microcontroller (de
exemplu: Raspberry Pi ) și funcționează alimentat la o tensiune de 5 volți. Cu toate că
HC-SR04 neces ită logică de 5 volți, v om avea nevoie de câteva rezistențe pentru a
realiza un divizor de tensiune și a-l conecta cu portul GPIO de 3,3 volți , în cazul în
care se va opta pentru utilizarea unui microcontroller de tip Raspberry Pi.

4

Acest senzor de ultraso nic de distanță este capabil să măsoare distanțe
cuprinse între 2 cm și 400 cm , cu o eroare maxima de până la ± 3cm. Este un
dispozitiv ce utilizează foarte puțină energie pentru a funcționa , acest aspect fiind un
plus în ideea în care o persoană cu defici ențe de vedere ar putea utiliza acest produs
pe tot parcursul unei zile.
La utilizarea acestui senzor cu ultrasunete ce măsoară distanța putem atașa
un difuzor care la atingerea unei distanțe minime de siguranță, furnizată de senzorul
HC-SR04, va scoate un sunet de atenționare a utilizatorului că în fața acestuia este
un corp solid cu care poate intra în coliziune și astfel un accident neplăcut poate fi
evitat.
Ansamblul senzor -difuzor vor fi conectate la un microcontroller pe care
urmează să îl alegem , din cele menționate mai sus . Programarea microcontrollerului
se va realiza utilizând un pseudocod ce va fi prezentat în continuare, iar conexiunea
va fi una serială. În ideea în care ne dorim să realizăm “autonomia ” acestui dispozitiv
și practibabilitatea acestuia, pentru a nu fi nevoiti sa fim tot timpul conectați cu un
cablu USB laptop -microcontroller, după încărcarea programului pe microcontroller,
vom folosi ca și sursă de alimentare o baterie externă de o anumită valoare a
energiei acesteia (output 5V).

Fig.1. Modul de utilizare

În ideea în care acest lucru va fi posibil, se va încerca utilizarea mai multor
senzori ultrasonici pentru o mai buna precizie în evitarea obstacolelor. În primă
etapă, încercarea se va face utilizând doar 1 senzor ultrasonic.

5

3. Schema hardware a dispozitivului

Elemente componente:
– microcontroller Arduino Uno sau Raspberry Pi;
– senzor ultrasonic HC -SR04;
– difuzor audio;
– led de semnalizare pericol;
– conductori filari;
– cablu USB pentru conectare laptop -microcontroller.

Fig.2. Schema hardware a dispozitivului

Acest mic senzor este capabil să măsoare distanța până la cel mai apropiat
obiect solid, ceea ce este într -adevăr o informație utilă, dacă se dorește evitarea
coliziunii cu un obstacol, mai ales în cazul persoanelor cu deficiențe de vedere.
HC-SR04 poate f i conectat direct la un Arduino sau un alt microcontroller și
funcționează pe 5 volți. Poate fi utilizat și cu Raspberry Pi, cu toate că HC -SR04
necesită logică de 5 volți, veți avea nevoie de câteva rezistențe pentru a -l conecta cu
portul GPIO de 3,3 volț i al Pi.

6

Acest senzor ultrasonic de distanță este capabil să măsoare valori cuprinse
între 2 cm și 400 cm. Acesta va realiza diverse măsurători pentru a stabili precizia sa
în cazurile reale și comportarea sa la diverse teste .
Senzorul ultrasonic va emite un puls la frecvența de 40kHz sau câteva oscilații
la această frecvență. Un semnal dreptunghiular de la unul până la câteva lungimi de
undă poate fi comandat de microcontroler către dispozitivul ultrasonic pentru a crea
pulsul. Pulsul este reflectat de ori ce obiect cu densitatea mai mare decât cea a
aerul ui, iar o parte din pulsul emis se va întoarce la receptor. Durata între emisie și
recepție poate fi măsurată și convertită în distanță cu ajutorul formulei vitezei , luand
ca și etalon viteza sunetului în vid, 343m/s .
Sunetul necesită un mediu prin care să călătorească, precum aerul, apa sau
oțelul. În general, într -un mediu mai dens, sunetul se propagă mai rapid. Viteza
sunetului în aer variază pe baza temperaturii, umidității și altitudinii. La temperatura
camerei ea poate fi considerată constantă, de 343m/s. Aceasta este vitez a ideală
utilizată de microcontroler pentru a calcula durata deplasării pulsului emis pe o
anumită distanță . Dacă se dorește estimarea cu o precizie cât mai ridicată a distanței
până la obstacol, senzorului ultrasonic îi poate fi asociat un senzor de umiditate și
temperatură care măsoar ă acești parametri și de care microcontrollerul ține cont
atunci c ând realize ază calculul.
Senzor ul ultrasonic utilizează impulsuri de sunet ultrasonic (sunet peste limita
percepției uman e) pentru a detecta distanța dintre acesta și obiectele solide din
apropiere. Senzor ul are d ouă componente principale:
– emițător ul cu ultrasunete : acesta emite impulsurile cu o frecven ță de 40 KHz ;
– receptor ul cu ultrasunete : receptorul capteaz ă impulsurile emise de corpul
solid și emite un semnal de ieșire a cărui amplitudine poate fi utilizată pentru a
calcula distanța .
Principiu l de funcționare
Un impuls de 5 volți de durată 10 microsecunde este aplicat pe pinul Trigger.
HC-SR04 răspunde transmi țând un lot de opt impulsuri la 40 KHz. Acest tipar de 8
impulsuri ultrasonice permi te receptorului să diferen țieze corpul solid de zgomotul de
fundal .
Cele opt impulsuri trimise de emițător prin aer nu sunt captate de receptor
decât la reflexia din corpul sol id. Între timp, pinul Echo trece în modu l High pentru a
recepta semnalului retur.
Dacă impulsul în NU se reflectă înapoi, atunci semnalul Echo se va termina
după 38 milisecunde și va reveni în starea LOW . Aceasta produce un impuls de 38
milisecunde care nu indică nicio obstrucție în raza de acțiune a senzorului.
Dacă impulsul este reflectat înapoi, pinul Echo coboară la starea LOW . Ace sta
produce un impuls a cărui lățime variază între 150 microse cunde și 25 milisecunde ,
în funcție de timpul necesar pentru a primi semnalul.

7

Lățimea pulsului primit este utilizată la calcula rea distanț ei până la obiectul
reflectat. De menționat este că pulsul indică timpul necesar pentru ca semnalul să fie
trimis și re ceptat , astfel că va trebui să împărți m rezultatul la jumătate pentru a obține
distanța .
Cât despre practicabilitate, intenția este acee a de a utiliza o baterie uzuală
pentru alimentarea dispoziti vului experimental , precum bateria externă utilizată la
încărcarea telefo anelor mobile .

4. Pseudocod utilizat

Cazul 1.
//Pseudocod pentru a ctivarea sunetului de alertă
const int trigPin = 9;
const int echoPin = 10;
const int buzzer = 11;
const int ledPin = 13;

// Definirea variabilelor
long duration;
int distance;
int safetyDistance;

void setup() {
pinMode(trigPin, OUTPUT); // Setează trigPin ca și Output
pinMode(echoPin, INPUT); // Setează echoPin ca și Input
pinMode(buzzer, OUTPUT);
pinMode(ledPin, OUTPUT);
Serial.begin(9600); // Start comunicație seria lă
}

void loop() {

8

// Resetează trigPin
digitalWrite(trigPin, LOW);
delayMicroseconds(2);

// Set ează trigPin la starea HIGH timp de 10 micro sec unde
digitalWrite(trigPin, HIGH);
delayMicroseconds(10);
digitalWrite(trigPin, LOW);

// Citește echoPin, returnează timpul de parcurgere al undei de sunet în microsec unde
duration = pulseIn(echoPin, HIGH);

// Calcul ează distan ța
distance= duration*0.034/2;

safetyDistance = distance;
if (safetyDistance <= 80){ // Se introduce valoarea minimă a distanței în cm pentru
activare alarmă
digitalWrite(buzzer, HIGH);
digitalWrite(ledPin, HIGH);
}
else{
digitalWrite(buzzer, LOW);
digitalWrite(ledPin, LOW);
}

// Printează valoarea distan ței pe monitor prin intermediul conexiunii serial
Serial.print("Distance: ");
Serial.println(distance);
}

9

Cazul 2.
//Pseudocod pentru măsurarea și afișarea distanței utilizând conexiunea serial
// Demonstrează funcționarea librăriei NewPing pentru senzorul ultrasonic HC -SR04
// Afișează rezultatele măsurării pe monitor prin intermediul conexiunii seriale
// Include m librăria NewPing
#include "NewPing.h"

// Cuplează HC-SR04 prin Trig la Pinul10 al Arduino și prin Echo la Arduino Pinul13
// Distan ța maximă de măsurare este de 400 cm
#define trigPin 10
#define echoPin 13

float duration, distance;

void setup() {
Serial.begin (9600);
pinMode(trigPin, OUTPUT);
pinMode(echoPin, INPUT);
}

void loop() {

// Write a pulse to the HC -SR04 Trigger Pin
digitalWrite(trigPin, LOW);
delayMicroseconds(2);
digitalWrite(trigPin, HIGH);
delayMicroseconds(10);
digitalWrite(trigPin, LOW);

// Măsoară răspunsul de la senzor prin EchoPin
duration = pulseIn(echoPin, HIGH);

10

// Determin ăm distan ța din formula vitezei
// Utilizăm valoarea 343m/s precum viteza sunetului
distance = (duration / 2) * 0.0343;

// Trimite rezultatul la monitor prin conexiunea serial

Serial.print(" Distance = ");
if (distance >= 400 || distance <= 2) {
Serial.println("Out of range");
}
else {
Serial.print(distance);
Serial.println(" cm");
delay(500);
}
delay(500);
}

5. Concluzii

Această lucrare prezintă un dispozitiv inteligent de dicat utilizatori lor cu
deficiențe de vedere, care poate falicita deplas area în siguranță și eficient într -un
mediu interior compl ex. Dispozitivul și principiul de funcționare rezolvă o par te din
problemele de e vitare a obstacolelor solide . Rezultatele pe baz ă de s ondaje arată că
instrucțiunile de ghidare bazate pe atenționări sonore sunt cele mai e ficiente și mai
bine adaptate și îi ajută pe utilizatori să se deplaseze mai rapid și în siguranță.
Calculul este suficient de rapid pentru detectarea și atenționa rea utilizatorului că
urmează să înt âmpine un obstacol . Senzorii folosiți în acest echipament sunt simpli
și presupun costuri reduse, ceea ce ar facilita utilizarea acestora la scară largă în
astfel de aplicații și nu numai .

11

6. Bibliografie

1. B. Söveny, G. Kovács and Z. T. Kardkovács , “Blind guide – A virtual eye for guiding
indoor and outdoor movement,” in 2014 5th IEEE Conf. Cognitive Infocommunications
(CogInfoCom), Vietri sul Mare, 2014, pp. 343 -347.
2. L. Tian, Y. Tian and C. Yi, “Detecting good quality frames in videos captured by a
wearable camera for blind navigation,” in 2013 IEEE Int. Conf. Bioinformatics and
Biomedicine, Shanghai, 2013, pp. 334 -337.
3. M. Moreno, S. Shahrabadi, J. José, J. M .H. du Buf and J. M. F. Rodrigues, “Realtime
local navigation for the blind: Detection of lateral doors and sound interface,” in Proc. 4th
Int. Conf. Software Development for Enhancing Accessibility and Fighting Info –
exclusion, 2012, pp. 74 -82.
4. D. Dakopoulos and N. G. Bourbakis, “Wearable obstacle avoidance electronic travel aids
for blind: A s urvey,” IEEE Trans. Systems, Man, Cybern., vol. 40, no. 1, pp. 25 -35, Jan.
2010.
5. Aladrén, G. López -Nicolás, L. Puig and J. J. Guerrero, “Navigation assistance for the
visually impaired using RGB -D sensor with range expansion,” IEEE Systems J., vol. 10,
no. 3, pp. 922 -932, Sept. 2016 .
6. H. Fernandes, P. Costa, V. Filipe, L. Hadjileontiadis and J. Barroso, “Stereo vision in
blind navigation assistance,” 2010 World Automation Congr., Kobe, 2010, pp. 1 -6.
7. W. Heuten, N. Henze, S. Boll and M. Pielot , “Tactile wayfinder: a non -visual support
system for wayfinding,” Nordic Conf. Human Computer Interaction, Lund, 2008, pp. 172 –
181.
8. M. C. Kang, S. H. Chae, J. Y. Sun, J. W. Yoo and S. J. Ko, “A novel obstacle detection
method based on deformable grid for the visually impaired,” IEEE Trans. Consumer
Electron., vol. 61, no. 3, pp. 376 -383, Aug. 2015.
9. J. Sánchez, M. Sáenz, A. Pascual -Leone and L. Merabet, “Navigation for the blind
through audio -based virtual environments,” in Proc. 28th Int. Conf. Human Facto rs in
Computing Syst., Atlanta, Georgia, 2010, pp. 3409 -3414.
10. J. Kim and H. Jun, “Vision -based location positioning using augmented reality for indoor
navigation,” IEEE Trans. Consumer Electron., vol. 54, no. 3, pp. 954 -962, Aug. 2008.
11. N. Uchida, T. Tagawa and K. Sato, “Development of an augmented reality vehicle for
driver performance evaluation,” IEEE ITS Magazine, vol. 9, no. 1, pp. 35 -41, Jan. 2017.
12. M. Bousbia -Salah, M. Bettayeb and A. Larbi, “A navigation aid for blind people,” J.
Intelligent Robot. Sy st., vol. 64, no. 3, pp. 387 -400, May 2011.
13. F. Penizzotto, E. Slawinski and V. Mut, “Laser radar based autonomous mobile robot
guidance system for olive groves navigation,” IEEE Latin America Trans., vol. 13, no. 5,
pp. 1303 -1312, May 2015.
14. Y. H. Lee and G. Medioni, “Wearable RGBD indoor navigation system for the blind,”
ECCV Workshops (3), 2014, pp. 493 -508.

12

15. S. Bhowmick, A. Pant, J. Mukherjee and A. K. Deb, “A novel floor segmentation
algorithm for mobile robot navigation,” in 2015 5th Natio nal Conf. Computer Vision,
Pattern Recognition, Image Processing and Graphics (NCVPRIPG), Patna, 2015, pp. 1 -4.
16. Y. Li and S. Birchfield, “Image -based segmentation of indoor corridor floors for a mobile
robot,” IEEE/RSJ Int. Conf. Intelligent Robot. Syst., Taipei, Taiwan, 2010, pp. 837 –843.
17. V. C. Sekhar, S. Bora, M. Das, P. K. Manchi, S. Josephine and R. Paily, “Design and
implementation of blind assistance system using real time stereo vision algorithms,” in
2016 29th Int. Conf. VLSI Design and 2016 15th In t. Conf. Embedded Syst. (VLSID),
Kolkata, 2016, pp. 421 -426.
18. J. D. Anderson, Dah -Jye Lee and J. K. Archibald, “Embedded stereo vision system
providing visual guidance to the visually impaired,” 2007 IEEE/NIH Life Science
Systems and Applications Workshop, Bethesda, MD, 2007, pp. 229 -232.
19. D. H. Kim and J. H. Kim, “Effective background model -based RGB -D dense visual
odometry in a dynamic environment,” IEEE Trans. Robotics, vol. 32, no. 6, pp. 1565 –
1573, Dec. 2016.
20. K. Wang, S. Lian and Z. Liu, “An intelligent screen system for context -related scenery
viewing in smart home,” IEEE Trans. Consumer Electron., vol. 61, no. 1, pp. 1 -9, Feb.
2015.
21. Y. Kong and Y. Fu, “Discriminative relational representation learning for RGB -D action
recognition,” IEEE Trans. Image Pro cess., vol. 25, no. 6, pp. 2856 -2865, Jun. 2016.
22. N. Fallah, I. Apostolopoulos, K. Bekris and E. Folmer, “Indoor human navigation
systems: A survey,” Interacting with Computers, vol. 25, no. 1, pp. 21 -33, Sep. 2013.
23. S. Mann, J. Huang, R. Janzen, R. Lo, V. R ampersad, A. Chen and T. Doha, “Blind
navigation with a wearable range camera and vibrotactile helmet,” in Proc. 19th ACM Int.
Conf. Multimedia, Scottsdale, Arizona, 2011, pp. 1325 -1328.
24. S. C. Pei and Y. Y. Wang, “Census -based vision for auditory depth ima ges and speech
navigation of visually impaired users,” IEEE Trans. Consumer Electron., vol. 57, no. 4,
pp. 1883 -1890, Nov. 2011.
25. C. Stoll, R. Palluel -Germain, V. Fristot, D. Pellerin, D. Alleysson and C. Graff,
“Navigating from a depth image converted into sound,” Applied Bionics and
Biomechanics, vol. 2015, pp. 1 -9, Jan. 2015.
26. S. Blessenohl, C. Morrison, A. Criminisi and J. Shotton, “Improving indoor mobility of
the visually impaired with depth -based spatial sound,” 2015 IEEE Int. Conf. Computer
Vision Wor kshop (ICCVW), Santiago, Chile, 2015, pp. 418 -426.
27. S. L. Hicks, I. Wilson, L. Muhammed, J. Worsfold, S. M. Downes and C. Kennard, “A
depth -based head -mounted visual display to aid navigation in partially sighted
individuals,” PLoS ONE, vol. 8, no. 7, pp. 1 -8, Jul. 2013.
28. R. Tredinnick, B. Boettcher, S. Smith, S. Solovy and K. Ponto, “Uni -CAVE: A Unity3D
plugin for non -head mounted VR display systems,” 2017 IEEE Virtual Reality (VR), Los
Angeles, CA, 2017, pp. 393 -394.