Utilizarea Retelelor Neuronale Artificiale In Prognoze Tehnico Economice

RAPORT DE CERCETARE ȘTIINȚIFICĂ NR. 2

LA TEZA DE DOCTORAT:

Utilizarea rețelelor neuronale artificiale în prognoze tehnico-economice

Cuprins:

Capitolul 1. Stadiul cunoașterii în teoria rețelelor neuronale artificiale

1.1. Sisteme neuro-fuzzy în învățarea artificială

1.2. Programarea genetică pentru extragerea informațiilor din rețele neuronale artificiale

1.3. Group Method of Data Handling (GMDH)

Capitolul 2. Stadiul actual în realizarea prognozelor cu ajutorul rețelelor neuronale artificiale

2.1. Introducere

2.2. Eficiența rețelelor neuronale artificiale în prognoză

2.3. Aplicarea rețelelor neuronale artificiale de ordin superior în prognoza seriilor de timp

2.4. Prognoza seriilor de timp cu ajutorul rețelelor neuronale evoluționale

2.5. Aplicații ale rețelelor neuronale artificiale în domeniul prognozei

2.5.1. Predicția gradului de contaminare a apei subterane

2.5.2. Modelarea și predicția ratelor de schimb valutar

2.5.3. Estimarea costurilor de producție în industria auto

Capitolul 3. Contribuții proprii la dezvoltarea prognozei cu ajutorul RNA

3.1. Comportamentul financiar al populației și agenților economici

3.1.1. Descrierea aplicației

3.1.2. Proiectarea rețelei neuronale artificiale

3.1.3. Rezultate și interpretări

3.2. Prognozarea sorbției fosfaților în sol prin intermediul RNA

3.2.1. Descrierea aplicației

3.2.2. Proiectarea rețelei neuronale artificiale pentru prognoză

3.2.3. Rezultatele modelului de RNA proiectată

3.3. Studiu de prognoză asupra îndepărtării ionului azotat cu ajutorul barierelor reactive

3.3.1. Descrierea aplicației

3.3.2. Proiectarea rețelei neuronale artificiale de prognoză

Capitolul 1. Stadiul cunoașterii în teoria

rețelelor neuronale artificiale

1.1. Sisteme neuro-fuzzy în învățarea artificială

Interesul actual generat de rețelele neuronale fuzzy este determinat în mare parte de speranța că aceste tehnologii, bazate pe modelul creierului uman, vor fi capabile să rezolve categorii de probleme aflate acum mult dincolo de capacitățile de rezolvare ale calculatoarelor din ziua de azi (funcții extrem de complexe, din punct de vedere al posibilităților de calcul, pentru calculatoarele numerice convenționale, cum sunt înțelegerea vorbirii sau a stimulilor vizuali, sunt mult mai eficient realizate de sistemele neurologice ale organismelor biologice). Studiul rețelelor neuronale a determinat apariția unor categorii de arhitecturi de rețele care să modeleze capabilitățile creierului uman.

O manieră strictă de evaluare a valorii de adevăr a propozițiilor nu coincide cu modul mult mai flexibil în care gândesc oamenii, în condiții de incompletitudine. Incompletitudinea unei informații se exprimă pe două scări:

• scara incertitudinii se referă la încrederea care i se acordă informației (dacă sursa de informație, instrumentul de măsură sau expertul sunt complet siguri, demni de încredere, informația este certă);

• scara impreciziei se referă la conținutul informațional (informația este precisă dacă mulțimea valorilor specificate în enunțul corespunzător este single-ton, adică are o valoare unică).

Un suport teoretic valoros care tratează incompletitudinea este teoria mulțimilor fuzzy. Un tip incipient de logică fuzzy a apărut încă din 1920, propus de matematicianul polonez Jan Lukasiewicz (inventatorul notației poloneze). Sistemul său permitea extinderea valorii de adevăr a unei propoziții la toate numerele reale din intervalul [0,1]. Un număr din acest interval era interpretat drept posibilitatea ca propoziția considerată să fie adevărată sau falsă. Aceste cercetări au dus la apariția teoriei posibilității, o tehnică de raționament în condiții de inexactitate.

În 1965, Lotfi Zadeh a extins teoria posibilității într-un sistem formal de logică matematică. De asemenea, a adus în discuție modalitățile de lucru cu termeni nuanțați ai limbajului natural. Acest instrument de reprezentare și manipulare a termenilor nuanțați se numește logica fuzzy. Logica tradițională consideră că un obiect poate aparține sau nu unei mulțimi. Logica fuzzy permite o interpretare mai flexibilă a noțiunii de apartenență. Astfel, mai multe obiecte pot aparține unei mulțimi în grade diferite.

Soft Computing

Termenul Soft Computing a fost introdus de Lotfi Zadeh, cu scopul de a exploata toleranța la imprecizie, incertitudine și adevăr parțial pentru a dobândi flexibilitate, robustețe, costuri scăzute ale soluțiilor și o legătură mai bună cu realitatea. [G1]

Această caracteristică îl face să difere fundamental de computing-ul convențional (hard), caracterizat tocmai de lipsa impreciziei și a adevărurilor parțiale. Ținta finală ar fi de fapt egalarea și chiar depășirea performanțelor minții umane.

Soft computing-ul se caracterizează printr-un parteneriat al mai multor domenii, dintre care cele mai importante sunt rețelele neuronale, algoritmii genetici, logica fuzzy și raționamentele probabilistice. Relațiile dintre aceste componente sunt prezentate în figura 1.

Fig. 1. Componentele soft computing-ului

Având la bază modelul gândirii umane, soft computing-ul grupează aceste domenii, aflate nu într-o relație de tip concurențial, ci una de complementaritate, în care fiecare partener contribuie cu avantajele și tehnicile proprii la soluționarea unor probleme imposibil de rezolvat în alt mod. Astfel, rețelele neuronale au capacitatea de a învăța și de a se adapta, logica fuzzy oferă posibilitatea aproximării, în timp ce algoritmii genetici pot realiza o căutare sistematizată a soluției optime.

Utilitatea sistemelor hibride neuro-fuzzy

Fiecare tehnică inteligentă are unele proprietăți computaționale tipice (de exemplu, capacitatea de a învăța, explicarea deciziilor) care îi conferă aplicabilitatea pentru anumite probleme și prezintă dezavantaje în rezolvarea altora. De exemplu, rețelele neuronale au avantajul recunoașterii modelelor, însă nu pot explica satisfăcător modul în care au ajuns la o concluzie. [G1]

Dimpotrivă, sistemele fuzzy pot raționa cu informații imprecise și își pot explica raționamentul, dar nu pot achiziționa automat regulile pe care le utilizează pentru luarea deciziilor. Aceste limitări au fost principalul motiv pentru care s-a încercat crearea de sisteme inteligente hibride, în care două sau mai multe tehnici pot fi combinate pentru a depăși dezavantajele tehnicilor individuale.

Modelarea cu reguli fuzzy, de tip dacă-atunci, este în general potrivită pentru modelarea calitativă. Totuși, în multe situații, datorită incompletitudinii cunoașterii, inerente unor situații reale, această abordare se dovedește insuficientă. De aceea se face apel la unele metode conexioniste, cum ar fi rețelele neuronale. Sistemele neuro-fuzzy sunt astfel capabile să învețe din exemple, să generalizeze pe baza cunoștințelor acumulate și, pe baza datelor primite, să sintetizeze cunoștințe în forma regulilor fuzzy.

În ultimii ani, sistemele neuronale hibride au suscitat un deosebit interes. Această abordare s-a dovedit încununată de succes în diferite domenii, precum diagnoza echipamentelor industriale, robotica sau controlul proceselor dinamice. Motivul principal al studierii sistemelor neuronale hibride este crearea de sisteme de reprezentare subsimbolică, în special a rețelelor neuro-fuzzy. Din punctul de vedere al științelor cognitive, reprezentarea neuronală oferă avantajul omogenității, a capacității de învățare prin exemple și a generalizării, precum și efectuarea de sarcini distribuite, în medii cu date incomplete sau afectate de zgomote. Din punctul de vedere al sistemelor bazate pe cunoștințe, reprezentările simbolice au avantajul interpretării umane, al controlului explicit și al abstractizării cunoașterii.

În inteligența artificială, procedeul tradițional este prelucrarea simbolică. În modelele conexioniste însă, accentul cade pe posibilitățile de învățare. Combinarea celor două abordări este subiectul de cercetare în sistemele hibride, cum ar fi sistemele neuro-fuzzy. Modelele conexioniste sunt instrumente puternice de prelucrare a cunoștințelor, eficiente mai ales în situații în care percepția și reacția sunt fundamentale și unde regulile explicite nu pot fi aplicate în mod natural sau direct. Totuși, învățarea prin exemple nu este o soluție generală, în multe situații entitățile inteligente se bazează pe reguli formulate anterior de experți.

Cele două abordări pot fi utilizate în mod complementar. Aceasta este premisa creării de sisteme hibride inteligente, care combină trăsături conexioniste (neuronale) și simbolice (fuzzy). În astfel de sisteme, mai întâi se introduc informații simbolice în rețeaua neuronală, apoi se folosesc exemplele de instruire pentru rafinarea cunoștințelor inițiale. În final, se procesează rezultatul pentru un set de intrări și, prin metode specifice, se extrag informații simbolice din rețeaua antrenată.

Din momentul în care sistemele fuzzy au fost puse în practică în aplicațiile industriale, proiectanții și-au dat seama de dificultățile care surveneau în mod inerent. Problema găsirii funcțiilor membre potrivite este de multe ori o chestiune de generare de valori și îndepărtarea celor eronate. Aceste soluții sunt greu de găsit, mai ales într-un proces industrial dinamic. De aceea s-a ivit ideea aplicării algoritmilor de învățare sistemelor fuzzy, ceea ce a determinat apariția controllerelor fuzzy adaptabile sau cu auto-organizare.

Sarcinile de lucru complexe pot da naștere la minime locale, de aceea paradigma învățării prin exemple se poate folosi mai mult pentru probleme simple. O rezolvare este împărțirea problemei în subprobleme, rezolvate de diferite module neuro-fuzzy. În timp ce logica fuzzy asigură mecanismele de inferență în cazul incertitudinii cognitive, rețelele neuronale oferă avantajele învățării, adaptabilității, toleranței la defecte, paralelismului și generalizării.

Sistemele neuro-fuzzy moderne au caracteristici care le fac adecvate controlului unor procese industriale: sunt sisteme fuzzy instruite printr-un algoritm de învățare euristic, derivat în general din rețele neuronale, pot fi reprezentate printr-o arhitectură de rețea neuronală feed-forward multistrat și pot fi interpretate în termeni de reguli dacă-atunci. Totuși, într-un sistem real, pot exista zeci de semnale de intrare. Un număr excesiv de intrări poate deteriora transparența modelului considerat și crește complexitatea calculelor. De aceea, este necesară selectarea intrărilor relevante și considerarea de priorități.

Din punct de vedere teoretic, sistemele fuzzy și rețelele neuronale sunt echivalente, deoarece sunt inter-convertibile. Hayashi și Buckley [H1] au demonstrat că:

orice sistem fuzzy bazat pe reguli poate fi aproximat de o rețea neuronală;

orice rețea neuronală (feed-forward multistrat) poate fi aproximată de un sistem fuzzy

bazat pe reguli.

În practică însă, fiecare are avantajele și dezavantajele sale [1, 14]:

Tab. 1. Avantaje și dezavantaje ale sistemelor fuzzy și RNA

Sistemele fuzzy prezintă în principal avantajul explicării comportamentului pe baza unor reguli și deci performanțele lor pot fi ajustate prin modificarea acestora. Totuși, achiziționarea cunoștințelor este dificilă iar universul de discurs al fiecărei variabile de intrare trebuie divizat în mai multe intervale și de aceea, aplicațiile sistemelor fuzzy sunt restrânse la domeniile în care sunt disponibile cunoștințele experților iar numărul variabilelor de intrare este relativ mic.

Pentru rețelele neuronale, cunoștințele sunt achiziționate automat printr-un algoritm (de exemplu, back-propagation), dar procesul de învățare este relativ lent iar analiza rețelei antrenate este dificilă (o rețea neuronală este deseori considerată o „cutie neagră”, în care avem acces numai la intrări și la ieșiri, fără a ști precis ce se întâmplă în interior). Nu este posibilă nici extragerea cunoștințelor structurale (reguli) din rețeaua antrenată, nici integrarea de informații speciale despre problemă, pentru a simplifica procedura de învățare.
Din punct de vedere teoretic, sistemele fuzzy și rețelele neuronale sunt echivalente, deoarece sunt inter-convertibile. Hayashi și Buckley [H1] au demonstrat că:

orice sistem fuzzy bazat pe reguli poate fi aproximat de o rețea neuronală;

orice rețea neuronală (feed-forward multistrat) poate fi aproximată de un sistem fuzzy

bazat pe reguli.

În practică însă, fiecare are avantajele și dezavantajele sale [1, 14]:

Tab. 1. Avantaje și dezavantaje ale sistemelor fuzzy și RNA

Sistemele fuzzy prezintă în principal avantajul explicării comportamentului pe baza unor reguli și deci performanțele lor pot fi ajustate prin modificarea acestora. Totuși, achiziționarea cunoștințelor este dificilă iar universul de discurs al fiecărei variabile de intrare trebuie divizat în mai multe intervale și de aceea, aplicațiile sistemelor fuzzy sunt restrânse la domeniile în care sunt disponibile cunoștințele experților iar numărul variabilelor de intrare este relativ mic.

Pentru rețelele neuronale, cunoștințele sunt achiziționate automat printr-un algoritm (de exemplu, back-propagation), dar procesul de învățare este relativ lent iar analiza rețelei antrenate este dificilă (o rețea neuronală este deseori considerată o „cutie neagră”, în care avem acces numai la intrări și la ieșiri, fără a ști precis ce se întâmplă în interior). Nu este posibilă nici extragerea cunoștințelor structurale (reguli) din rețeaua antrenată, nici integrarea de informații speciale despre problemă, pentru a simplifica procedura de învățare.

Utilizarea sistemelor hibride neuro-fuzzy minimizează dezavantajele și maximizează avantajele celor două tehnici. Rețelele neuronale sunt folosite pentru adaptarea funcțiilor de apartenență ale sistemelor fuzzy în aplicațiile de control automat al proceselor dinamice. Deși logica fuzzy permite codarea cunoștințelor de tip expert prin termeni lingvistici, de obicei proiectarea și reglarea funcțiilor de apartenență care definesc cantitativ acești termeni este un demers greoi. Tehnicile de învățare ale rețelelor neuronale pot automatiza procesul și deci pot reduce substanțial costul și timpul de dezvoltare a aplicațiilor, conducând și la creșterea performanțelor. Pentru a depăși problema achiziției cunoștințelor, rețelele neuronale pot fi proiectate să extragă automat reguli fuzzy din date numerice.

Alte abordări presupun folosirea rețelelor neuronale pentru optimizarea unor anumiți parametri ai sistemelor fuzzy sau pentru preprocesarea datelor de intrare în sistemele fuzzy.

Rețelele neuronale și sistemele fuzzy au în comun abilitatea de a opera cu date imprecise într-un spațiu care nu este clar delimitat. Dezavantajele RNA și ale sistemelor fuzzy pot fi depășite prin încorporarea operațiilor fuzzy în structura RNA și prin dotarea sistemelor fuzzy cu capacitatea de a clasifica și a învăța, caracteristică RNA. Astfel, se obține sistemul hibrid neuro-fuzzy reprezentat de rețelele neuro-fuzzy.

O rețea neuronală fuzzy reprezintă o rețea neuronală care dispune de capacitatea de a prelucra informații fuzzy. Într-o astfel de rețea, semnalele de intrare și/sau ponderile conexiunilor și/sau ieșirile sunt submulțimi fuzzy sau mulțimi de valori de apartenență la mulțimi fuzzy. Structura acestui tip de sistem este următoarea [G1]:

Fig. 2. Structura sistemului fuzzy

Se observă că modulele conexioniste implementează aici funcțiile unui sistem fuzzy. O rețea efectuează fuzzyficarea datelor stricte de intrare, regulile fuzzy sunt realizate pe baza unei alte rețele, iar operația de defuzzyficare este îndeplinită de o a treia rețea, pentru a furniza datele stricte de ieșire.

Aceste tipuri de rețele sunt utile în aplicații de regresie fuzzy (descoperirea de relații funcționale între date fuzzy), control, rezolvarea ecuațiilor matriceale fuzzy (folosite în economie) sau clasificare fuzzy.

În cadrul rețelelor neuro-fuzzy, rețeaua neuronală artificială este utilizată pentru generarea automată, în urma unui proces de antrenament, a regulilor fuzzy precum și a funcțiilor de apartenență. Chiar și după ce procesul de antrenament s-a încheiat, RNA modifică baza de reguli și funcțiile de apartenență pe măsură ce „învață” legități specifice semnalelor aplicate la intrare. Pe de altă parte, logica fuzzy este folosită în cadrul mecanismului de interferență și pentru furnizarea, prin defuzzyficare, a unei mărimi de ieșire discrete.

Neuronul fuzzy aproximează modelul McCulloch-Pitts. Diferențele semnificative sunt următoarele: în loc de ponderile scalare wij și funcțiile de activare, neuronul fuzzy folosește numere (Fzwi) și mulțimi fuzzy. La nivelul neuronului fuzzy, se efectuează suma denumită intrare cumulată, în care Ω reprezintă un factor arbitrar de atenuare.

Fig. 3. Modelul general al unui neuron fuzzy

Acest semnal este transformat într-o regiune fuzzy corespunzătoare nivelelor de activare asociate. Apoi, folosind o metodă oarecare de defuzzyficare, regiunea fuzzy se transformă într-o valoarea scalară. Dacă funcția de activare este, de asemenea, o mulțime fuzzy, ieșirea obținută va avea grade distincte de activare.

1.2. Programarea genetică pentru extragerea informațiilor din rețele neuronale artificiale

Principii de calcul evolutiv

Problema fundamentală în proiectarea rețelelor neuronale este găsirea unei topologii capabile să rezolve o anumită problemă. Datorită numărului mare de restricții legate de stabilirea ponderilor, metodele tradiționale eșuează în rezolvarea problemelor de mare complexitate.

Astfel, au apărut o serie de metode moderne de căutare care rezolvă probleme complexe de optimizare pornindu-se de la algoritmii genetici. Aceștia se bazează pe paradigma biologică a evoluției vieții mai exact pe „mecanica selecției naturale și a geneticii, rezultând algoritmi în care este implicat și flerul inovator al căutării umane”. Astăzi evoluția este privită ca un proces de optimizare bazat pe populație. Teoriile matematice subsumate acestei direcții pot fi grupate sub denumirea de calcul evolutiv.

În cadrul calculului evolutiv există trei direcții de cercetare care se întrepătrund: algoritmii genetici, strategiile de evoluție și programarea evolutivă. Dintre acestea, algoritmii genetici au căpătat o importanță deosebită în proiectarea și instruirea rețelelor neuronale.

În ultimii ani s-au făcut cercetări intense privind utilizarea calculului evolutiv și a algoritmilor genetici pentru determinarea topologiei optime și a distribuției ponderilor. Aceste studii au dus la următoarele concluzii:

Aplicarea algoritmilor genetici în proiectarea topologiilor de rețea neuronală. Se variază numărul straturilor ascunse și cel al nodurilor. Instruirea folosește combinarea calculului genetic cu propagarea înapoi;

Utilizarea algoritmilor genetici pentru aflarea distribuției optime a ponderilor rețelei, fiind dată topologia ei. Funcția de evaluare conduce la creșterea preciziei pasului de adaptare a ponderilor. Dezavantajul constă în mărirea complexității soluțiilor;

Folosirea tehnicilor evolutive pentru a recompensa diferite funcții de învățare, care determină strategia de instruire să devină adaptivă. Topologiile și ponderile pot fi codificate direct prin șiruri binare; astfel spațiul soluțiilor crește iar eficiența algoritmului scade. Practic, se alege fie proiectarea topologiei, fie adaptarea ponderilor rețelei, în funcție de natura problemei de rezolvat.

Proiectarea RNA cu algoritmi genetici

Primul lucru luat în considerare la proiectarea unei RNA este faptul că spațiul de căutare este foarte larg. În funcție de problema de rezolvat, pot fi necesari mai mulți neuroni, determinând diverse combinații. Prin urmare, căutarea arhitecturii optime poate fi rezolvată mai eficient folosind algoritmii genetici. [T1]

Algoritmul genetic nu folosește nicio schemă pentru codarea RNA ci utilizează însăși RNA ca și cromozom. Aceasta permite definirea unor operatori genetici ca „mutație noduri” și „încrucișare noduri” care folosesc structura RNA inițială în generarea urmașilor.

Utilizarea unui algoritm genetic pentru proiectarea RNA, la fel ca orice altă problemă de optimizare abordată cu această tehnică, solicită o metodă de codificare a punctelor spațiului de căutare, care, în acest caz, sunt rețele neuronale. De asemenea, este necesară optimizarea funcției de evaluare. Se presupune ca optimă rețeaua a cărei funcții de evaluare este minimă. Scopul algoritmului genetic este de a minimiza funcția de evaluare. Se folosește aceeași funcție de activare ca și în cazul algoritmului standard cu propagare înapoi a erorii, adică suma erorilor pătratice ale neuronilor stratului de ieșire.

Gradul de conformitate reprezintă eroarea medie pătratică obținută în etapa de antrenare a rețelei. Această valoare de conformitate este ponderată cu alți termeni care iau în considerare aspecte, cum ar fi complexitatea arhitecturii neuronale codificate. Astfel, indivizii care prezintă arhitecturi cu o mulțime de elemente de procesare și conexiuni între ele sunt sancționați mai mult decât arhitecturile mai simple. Acest lucru se datorează faptului că arhitectura simplă are o viteză mai mare de execuție și o mai mare capacitate de generalizare.

După ce toți indivizii au fost evaluați, reproducerea genetică, crossover, și operatorii de mutație sunt aplicați pentru obținerea unei noi generații (populație). Se repetă acești pași până când populația converge către arhitectura neurală optimă pentru rezolvarea problemei date.

Antrenarea RNA cu algoritmi genetici

Modul obișnuit de a antrena RNA folosind algoritmi genetici este de a construi, pornind de la o rețea și un set de modele de antrenare, un algoritm genetic capabil să afle valorile ponderilor conexiunilor care minimizează eroarea medie pătratică sau să asigure că aceste valori sunt mai mici decât ceea ce este considerat a fi acceptabil. [R1]

Construcția și funcționarea algoritmului genetic pentru RNA feedforward. Având în vedere o RNA gata pentru a fi instruită, este generată populația inițială de indivizi (cromozomi); fiecare codifică un set de valori pentru ponderile conexiunilor și deviațiile rețelei neuronale. Apoi, gradul de conformitate al fiecărui individ este evaluat, presupunând alocarea valorilor ponderilor și deviațiilor codificate prin intermediul indivizilor pentru a stabili conexiunile de rețea și calcularea erorii medie pătratică. Setul de modele de instruire sunt folosite pentru a face acest calcul. Valoarea erorii reprezintă conformitatea individului. După această etapă de inițializare, reproducerea genetică, crossover, și operatorii de mutație sunt aplicați pentru determinarea noilor generații până când există o convergență spre o populație de indivizi care codifică un set de ponderi care minimizează eroarea rețelei.

Ponderile pot fi codificate în mai multe moduri. De obicei, se codifică binar valoarea fiecărei ponderi de rețea și se construiește individul prin concatenarea acestor numere binare într-un șir de biți. Metoda este foarte des utilizată pentru a reduce posibilitatea micilor modificări în biți care conduc la variații mari în valorile pe care le reprezintă.

Programarea genetică lucrează prin evoluția unei populații. În această populație, fiecare individ este o soluție la problema de rezolvat. Această evoluție se produce prin selectarea celor mai buni indivizi (cu toate că și cei mai slabi au, de asemenea, o probabilitate mică de a fi selectați) și combinarea lor pentru a crea noi soluții. Acest proces se efectuează prin algoritmi de selecție, mutație și crossover. După câteva generații, este de așteptat ca populația să conțină o soluție suficient de bună pentru problema dată.

1.3. Group Method of Data Handling (GMDH)

Metoda denumită Group Method of Data Handling (GMDH) a fost propusă de academicianul A.G. Ivahnenko de la Institutul de Cibernetică din Kiev, pentru rezolvarea problemelor de prognoză și obținerea modelelor de mari dimensiuni, în general de regresie. Metoda are la baza descompunerea modelului problemei în modele simple si reasamblarea acestora, după o selecție prealabilă. [T1]

Problemele legate de modelarea obiectelor complexe (aproximarea și extrapolarea funcțiilor,
identificare, recunoaștere de șabloane, prognozarea proceselor și evenimentelor aleatoare) pot fi rezolvate în general prin metode deductive logico-matematice sau prin metode inductive de sortare. Metodele deductive au avantaje în cazul problemelor de modelare simple, când teoria
obiectului de modelat este cunoscută și este posibil să se dezvolte un model bazat pe principii fizice. Luarea deciziilor în astfel de domenii, cum ar fi analiza proceselor în macroeconomie, previziuni financiare, analiza de solvabilitate a firmei, reclamă folosirea unor metode prin care să se realizeze modele exacte cu privire la procesele de prognoză. Dificultățile țin de cantitatea mare de
variabile, numărul foarte mic de observații și dinamica necunoscută dintre aceste variabile.
Astfel de obiecte financiare sunt sisteme complexe insuficient definite, caracterizate prin:

informații inadecvate

număr mare de variabile incomensurabile

mostre de date zgomotoase și extrem de puține

obiecte insuficient definite cu caracteristici fuzzy.

Problemele de modelare complexă, cum ar fi analiza și predicția pieței de valori, nu pot fi rezolvate cu metode matematice logice deductive cu acuratețea necesară. Extragerea cunoștințelor din date se realizează prin obținerea descrierii matematice din date. Dar cunoștințele necesare pentru proiectarea de modele matematice sau proiectarea de arhitecturi de rețele neuronale nu sunt la dispoziția tuturor utilizatorilor. În rețelele neuronale, utilizatorul estimează structura rețelei prin alegerea numărului de straturi, a numărului de neuroni și a funcțiilor de transfer ale neuronilor. Acest lucru necesită nu numai cunoștințe despre teoria rețelelor neuronale, dar, de asemenea, cunoașterea obiectului studiat.

Rețelele neuronale de tip GMDH pot depăși aceste neajunsuri; ele pot culege cunoștințe despre obiect direct din baza de date. Metoda Grupului de Prelucrare a Datelor, GMDH (The Group Method of Data Handling), este metoda inductivă de sortare, care prezintă avantaje în cazul obiectelor complexe,
neavând nicio teorie definită, fiind aplicată în special pentru obiectele cu caracteristici fuzzy.

GMDH este o metodă cu auto-organizare bazată pe sortarea treptată a modelelor complicate și evaluarea acestora prin criterii externe pe eșantioane separate de date. Ca și variabile de intrare pot fi folosiți orice parametri care pot influența procesul. Se identifică structura modelului și se analizează influența parametrilor asupra variabilei de ieșire. Modelul optim este cel care duce la valoarea minimă a criteriului extern. Acestă abordare inductivă este diferită de tehnicile deductive frecvent utilizate.

GMDH a fost dezvoltată pentru modelarea sistemelor complexe, predicție, identificarea și
aproximarea proceselor cu mai multe variabile, suport de decizie după scenarii de tip "ce-ar fi dacă", diagnosticare, recunoaștere de șabloane și clusterizare a unui eșantion de date. A fost demonstrat că GMDH ajută în cazul datelor inexacte, afectate de zgomot sau insuficiente, la găsirea unui model optim simplificat cu precizie mai mare și structură mai simplă decât a modelului fizic complet. [I1]

Au apărat mai mult de 230 de dizertații și s-au publicat numeroase lucrări și cărți dedicate metodei GMDH cu teoria și aplicațiile sale. Sunt dezvoltate metode de inducție matematică pentru soluția problemelor relativ simple. GMDH poate fi considerată o dezvoltare suplimentară a metodelor inductive cu auto-organizare pentru soluționarea problemelor practice mai complexe. Aceasta rezolvă problema privind modul în care se manipulează eșantioanele de date observate. Scopul este de a obține
un model matematic al obiectului (problema de identificare și de recunoaștere a modelului) sau de a
descrie procesele care vor avea loc asupra obiectului în viitor (problema prognozei procesului).

Metoda GMDH rezolvă procese de:

prognoză pe termen lung;

prognoză pe termen scurt a proceselor și evenimentelor;

identificarea regularităților fizice;

aproximare a proceselor multivariabilă;

clusterizare a eșantioanelor de date;

recunoaștere de modele în cazul variabilelor continue sau discrete;

diagnosticare și recunoaștere prin algoritmi probabilistici de sortare;

auto-organizare a rețelelor neuronale multistrat cu neuroni active.

Algoritmii GMDH și algoritmii de tip GMDH

Este necesar să se facă diferența între algoritmii GMDH și algoritmii de tip GMDH. Primii lucrează folosind minimul unui criteriu extern și, prin urmare, realizează alegerea obiectivă a modelului optim. Această tehnică GMDH se bazează pe o abordare inductivă: modelele optime sunt obținute prin sortarea variantelor posibile și evaluate prin criterii externe. Modelul care conduce la un minim este cel mai bun. Pentru a face o alegere obiectivă, selecția se face fără praguri sau coeficienții în criteriu. Criteriul se aplică de două ori: prima dată, pentru a găsi cele mai bune modele la fiecare strat de selecție pentru identificarea structurii și a doua oară pentru a găsi modelul optim. Procedura de selecție este oprită atunci când valoarea minimă a criteriului este atinsă.

Modul de lucru al algoritmilor de tip GMDH se concentrează pe cuvintele: "cu cât este mai complex un model, cu atât este mai precis". Este necesar să se stabilească un prag definit sau să se sublinieze coeficienții de pondere pentru membrii formulei criteriului intern, pentru a găsi modelul optim într-un mod subiectiv. Dar problemele reale, de obicei, sunt prezentate prin date puține sau afectate de zgomot. Din păcate, în aproape toate software-urile de tip GMDH (ModelQuest, NeuroShell) și lucrările de cercetare din SUA și Japonia, această abordare deductivă este utilizată, nefiind eficientă pentru astfel de date.

Abordarea inductivă nu elimină experții ci, mai degrabă, le atribuie o poziție specială. Experții indică criteriul de selecție al unei forme foarte generale și interpretează modelele alese. Ei pot influența rezultatul modelării prin formularea de noi criterii. Calculatorul devine un arbitru obiectiv pentru controversele științifice, dacă ansamblul de criterii este coordonat între experții care iau parte la discuții.
Elementul uman implică adesea erori și decizii nedorite. Alegerea obiectivă a modelului optim
prin minimul caracteristicii criteriului extern în algoritmii GMDH de multe ori contrazice avizul expertului. Algoritmii obiectivi dau posibilitatea de a realiza inteligența artificială reală.

Particularitățile GMDH

Particularitatea principală a algoritmului GMDH este că, atunci când se utilizează date continue afectate de zgomot, el selectează ca optim modelul simplificat non-fizic. Este dovedită convergența algoritmilor GMDH multistrat și faptul că modelul scurtat non-fizic este mai bun decât modelul complet fizic (pentru datele continue, afectate de zgomot, în predicție și aproximare), având o precizie mai mare.

Singura modalitate de a obține modele non-fizice este de a folosi algoritmii de sortare GMDH. Regularitatea structurii optime a modelelor de prognoză se modifică în funcție de indicii generali de nedeterminare a datelor (nivel de zgomot, lungimea eșantionului de date, arhitectura experimentului, numărul de variabile informaționale). [I1]

Particularitățile GMDH sunt următoarele:

1) Supliment extern: numai criteriile externe, calculate pe informații noi independente, pot produce minimul caracteristicii de sortare. Astfel, eșantionul de date este împărțit în părți pentru construcția modelului și pentru evaluarea lui.

2) Libertatea de alegere: în algoritmii GMDH multistrat, sunt transmise de la un strat la stratul următor, nu una ci mai multe soluții pentru a asigura "libertatea de alegere".

3) Definiție suplimentară a modelului: când alegerea modelului fizic optim este dificilă, din cauza nivelului de zgomot sau a oscilațiilor caracteristicii minime a criteriului, se folosesc criterii de discriminare auxiliare. Alegerea criteriului principal și a constrângerilor de sortare ține de euristica GMDH;
5) Toți algoritmii au structură multistrat și poate fi implementat calculul pentru realizarea lor;

Diferenta dintre algoritmii GMDH și alți algoritmi de identificare structurală, genetică și algoritmi de regresie constă în câteva particularități principale:

utilizarea unor criterii externe, care se bazează pe divizarea eșantionului de date și sunt adecvate pentru probleme de construcție a modelelor de prognoză, prin scăderea cerințelor de volum a informațiilor inițiale;

diversitate mai mare a generatorilor de structuri;

nivel mai bun de automatizare: este necesară introducerea numai a eșantionului inițial de date, și tipul criteriului extern;

adaptarea automată a complexității modelului optim și a criteriului extern la nivelul de zgomote din date;

Algoritmii parametrici de bază GMDH au fost dezvoltați pentru variabilele continue. Cei mai cunoscuți sunt:

algoritmul combinatorial (COMBI), cel mai des utilizat. Se bazează pe sortarea completă sau parțială a modelelor complexe și evaluarea acestora de către un criteriu extern pe diviziuni separate a eșantionului de date;

algoritmul de analiză obiectivă a sistemului. Elementul cheie al algoritmului este că nu examinează ecuații unice, ci sisteme de ecuații algebrice, obținute prin șabloane implicite (fără funcție de scop). Un avantaj al algoritmului este că informațiile încorporate în eșantionul de date sunt utilizate mai bine și sunt redate relațiile dintre variabile;

algoritmul cu două nivele pentru modelarea pe termen lung a proceselor ciclice (cum ar fi stocurile sau vremea). Sunt utilizate sisteme de ecuații polinomiale pentru identificarea
modelelor pe două scale de timp și apoi se alege cea mai bună pereche de modele prin valoarea criteriului extern. Pentru acest lucru poate fi folosit orice algoritm parametric din cele descrise mai sus.

Algoritmii parametrici GMDH s-au dovedit a fi extrem de eficienți în cazurile în care se modelează obiecte cu caracteristici non-fuzzy, cum ar fi obiecte de inginerie. Când modelarea implică obiecte cu caracteristici fuzzy, este mult mai eficient să se utilizeze algoritmi non-parametrici GMDH, unde modelele polinomiale sunt înlocuite cu un eșantion de date divizat în intervale sau clustere. Algoritmii non-parametrici sunt exemplificați prin:

clusterizare obiectivă computerizată, algoritm care operează cu perechi de puncte aflate la distanțe mici în spațiu. Se realizează clusterizare fizică, care trebuie să fie aceeași pe două
subeșantioane;

algoritmul de căutare a clusterelor, pus în aplicare prin construirea a doi arbori ierarhici de clusterizare și estimarea prin criteriul echilibrului;

algoritmul probabilistic, recomandat pentru recunoașterea și prognoza în cazul obiectelor binare și pentru controlul autenticității datelor de intrare, pentru a evita eventualele erori.

Algoritmi GMDH sunt aplicați în optimizare pentru a rezolva probleme de prognoză normativă (după scenarii de tip "ce-ar fi dacă – atunci"), precum și pentru controlul optim al obiectelor multivariabilă slab definite. Multe obiecte slab definite din macroeconomie, ecologie, fabricație pot fi descrise cu destulă precizie de ecuații algebrice statice sau diferențiale, care pot fi transformate în probleme de programare liniară prin înlocuirea membrilor non-lineari cu variabile suplimentare. Algoritmii GMDH sunt aplicați pentru a evalua deviațiile variabilelor de ieșire de la valorile lor optime de referință.

Capitolul 2. Stadiul actual în realizarea prognozelor cu ajutorul rețelelor neuronale artificiale

2.1. Introducere

Rețelele neuronale sunt potrivite pentru estimarea seriilor de timp, în principal din cauza abilității lor de a învăța numai din exemple, fără a fi necesară adăugarea informațiilor suplimentare care pot aduce mai multă confuzie decât un efect de predicție. Rețelele neuronale sunt capabile să generalizeze și sunt rezistente la zgomot. Pe de altă parte, în general, nu este posibil să se stabilească exact ceea ce o rețea neuronală a învățat și este, de asemenea, greu de estimat eroarea posibilă de predicție. Cu toate acestea, rețelele neuronale au fost adesea folosite cu succes pentru estimarea seriilor de timp, fiind ideale mai ales atunci când nu exista nici o altă descriere a seriei observate.

Prognoza reprezintă susținerea unor afirmații despre ceva ce se va întâmpla, de multe ori pe baza unor informații din trecut și din starea actuală. Toată lumea rezolvă probleme de predicție în fiecare zi, cu diferite grade de succes, despre vreme, recoltă, consumul de energie, tranzacțiile de schimb valutar, tranzacții bursiere, cutremure etc.

În domeniul tehnic, parametrii previzibili ai unui sistem pot fi adesea exprimați și evaluați folosind ecuațiile; astfel, predicția este o simplă evaluare sau soluție a acestor ecuații. Cu toate acestea, practic, există probleme în cazul cărora o astfel de descriere ar fi prea complicată sau imposibilă. În plus, soluția prin această metodă ar putea fi foarte dificil de calculat, și, uneori, s-ar obține soluția după ce evenimentul de prognozat a avut loc.

Este posibil să se utilizeze aproximări diferite, de exemplu, regresia dependenței de alte evenimente a variabilei de prognozat, care este apoi extrapolată pentru viitor. Găsirea acestei aproximări poate fi, de asemenea, dificilă. Această abordare, în general, înseamnă crearea unui model al evenimentului prognozat.

Rețelele neuronale artificiale (RNA) pot fi utilizate pentru predicție cu niveluri diferite de eficacitate. Unul dintre avantajele principale include capacitatea de învățare automată a dependențelor numai din datele măsurate, fără a fi necesare informații suplimentare (cum ar fi tipul de dependență ca în cazul regresiei). O RNA este instruită cu date istorice mizând pe capabilitatea ei de a descoperi dependențele ascunse și de a le folosi pentru predicții, fără a fi reprezentată de un model dat în mod explicit.

Rețelele neuronale lucrează cu diferite tipuri de date. Lucrarea de față se concentrează asupra predicției seriilor de timp (fig. 4).

Seria de timp, numită și serie dinamică sau cronologică, reprezintă un set sistematizat de valori ale unei variabile măsurate la momente sau intervale de timp egale și successive. Din punct de vedere matematic, seria de timp este o realizare a unui proces stocastic unde Z sau unei mulțimi din Z, iar spațiul stărilor procesului (adică ) este mulțimea R sau o submulțime a sa.

Analiza seriei de timp, identificarea, evaluarea și separarea componentelor oferă informații privind:

trendul, adică existența unui sens evolutiv dominant, care se manifestă îndeosebi în condiții de normalitate ale desfășurării procesului;

apariția unor oscilații periodice sistematice, cu șanse mari de a se repeta și în viitor, atât ca sens cât și ca amploare;

aspectul previzibil al evoluției unor procese, ca răspuns la unele abateri din trecut;

identificarea factorilor neesențiali, permițând eventuala eliminare a lor;

caracterul inerțial al desfășurării unor procese.

O primă clasificare a seriilor de timp este dată de împărțirea lor în serii staționare și serii nestaționare. Seria staționară este seria ale cărei valori oscilează în jurul unui nivel de referință (de echilibru). Vom nota cu valoarea de la momentul t și cu variabila aleatoare de la momentul t a cărei realizare este . În limbaj matematic, seria este staționară dacă procesul stocastic este staționar, adică are media și dispersia constante, iar covarianța variabilelor din proces depinde numai de distanța dintre momentele de timp la care sunt înregistrate. Așadar:

și .

În economie, majoritatea seriilor cronologice privind prețurile, masa monetară, consumul etc. nu sunt staționare, sunt nestaționare, deoarece prezintă tendințe de creștere sau de scădere în timp (media lui depinde de momentul t).

În raport cu modalitatea în care se elimină tendința din seria de date, se identifică:

serii nestaționare TSP („trend stationary processes”) sunt serii care, prin îndepărtarea tendinței, sunt transformate în serii staționare. Notând cu tendința și cu rezultă că seria este staționară.

serii nestaționare DSP („difference stationary processes”) sunt serii care se transformă în serii staționare prin calculul diferențelor de ordinul întâi sau de ordinul doi Prin aceste diferențe se elimină și trendul.

Prognoza poate fi clasificată în funcție de datele disponibile pentru învățarea (antrenarea) procesului de predicție și în funcție de valoarea prognozată.

Când se dorește cunoașterea exactă a variabilei în viitor, atunci se estimează valoarea. Altă posibilitate este de a prezice tendința variabilei, dacă valoarea sa va crește sau se va micșora, fără a ține seama de dimensiunea schimbării; astfel, se estimează trend-ul. În acest caz, se realizează, de fapt, clasificarea în două (sau trei) clase: creștere, scădere (sau fără schimbări semnificative).

Pentru prognoza seriilor de timp sunt disponibile, de obicei, valori ale unei variabile la intervale echidistante; în acest caz, seriile istorice de timp ar trebui să fie suficient de lungi și compacte. Informații importante pot fi adăugate folosind așa-numitele variabile intervenționale (indicatori de intervenție), care reprezintă date despre seriile de timp sau date cu privire la perioada în care se prezice. De exemplu, atunci când se estimează consumul de energie, este important să se precizeze dacă prognoza se realizează pentru zilele sătămânii sau pentru weekend, îmbunătățind astfel predicția. Aceste informații nu rezultă din seria de timp în mod explicit, trebuie adăugate. De asemenea, prognoza este îmbunătățită prin adăugarea altor variabile dependente, exprimate în serii de timp.

Avantajul utilizării RNA pentru predicție este că sunt capabile să învețe doar din exemple și după ce învățarea lor s-a terminat, au posibilitatea de a identifica dependențele ascunse și puternic non-lineare, chiar și atunci când există un zgomot semnificativ în datele de antrenare. Dezavantajul este că RNA poate învăța dependența dintre variabile valabilă numai într-o anumită perioadă de timp. Eroarea de predicție, în general, nu poate fi estimată la intervale mari de timp.

Predicția seriilor de timp folosind RNA constă în a învăța rețeaua istoria variabilei într-un timp limitat selectat și aplicarea informațiilor învățate în viitor. Datele din trecut sunt furnizate neuronilor de intrare ai rețelei neuronale care pune la dispoziția utilizatorului datele prognozate pentru viitor la neuronul de ieșire al rețelei (fig. 5). [L1]

Fig. 5. Învățarea seriilor de timp fără variabile intervenționale. Punctele din grafic reprezintă
seria de timp obținută prin eșantionarea datelor continue.

Pentru o predicție mai exactă, pot fi adăugate informații suplimentare pentru antrenarea rețelei, de exemplu, sub formă de variabile intervenționale (indicatori de intervenție) – fig. 6. Cu toate acestea, mai multe informații nu înseamnă întotdeauna o predicție mai bună; uneori, acestea pot face procesul de învățare și prognoză ineficient. Este întotdeauna necesară selecția informațiilor cu adevărat relevante.

Fig. 6 – Învățarea seriilor de timp cu indicatori de intervenție

Datele disponibile sunt împărțite în trei seturi: set de învățare, set de validare și set de testare. Setul de învățare este afișat rețelei neuronale în timpul fazei de învățare. Rețeaua este adaptată la acest set pentru a obține ieșirile cerute (cu alte cuvinte, ponderile din rețea sunt modificate pornind de la acest set). Diferența dintre ieșirea reală și ieșirea calculată este măsurată cu ajutorul setului de validare și această diferență este folosită pentru a valida dacă învățarea rețelei poate fi terminată. Setul de testare este utilizat pentru a testa dacă rețeaua este capabilă să lucreze și cu date care nu i-au fost prezentate în procesul precedent. Așadar, setul de învățare este folosit pentru a crea un model, setul de validare, pentru verificarea modelului și setul de testare este folosit pentru testarea gradului de utilizare a modelului.

Structura unei rețele neuronale artificiale proiectată pentru prognoză

Rețelele neuronale feedforward sunt compuse din straturi de neuroni, în care stratul de intrare al neuronilor este conectat la stratul de ieșire prin unul sau mai multe straturi de neuroni intermediari. Procesul de instruire a rețelei neuronale implică adaptarea ponderilor până ce este stabilită o relație dorită între intrare și ieșire. Majoritatea algoritmilor de învățare se bazează pe algoritmul back-propagation Widrow-Hoff. Relația de prognoză poate fi descrisă astfel: [L1]

unde z este fie observația originală, fie data procesată, sunt reziduurile.

Prelucrarea datelor de intrare și valorile e și z sunt necesare pentru a determina performanța prognozei. Un model de previziune a seriilor de timp cu o rețea neuronală feedforward include trei etape:

detectarea modelului datelor de intrare

determinarea numărului de neuroni din stratul ascuns

construirea rețelei neuronale pentru prognoză

Detectarea modelului de intrare

Detectare modelului de intrare se face utilizând analiza autocorelațiilor. Coeficienții de autocorelare măsoară gradul de corelare între observațiile succesive dintr-o serie de timp. Detectarea presupune două etape

Pentru o serie de timp dată, se calculează coeficienții de autocorelare. Dacă se identifică o tendință, atunci ea trebuie eliminată prin diferențiere. Acest pas ar trebui repetat până când tendința este eliminată într-o măsură rezonabilă. Această etapă este importantă deoarece coeficienții de autocorelare se folosesc pentru a determina întârzierile reziduurilor în previziunea pe termen scurt.

Se calculează coeficienții parțiali de autocorelare. Informațiile vor indica modul în care yi este autocorelat cu yi+k. Se aleg coeficienții parțiali de autocorelare care sunt semnificativ diferiți față de restul coeficienților. Cel mai mare decalaj între oricare doi dintre coeficienți este numărul de intrări necesare pentru rețeaua de prognoză.

Determinarea numărului de neuroni din stratul ascuns

Numărul de neuroni din stratul ascuns este o preocupare majoră în aplicarea rețelelor neuronale la prognoza seriilor de timp. O regulă uzuală, cunoscută sub numele de regula Baum-Haussler, este folosită pentru a determina numărul de neuroni ascunși, astfel: [L1]

unde Nascunși este numărul de neuroni ascunși, Nantrenare este numărul de exemple de antrenare, Etol este toleranța erorii, Npts este numărul de puncte dintr-un exemplu de antrenare și Nieșire este numărul de neuroni de ieșire. Aceasta regulă asigură, în general, că rețeaua neuronală proiectată va fi capabilă de generalizare, mai mult decât de memorare.

Construcția rețelei neuronale pentru prognoză

Există două cazuri care ar trebui luate în considerare în previziunea seriilor de timp: prognoza pe termen scurt și prognoza pe termen lung. Cu ajutorul modelului datelor de intrare determinat anterior și cu numărul de neuroni din stratul ascuns, se exprimă următoarea relație prin care are loc previziunea:

z-1yk = yk-1

Această structură se distinge de alte rețele neuronale de prognoză prin faptul că valorile reziduale sunt considerate ca factori de intrare, de asemenea. Această structură este inspirată de modelele convenționale de previziune statistică, care consideră prognoza ca o decizie făcută pe baza mai multor observații succesive anterioare și valorile reziduale sunt diferența dintre observațiile reale și previziunile obținute.

Predicția pe termen lung este importantă pentru stabilirea evoluției unei serii de timp, care necesită parcurgerea mai multor etape. Valorile reziduale nu mai sunt disponibile, pentru că datele viitoare reale nu sunt cunoscute.

2.2. Eficiența rețelelor neuronale artificiale în prognoză

O rețea neuronală artificială explorează simultan multe ipoteze concurente folosind o rețea masiv paralelă compusă din elemente non-lineare computaționale interconectate prin legături cu
ponderi variabile. Setul de ponderi conține cunoștințele generate de către RNA. În general, modelele RNA sunt caracterizate de topologia rețelei, de caracteristicile nodurilor și de regulile de antrenare și învățare. RNA sunt formate dintr-un număr mare de unități simple de procesare, interacționând între ele prin conexiuni inhibitorii sau excitatorii. Reprezentarea distribuită pe un număr mare de unități, împreună cu interconectivitatea între unitățile de procesare, determină o toleranță de eroare. Învățarea este realizată printr-o regulă care adaptează ponderile conexiunilor ca răspuns la modelele de intrare. Modificările în ponderile asociate conexiunilor permit adaptabilitatea la situații noi.

În ultimul timp, multe cercetări au fost direcționate spre aplicarea RNA în domeniul afacerilor. În ciuda acestui fapt, opiniile despre valoarea acestor tehnici au fost mixte. Unii consideră că acestea sunt eficiente în luarea deciziilor nestructurate; alți cercetători și-au exprimat rezerve cu privire la potențialul lor, ceea ce sugerează că sunt necesare dovezi empirice mai puternice. [A1]

Criterii folosite în evaluarea aplicațiilor cu RNA

În evaluarea studiile, se dorește aflarea răspunsului la două întrebări. În primul rând, studiul a evaluat în mod corespunzător capacitățile de predicție a rețelei propuse? În al doilea rând, cercetarea a implementat RNA astfel încât să fie asigurată o bună execuție a acesteia? Astfel, se pun în discuție două noțiuni: eficiența validării rețelei și eficiența implementării rețelei, în scopul evaluării aplicațiilor bazate pe RNA.

Eficiența validării

Există o tradiție bine stabilită în cercetarea de prognozare de a compara tehnicile pe baza
rezultatelor empirice. Dacă o nouă abordare se vrea a fi luată în serios, aceasta trebuie să fie evaluată în în funcție de alternativele care sunt sau ar putea fi utilizate. Dacă o astfel de comparație nu este realizată, este dificil de argumentat faptul că acest studiu a transmis ceva despre valoarea RNA în previziune. Pentru evaluarea eficienței validării, se pot aplica trei linii directoare descrise în continuare.

Comparația cu modele acceptate

Previziunile unui model propus ar trebui să îndeplinească, cel puțin, aceleași cerințe de acuratețe ca și modelele de referință acceptate. De exemplu, dacă un model propus nu produce prognoze cel puțin la fel de precise ca și cele de la o extrapolare naivă, nu poate fi susținut că procesul de modelare contribuie la adăugarea de cunoștințe în acel domeniu.

Utilizarea validărilor ex-ante

Compararea previziunilor ar trebui să se bazeze pe performanțele ex-ante. Cu alte
cuvinte, eșantioanele folosite pentru a testa capacitățile de predicție a unui model trebuie să fie diferite față de eșantioanele folosite pentru a dezvolta și antrena modelul. Acest lucru se potrivește cu condițiile sarcinilor reale, unde modelul trebuie să producă previziuni cu privire la un viitor necunoscut sau la un caz în care rezultatele nu sunt disponibile.

Utilizarea unui eșantion rezonabil pentru prognoză

Mărimea eșantioanelor de validare ar trebui să fie adecvată pentru a permite stabilirea deducțiilor. Cele mai multe dintre studiile de clasificare utilizează 40 sau mai multe cazuri pentru validare. Studiile asupra seriilor de timp, de obicei, folosesc eșantioane mai mari, cel puțin 75 de cazuri pentru validare.

Eficiența implementării

Pentru studiile care au validat RNA, se verifică cât de bine a fost implementată arhitectura propusă. În timp ce un studiu nevalidat nu este util în evaluarea aplicabilității tehnicii la situații de prognoză, unul care este slab implementat ar putea avea încă o anumită valoare.

În determinarea eficienței cu care o RNA a fost dezvoltată și testată, se utilizează câteva criterii, astfel: [A1]

Convergența determină dacă procedura de învățare este capabilă de a învăța clasificarea definită într-un set de date. În evaluarea acestui criteriu, se analizează performanța eșantionului de date din rețeaua propusă, deoarece aceasta determină capacitatea de convergență a rețelei și stabilește un etalon pentru evaluarea capacității de generalizare, adică de performanță ex-ante, a rețelei. În cazul în care un studiu nu prezintă performanța în raport de eșantion, se recomandă prudență în acceptarea rezultatelor sale estimate.

Generalizarea măsoară capacitatea RNA de a recunoaște modele în afara eșantionului de antrenare. Ratele de precizie realizate în timpul fazei de învățare, de obicei, definesc limitele pentru generalizare. Dacă performanța pe un nou eșantion este similară cu cea din faza de convergență, RNA este considerată a fi învățat bine.

Stabilitatea este coerența rezultatelor, în timpul fazei de validare, cu eșantioane diferite de date. Acest criteriu evaluează dacă configurația RNA determinată în timpul etapei de învățare și rezultatele etapei de generalizare sunt consecvente pentru eșantioane diferite de date de testare. Studii ar putea demonstra stabilitatea fie prin utilizarea de eșantioane repetate de la același set de date, fie prin utilizarea de eșantioane multiple de antrenare și validare.

Criteriile sunt, în general, aplicabile pentru orice arhitectură RNA sau mecanism de învățare. În plus, ele reprezintă o distilare a celor mai bune practici din literatura de specialitate.

În concluzie, studii sunt clasificate ca fiind de trei tipuri. Cele care sunt bine implementate și bine validate sunt de interes indiferent de rezultatul lor. Ele pot fi folosite pentru a susține că RNA sunt utile în prognozare sau nu, în funcție de rezultate. Al doilea tip sunt studiile care au fost bine validate, chiar dacă implementarea acestora are de suferit în anumite privințe. Acestea sunt importante atunci când tehnicile pe care le propun sunt de interes, în ciuda limitărilor de implementare. Ele pot fi folosite pentru a argumenta că RNA sunt aplicabile și pentru a stabili o limită inferioară a performanței lor. În cele din urmă, există studii care sunt de interes scăzut, din punctul de vedere al transmiterii de informații despre aplicabilitatea rețelelor neuronale în probleme de predicție. Unele dintre acestea au o mică valoare din cauza erorilor de validare. Altele sunt validate corespunzător, dar produc rezultate nule sau negative. Din moment ce nu este posibil să se stabilească dacă aceste rezultate negative se obțin din cauza tehnicii folosite care nu este aplicabilă sau din cauza dificultăților de implementare, studiile nu prezintă valoare pentru cercetările de prognoză.

2.3. Aplicarea rețelelor neuronale artificiale de ordin superior în prognoza seriilor de timp

Seriile de timp financiare sunt caracterizate de neliniarități, discontinuități și de componente multipolinomiale de înaltă frecvență. Rețelele neuronale artificiale convenționale au dificultăți în modelarea de astfel de date complexe. O abordare mai adecvată este aplicarea rețelelor neuronale de ordin superior (RNOS), care sunt capabile să extragă coeficienții polinomiali de nivel superior din date. RNOS oferă aproximativ de două ori performanța perceptronului multistrat în prognoza seriilor de timp financiare. În timpul etapei de învățare, datele de ieșire ale unei rețele neuronale cu învățare supervizată ajung să aproximeze valorile țintă care sunt intrările în setul de antrenare. Această capacitate poate fi utilă în sine, dar scopul frecvent al folosirii unei RNA este de a generaliza, de a obține date de ieșire care aproximează valorile țintă, adică intrările care nu fac parte din setul de antrenare.

În general, sunt trei condiții necesare, dar nu suficiente, pentru o bună generalizare. Prima condiție necesară este ca intrările rețelei să conțină destulă informație corespunzătoare țintei, astfel încât să existe o funcție matematică de legătiră între intrare și ieșire cu gradul dorit de acuratețe. A doua condiție necesară este ca funcția de învățare (care corelează intrările cu ieșirile) să permită ca modificările mici din datele de intrare să producă modificări mici în datele de ieșire. A treia condiție necesară pentru o generalizare bună este ca datele de antrenare să constituie un eșantion suficient de mare și reprezentativ pentru toate datele evenimentului studiat. [K1]

În ciuda capacității universale de aproximare a perceptronului multistrat și a rețelelor backpropagation, performanțele lor sunt limitate în modelarea și/sau prognoza seriilor de timp. Acest lucru se datorează în parte unor limitări ale RNA feed-forward:

Funcțiile lor de activare au numai parametrii ficși (funcția sigmoid, tangentă hiperbolică etc)

Ele sunt capabile să aproximeze numai funcții continue; perceptronii multistrat nu sunt în măsură să lucreze cu serii de timp economice discontinue sau continue pe porțiuni. Rețelele cu funcții de activare adaptive par să ofere o precizie mai bună decât arhitecturile clasice de neuroni cu funcții de activare fixe.

Unii cercetători au acordat o atenție sporită unor modele mai sofisticate, alternative de RNA. Astfel, au procedat la încorporarea unor întârzieri în unitatea de timp pentru a transforma perceptronul multistrat sau rețeaua backpropagation într-o rețea recurentă, cu scopul de a recunoaște (clasifica)
modelele de intrare dinamice, mai degrabă decât pe cele statice.

Rețelele neuronale de ordin superior (RNOS)

Zonele de aplicabilitate recunoscută ale RNA sunt recunoașterea formelor, potrivirea modelelor, aproximarea funcțiilor matematice (regresie neliniară). Totuși, ele sunt supuse unor limitări cunoscute: blocarea în minime locale, timp mare de convergență, incapacitate de manipulare a datelor de antrenare discontinue și a asocierilor complexe, natura de tip " cutie neagră" (explicațiile pentru luarea deciziilor nu sunt întotdeauna evidente, ca în cazul altor tehnici de genul arborilor de decizie). Aceste motive susțin dezvolatarea rețelelor neuronale de ordin superior (RNOS). [K1]

Termenul de rețea neuronală de "ordin superior" cuprinde noțiuni care variază de la descrierea funcției de activare a neuronului până la preprocesarea neuronilor de intrare, de la conexiunile la mai mult de un singur strat până la funcționalitatea RNA (capacitatea acestora de a extrage corelații de ordin superior din datele de antrenare). În acest capitol, termenul de RNOS se referă la încorporarea unei game largi de tipuri de neuroni: liniari, multiplicativi, sigmoid, logaritmici etc. Cercetări anterioare au arătat că RNOS au o capacitate impresionantă de calcul, arhivare și învățare.

O rețea neuronală de ordin întâi poate fi exprimată prin următoarea relație, presupunând existența neuronilor simpli McCulloch-Pitts:

,

unde x(j) este vector de intrare cu N elemente, W(i,j) reprezintă ponderile ajustabile de la toți ceilalți neuroni la neuronal i, f este funcția prag a neuronului (de exemplu, funcția sigmoid). Astfel de neuroni se spune că sunt liniari, deoarece sunt capabili să captureze numai corelații de ordin întâi din datele de antrenare. Este cunoscut faptul că perceptronul original cu două straturi al lui Rosenblatt putea executa clasificarea numai a datelor de antrenare cu caracter liniar. La apariția perceptronului multistrat (care încorporează funcții de activare neliniare, cum ar fi funcția sigmoid) datele mai complexe (neliniare), au putut fi procesate.

Corelațiile de ordin superior din datele de antrenare necesită funcții de activare a neuronilor mai complexe, astfel exprimate:

Neuroni care includ termeni de până la și inclusiv gradul k sunt denumite în continuare neuroni de ordin k. Figura 7 explică indicii i, j, k utilizați în ecuația redată mai sus.

Sarcina mărită de calcul care rezultă din creșterea ponderilor de rețea înseamnă că reprezentările datelor complexe de intrare-ieșire, în mod normal, realizabile numai în rețelele multistrat, pot fi acum realizate într-un singur strat al RNOS.

În concluzie, funcțiile de activare ale RNOS includ termeni multiplicativi. Acum, ieșirea unui neuron de ordin k al unei RNOS cu un singur strat va fi o funcție neliniară cuprinzând polinoame de ordin până la k.

Performanța unei RNA de ordin I poate fi îmbunătățită utilizând algoritmi de învățare sofisticați. În opoziție, RNOS poate obține performanță superioară chiar dacă algoritmul de învățare se bazează pe reguli mai simple.

Fig. 7. Arhitectura rețelei neuronale de ordin II

RNOS polinomiale

RNOS polinomiale (RNOSP) descise în această lucrare utilizează combinații diferite de neuroni liniari, multiplicativi, putere și sunt antrenate cu algoritmul standard backpropagation. Arhitectura generică a RNOSP este redată în figura 8, fiind compusă din două intrări în rețea, x și y (variabile independente) și o singură ieșire z (variabila dependentă). În primul strat ascuns, neuronii albi sunt fie cos(x), fie sin(y), iar neuronii gri sunt fie cos2(x), fie sin2(y). Toți neuronii din al doilea strat ascuns sunt multiplicativi și neuronul de ieșire hașurat este liniar sau sigmoid-logaritmic. Toate ponderile care fac legătura între al doilea strat ascuns și stratul de ieșire sunt ajustabile.

Fig. 8. RNOSP

Aplicarea RNOS la seriile de timp financiare.

Tabelul 2 arată modul în care cursul de schimb dintre dolarul australian și dolarul american a variat în decursul lunii martie 2005.

Tab. 2. Cursul de schimb dolar australia/dolar american

Următoarea formulă a fost folosită pentru scalarea datelor în intervalul [0,1]:

Ecuația a fost aplicată la fiecare intrare separată dintr-un anumit set de date de simulare (cursul de schimb individual). Cea mai mică intrare din setul de date servește drept cel mai mic curs de schimb și cea mai mare intrare este cel mai mare curs de schimb. După aplicarea ecuației, datele au fost convertite în valorile din coloana „Input #1”. Se utilizează cursul zilei anterioare și cursul zilei curente pentru a prognoza cursul de schimb pentru a doua zi. În consecință, se copiază datele pornind de la 2/3/2005 până la 18/3/2005 în coloana „Input #2”, aceasta fiind a doua intrare a RNOS. Pentru data de ieșire, se copiază datele de la 3/3/2005 până la 18/3/2005 în coloana „Desired output”. [K1]

Sistemul de simulare al RNOS a fost scris în limbajul C și rulează sub XWindows
pe o stație de lucru SUN. Acesta include o interfață cu grafică prietenoasă, care permite vizualizarea, revizuirea și modificarea dinamică a oricărei etape, date sau mod de calcul, în ferestre diferite. În partea de sus a fereastrei principale a simulatorului RNOS sunt trei meniuri: „Data”, „Traducători” și „Rețea Neuronală”, după cum este ilustrat în figura 9 (care arată rezultatul antrenării rețelei folosind datele din tabelul 2). Fiecare dintre aceste meniuri oferă mai multe opțiuni și, selectând o anumită opțiune se creează o altă fereastră pentru o prelucrare ulterioară. De exemplu, odată ce este selectat un set de date prin intermediul meniului de date, două opțiuni sunt prezentate pentru încărcarea datelor și afișarea grafică (sub diverse forme, de exemplu, în rotație, tip grilă, plan, analiza deinfluență etc.). Meniul de traducători este folosit pentru conversia datelor din linia selectată într-o formă de rețea, în timp ce meniul „Rețea Neuronală” este utilizat pentru a converti datele într-un model nominalizat. Aceste două meniuri permit utilizatorului să selecteze diferite modele și date, în scopul de a genera și compara rezultatele. Figura 10 arată ponderile rezultate în urma etapei de antrenare a RNOS.

Fig. 9. Etapa de antrenare a RNOS (convergența)

Fig. 10. Arhitectura RNOS. Ponderile rezultate în urma antrenării rețelei

Toate etapele anterioare se pot realiza cu ajutorul mouse-ului. Modificarea datelor sau a modelului de rețea și compararea rezultatelor pot fi realizate ușor si eficient. Simulatorul funcționează ca un sistem general de rețele neuronale și include următoarele funcții: încărcarea unui fișier de date, încărcarea unui model de rețea neuronală, generarea unui fișier de definiție (figura 11, pentru datele din tabelul 2), scrierea unui fișier de definiție, salvarea raportului, salvarea coeficienților (figura 12, pentru datele din tabelul 2), etc. Când sistemul rulează, pot fi deschise simultan 4 ferestre de operare în scopul:

afișării datelor (de antrenare, testare, erori)

afișării sau stabilirii parametrilor

afișării modelului de rețea, incluzând ponderile calculate

vizualizării coeficienților.

Fig. 11. Generarea fișierului de definiție

Fig. 12. Salvarea coeficienților calculați

Din calculul coeficienților polinomiali, se extrage următoarea formulă care poate fi utilizată pentru a reprezenta datele de interes (cursului de schimb), astfel făcând legătura între ponderile rețelei și coeficienții polinomiali:

z = 0.3990-0.0031x-0.0123×2+0.4663y-0.0834x*y-0.0274×2*y-0.0027y2-0.0310x*y2-0.1446×2*y2

Fiecare aspect al funcționării sistemului poate fi vizualizat grafic. De asemenea, modificarea unor parametri se poate face în timp real. În timpul prelucrării datelor, opțiunea "Afișează datele" pune la dispoziție patru moduri diferite de afișare a rezultatelor, care pot fi schimbate în timp real, și anume: "Antrenare", "Evoluție," "Suprapunere" și "Diferența” (utilizând același format selectat pentru datele de intrare), cum este indicat în figura 13 pentru datele din tabelul 2. Modul "Antrenare" afișează datele utilizate pentru a antrena rețeaua, modul "Evoluție" afișează datele produse de rețea, modul "Suprapunere" afișează atât datele de antrenare cât și pe cele obținute de rețea, pentru a putea fi comparate direct într-un grafic), modul "Diferența" afișează diferența dintre datele de antrenare și cele obținute de rețea.

Fig. 13. Graficul datelor de intrare pentru prognoza cu RNOS

2.4. Prognoza seriilor de timp cu ajutorul rețelelor neuronale evoluționale

Prognoza seriilor de timp este un instrument important, unde scopul este de a anticipa comportamentul sistemelor complexe analizând numai modelele de date din trecut. Contribuțiile din zona cercetărilor operaționale, statistică, precum și știința calculatoarelor au condus la metode de prognoză solide care au înlocuit intuiția, cum ar fi metodologiile Holt-Winters (1960) și Box-Jenkins (1976). Aceste metode au fost dezvoltate cu zeci de ani în urmă, când prevalau mari restricții computaționale. Cu toate că aceste metode dau previziuni exacte cu privire la seriile de timp liniare, ele sunt ineficiente pentru componentele zgomotoase sau neliniare, des întâlnite în situațiile reale (de exemplu, datele financiare). [R1]

O abordare alternativă pentru previziunea seriilor de timp provine din utilizarea rețelelor neuronale artificiale, modelele conexioniste inspirate din comportamentul sistemului nervos central,
fiind artefacte atractive pentru proiectarea sistemelor inteligente în data mining și aplicații de control. În special, perceptronul multistrat constituie cea mai populară arhitectură neuronală, unde neuronii sunt grupați în straturi și există numai conexiuni înainte, asigurându-se o puternică bază de învățare, cu avantaje, cum ar fi învățarea neliniară și toleranța la zgomot (Haykin, 1999). Utilizarea perceptronilor multistrat pentru modelarea seriilor de timp a început la sfârșitul anilor 1980 și domeniul s-a dezvoltat de atunci în mod constant. Interesul în perceptronul multistrat a fost stimulat de apariția algoritmului de antrenare backpropagation în 1986. Totuși, aceste proceduri de antrenare minimizează funcția eroare prin reglarea parametrilor modificabili (ponderile) ai unei arhitecturi fixe, care trebuie stabilită a priori. În plus, performanța neuronală va fi sensibilă la această alegere: o rețea mică va furniza capacități limitate de învățare, în timp ce una mai mare va supra-ajusta datele de antrenare, inducând pierderea proprietății de generalizare. Proiectarea topologiei rețelei neuronale (de exemplu, conectivitatea) este o sarcină complexă, care, de obicei, este abordată prin încercări succesive (de exemplu, prin explorarea un număr diferit de noduri ascunse), printr-o strategie „oarbă” care parcurge un set limitat de configurații posibile. Metode mai elaborate au fost propuse, cum ar fi metoda „prin tăiere” (pruning, Fiesler, 1995) și metoda algoritmilor constructivi (Kwok & Yeung, 1999), care constituie un pas spre o proiectare automată a RNA. Totuși, aceste proceduri au două dezavantaje majore: au tendința de a se bloca în minime locale și procesul de căutare se realizează pe o mică porțiune din arhitecturi, în loc de a se explora întregul spațiu de căutare.

O alternativă diferită este oferită de calculul evolutiv, o familie de proceduri de calcul inspirate din procesul de selecție naturală. Algoritmii evoluționiști sunt corespunzători pentru îndeplinirea sarcinilor de optimizare, efectuând o căutare globală multipunct (sau fascicul), localizând rapid zonele de înaltă calitate, chiar și atunci când spațiul de căutare este foarte mare și complex. Combinația hibrid dintre calculul evoluționist și rețelele neuronale, denumită rețea neuronală evolutivă, este un candidat potrivit pentru proiectarea topologiei, datorită caracteristicilor suprafeței de eroare: reprezentarea structurii neuronale și a performanței acesteia este indirectă; modificările sunt discrete și pot oferi efecte discontinue; topologii similare pot prezenta performanțe diferite în timp ce arhitecturi distincte pot asigura ieșiri similare. Algoritmul genetic a fost prezentat de Holland în 1975 și, de atunci, conceptul
a evoluat în mai multe variante de calcul care împărtășesc un set de caracteristici comune. Există un număr de soluții potențiale (indivizi) la o problemă, care evoluează simultan (o populație). Fiecare individ este codificat printr-un șir de caractere (cromozom) de simboluri (gene),
preluate de la un alfabet bine definit. Fiecărui individ i se atribuie o valoare numerică (de potrivire)
care susține oportunitatea soluției. În fiecare generație, o fracțiune de indivizi se înlocuiește cu rezultatele procesului, generate de aplicarea operatorilor genetici, cum ar fi încrucișare și mutație, în scopul de a crea noi soluții (reproducere). Întregul proces este evolutiv și cel mai adaptat individ are
șansele maxime de supraviețuire. [R1]

Optimizarea evolutivă a topologiilor neuronale a fost un teren fertil de cercetare în ultimii ani. Modelele propuse diferă, în principal, sub două aspecte: funcția de potrivire (fitness) și modul de reprezentare a rețelelor neuronale. În ceea ce privește primul aspect, abordarea cea mai obișnuită este de a lua în considerare o măsură de eroare caracteristică unui set de validare independent. Pe de altă parte, schema de reprezentare a fost abordată prin două metode, și anume codificări directe și indirecte. Prima codifică toate detaliile de topologie (ponderi și conexiuni), fiind abordarea cea mai utilizată, deoarece este mai eficientă și ușor de implementat. Cea din urmă reprezintă parametrii cei mai importanți sau face uz de normele de construcție. Codificarea indirectă este mai scalabilă și biologic plauzibilă, favorizând
rețelele obișnuite. Totuși, deoarece numai rețelele modulare sunt luate în considerație, spațiul de căutare pentru cea mai bună topologie este restricționat și această abordare a relevat unele dezavantaje în aplicarea asupra problemelor practice.

La proiectarea perceptronilor multistrat pentru prognoza seriilor de timp se utilizează frecvent
metodele aproximărilor succesive (a învățării din greșeli), cum ar fi testarea mai multor combinații de neuroni ascunși. Utilizarea proiectării evolutive este o încercare alternativă pentru selecția topologiei neuronale de serii de timp. Mai multe rețele neuronale evolutive au fost propuse, majoritatea lor utilizând reprezentarea parametrică indirectă, codificarea factorilor cum ar fi numărul de intrări și de noduri ascunse, ponderile inițiale, funcțiile de activare, sau chiar ratele de învățare. Cu toate acestea, din punctul de vedere al selecției modelului, pare mult mai importantă ajustarea conectivității perceptronului multistrat.

Fig. 14. Procesul de codificare pentru o structură neuronală dată

În continuare, se abordează o rețea neuronală evolutivă care folosește pentru codificare reprezentarea binară directă. Deoarece experimente anterioare au arătat că seriile de timp sunt de multe ori modelate de către rețele mici, această codificare va preveni dezvoltarea topologiilor neuronale. Astfel, fiecare genă reprezintă o conexiune posibilă, dacă valoarea ei este 1; atunci conexiunea corespunzătoare ei există, în caz contrar nu este luată în considerare. Conexiunile dintre neuronii ascunși și neuronii de ieșire există întotdeauna, deoarece această strategie înlesnește crearea unor rețele valabile. Figura 14 arată cum funcționează sistemul de codificare.

Presupunând un maxim de I intrări și H noduri ascunse, un factor de polarizare (bias) și conexiuni directe, dimensiunea cromozomulului este dată de (I+1)·(H+1). Eliminarea neuronului ascuns (pruning) se produce când nu există legături de la neuronii de intrare, iar eliminarea neuronului de intrare se produce atunci când un nod de intrare nu are nicio ieșire (figura 15). Acest lucru permite o reprezentare completă, definirea unui spațiu de căutare care conține toate topologiile neuronale de la cel mai simplu perceptron liniar la rețeaua multistrat total conectată și, de asemenea, permite găsirea tuturor subseturilor de noduri de intrare (efectuarea selecției trăsăturilor). [R1]

Fig. 15. Exemplu de eliminare a unui neuron ascuns (stânga) și a unui neuron de intrare (dreapta)

Genele inițiale ale populației au fost repartizate aleatoriu în alfabetul {0,1}. Numărul maxim de intrări (n) și noduri ascunse (H) au fost stabilite la 13 și 6, conducând la un cromozom cu 98
gene. Având în vedere că algoritmul genetic lucrează ca o procedura secundară (de ordin superior) de optimizare, stabilirea parametrilor acestuia nu este considerată esențială. Bazându-se pe experimente preliminare, mărimea populației a fost stabilită la 100 de indivizi, operatorul genetic de încrucișare în două puncte fiind responsabil pentru reproducere a 80% din rezultate, în timp ce operatorul de mutație este responsabil pentru cele rămase. În cadrul abordării propuse, principalele blocuri de construcție pot fi identificate cu setul de conexiuni care susțin un neuron ascuns. Procedura de selecție se face prin transformarea valorii de fitness în rangul corespunzător în rândul populației și apoi aplicarea unei metode de selecție denumită „roata ruletei” („roulette wheel”). Indivizii sunt reprezentați prin segmente adiacente, astfel încât segmentul fiecărui individ este egal în mărime cu gradul lui de fitness. Un număr aleator este generat și individul al cărui segment se potrivește cu numărul aleatoriu, este selectat. Procesul se repetă până când numărul dorit de indivizi este obținut. Această tehnică este asemănătoare cu o roată de ruletă cu fiecare felie proporțională în mărime cu gradul de fitness. Procedura evoluționistă este oprită după un număr convenabil de generații GMax, setat în acest caz la 200, odată ce s-au găsit cei mai buni indivizi în generațiile anterioare. În cele din urmă, 30 de iterații sunt aplicate celei mai bune topologii evoluate.

2.5. Aplicații ale rețelelor neuronale artificiale în domeniul prognozei

2.5.1. Predicția gradului de contaminare a apei subterane

Industria produce, de obicei, o cantitate semnificativă de deșeuri, care includ mai multe tipuri de produse chimice și metale grele, în funcție de tipul de industrie. În general, aceste substanțe chimice și metale grele sunt aruncate în iazuri, în canalele de scurgere și pe câmpuri deschise, ajungând în apele subterane.

Modelul a fost aplicat asupra datelor reale din apele subterane din Faisalabad, cel mai mare oraș industrial din Pakistan. Orașul are mai mult de 8000 de unități industriale mari și mici. Canalul Satiana din orașul Faisalabad, primind efluenți de la un număr mare de spălătorii chimice, mori textile și alte fabrici, a fost selectat pentru prognoza unor cantități de metale grele (Fe, Cu și Pb) în apele subterane. Datele privitoare la canal au fost obținut de la consiliul de cercetare a resurselor de apă pakistanez. Rezultatele obținute în urma aplicării modelului au fost comparate cu valorile reale, precum și cu Standardele Organizației Mondiale a Sănătății. [S1]

Faisalabad este renumit pentru diferitele sale industrii, care includ hârtie, piele, textile, zahăr, ulei vegetal, săpunuri și detergenți și altele. Se estimează că aproximativ 1.5 milioane de metri cubi de deșeuri solide netratate și metale grele sunt eliminate în fluxurile apelor. Acești poluanți dăunează mediului și apelor subterane, care sunt principala sursă de apă potabilă. În acest studiu, a fost folosită o rețea neuronală artificială pentru a prognoza cantităților diferiților efluenți, cu ajutorul software-ului EasyNN.

Antrenarea:

Procesul de antrenare implică estimarea ponderilor RNA. Inițializarea ponderilor se poate face în două moduri: (i) cu un set de valori aleatoare, sau (ii), pe baza unor experiențe anterioare. Aceste ponderi se modifică până când este atins scopul aplicației de a stabili un set de ponderi care să minimizeze funcția eroare.

Antrenarea și validarea:

Datele de intrare pentru modelul neuronal au fost concentrațiile observate de metale în puncte diferite pe lungimea canalului în anul 2008. De asemenea, concentrațiile măsurate de metale din apele subterane au fost stabilite ca obiective (date de ieșire) în modelul de prognoză. Scopul aplicației este de a prognoza concentrațiile de efluenți în apele subterane, în anul următor. Având în vedere creșterea anuală, valorile simulate au fost comparate cu valorile reale, precum și a fost calculat eroarea procentuală. Rezultatele obținute au fost, de asemenea, comparate Standardele Organizației Mondiale a Sănătății (SOMS).

Arhitectura rețelei

Porțiunea necăptușită a canalului:

Etapa de testare 1:

Au fost necesare trei coloane de intrare și trei coloane de ieșire. Numărul total de exemple de antrenare a fost de 55. Grila de lucru nu conține niciun rând de validare și are numai un singur rând de interogare. Rata de învățare și momentul au fost stabilite la 0.7, respectiv 0.9 și au fost optimizate. Stratul de creștere nr. 1 a generat noua rețea, cu o rată de creștere care se schimba după fiecare 10 cicluri sau la interval de 5 secunde.

Rețeaua are trei neuroni de intrare și trei neuroni de ieșire. Stratul ascuns are patru neuroni. În urma etapei de testare s-au obținut următoarele rezultate:

Nr. Iterații: 50

Rata de învățare: 0.7

Momentul: 0.9

Eroarea minimă: 0.019125

Eroarea medie: 0.049850

Eroarea maximă: 0.0756

Eroarea țintă: 0.05

Etapa de testare 2:

În grilă, au fost introduse trei coloane cu date de intrare și trei coloane cu date de ieșire. Numărul total de exemple de antrenare este de 55. Grila nu conține nici un rând pentru validare și a avut doar un singur rând de interogare. Rata de învățare și momentul au fost stabilite la valorile 0.7 și, respectiv,0.9 și au fost optimizate. Stratul de creștere nr. 2 a generat noua rețea, cu rata de creștere oscilând după fiecare 20 de iterații sau la interval de 2 secunde. Arhitectura rețelei cuprinde trei neuroni de intrare și trei de ieșire. Stratul ascuns a fost prevăzut cu trei neuroni. În urma rulării testului, s-au obținut următoarele rezultate:

Nr. Iterații: 54

Rata de învățare: 0.7

Momentul: 0.9

Eroarea minimă: 0.024751

Eroarea medie: 0.049065

Eroarea maximă: 0.66894

Eroarea țintă: 0.05

Porțiunea căptușită a canalului:

Etapa de testare 1:

În grilă, au fost introduse trei coloane cu date de intrare și trei coloane cu date de ieșire. Numărul total de exemple de antrenare a fost de 55. Grila nu conține nici un rând pentru validare și are doar un singur rând pentru interogare. Rata de învățare și momentul au fost stabilite la 0.7, respectiv 0.9, și au fost optimizate. Stratul de creștere nr. 1 a generat noua rețea, cu rata de creștere în schimbare după fiecare 15 iterații sau la interval de 2 secunde. Arhitectura rețelei este formată din trei neuroni de intrare și trei de ieșire. Stratul ascuns a fost prevăzut cu patru neuroni. După efectuarea procesului de învățare, s-au obținut următoarele rezultate:

Nr. Iterații: 56

Rata de învățare: 0.7

Momentul: 0.9

Eroarea minimă: 0.011091

Eroarea medie: 0.049065

Eroarea maximă: 0.093

Eroarea țintă: 0.05

Etapa de testare 2:

În grilă, au fost introduse trei coloane cu date de intrare și trei coloane cu date de ieșire. Numărul total de exemple de antrenare a fost de 55. Grila nu conține nici un rând pentru validare și are doar un singur rând pentru interogare. Rata de învățare și momentul au fost stabilite la 0.6, respectiv 0.8, și au fost optimizate. Stratul de creștere nr. 3 a generat noua rețea, cu rata de creștere în schimbare după fiecare 25 iterații sau la interval de 5 secunde. Arhitectura rețelei este formată din trei neuroni de intrare și trei de ieșire. Stratul ascuns a fost prevăzut cu cinci neuroni. După efectuarea procesului de învățare, s-au obținut următoarele rezultate:

Nr. Iterații: 65

Rata de învățare: 0.6

Momentul: 0.8

Eroarea minimă: 0.00301

Eroarea medie: 0.049738

Eroarea maximă: 0.189

Eroarea țintă: 0.05

Din analiza rezultatelor, s-a dedus că, pentru porțiunea necăptușită a canalului, etapa de testare 2 a dat rezultate mai bune, iar pentru porțiunea căptușită, etapa de testare 1 a avut rezultate mai satisfăcătoare. S-a concluzionat că infiltrația efluenților în cazul porțiunilor necăptușite este mult mai mare decât în porțiunile căptușite ale canalului.

Rezultate:

S-a determinat că apa subterană este complet contaminată de către apele reziduale, la un nivel mult mai ridicat decât standardele impuse de OMS.

Fig. 16. Concentrațiile poluanților pe porțiunile căptușite și necăptușite ale canalului Satiana

Tab. 3. Nivelul maxim admis al concentrațiilor poluanților conform SOMS

Concluzii:

În acest studiu, a fost dezvoltată o RNA pentru prognoza concentrației diferitelor metale periculoase din apele subterane. [S1] Modelul dezvoltat s-a dovedit a fi performant în ambele etape de antrenare și validare, fiind, totuși, influențat de considerente legate de corectitudinea experimentelor și erori de studiu. În orice caz, arhitectura rețelei este importantă pentru a obține rezultate mai bune în cercetări ulterioare.

2.5.2. Modelarea și predicția ratelor de schimb valutar

Riscurile asociate fluctuațiilor cursului de schimb, care amenință companiile și persoanele fizice, au crescut substanțial în ultimele decenii. În special, după căderea Acordului de la Bretton Woods de la începutul anilor 1970, piața valutară a devenit volatilă. Piața a înregistrat o creștere fără precedent în ultimele decenii, în principal datorită ratelor de schimb flotante și a liberalizării comerțului. Asociată cu alte riscuri financiare, piața cursului de schimb devine atât de volatilă încât contribuie la conducerea întregii economii naționale în criză, lucru evident în Mexic (1994), Asia de Sud-Est (1997), Rusia (1998) și Argentina (2002). [K1]

Deși bine-cunoscutele tehnici convenționale de prognoză oferă previziuni pentru
multe sisteme stabile, de o calitate acceptabilă, aceste tehnici par necorespunzătoare pentru sistemele non-staționare și haotice, cum ar fi piața valutară. Toate metodele diferite care au fost dezvoltate în modelarea piețelor valutare pot fi clasificate, în linii mari, în următoarele două grupuri.

Analiza fundamentală. În acest caz, analiza se bazează pe cunoașterea exactă a numeroșilor factori care influențează economia și relația dintre acești factori. Analiza se concentrează pe situația financiară a țării și studiază efectul cererii și ofertei asupra fiecărei valute. Modelele empirice, cum ar fi, balanța de plăți, moneda de substituție, modelul monetar al pieței valutare și modelul hibrid al politicii fiscale/monetare sunt unele dintre exemplele de analiză fundamentală.

Analiza tehnică. În acest caz, predicția se bazează pe descoperirea unor regularități empirice puternice prin analiza unui set de date istorice, cu ajutorul diverselor metode cum ar fi
analiza seriilor de timp, analiza de regresie, sisteme expert și altele. Se presupune că
mișcarea viitoare a unui proces urmează unele tendințe și aceste tendințe pot fi capturate.

Principala problemă a analizei fundamentale este că această cunoaștere a regulilor care guvernează comportamentul pieței valutare nu este ușor disponibilă. Cercetările au arătat că modelele bazate pe analiza fundamentală pot fi folosite pentru a explora tendințele pe termen lung în mișcările valutare, dar sunt inadecvate în explicarea fluctuațiilor pe termen scurt și mediu. Pe de altă parte, multe modele bazate pe analiza tehnică s-au dovedit a fi de succes în prognoza pe termen scurt a ratelor de schimb.

Rețelele neuronale, recunoscute pentru capacitatea lor de aproximare în predicții și în modelarea sistemelor, au demonstrat aplicabilitatea lor în multe analize de serii de timp și aplicații de prognoză din discipline diverse. RNA sunt eficiente în descrierea dinamicii seriilor de timp nonstationare datorită
proprietăților unice nonparametrice, de toleranță la zgomot și adaptabilitate.

Piața valutară australiană

Studiul de caz abordat în continuare își propune prognozarea a șase cursuri de schimb diferite și anume, dolarul american (USD), lira sterlina (GBP), yenul japonez (JPY), dolarul singaporez
(SGD), dolarul neo-zeelandez (NZD) și francul elvețian (CHF) față de dolarul australian (AUD)
folosind cursurile de schimb istorice. În cele mai multe dintre studiile anterioare legate prognoza pieței valutare, algoritmii RNA utilizași au fost: algoritmul standard Backpropation (SBP), algoritmul bazat pe funcții radiale (Radial Basis Function, RBF), algoritmul rețelei neuronale de regresie generalizată (Generalized Regression Neural Network, GRNN). În acest studiu de caz, s-au folosit doi algoritmi feed-forward de învățare îmbunătățiți: gradientul conjugat scalat (Scaled Conjugated Gradient, SCG) și algoritmul de regularizare bayezian (Bayesian Regularization, BR), pentru a construi modelul neuronal și a investiga modul în care algoritmii aplicați lucrează, în comparație cu algoritmul standard
backpropagation, în termeni de precizie a prognozei și profitabilitate. [K1]

Setul de date. Datele utilizate în acest studiu sunt cursurile de schimb valutar a șase valute diferite în raport cu dolarul australian, din ianuarie 1991 până în iulie 2002, puse la dispoziție de către
Banca Centrală a Australiei. Un total de 565 de date săptămânale ale valutelor menționate anterior au fost luate în calcul, dintre care primele 500 au fost utilizate pentru antrenare și restul de 65 de date săptămânale pentru evaluarea modelului. Graficele cursurilor de schimb istorice pentru USD, GBP, SGD, NZD și CHF sunt prezentate în figura 17 (a) și pentru JPY în figura 17 (b).

Fig. 17. Cursurile de schimb istorice pentru USD, GBP, SGD, NZD, CHF (a) și JPY (b) în raport cu AUD

Indicatori tehnici. Temporizarea mobilă medie este utilizată ca și indicator tehnic. Avantajul mediei mobile este tendința sa de a netezi unele din neregularitățile existente între cursurile prelevate. S-au folosit valorile mediei mobile ale săptămânilor trecute, drept intrări ale rețelei neuronale, pentru a prognoza cursul săptămânii viitoare. Indicatorii sunt notați astfel: MA5, MA10, MA20, MA60, MA120, și Xi, adică media mobilă pe o săptămâni, pe două săptămâni, pe o lună, pe un trimestru, pe jumătate de an și, respectiv, cursul ultimei săptămâni de închidere. Valoarea prezisă este Xi+1. Modelul dispune de șase intrări pentru șase indicatori, un strat ascuns, și o unitate de ieșire pentru a anticipa cursul de schimb. S-a demonstrat că prin creșterea numărului de intrări nu se îmbunătățește neapărat performanța previziunii.

Algoritmii de învățare. În majoritatea cercetărilor, algoritmul standard backpropagation a fost aplicat în antrenarea RNA. Cu toate acestea, backpropagation suferă din cauza convergenței
lente și, uneori, nu reușește să învețe seriile de timp într-un termen computațional rezonabil. Un model eficient de rețea neuronală ar trebui să producă erori mici nu numai pe eșantionul de date
dar, de asemenea, pe date noi, dinafara eșantionului. În acest studiu de caz, s-au aplicat algoritmii SCG (Moller, 1993) și BR (Mackey, 1992), care au raportat rezultate mai bune decât algoritmul standard backpropagation, într-un număr mare de studii precedente.

Evaluarea preciziei de prognoză. Modalitatea cea mai comună pentru a evalua cât de capabil este un model să aproximeze viitorul curs de schimb este calculul erorii medie pătratică normalizată (Normalized Mean-Square Error, NMSE). Altă mărime importantă pentru agentul economic este previziunea corectă a mișcării. Alte mărimi folosite pentru determinarea acurateții de predicție sunt: eroarea medie absolută (MAE), simetria dirijată (DS), corectitudinea tendinței de creștere (CU), precum și corectitudinea tendinței de scădere (CD). Aceste criterii sunt definite în tabelul 4; xk și sunt valorile reale, respectiv, cele prezise. NMSE și MAE măsoară abaterea dintre valoarea reală și valoarea prognozată. Valori mici ale acestor mărimi indică precizie mare în prognoză.

Alte mărimi adiționale de evaluare includ calcularea coeficientului de potrivire dintre valorile reale și valorile estimate ținând cont de semnul și direcția modificărilor. DS măsoară corectitudinea
în direcțiile prognozate, în timp ce indicatorii CU și CD măsoară corectitudinea tendințelor prezise, de creștere sau scădere.

Tab. 4. Indicatori de performanță ale acurateții de prognoză a modelului neuronal

Profitabilitatea.

Comercianții sunt interesați în a face profit din cumpărarea și vânzarea pe piața valutară. În scopul de a evalua profitabilitatea atinsă prin utilizarea modelului neuronal, a fost simulată o tranzacție pe parcursul perioadei prognozate. Schimbul comercial se face în conformitate cu următoarea strategie, folosind o sumă de bani investiți: if (, atunci cumpără în loc să vinzi. La sfârșitul perioadei de comercializare, moneda este convertită în banii originali investiți. Profitul este calculat astfel:

,

unde w este numărul de săptămâni din perioada de testare.

Rezultatele simulării. Modelele de rețele neuronale au fost instruite cu șase intrări reprezentând cei șase indicatori tehnice, un strat ascuns, și un neuron de ieșire care anticipează cursul de schimb. Având în vedere că modelul final de la sfârșitul antrenării unei rețele neuronale depinde de mulți factori, cum ar fi, numărul de neuroni ascunși, setarea parametrilor, ponderile inițiale, criteriul de oprire, și altele, s-au instruit 30 de rețele diferite cu ponderi inițiale diferite, parametrii de învățare diferiți și număr diferit de neuroni ascunși. Numărul de neuroni ascunși a variat între 3 și 7 și etapa de antrenare s-a sfârșit după parcurgerea unui număr de iterații cuprins între 5000 și 10000. Dintre toate încercările, rețeaua
care a dat cel mai bun rezultat cu fiecare algoritm de învățare este prezentată aici.

S-au calculat indicatorii de performanță cu privire la datele de testare pentru a investiga cât de bine a capturat rețeaua neuronală de prognoză trendul mișcării fiecărei valute față de dolarul australian. Tabelul 5 arată indicatorii de performanță realizați de fiecare model de prognoză pe o perioadă de 35 de săptămâni.

Tab. 5. Indicatorii performanței de precizie în prognoza pe 35 de săptămâni.

Rezultatele arată că modelele care utilizează algoritmii SCG și BR efectuează în mod constant performanțe mai bune decât modelul SBP în ceea ce privește toți indicatorii de performanță calculați la aproape toate cursurile de schimb valutar. De exemplu, în cazul prognozei cursului de schimb al USD peste 35 de săptămâni, NMSE atins prin SCG și BR este destul de scăzut, aproape jumătate din cel realizat prin SBP. Acest lucru înseamnă că aceste modele sunt capabile de a prognoza cursul de schimb mai eficient decât algoritmul SBP. De asemenea, în estimarea tendinței de evoluție, SCG și BR
sunt cu aproape 10% mai precise decât SBP. Motivul performanței mai bune a algoritmilor SCG și
BR este tehnica îmbunătățită de învățare, care le permite să caute soluția în mod eficient
în spațiul de ponderi. Tendințe similare se observă și în estimarea celorlalte valute.

Între modelele SCG și BR, primul are performanțe mai bune la toate valutele, cu excepția yenului japonez, în ceea ce privește cele două criterii cel mai frecvent utilizate, NMSE și MAE.
Din perspectiva altor indicatori, SCG oferă un randament puțin mai bun, în cazul francului elvețian, în timp ce BR are rezultate mai bune în cazul dolarul american și lirei sterlină. SCG și BR au aceeași eficiență în cazul yenului japonez și a dolarilor neo-zeelandez și singaporez. Ambii algoritmi asigură precizia prognozei de modificare direcțională de peste 80%.

În construirea unui model de RNA, este necesară atenția sporită asupra unor factori care influențează performanța rețelei. Capacitatea de generalizare a rețelelor neuronale, adică proprietatea de a produce o ieșire corectă ca răspuns la o intrare necunoscută, este influențată de o serie de factori ca:

dimensiunea setului de antrenare,

gradele de libertate ale RNA, raportate la arhitectura sa,

complexitatea fizică a problemei de rezolvat.

Practic, utilizatorul nu are niciun control asupra complexității problemei; în plus, mărimea setului de instruire folosit în simulare este fixă. Acest lucru determină dependența capacității de generalizare (adică performanța modelului) de arhitectura rețelei neuronale corespunzătoare. Performanța generalizării poate fi, de asemenea, legată de complexitatea modelului, în sensul că,
pentru a obține cea mai bună generalizare, este importantă optimizarea complexității
modelului de predicție. În cazul rețelelor neuronale, schimbarea numărului de parametrii ajustabili în rețea pot varia complexitatea. O rețea cu mai puține ponderi este mai puțin complexă decât cea cu mai multe ponderi. Totuși, o rețea care utilizează cel mai mic număr de ponderi și deviații (bias – diferența dintre rezultatul real și cel obținut) pentru a realiza o reprezentare dată este puțin probabil să se supra-antreneze, ci, dimpotrivă, poate generaliza bine pe datele necunoscute. În cazul surplusului de neuroni ascunși, performanța rețelei se degradează deoarece sunt folosiți mai mulți parametrii pentru a obține aceeași reprezentare.

În cazul regresiei neliniare, două soluții extreme ar trebui evitate: filtrarea funcției de bază (antrenare insuficientă, prea puțini neuroni ascunși) sau modelarea datelor afectate de zgomot (supra-antrenarea, prea mulți neuroni ascunși).

O modalitate de a controla complexitatea efectivă a modelului în practică este de a compara o gamă de modele cu arhitecturi diferite și de a selecta unul care prezintă cea mai bună performanță pe date de testare.

Deși indicatorii de performanță prezentați anterior arată o performanță mai bună a modelelor SCG și BR în comparație cu SBP, rentabilitatea acestor modele joacă un rol important în mediul comercial real. Tabelul 6 prezintă profitabilitatea atinsă prin cele 3 modele diferite pe parcursul perioadei de testare. Acesta confirmă performanța mai bună a SCG și BR față de SBP, din punctul de vedere al profitului obținut în urma tranzacționării.

Tab. 6. Profitabilitatea tranzacționării valutei obținută cu cele trei modele: SCG, BR, SBP

2.5.3. Estimarea costurilor de producție în industria auto

Estimarea costurilor viitoare ale produsului este un factor cheie în stabilirea performanței de ansamblu a procesului de dezvoltare a unui produs nou. De obicei,costul per unitate al unui produs finit este suma diferitelor tipuri de resurse (materii prime, componente, energie, utilaje, dispozitive etc.). Cuantificarea modului de utilizare a fiecărei resurse este dificilă în primele etape ale ciclului de viață (și, în special, în fazele timpurii ale procesului de dezvoltare a produsului), având în vedere cantitatea redusă de informații și nivelul scăzut de definire a proiectului.

Toate aceste considerente justifică efortul făcut în dezvoltarea tehnicilor pentru estimarea costurilor de fabricație în contexte extrem de incerte. Acest capitol ilustrează concluziile unui studiu care vizează comparația rezultatelor punerii în aplicare a două tehnici: abordarea parametrică (frecvent utilizată în practică) și un model de predicție bazat pe teoria rețelelor neuronale. [K1]

Teoria costurilor ciclului de viață a unui produs afirmă că, deși marea majoritate a costurilor unui produs finit este generată în procesul de fabricație și în etapa de distribuție, cele mai multe din aceste costuri sunt implicit determinate în primele faze de dezvoltare. Figura 18 prezintă diferența dintre costurile "reale" și "costurile angajate". Curba costurilor angajate este construită prin transpunerea costurilor suportate în diferitele etape ale ciclului de viață înapoi la momentul inițial, când au avut loc procesele decizionale care au stabilit aceste costuri.

Fig. 18. Costurile angajate și costurile reale de-a lungul ciclului de viață a unui produs

Pentru rezolvarea problemei costurilor, RNA folosită este un perceptronul multistrat (MLP), cu algoritmul de învățare backpropagation, în care neuronii sunt organizați în straturi diferite, fiecare neuron îndeplinind o funcție specifică; primul strat este cel de intrare (alimentat de datele de intrare), în timp ce ultimul este stratul de ieșire (care oferă răspunsul rețelei). Între straturile de intrare și ieșire
există cel puțin un strat ascuns; numărul de straturi ascunse are un rol important în determinarea capacității de generalizare a MLP. În scopul de a descrie un exemplu de aplicare a rețelelor neuronale în estimarea costurilor, următoarea secțiune descrie un studiu de caz industrial. Obiectivul cercetării este de a compara rezultatele obținute cu aplicarea unei tehnici tradiționale de estimare a costurilor (cu accent special pe regresia multiplă liniară) cu cele obținute prin proiectarea și implementarea unui MLP. Analiza a fost efectuată prin intermediul unor date reale, furnizate de o companie industrială
care operează în sectorul auto, a cărei misiune principală este proiectarea, producția și vânzarea de componente de frânare și sisteme integrate pentru construcția vehiculelor civile și industriale.

Clienții sunt, în principal, constructori industriali foarte mari (companii multinaționale de automobile), care au înfruntat criza generală din acest sector în ultimul deceniu. Competitivitatea sectorului de componente auto forțează firmele să caute elemente de diferențiere. În același timp, din cauza puterii de negociere relativ mici (în ceea ce privește clienții mari), o mare atenție se acordă nivelurilor de preț. Prin urmare, unul dintre obiectivele strategice care a fost identificat de managementul companiei este analiza și reducerea costurilor de produs (atât costurile de cumpărare a componentelor, cât și costurile producției interne și de montaj). În acest context, adoptarea metodologiilor formale pentru estimarea exactă a costurilor de producție pentru produsele noi este foarte importantă pentru urmărirea obiectivului strategic al companiei.

Studiul de caz se concentrează pe estimarea costurilor de producție a frânelor din fontă cu discuri, care sunt apoi asamblate cu alte componente pentru a se obține sistemele de frânare, sau pot fi, de asemenea, vândute direct pe piața pieselor de schimb. [K1] Sistemul global de producție a acestui tip de frâne cu discuri este schițat în figura 19; cele trei faze principale de producție, pot fi identificate astfel:

Turnătorie, în urma căreia se produc semifabricatele (discuri brute) din fontă;

Fabricația mecanică, în urma căreia se obține produsul finit cu caracteristici dimensionale și de suprafață specificate în caietul de sarcini al proiectului;

Asamblarea, care realizează sistemul de frânare, prin asamblarea discurilor cu alte componente.

Fig. 19. Principalele etape ale procesului de producție a frânelor cu discuri

Fiecare etapă are caracteristici și particularități care contribuie la crearea unui produs valoros pentru clienți. În acest context, tehnicile de modelare a estimării costurilor pot fi utilizate pentru a cuantifica un cost de referință pentru semifabricat și pentru produsul finit, de asemenea. În continuare, s-a analizat prima etapă a procesului de producție (turnătoria).

Proiectarea modelelor parametrice și neuronale

Având în vedere obiectivele și contextul specific de aplicare a metodologiei de estimare a costurilor în cadrul firmei analizate, a fost comparată performanța funcționării unei RNA cu a unei alte tehnici de estimare a costurilor. Dintre metodologiile "clasice", a fost ales modelul parametric. Costul unui produs într-un model parametric poate fi exprimat ca o funcție analitică a unui set de variabile care
reprezintă caracteristicile produsului (de exemplu, performanța, caracteristicile morfologice,
tipul de materiale folosite, etc.) Această funcție analitică este construită prin aplicarea metodologiilor statistice. Forma liniară a acestei funcții este folosită de cele mai multe ori din cauza simplității sale. Astfel, având un set de N variabile date (sau caracteristici) v1, v2, …, vN, costul total, CT, al unui produs poate fi exprimat astfel:

, (1)

unde α și βi sunt parametrii funcției, obținuți prin aplicarea tehnicii de regresie multiplă.

Această abordare are o bază matematică cunoscută și este ușor de aplicat pe un set consistent de date numerice. Pe de altă parte, limita acestei metodei constă în faptul că întotdeauna se ia în considerare relația care leagă variabilele liniar, aceasta nefiind o ipoteză realistă.

Dezvoltarea celor două modele (parametric și neuronal) propuse pentru estimarea costurilor urmează câteva etape stabilite astfel:

Definirea problemei și colectarea datelor,

Analiza datelor și definirea modelului

Testarea modelului,

Compararea modelului.

Definirea problemei și colectarea datelor

Scopul acestei faze este definirea obiectivelor și constrângerilor proiectului pentru a identifica elementele care trebuie luate în considerare în faza următoare de analiză. Odată ce constrângerile problemei și metodologia folosită au fost stabilite, este necesar să se procedeze la colectarea datelor despre produs, utilizate în efectuarea analizei. Acest aspect include, de asemenea, identificarea surselor de informații și a funcțiilor corespondente, responsabile cu întreținerea și actualizarea lor.

În ceea ce privește faza de turnare a procesului de producție, principalele tipuri de date sunt:

date tehnologice, legate de procesul de producție (de exemplu, tip de operațiuni efectuate pe produs),

date de proiectare, legate de caracteristicile morfologice ale produsului (de exemplu, dimensiune, materiale utilizate),

costuri, cum ar fi costurile forței de muncă, costurile materiilor prime, costurile produsului finit, etc.

Datele colectate reprezintă baza modelelor de estimare.

Analiza datelor și definirea modelelor

Odată ce faza de colectare a datelor este realizată, analiza datelor permite identificarea celor mai semnificativi factori generatori de costuri care urmează să fie luați în considerare în cadrul
definirii modelului. Identificarea lor ar trebui să fie relativ simplă, chiar și în fazele preliminare de dezvoltare a produsului. Selecția acestor generatori de costuri se bazează pe analiza proceselor de producție și pe identificarea tuturor elementelor care participă într-un astfel de proces. De exemplu, în cazul semifabricatului de fontă, este clar că greutatea produsului este relevantă pentru a defini costul final; cu cât este mai greu produsul, cu atât mai multe materii prime sunt necesare. Pe de altă parte, alți generatori de costuri nu sunt atât de evidenți. De exemplu, diametrul semifabricatului ar putea părea irelevant, dacă luăm în considerare numai produsul. Dar, dacă luăm în considerare procesul, diametrul devine relevant, deoarece afectează numărul de semifabricate care ar putea fi obținute într-o singură turnare; cu cât diametrul discului este mai mare, cu atât mai lung este procesul și mai mari sunt costurile.

Costurile identificate pentru aplicația în curs se raportează la următoarele elemente, astfel: greutatea discului semifabricat (brut), tipul materiei prime, tipul și numărul miezurilor de turnare, tipul discului, diametrul exterior. Odată ce au fost definiți factorii generatori de costuri ai produsului, este necesar să se evalueze coerența datelor disponibile (conținutul real al informațiilor). Datele ar putea fi neadecvate sau insuficiente, provocând ineficiența modelului. Odată ce coerența statistică a setului de date a fost testată, modelele statistice și de regresie liniară sunt folosite pentru a afla relația dintre generatorii de costuri selectați și variabila dependentă (costul produsului).

Proiectarea modelului parametric

Un model parametric exprimă relația dintre variabila de ieșire (costul semifabricatului) și generatorii de cost, printr-o expresie algebrică. Dacă expresia are forma ecuației 1, modelul este liniar și parametrii α și βi pot fi ușor obținuți prin metoda celor mai mici pătrate. Prin urmare, folosind teoria regresiei liniare multiple, este posibil să se modeleze relația dintre două sau mai multe variabile explicative și o variabilă răspuns, prin exprimarea unei ecuații liniare raportată la datele observate.
Dezavantajul major al acestei metode este că, de multe ori, relația reală între diferitele variabile nu este liniară, așa că regresia liniară ar putea furniza numai o aproximare a situației reale.

De exemplu, figura 23 ilustrează relația dintre greutatea proiectată a semifabricatului disc (axa X) și costul său final (axa Y). Ecuația (2) exprimă linia de regresie din figura 20.

Cost = α + β ·Greutate (2)

unde parametrii α și β au fost obținuți prin metoda celor mai mici pătrate.

Fig. 20. Relația liniară aproximată între greutatea și costul discurilor semifabricat

Atât graficul cât și analiză coeficientului R2 face evident faptul că un astfel de model
nu este cu adevărat semnificativ (coeficientul R2 ar avea valori apropiate de 1, pentru un model bun); se poate deduce că greutatea se află într-un anumit raport față de costul final, dar nu este suficient pentru a explica costul total. Pentru a reduce eroarea modelului, se adaugă ecuației 2 mai mulți factori care generează costuri și se obține următoarea relație:

(3)

CastIroni este o variabilă binară care indică tipul de materii prime utilizate pentru disc; există șase tipuri de materii prime care compun setul C; în mod evident, pentru fiecare disc doar una dintre aceste variabile ar putea fi setată la valoarea 1. TipDiscj este o variabilă binară care indică cele două tipuri de discuri, normale și speciale, care compun setul T; de asemenea, în acest caz, pentru fiecare disc doar una dintre aceste variabile ar putea fi setată la valoarea 1. Ecuația 3 afirmă că costul de semifabricatului depinde de:

β1 – factorul asociat cu greutatea discului,

β2 – factorul legat de numărul de miezuri de turnare solicitate

β3 – factorul asociat diametrului exterior

În plus, există încă trei factori care contribuie la costul total: tipul discului (prin factorul βj), tipul materiei prime (prin factorul βi) și un factor rezidual (α).

După validarea sa, modelul este aplicat la eșantionul utilizat pentru estimarea parametrilor și se obține o eroare medie absolută procentuală (mean absolute procentage error, MAPE) de aproximativ 9-10%. Rezultatul este un răspuns relativ bun.

Datorită faptului că modelul parametric asumat este liniar, este rezonabil să se presupună că implementarea unui model nelinear (de exemplu, o RNA), ar putea oferi rezultate mai bune.

Proiectarea și antrenarea RNA

În cazul discutat, o RNA reprezintă un instrument valabil pentru identificarea funcției de transfer a procesului analizat, printr-o legătură implicită între valoarea de intrare (caracteristicile morfologice și tehnologice ale discului) și valoarea de ieșire (costul).

Tab. 7. Intrările rețelei neuronale proiectate

Tab. 8. Variante analizate de RNA

În ceea ce privește arhitectura neuronală utilizată, a fost preferat perceptronul multistrat (MLP), cu algoritmul de antrenare backpropagation. Stratul de intrare este compus din 11 neuroni, astfel cum este indicat în tabelul 7. Stratul de ieșire este compus dintr-un singur neuron, care furnizează răspunsul rețelei (costul produsului).

Neuroni de intrare de la al 4-lea până la al 11-lea reprezintă valori booleene (un disc poate fi realizat dintr-un singur tip de fontă și poate fi special sau normal). Definirea structurii interne a RNA (numărul de straturi ascunse, numărul de neuroni pe strat, tipul funcției de activare) este, în general, un procesde aproximări succesive, deoarece nu există o procedură analitică pentru a determina numărul corect de neuroni și straturi. După testarea mai multor configurații de RNA, cu numere diferite de straturi ascunse, cu numere diferite de neuroni pentru fiecare strat, precum și cu funcții diferite de activare (în principal, de tip liniar și sigmoid), structura corespunzatoare a fost selectată. Tabelul 8
ilustrează structurile RNA care au fost testate. Mai mulți algoritmi de învățare (Levenberg-Marquardt, Backpropagation), adecvați în cazul seturilor relativ mici de date de antrenare și dimensiunilor moderate de RNA, au fost experimentați.

Testarea modelelor

Pentru testarea ambelor modele (cu un strat ascuns și cu două straturi ascunse), setul de date a fost împărțit în trei categorii:

Prima categorie, compusă din 40 de probe observate, a fost folosită ca set de antrenare (pentru a ajusta ponderile conexiunilor și pentru a stoca cunoștințele),

A doua categorie, compusă din 10 probe, a fost folosită ca set de validare, cu scopul de a evita problema supra-antrenării rețelei în timpul fazei de învățare (care apare atunci când rețeaua se potrivește foarte precis cu datele de antrenare, dar prezintă o slabă generalizare pe datele dinafara eșantionului), prin aplicarea procedurii de oprire timpurie;

A treia categorie, compusă din 10 probe, a fost folosită ca set de testare pentru a evalua răspunsurile rețelei asupra datelor necunoscute (pentru a evalua gradul de generalizare).

Modelul neuronal și cel parametric au fost testate prin compararea rezultatelor și a costurilor reale din setul de antrenare utilizat pentru definirea parametrilor și pentru antrenarea RNA.

Rezultatele modelelor neuronale cu unu, respectiv două straturi ascunse, au fost obținute cu ajutorul algoritmilor de învățare (LM) și Backpropagation (RP). În figurile 21 și 22, este raportată performanța modelelor, măsurată prin indicatorul MAPE. Este evident că cele două configurații cu un strat, respectiv două straturi ascunse, arată aproape aceeași performanță, în special cea antrenată cu ajutorul algoritmul de învățare Levenberg-Marquardt.

Fig. 21. Eroarea de estimare pe setul de antrenaret

Fig. 22. Eroarea de estimare pe setul de testare

După validarea celor două modele, rezultatele au fost comparate cu ajutorul indicatorilor MAPE (eroare medie absolută procentuală) și Gf (factor de generalizare). Gf se calculează astfel:

unde M este numărul de probe care compun setul de testare și k este numărul de astfel de probe estimate cu o eroare mai mică de 10% (această valoare a fost stabilită ca un prag).

Analiza statistică arată superioritatea modelului RNA, comparativ cu tehnica de regresie liniară; media MAPE pe un set de antrenare scade de la aproximativ 10% la aproximativ 2%. Figura 23 subliniază performanța modelului RNA față de modelul parametric pe cea mai mare parte din setul de antrenare. Modelul RNA arată, de asemenea, un comportament mai bun pe setul de date de testare.

Fig. 23. Comparația între modelul neuronal și cel parametric

Tab. 9. Indicatori de comparație între modelul neuronal și cel parametric

În cele din urmă, figura 24 arată costul real față de costul estimat, cu cele două modele; cu cât punctele sunt mai aproape de linia punctată, cu atât estimarea este mai bună.

Fig. 24. Costuri actuale vs. costuri estimate

Capitolul 3. Contribuții proprii la dezvoltarea prognozei cu ajutorul rețelelor neuronale artificiale

Comportamentul financiar al populației și agenților economici

Descrierea aplicației

Cadrul internațional al crizei economice

Criza economică este rezultatul unui complex de factori, care includ, în principal: erori de politică monetară, distorsionarea stimulentelor agenților economici și patologia politicii de reglementare financiar-bancară.

1. Politica monetară

O teză ferm stabilită de știința economică este aceea că orice criză de proporții sistemice este urmarea unui „exces” monetar, a unui proces de reducere artificială a ratei dobânzii și de expansiune a creditului. Istoria este pigmentată cu numeroase cazuri în care politica inflaționistă a statului afectează calculul economic al participanților la piață, generând profituri iluzorii și alimentând o frenezie speculativă care, în cele din urmă, se destramă sub povara propriei inconsistențe. Din acest punct de vedere, criza economică actuală nu este cu nimic diferită de criza anilor 1930, cunoscută sub numele de Marea Depresiune. [G2]

Factorul determinant fundamental al crizei este politica inflaționistă de la începutul anilor 2000 din SUA, manifestată prin reducerea ratei dobânzii prin emisiunea de bani. Astfel, a existat o „relaxare monetară” extrem de serioasă, indiferent de standardul la care se face raportarea: rata nominală dobânzii a scăzut de la 6,25% la începutul anului la 1,75% la sfârșitul acestuia. Ea a continuat să scadă, atingând un nivel record de 1% în 2003, nivel la care a rămas timp de un an. În contextul creșterii prețurilor, rata reală a fost chiar negativă, timp de 2 ani și jumătate, ceea ce înseamnă că băncile au fost plătite ca să ia bani de la Rezervele Federale Americane (FED, Banca Centrală a SUA), bani pe care i-au canalizat în economie. Banca Japoniei (BJ) adoptase deja o politică similară, oferind băncilor subordonate bani cu dobândă nominală zero, iar Banca Centrală Europeană (ECB) a redus rata dobânzii la circa 2%, nivel la care a menținut-o aproape 4 ani. Astfel, până în 2006, rata reală a dobânzii în zona Euro și în Japonia s-a situat, de asemenea, la un nivel apropiat de zero. În Marea Britanie, banca centrală (BE) a condus politica monetară după un tipar similar. O parte din banii puși la dispoziție de băncile centrale au fost investiți în propriile economii. Cel mai bun exemplu îl constituie tocmai boom-ul imobiliar din SUA, însă astfel de fenomene au existat oriunde condițiile monetare au permis înflorirea speculei imobiliare: Spania și Islanda sunt două exemple elocvente. Cercetătorii Organizației pentru Cooperare Economică și Dezvoltare (OECD) au coroborat statistici din diverse țări și au arătat cum amplitudinea avântului pieței imobiliare este asociată direct cu amploarea expansiunii creditului. Cealaltă parte a banilor au luat calea investițiilor străine, concretizate la rândul lor în exploatarea celor mai riscante oportunități ivite. La scară istorică, expansiunea creditului către economiile în dezvoltare nu are precedent decât în episodul similar din a doua jumătate a anilor 1970 și începutul anilor 1980, care a fost urmat de celebra „criză a datoriilor”.

Astfel, grupurile financiare occidentale au atras masiv resurse pe termen scurt și la un cost redus de pe piața financiară internațională folosindu-le pentru a sponsoriza creșterea cifrei de afaceri a subsidiarelor lor din economiile emergente în curs de dezvoltare. Mare parte din aceste influxuri de capital au fost investite tot în active imobiliare, plasamente puțin lichide și riscante prin natura lor, dar foarte profitabile cât timp piața continua să crească. Acest fenomen s-a înregistrat și în Europa de Est, inclusiv în România. Explozia creditării în economiile în dezvoltare din estul Europei are la origine politica monetară permisivă a FED, Japoniei și țărilor europene de la începutul anilor 2000. Conform datelor statistice, de la mijlocul anului 1997, dinamica depozitelor a încetat să mai țină pasul cu evoluția creditului, sectorul bancar acumulând brusc și vertiginos datorii de circa 250 miliarde dolari, majoritatea pe termen scurt. Se estimează că 90% din aceste datorii sunt deținute de băncile europene.

Distorsionarea stimulentelor și hazardul moral

Efectele politicii de expansiune monetară au fost acutizate de distorsionarea stimulentelor care modelează comportamentul agenților economici, ale instituțiilor financiar-bancare, în primul rând. În vârful acestui sistem monetar-bancar se află banca centrală în calitatea sa de producător monetar. În acest domeniu, există un monopol de stat, care poate decide să crească oferta de bani într-un ritm mai mare sau mai mic în funcție de interesele politice. Astfel, bancherii și ceilalți actori importanți din sistemul financiar sunt încurajați să se îndatoreze și să investească imprudent. Dacă investițiile se întorc cu profit, banii sunt încasați de bancheri și de ceilalți jucători de pe piață. Dacă investițiile aduc pierderi, acestea sunt externalizate prin inflație. Practic, statul salvează de la faliment bancherii pentru că nu îl costă aproape nimic să producă banii necesari acoperirii respectivelor pierderi. Crizele „rezolvate” astfel sunt celebre: Mexic, 1994; Asia de Sud-Est, 1997; Rusia, 1998; Turcia 2001; Argentina, 2001. [G2] Mizând pe capacitatea statului de a-i salva, bancherii se comportă nesăbuit – fenomen cunoscut sub numele de „hazard moral”. Nu mai este luată în calcul raționalitatea economică din moment ce eventualele pierderi pot fi transferate statului. Hazardul moral este acutizat de diversele reglementări guvernamentale, precum programul de garantare a depozitelor. Însă furnizarea unei plase de siguranță pentru bănci și clienții acestora nu duce decât la înrăutățirea lucrurilor, sporind riscul crizelor sistemice. În prezent, sistemul financiar reprezintă cel mai reglementat domeniu din economie. Politica de reglementare prudențială alimentează cercul vicios amintit mai sus: băncile au și mai puține stimulente de a adopta un comportament prudent în măsura în care supervizarea exercitată de autoritatea publică înlocuiește managementul privat al riscului. Fără autorități de supraveghere și garanții guvernamentale, riscul activității bancare este suportat exclusiv de bancheri. În absența unei plase de siguranță, băncile sunt stimulate să păstreze mai mult capital, în scop preventiv. Intervenția statului are efectul neintenționat de a înlocui responsabilitatea privată cu cea publică, motivând băncile să păstreze cât mai puțin capital și sporind, astfel, riscul fragilității sistemului financiar. Apare o asimetrie a responsabilității. Dacă banca are profit, banii sunt încasați de proprietarii acesteia; dacă banca are pierderi, ele vor fi împărțite între acționari și stat (contribuabili).

3. Reglementări nocive

Deși determinat decisiv de politica monetară greșită a principalelor bănci centrale, aspectul crizei economice actuale este și rezultatul unor măsuri legislative specifice care, intenționat sau nu, au afectat stabilitatea sistemului prin acumularea de active neperformante.

Programul guvernului american de încurajare a creditării populației sărace se manifestă pe fondul mai vechii politici de creștere a numărului proprietarilor de case. Măsurile legislative adoptate în acest sens au distorsionat alocarea creditului, în sensul stimulării expansiunii construcției de locuințe și creșterii ponderii împrumuturilor neperformante.

La nivel global, eșecul politicii de reglementare s-a manifestat prin efectele adverse ale Acordului de la Basel. Acordul de la Basel – cunoscut sub numele „Basel I” – a apărut în 1988 și a cerut tuturor băncilor să păstreze un nivel al capitalului de 8% din valoarea ajustată la risc a activelor pe care le dețin. Băncile au decis să își modifice portofoliul în favoarea acumulării disproporționate de active riscante. Și, desigur, crizele financiare nu au dispărut, ci au continuat să se repete cu aceeași frecvență ca și înainte de adoptarea acordului. Ca o consecință neintenționată a prevederilor Acordului de la Basel, băncile au recurs la scoaterea activelor cu grad ridicat de risc în afara bilanțului propriu utilizând în acest scop instrumente financiare complexe. De exemplu, băncile au realizat că pot credita agenții economici în mod indirect, prin intermediul unei instituții specializate, evitând astfel necesitatea creșterii capitalului propriu. Pe scurt, băncile pot crea instituții financiare separate, care emit obligațiuni (se finanțează prin îndatorare, în special pe termen scurt) folosind resursele colectate pentru acordarea de credite. Cu toate că din punct de vedere juridic, banca nu este considerată titularul portofoliului de credite, în sens economic, între aceasta și instituția intermediară există o strînsă dependență, deoarece ultima folosește garanțiile implicite și explicite oferite de prima pentru a se dezvolta. [G2]

Comportamentul financiar al populației și agenților economici

Cunoscând din teoria economică faptul că nivelul de economisire și cel de creditare sunt indicatori sensibili ai stării economice, în lucrarea de față s-a abordat o problemă actuală legată de înclinarea spre economisire și spre consum a persoanelor fizice și juridice, care are un puternic ecou în caracterizarea crizei mondiale curente.

În dezvoltarea aplicației, s-a pornit de la o bază de date care cuprinde evidențele lunare ale comportamentului financiar al agenților economici și al populației pe o perioadă de aproape 5 ani, din 2005 până la trimestrul III al anului 2009, furnizată de Bancii Națională a României și Institutul Național de Statistică.

Scopul aplicației este de a analiza efectele crizei economice la nivel național, de a crea un model de previziune a evoluției economice, caracterizată de indicatorii folosiți ca date de ieșire.

Din analiza bazei de date, se sustrag următoarele considerații:

Intervalul de timp 2005-2007 este caracterizat de un avânt al creditării, în special prin creditele de consum și imobiliare,

Oferta bancară a crescut oferind randamente mulțumitoare,

Anul 2008 aduce înăsprirea standardelor și a termenelor de creditare,

Deteriorarea perspectivelor populației privind veniturile viitoare și deprecierea activelor vor potența economisirea cu rol de precauție; populația a înregistrat o majorare consistentă a economisirii bancare, în special prin depozitele în lei,

În cazul companiilor, reducerea perspectivelor de profit pe fondul diminuării cererii interne și externe determină amânarea deciziilor de investiții și economisirea resurselor,

Companiile îndatorate, cu proiecte de investiții în derulare, vor încerca finalizarea sau înghețarea acestora în funcție de capacitățile de finanțare.

Amplificarea dificultăților în obținerea de lichidități; comprimare masivă a soldului împrumuturilor în valută,

Creșterea ratei restanțelor la credite, ca efect direct al creșterii ratei șomajului,

Deprecierea monedei naționale determină creșterea inflației, majorarea dobânzilor și scăderea creditelor.

3.1.2. Proiectarea rețelei neuronale artificiale

Tab.10. Datele de intrare și cele de ieșire din structura RNA proiectată

Tab.11. Parametrii RNA proiectată

Fig. 25. Arhitectura rețelei neuronale artificiale

Aplicația a fost dezvoltată cu ajutorului programului NeuralPower. Etapa de antrenare a rețelei debutează cu stabilirea parametrilor exprimați în tabelul 11.

Identificarea arhitecturii optime de rețea, capabilă să genereze cel mai eficient model de clasificare, s-a făcut prin testări repetate. S-au luat în calcul cinci tipuri de arhitecturi: Multilayer Normal Feed Forward, Multilayer Full Feed Forward, Total Recurrent, Prior Recurrent și Cascade. Experimentele au evidențiat că arhitectura Multilayer Normal Feed Forward oferă cel mai precis model de prognozare în cazul de față. De o manieră similară, experimente repetate au condus la identificarea celui mai efficient algoritm de instruire pentru rețeaua neuronală. Cea mai rapidă convergență și cea mai mică eroare au fost obținute cu o versiune optimizată a algoritmului Back Propagation, denumită Quick Propagation.

Arhitectura rețelei neuronale optime, pentru aplicația dată, este reprezentată în figura 25. Figura 26 afișează gradul de potrivire a datelor (fitness) în etapa de antrenare pentru toate cele 6 variabile de ieșire: CL, CV, RRCL, RRCV, CC, CIIP. Coeficienții R și DC, indicați în tabelul 11, au valori foarte apropiate de 1, indicând eficința etapei de antrenare.

Fig. 26. Gradul de potrivire (fitness) în etapa de antrenare.

3.1.3. Rezultate și interpretări

Performanța modelului este indicată în etapa de testare, când se recalculează indicatorii R și DC în raport cu setul datelor de testare. Valorile acestora sunt mai scăzute decât în etapa de antrenare, însă asigură un grad de acuratețe satisfăcător. Din analiza vizuală a graficelor din figura 26, afișate pentru fiecare dintre cele 6 variabile de ieșire, se observă tendința descrescătoare a valorii creditelor, începând cu sfârșitul anului 2008. Rata restanțelor la credite înregistrează o creștere masivă, începând cu sfârșitul anului 2007.

În continuare (anul 2010), evoluția economică, caracterizată prin valoarea creditelor acordate de bănci și rata restanțelor, se manifestă prin incapabilitatea populației și a agenților economici de rambursare a creditelor și diminuarea creditelor contractate.

Fig. 27. Gradul de potrivire (fitness) în etapa de testare.

3.2. Prognozarea sorbției fosfaților în sol prin intermediul RNA

3.2.1. Descrierea aplicației

Contaminarea solului produce efecte nocive asupra sănătății umane. Cele mai proeminente grupuri de contaminanți organici sunt hidrocarburile de combustibil, hidrocarburile aromatice polinucleare, bifenilii policlorurați, compușii clorurați aromatici, detergenții și pesticidele. Speciile anorganice includ azotați, fosfați și metale grele, cum ar fi cadmiu, crom și plumb, acizi anorganici și substanțe radioactive. Printre sursele acestor contaminanți sunt scurgerile agricole, precipitațiile acide, deșeurile industriale și emanațiile radioactive [S2]. În acest studiu, se urmărește predicția cantității de fosfat absorbită și a ratei de sorbție pe particulele de sol într-un cernoziom de la Drăgănești Vlașca folosind o aplicație bazată pe RNA.

Sorbția este unul dintre cele mai importante procese chimice care afectează transportul de substanțe nutritive din sol. Astfel, cuantificarea concentrației de fosfor adsorbit în sol și a concentrației de fosfor în soluția de sol reprezintă un pas important pentru modelarea transportului de fosfor. Gradul în care fosforul este adsorbit din soluție este puternic neliniar, deoarece nivelele de energie variază între centre diferite de legare la suprafața solidă; centre de energie înaltă sunt ocupate înaintea celor de energie redusă. Această neliniaritate matematică este reprezentată de mai multe ecuații alternative (izoterme), cu transformare logaritmică pentru a face aproximări liniare. [M1]

Mijloace tehnice: balanță analitică Shimadzu AW 220 cu o precizie de 0.0001 g; spectrofotometru UV-VIS cu fascicul dublu Cintra 5; sticlă optică, 10 mm grosime; incubator microbiologic FOC 225E (+3°C 50°C) cu o rezoluție de 0,1°C; agitator magnetic cu termostat, model AREX; pompe de vid MZ2C (debit: 1,7 m3 / h).

Reactivi: reactivii au fost preparați conform SR 11411-2:1998. Aceștia sunt: acid azotic 63%, ρ = 1.41 g/cm3; reactiv de culoare; soluții de KH2PO4 (fosfat monopotasic), concentrație 10 100 mg/L.

Caracterizarea solului: conform tabelelor 12 și 13.

Tab. 12. Clasificarea dimensiunii granulelor (STAS 7184/10-79)

Tab. 13. Proprietățile fizice ale cernoziomului din Drăgănești Vlașca

Determinările experimentale au fost efectuate pe probe de cernoziom levigat la 3 temperaturi 10°C, 22°C, 30°C și un raport de masă între sol și fazele de apă de 1:5.

În cadrul studiului cinetic, probele au fost lăsate în contact cu soluții de KH2PO4 în diferite concentrații (10, 20, 40, 60, 80, 100 mg/l) pentru momente variabile (2, 5, 10, 15, 20, 30, 40, 60 minute) amestecând la 200 rot/min; suspensia de sol a fost filtrată în vid. În mod similar, extractele apoase au fost analizate la spectrofotometru la o lungime de undă de 470 nm.

Datele prezentate arată că, la temperatura de 22°C, procesul de eliberare a fosforului are o constantă de viteză mică (k2 = 1.39 10-2 min-1). În toate cazurile, coeficientul de viteză a desorbției fizice, k2, a fost mai mare decât coeficientul de sorbție fizică, k1, astfel încât viteza este determinată de sorbția fizică. Odată cu creșterea temperaturii, viteza desorbției crește și este mai mare decât cea a sorbției.

3.2.2. Proiectarea rețelei neuronale artificiale pentru prognoză

Baza de date a rețelei

Performanța unui model de RNA depinde de setul de date utilizat pentru antrenare. În această lucrare, datele au fost luate de la rezultatele studiului cinetic. Aceste date au fost împărțite în trei grupuri, 50% pentru setul de antrenare, 25% pentru setul de validare și 25% pentru setul de testare. Temperatura, timpul și concentrația inițială de fosfor în soluție sunt neuronii de intrare. Neuronii de ieșire sunt viteza de sorbție și cantitatea absorbită de fosfor.

Arhitectura rețelei

O structură feed-forward este o rețea compusă dintr-un strat de intrare, unul sau mai multe straturi ascunse și un strat de ieșire. Fiecare strat este format din unități sau neuroni. Configurația straturilor și neuronilor într-o rețea neuronală se numește arhitectura rețelei. În fiecare strat, neuronii primesc date de intrare de la unitățile din stratul precedent și trimit ieșirea lor la unitățile din stratul următor. În fiecare neuron, suma ponderată a intrările sale este trecută prin funcția de activare pentru a rezulta ieșirea neuronului. În această lucrare, funcția de activare sigmoid a fost utilizată în stratul ascuns și funcția de activare tangentă hiperbolică, pentru stratul de ieșire. O RNA cu un singur strat ascuns cu funcție de activare sigmoid poate reprezenta orice funcție de interes practic. În studiul de față, o rețea feed-forward standard cu un strat ascuns a fost utilizată. Numărul optim de unități în stratul ascuns a fost determinat prin procedeul aproximărilor succesive. Figura 28 înfățișează o reprezentare schematică a arhitecturii rețelei neuronale angajate în acest studiu.

Fig. 28. Arhitectura RNA (3-7-2)

Antrenarea rețelei

Setul de instruire este utilizat pentru a determina pattern-uri (modele, șabloane) prezente în date prin intermediul procesului de antrenare, cu ajutorul unui algoritm de instruire. Obiectivul antrenării este de a găsi setul de ponderi dintre neuroni, care determină minimul global al funcției de eroare. Acest proces este echivalent cu potrivirea (fitting) modelului rețelei neuronale la datele disponibile de antrenare. Antrenarea rețelei cu o metodă adecvată este factorul-cheie pentru a obține o rețea bine instruită. De multe ori, metoda Back Propagation este folosită pentru a antrena RNA, în care gradientul este calculat pentru o rețea neliniară multistrat. O metodă adecvată este Quick Propagation, mult mai rapidă decât metoda standard Back Propagation. Algoritmul de instruire Quick Propagation a fost folosit în această lucrare.

Rețelele neuronale pot fi ușor supra-antrenate; astfel, rata de eroare în cazul aplicării unor date noi, necunoscute rețelei, va fi mult mai mare decât rata de eroare pe datele de antrenare. Prin urmare, este important să nu se ajungă la supra-antrenarea rețelei. O metodă bună pentru alegerea numărului de epoci de instruire (iterații) este tehnica de oprire timpurie, în care setul de date de validare este folosit pentru a calcula rata de eroare în timp ce rețeaua se instruiește. Cu alte cuvinte, procesul de antrenare trebuie să fie oprit când eroarea măsurată utilizând un set independent de validare începe să crească. Acest criteriu este de natură să ofere cea mai bună rată de eroare pe datele noi, cum ar fi datele de testare. Această procedură a fost folosită în aplicația curentă, iar numărul de iterații a fost de 31000. La acest număr de iterații, eroarea medie pătratică (RMSE) a fost de 9.2947, coeficientul mediu de corelare (R) a fost 0.98718 și coeficientul mediu de determinare (DC) a fost de 0.97452.

Testarea rețelei

Dacă rețeaua este instruită în mod corespunzător, atunci ea învață să modeleze funcția care descrie legătura dintre variabilele de intrare și variabilele de ieșire și poate fi utilizată, ulterior, pentru a face predicții a căror rezultate nu sunt cunoscute. Această capacitate se numește generalizare. În această lucrare, setul de testare a fost utilizat pentru a evalua capacitatea de generalizare a rețelei instruite.

3.2.3. Rezultatele modelului de RNA proiectată

Capacitatea de generalizare a modelului și cea mai bună arhitectură a rețelei au fost determinate prin reprezentarea unei diagrame a valorilor estimate în raport cu valorile măsurate (reale) și analiza erorii medii pătratice. Diagramele sunt prezentate în figurile 29 și 30. Aceste diagrame arată că modelul de predicție se potrivește cu observațiile experimentale. Rețeaua dezvoltată arată performanțe bune iar rezultatele rețelei sunt în acord cu datele experimentale.

Fig. 29. Cantitatea adsorbită de fosfor. Valori estimate (roșu) vs. valori măsurate (verde)

Fig. 30. Viteza adsorbției. Valori estimate (roșu) vs. valori măsurate (verde)

În ceea ce privește nivelul de importanță a datelor de intrare, timpul este variabila cu cel mai mare impact asupra ieșirilor, apoi concentrația inițială și temperatura (fig. 31).

Fig.31. Analiza importanței datelor de intrare

Analiza interdependenței dintre date este concepută pentru a arăta relația dintre datele de ieșire și un element de intrare (2-D) sau două variabile de intrare (3-D).

Fig. 31. Cantitatea adsorbită vs. timp și Fig. 32. Cantitatea adsorbită vs. timp Fig. 33. Viteza de adsorbție vs.

concentrația inițială și temperatură timp și temperatură

Suprafața erorii este ilustrată grafic indicând relația dintre eroarea medie pătratică, RMSE, și ponderile conexiunilor de pe straturile vecine. N1L1 înseamnă primul neuron al stratului de intrare; N1L2 înseamnă primul neuron al celui de-al doilea strat, care este stratul ascuns (fig. 34).

Fig. 34. RMSE vs. ponderile conexiunilor N1L1-N1L2 și N2L1-N1L2

Concluzii

În acest studiu, RNA sunt folosite pentru a prezice cantitatea adsorbită de fosfat în sol. Capacitatea de generalizare a modelului este confirmată de valoarea erorii medii pătratice (RMSE) și de valoarea coeficientului de corelare (R) între datele măsurate și cele prognozate. Evaluarea rezultatelor modelului arată că prognoza cantității adsorbite de fosfor și a ratei de sorbție este satisfăcătoare, cu posibilități de perfecționare.

3.3. Studiu de prognoză asupra îndepărtării ionilor azotat cu ajutorul barierelor reactive

3.3.1. Descrierea aplicației

Nivelurile de nitrați din apele subterane, în unele cazuri sunt mai mari decât nivelurile în condiții de siguranță propuse de APM (Agenția de Protecție a Mediului) și, astfel, reprezintă o amenințare pentru sănătatea umană. Reabilitarea pasivă a apelor subterane cu ajutorul barierelor reactive permeabile (BRP) este o tehnologie nouă și inovatoare pentru eliminarea poluanților din apele subterane. Acestea acționează ca barieră, nu față de apă, ci față de contaminanții săi pe care îi îndepărtează prin două mecanisme: prin adăugarea unui material de adsorbție pentru contaminanți și prin adăugarea unui material reactiv, capabil să interacționeze cu contaminanții și să diminueze bio-disponibilitatea lor.

În această aplicație, s-a încercat găsirea celei mai bune modalități de a elimina ionii de nitrați (NO3-) din apă, prin utilizarea de fier elementar în formă de boabe, în funcție de pH-ul și temperatura apei. Rezultatele experimentelor au fost prelucrate cu ajutorul unei Rețele Neuronale Artificiale (RNA), în scopul de a crea un model matematic capabil să prezică cantitatea optimă de fier necesară pentru a elimina ionii de nitrați din apa poluată.

Studiul de față analizează RNA ca mijloc de predicție în procesul de reducere a ionilor nitrat din apa contaminată. Structura paralel-distribuită a rețelelor neuronale artificiale, împreună cu capacitățile lor de generalizare, toleranță la defecte, performanță adaptivă și asociativă, abilitatea de a lucra cu funcțiile dinamice în timp real și cerința lor limitată de software asigură adecvanța lor în cazul multor aplicații practice de mediu.

Azotul este o componentă majoră a atmosferei terestre și apare în mai multe forme diferite, cum ar fi azotul elementar, azotatul și amoniacul. Reacțiile naturale ale formelor atmosferice de azot cu apa de ploaie duc la formarea de ioni nitrat și amoniu. Sursele antropice au crescut foarte mult concentrația de nitrați, în special în apele subterane. Ponderea cea mai mare în poluarea cu ioni nitrat o reprezintă fosele septice, aplicarea de îngrășăminte bogate în azot și procesele agricole [A3].

Există, de asemenea, ioni nitrați care se formează în atmosferă prin oxidarea oxizilor de azot, oxizi care sunt emiși de la centralele electrice și motoarele cu ardere internă. O altă sursă antropică este reprezentată de inhibitorii de coroziune industrială care s-au scurs în ecosistem. În mod natural, nitrații apar dintr-o combinație de azot și oxigen prin descărcări electrice (fulgere). De asemenea, ionul nitrat se formează și cu ajutorul bacteriilor Nitrobacteria prin oxidarea nitriților.

Barierele Reactive Permeabile (BRP) sunt construcții subterane situate pe direcția de curgere a fluxulului de apă contaminată. Contaminanții sunt eliminați din apele subterane prin procese geochimice care au loc în materialul reactiv al barierei. Pentru a fi utilizate materiale adecvate în compoziția barierelor reactive permeabile trebuie ca ele să indeplinească o serie de condiții ca: să fie ieftine, să nu polueze apa, etc. Dintre materialele ce pot fi folosite, se menționează: fierul elementar, carbonul activ, zeoliții, oxizii de fier/oxi-hidrații, fosfații, mineralele argiloase și altele. Alegerea materialelor reactive și a mecanismelor de retenție sunt dependente de tipul de poluare. [A3]

Tehnologia BRP pare să fie o abordare promițătoare pentru remedierea eficientă a apelor subterane, chiar și în cazurile complexe în care metodele tradiționale de tip "pompează și tratează" și/sau tehnicile microbiologice s-au dovedit nereușite. Deși folosirea BRP este limitată de anumite condiții de mediu, în locurile în care aplicația este fezabilă, acestea par să fie o alegere bună și este acceptată de către utilizatorii finali, în special în mediul urban și a zonelor construite. Motivele sunt: exploatarea minimă de teren, vizibilitatea redusă, nici un impact suplimentar asupra peisajului provenit de la echipamente, cum ar fi containere, rezervoare de apă, pompe sau zgomotul utilajelor. Materialul reactiv cel mai cunoscut este fierul granular zero-valent (fier elementar, Fe0).

Utilizarea pe scară largă a fierului elementar este atribuită capacității sale de a acționa ca un puternic agent de reducere în apele subterane, provocând degradarea abiotică a substanțelor organice, cum ar fi hidrocarburile clorurate și unele hidrocarburi aromatice și imobilizarea unor compuși anorganici, cum ar fi crom, nichel, plumb, uraniu, sulfat, nitrat, fosfat, arsenic, molibden și altele.

 Pentru a reduce numărul de experimente care trebuie efectuate în cazul construirii unei bariere reactive, s-a apelat la realizarea unei rețele neuronale artificiale.

În construcția unui model de prognoză bazat pe RNA, s-au folosit ca variabile ale rețelei următoarele: timpul (durata de reacție), temperatura, pH-ul apei, concentrația inițială de azotat în apa poluată, concentrația finală de azotat în apa tratată.

Obiectivul aplicației este de a determina cantitatea redusă de nitrat cu ajutorul unui gram de fier. În acest fel, putem stabili structura BRP utilizată pentru remedierea apei poluate cu o anumită concentrație de nitrați. RNA este capabilă să transmită previziuni despre concentrația finală de nitrat în apa tratată atunci când sunt furnizați parametrii de intrare.

3.3.2. Proiectarea rețelei neuronale artificiale de prognoză

Partea experimentală

Probele au fost analizate printr-o metodă spectrofotometrică bazată pe reacția de culoare dintre acidul fenol disulfonic și ionii nitrat din soluție Se formează un derivat nitroaromatic de culoare galbenă. Inițial se realizează curba de etalonare. Din soluția etalon de lucru se iau câte 0,25; 0,5; 1; 5; 10; 25 ml care se aduc la semn cu apă distilată în baloane cotate de 100 ml. Din fiecare balon se iau câte 10 ml, se trec în vasele de evaporare și se evaporă la sec pe baia de apă. Peste reziduul rămas după evaporare se adaugă 0,5 ml acid fenoldisulfonic, apoi se lasă în repaus 15 min pentru răcirea probelor. Se adaugă amoniac în părți de câte 1 ml până la dezvoltarea completă a culorii. Se aduce la semn cu apă distilată în baloane cotate de 25 ml și se fotometrează la lungimea de undă λ = 410 nm.

Pentru analiză, probele sunt supuse aceluiași tratament, iar după dezvoltarea culorii se diluează suficient astfel încât să se încadreze în scală. Se fotometrează la lungimea de undă 410 nm, determinându-se concentrația de nitrați.

Pentru rezolvarea problemei de prognoză, s-a folosit un software produs de firma NeuroIntelligence, denumit Alyuda NeuroIntelligence (AN). Acesta este un software bazat pe RNA care realizează: preprocesarea și analiza bazelor de date, definirea RNA cu cea mai bună arhitectură, testarea și optimizarea RNA aleasă, aplicarea RNA în rezolvarea problemelor. Interfața AN este optimizată pentru a rezolva probleme de prognoză, clasificare și aproximare de funcții. În dezvoltarea unei aplicații, atât datele cât și rețeaua neuronală proiectată parcurg o succesiune de etape prin care se urmărește obținerea unui maxim de performanță, adică o eroare cât mai mică a rețelei, astfel: analiza datelor, preprocesarea datelor, proiectarea rețelei neuronale, antrenarea RNA, testarea RNA și interogarea RNA. AN utilizează pentru fiecare dintre etape o foaie de lucru separată.

Variabilele de intrare în structura RNA sunt arătate în tabelul 14:

Tab. 14. Date de intrare ale RNA

Analiza datelor

Analiza datelor este necesară ca etapa premergătoare preprocesării acestora. AN pune la dispoziție opțiuni pentru specificarea tipului de coloane, detectarea anomaliilor în date, excluderea coloanelor și a rândurilor selectate ca fiind necorespunzătoare. Culorile alocate diferitelor date atrag atenția asupra nepotrivirii acestora pentru utilizarea ulterioară. După analiza datelor, se cunosc valorile aberante și coloanele sau rândurile aferente acestora, respinse în construirea rețelei neuronale, afișate în culoarea gri. [1]

Preprocesarea datelor

Preprocesarea datelor reprezintă modificarea lor înainte de a fi preluate de rețeaua neuronală (scalarea valorilor numerice, transformarea datelor de tip caracter în date numerice, etc.), ținând cont de faptul că RNA lucrează numai cu valori numerice dintr-un interval limitat. Post-procesarea înseamnă modificarea ieșirilor din rețeaua neuronală pentru a le face ușor de înțeles și de interpretat de către utilizator. Pentru coloanele cu date de intrare, intervalul de scalare este [-1..1]. Pentru coloanele „țintă” (de ieșire), intervalul de scalare depinde de funcția de activare a stratului de ieșire.

Proiectarea rețelei neuronale

Pentru proiectarea unei RNA, este necesară specificarea arhitecturii rețelei (numărul de neuroni din stratul ascuns, numărul de straturi ascunse) și proprietățile rețelei (funcția de activare, eroare). Proiectată manual sau automat, AN creează RNA feed-forward total conectate.

Astfel, rețeaua neuronală artificială este alcătuită din 4 neuroni de intrare (tabelul 14), 8 neuroni ascunși și un singur neuron de ieșire (concentrația finală de azotat în apa tratată). Alyuda NeuroIntelligence caută automat cea mai performantă arhitectură de rețea, aceea care prezintă cele mai mici erori de testare.

Antrenarea

Opțiunea de antrenare permite vizualizarea procesului prin graficele de antrenare, histograme pentru distribuția erorii și distribuția ponderilor, diagrama importanței intrărilor și expunerea în timp real a detaliilor de antrenare. O rețea poate fi antrenată de mai multe ori pentru îmbunătățirea performanței.

Fig. 35. Arhitectura RNA

Fig. 36. Eroarea setului de antrenare (albastru) și validare (negru) a rețelei

Fig. 37. Evoluția erorii rețelei pe parcursul antrenării

Fig. 38. Distribuția erorilor în etapa de antrenare

Evoluția etapei de antrenare se monitorizează prin intermediul histogramei de distribuție a erorii, histogramei de distribuție a ponderilor și diagramei de importanță a datelor de intrare. Distribuția erorii arată câte înregistrări de date de antrenare au valori diferite ale erorii. În mod normal, în timpul antrenării numărul erorilor mari trebuie să scadă. Distribuția ponderilor arată numărul de ponderi de mărimi variate. La sfârșitul antrenării, se poate verifica numărul de ponderi cu valori apropiate de zero sau valori mult mai mari, concluzionând asupra arhitecturii de rețea folosită. Diagrama importanței intrărilor indică ce coloane din baza de date pot fi eliminate fără a afecta rezultatele finale, cât și coloanele cu cea mai mare influență asupra rețelei. Importanța coloanei este măsurată prin gradul de degradare a performanței rețelei după eliminarea coloanei în cauză.

Testarea

Analiza performanței rețelei antrenate se poate efectua prin utilizarea graficelor datelor măsurate în comparație cu datele previzionate, care indică gradul de fittness atins de rețea.

Fig. 39. Gradul de potrivire între datele măsurate (roșu) și datele previzionate (albastru)

Concluzii

Utilizarea RNA în prognozarea cantității reduse de nitrat cu ajutorul unui gram de fier poate fi considerată un succes pentru obiectivul propus. În vederea preîntâmpinării problemelor derivate din eterogenitatea ionilor azotat, modelul rețelelor neuronale poate fi ușor modificat în vederea obținerii celor mai bune rezultate. Utilizarea RNA în cadrul acestei aplicații a facilitat evaluarea rapidă și eficientă a datelor obținute în urma studiului îndepărtării azotaților din ape. Este de preferat să existe o comunicare permanentă între agențiile locale de monitorizare a calității mediului, astfel încât accesul la datele de mediu să fie cât mai facil și rapid, ceea ce permite și asigură o procesare eficientă a datelor și elaborarea unor decizii corespunzătoare problemei de mediu apărută.

BIBLIOGRAFIE:

[A1] Adya, M., Collopy, F., How Effective are Neural Networks at Forecasting and Prediction? A Review and Evaluation, Journal of Forecasting 17, 481-495, University of Maryland, Baltimore, USA, 1998.

[A2] Awodele, O., Jegede, O., Neural networks and its application in engineering, Dept. of Computer Science and Mathematics, , 2009.

[A3] Almeida M.C., Butler D, Friedler E., Urban Water , p. 49,1999

[G1] Gâlea, D., Leon, F., Aplicații ale sistemelor neuro-fuzzy în domeniul inteligenței artificiale, Universitatea Tehnică „Gh. Asachi” din Iași, Facultatea de Automatică și Calculatoare, 2003.

[G2] Glăvan, B., Împotriva curentului. Însemnări despre criza financiară actual, Editura Universul juridic, Colecția Bussiness, 2009.

[H1] Hayashi, Y., Buckley, J. J.: Approximations between fuzzy expert systems and neural

networks, Int. J. Approx. Reas., vol. 10, pp. 63.73, 1994

[I1] Ivakhnenko, A.G., Recent Developments of Self-Organising Modeling in Prediction and Analysis of Stock Market, Glushkov Institute of Cybernetics, Ukraina, 2006

[K1] Kamruzzaman, J., Begg, R., Sarker, R., Artificial Neural Networks in Finance and Manufacturing, Idea Group , 2006

[L1] Lin, F., Huo Yu, X., Gregor, S., Irons, R., Time Series Forecasting with Neural Networks, Department of Mathematics and Computing, Faculty of Business Central Queensland, University

[M1] McGechan, M. B., Lewis, D. R., Sorption of phosphorus by soil, Part 1: Principles, Equations and models, Biosystems Engineering – vol. 82, nr. 1, pg. 1-24; 2002

[P1] Pierzynski, G.M., Sims, J.T.; Vance, G.F., Soils and Environmental Quality, 2nd edition, : CRC Press, 2000.

[R1] Rabunal, J. R., Dorado, J., Artificial Neural Networks in Real Life Applications, Idea Group , 2006.

[S1] Shamim, M. A., Ghumman, A. R., Ghani, U., Forecasting Groundwater Contamination Using Artificial Neural Networks, International Conference on Water Resources & Arid Environment, , 2004.

[S2] Shrimali, M., Singh, K.P., Enviromental Pollution, Elsevier, 2001.

[S3] Sposito, G., The use of the Langmuir eguation in the interpretation of „adsorption” phenomena. The „two-surface”. Langmuir eguation; Soil Science Society America Journal 46, 1982.

[T1] Tertisco, M., Tertisco, Al., Baroianu, C., Proiectarea optimală a arhitecturii RN pentru prognoză și identificare statică, Facultatea de Automatică și Calculatoare, Universitatea “Politehnica” București

[T2] Tan, K.H., Dekter M., Principles of Soil Chemistry (third ed.), New York, 1998

[1] http://www.alyuda.com/

BIBLIOGRAFIE:

[A1] Adya, M., Collopy, F., How Effective are Neural Networks at Forecasting and Prediction? A Review and Evaluation, Journal of Forecasting 17, 481-495, University of Maryland, Baltimore, USA, 1998.

[A2] Awodele, O., Jegede, O., Neural networks and its application in engineering, Dept. of Computer Science and Mathematics, , 2009.

[A3] Almeida M.C., Butler D, Friedler E., Urban Water , p. 49,1999

[G1] Gâlea, D., Leon, F., Aplicații ale sistemelor neuro-fuzzy în domeniul inteligenței artificiale, Universitatea Tehnică „Gh. Asachi” din Iași, Facultatea de Automatică și Calculatoare, 2003.

[G2] Glăvan, B., Împotriva curentului. Însemnări despre criza financiară actual, Editura Universul juridic, Colecția Bussiness, 2009.

[H1] Hayashi, Y., Buckley, J. J.: Approximations between fuzzy expert systems and neural

networks, Int. J. Approx. Reas., vol. 10, pp. 63.73, 1994

[I1] Ivakhnenko, A.G., Recent Developments of Self-Organising Modeling in Prediction and Analysis of Stock Market, Glushkov Institute of Cybernetics, Ukraina, 2006

[K1] Kamruzzaman, J., Begg, R., Sarker, R., Artificial Neural Networks in Finance and Manufacturing, Idea Group , 2006

[L1] Lin, F., Huo Yu, X., Gregor, S., Irons, R., Time Series Forecasting with Neural Networks, Department of Mathematics and Computing, Faculty of Business Central Queensland, University

[M1] McGechan, M. B., Lewis, D. R., Sorption of phosphorus by soil, Part 1: Principles, Equations and models, Biosystems Engineering – vol. 82, nr. 1, pg. 1-24; 2002

[P1] Pierzynski, G.M., Sims, J.T.; Vance, G.F., Soils and Environmental Quality, 2nd edition, : CRC Press, 2000.

[R1] Rabunal, J. R., Dorado, J., Artificial Neural Networks in Real Life Applications, Idea Group , 2006.

[S1] Shamim, M. A., Ghumman, A. R., Ghani, U., Forecasting Groundwater Contamination Using Artificial Neural Networks, International Conference on Water Resources & Arid Environment, , 2004.

[S2] Shrimali, M., Singh, K.P., Enviromental Pollution, Elsevier, 2001.

[S3] Sposito, G., The use of the Langmuir eguation in the interpretation of „adsorption” phenomena. The „two-surface”. Langmuir eguation; Soil Science Society America Journal 46, 1982.

[T1] Tertisco, M., Tertisco, Al., Baroianu, C., Proiectarea optimală a arhitecturii RN pentru prognoză și identificare statică, Facultatea de Automatică și Calculatoare, Universitatea “Politehnica” București

[T2] Tan, K.H., Dekter M., Principles of Soil Chemistry (third ed.), New York, 1998

[1] http://www.alyuda.com/