O Abordare Genetica Pentru Controlul Adaptiv cu Agenti

O abordare genetică pentru controlul adaptiv cu agenți

multipli în sistemele de producție interdependente

În această lucrare, sunt aplicați algoritmi genetici pentru a adapta strategiile de luare a deciziilor a aparatelor de comanda autonome într-un sistem de producție semidependent. Agenții de control folosesc reguli de decizie predefinite numai pentru o perioadă de timp limitată, și se supun unei politici de înlocuire a regulilor care propagă cele mai de succes reguli la populațiile următoare de agenți care operează simultan. Cele două obiective acele acestei abordări este de a optimiza automat performanța sistemului de control în timpul condițiilor de stare de echilibru nederanjate ale producției, și să îmbunătățească reacțiile agenților la probleme neprevăzute (ex: avarii, lipsă de materiale) prin adaptarea strategiilor lor de decizii. Rezultatele pe un model detaliat cu evenimente distincte a unui sistem de producție interdependent cu mai mulți agenți confirmă eficacitatea acestei abordări.

I.Introducere

Recent, s-a observat o creștere a interesului pentru aplicațiile modelurilor cu Sistem cu Agenți Multipli (SAM-uri) la controlarea și planificarea producției. În acest context, cuvântul „agent” se referă la un program software asociat fie unei componente hardware (agent parțial, agent de resurse, agent AGV) sau unei funcții specifice (agent de încărcare, agent mediator, etc.) a sistemul de producție. Din punctul de vedere al tehnologiei software, agențți sunt similari obiectelor software, care indiferent cum sunt rulate răspund unor obiecte de nivel superior într-o organizare hierarhică. Din contră, într-un sens restrâns, agenții trebuie să ruleze continuu și autonom [2]. De curând, tendința de a distribui resurse de calcul la toate sistemele de producție a mărit cererea pentru sisteme de control interdependente. În construcțiile interdependente, nu există relații de tip master-slave între controalele de nivele superioare și cele inferioare, și informațiile, deciziile și controalele trebuie să fie distribuite logic și fizic la toți agenții autonomi din fabrică pe cât posibil. După cum este evidențiat de literatură tehnică [9], Sistemele de Producție Interdependente (SPI) asigură complexitate de programare redusă, accesibilitate, reconfigurabilitate, și au ca scop obținerea unui hardware de producție expansibil și interschimbabil de tip plug-and-play, și a unui software inteligent care reacționează. Lucrările [26] și [2] oferă studii vaste asupra SAM-urilor și respectiv a SPI-urilor.

Tehnicile cu Agenți Multipli se presupun a lucra în medii rapide în timp real, care sunt una din principalele probleme a cercetării curente [2]. În sistemele de expediere, deciziile asupra producției parțiale sunt luate în timp real, implementând un control de nivel mic bazat pe algoritmi care necesită doar informații disponibile local. În ultimii 20 de ani, un volum considerabil de cercetări s-au focalizat pe strategii de expediere și protocoale de interacțiune între agenții bazați pe metafore de negocieri în medii micro-economice ([14], [24], [29], pentru a menționa câteva). Aceste cercetări pretind explicit că un curs valutar fictiv și politicile de stabilire a prețurilor funcționează ca „niște mâini invizibile ce ghideazp negocierile pentru a îmbunătăți performanța sistemului”[15]. Însă, mulți autori (ex: [32]) au recunoscut dificultatea înnăscută de a crea forme eficiente de interacțiune între controlorii autonomi locali, fără a contrzice în vreun fel modelelor cu design interdependent, care nu permit organizări hierarhice de supraveghere. De fapt, peste 30 de ani de cercetări în domeniul sistemelor de expediere confirmă că nu este nici un mod explicit de a relaționa efectul acțiunilor locale la performanța sistemului global [20]. În consecință, performanța globală devine extrem de sensibilă la definirea și acordarea fină a regulilor de contractare a sarcinilor [32]. Pentru a rezuma, din cauza miopiei înnăscute a deciziilor unui agent, și a condițiilor mereu schimbătoare a procesului de producție, s-ar putea să nu fie suficientă preprogramarea regulilor de decizii ale agenților pentru a beneficia din plin de pe urma pontențialului presupus al SPI.

Alți cercetători au combătut problema de design a SPI dintr-o perspectivă diferită. În studiile lor recente, Duffie și Prabhu [9], [23] propun să evite cooperarea explicită între controlori, și să lase agenții să coopereze implicit reglându-și comportamentul folosindu-se de feedback-ul primit de la efectele locale ale acțiunilor lor, care sunt evaluate prin simulări. În special, Duffie și Prabhu se concentrează pe SPI part-driven, ex: sisteme în care fiecare parte a procesului are un controlor software asociat care excută autonom niște sarcini parțial asociate (ex: calcularea timpului de sosire optim într-o stație). În acest fel, control este în totalitate local și nici o entitate n-are vreao informație explicită referitoare la celelalte părți. În [23] Duffie și Prabhu analizează teoretic ecuații diferențiale nelineare care modelează interacțiuni parțiale într-o continuă aproximare a unei singure mașinării într-un sistem de producție. Pe de o parte, aceste presupuneri duc la o problemă simplificată care se poate verifica prin teoria de control analitică, dar pe de altă parte, acestea nu pot fi aplicate ușor într-o fabrică industrială reală.

Continuând în direcția cercetărilor de mai sus, această lucrare abordează problema coordonării agenților prin obținirea unei cooperări implicite prin feedback local a efectelor pe termen scurt a acțiunilor singulare, și propune o nouă strategie de obținere a unor controlori adaptabili în SPI part-driven. Această strategie este bazată pe o metaforă a evoluției darwiniene și pe principiul supraviețuirii celui mai puternic. În plus, se bazează pe potrivirea presupunerilor cu mediile de producție cele mai moderne, și îndeplinirea principalelor criterii de design a SPI. Ca și în cazul Sistemelor de Clasificare Genetice [10], [33], ideea de bază este de a lăsa agenții să opereze în sistem doar pentru o perioadă de timp limitată folosind reguli de decizie predefinite, și de a defini o politică de înlocuire a regulilor care să încerce să propage cele mai reușite reguli mai departe la populația de agenți care operează concomitent. Obiectivul acestei abordări este atât acela de a optimiza automat performanțele sistemului de control în condițiile de echilibru nederanjat ale producției, cât și de a îmbunătății reacțiile agenților la probleme subite și neașteptate (ex: avarii, lipsă de materiale). Mecanismul pe care este structurată optimizarea evoluționară on-line a strategiilor decizionale propusă este bazat pe Algoritmi Genetici (AG) [10], [19].

Mulțumită versabilității și fiabilității, lor, AG-urile au jucat un rol important în domeniul producției în ultimii 30 de ani. Au fost aplicați cu succes în varii probleme complexe de producție, cum ar fi designul fabricilor, planificarea procedeului, planificarea orarului de muncă, și probleme de echilibrare a liniilor ([13], [28], [12], [35], sau a studiul extensiv din [8], pentru a menționa doar câteva lucrări mai recente). Metafora evoluției naturale a inspirat și alte tratări pentru optimizarea SAM.urilor în contexte diferite, ex: comunități de roboți [11], [3], probleme de negocieri [6], [18], programarea activităților [31], [4]. Majoritatea cercetărilor despre aplicațiile AG în producției consideră probleme de optimizare statică, de vreme ce funcția obiectivă nu variază în timp (cel puțin în timpul rulării AG), astfel încât fiecare punct din spațiul de căutare, evaluat la timpi diferiți, are mereu aceeași condiție. Din contră, adaptarea evoluționară descrisă în această lucrare funcționează continuu on-line. Fiecare agent operează într-un mediu dinamic cu evenimente distincte, și condiția lui poate varia în timp datorită interacțiilor imprevizibile cu alți agenți și cu mediul. Mai mulți cercetători (ex: [1], [30]) au investigat performanța AG în medii dinamice, unde condiția este variabilă în timp sau afectată de zgomot, oferind informații folositoare ce vor fi discutate mai târziu. Maione și Naso [16] descriu niște rezultate preliminare a unui algoritm de adaptare similar bazat pe strategii evolutive. Această lucrare prezintă o versiune semnificativ îmbunătățită a acestui algoritm de adaptare. Mai mult, dezvoltând un model detaliat pentru agenți si protocoalele lor de interacțiune, lucrarea mai analizează și niște probleme fundamentale, cum ar fi volumul și eficiența interacțiunilor între agenți, care nu au fost luate în considerare în cercetările precedente.

O provocare fundamentală a designului interdependent în sistemele de producție cu agenți multipli este de a determina un cadru de modelare generic capabil să descrie natura discontinuă a dinamicii cauzată de acțiuni distincte și nesincronizate, sprijinirea analizei modulare, și de a face fezabilă calcularea greutății. Pentru a rezolva aceste probleme critice, vom pune în acțiune o abordare bazată pe formalismul sitemului DEVS (Discrete EVent Specified) [34]. Prin urmare, aceastp tehnică include mijloacele de creare cu ușurință a unor modele complexe din componente atomice, descriind atât elemente microscopice (modelel agentului singular) cât și a agregatelor lor macroscopice (întreaga rețea de control a producției). O altă trăsătură atractivă a acestui cadru este strânsa legătură cu teoria sistemului, care asigură o fundație matematică sigură pentru atingerea unei corectitudini demonstrabile în modelare, și pentru sporirea verificării și a validării.

Cadrul DEVS este folositor mai ales în crearea unor modele de simulare a unor sisteme de cu evenimente distincte. Toate entitățile atomice, protocoalele de interacțiune și algoritmii descriși în această lucrare sunt în primul rând specificate folosind DEVS și apoi translatate în software-uri oepraționale testate într-un model de simulare detaliat al fabricii de producție. Folosirea de structuri formale ne permite în același timp să determinăm datele de intrare, stările și datele de ieșire a fiecaărui agent, să descriem componentele supuse adaptării evoluționare, și parametrii configurării critice care afectează rezultatele strategiei propuse.

Această lucrare este organizată în următorul fel. Secțiunea II definește modelul DEVS al agenților responsabili de controlarea productivității parțiale. Secțiunea III descrie structura AG folosiți pentru adaptarea agenților la condițiilor schimbătoare ale mediului lor. În secțiunea IV, rețeaua adaptivă de controlori propusă este comparată cu alte politici de expediere folosite frecvent în domeniul SAM-urilor într-un studiu de caz detaliat. Secțiunea V încheie cu niște remarci de final.

II.Rețeaua Agenților Multipli

Ca în majoritatea SAM pentru controlul producției, în SPI part-driven o rețea de controlori, numită agenți, se ocupă de productivitatea parțială și programarea operațiunilor. Fiecare controlor operează autonom și asincron urmărind strategii de decizii preprogramate. Cercetări recente în domeniul SPI part-driven [9], [23] sugerează că, pentru a obține un sistem cu adevărat interdependent, fiecare agent trebuie să își îndeplinească sarcinile fără mecanisme de cooperare explicite: În alte cuvinte, agenții de același fel nu fac schimb de informație ex: pentru a evita conflicte sau timpi inactivi. În această lucrare, suntem de acord cu acest tip de presupunere, chiar dacă abordarea descrisă aici poate fi extinsă cu ușurință și la alte tipuri de SPIuri permițând forme de cooperare explicite între agenți.

Proiectarea unui SPI este dificilă. Și anume, operarea simultană a unor participanți independenți face izolarea pe termen lung a efectelor unei singure decizii asupra performanței globale a sistemului de producție aproape imposibilă. De asemenea, de la un nivel inferior, este dificil să evaluezi impactul avariilor sau aglomerării sistemului de comunicație, să iei în considerare pierderile sau schimburile ineficiente de informații, și să definești protocoale de sincronizare și interacțiune pentru a minimiza efectele unor astfel de perturbări, înainte ca acestea să se fi întâmplat. Așadar, niște posturi de comandă capabile să susțină simulări cu evenimente distincte atât a hardware-ului din fabrică (mașinării, AGVuri, etc.) cât și a software-ului operațional (agenți, protocoale de comunicare) ar fi mijloace folositoare pentru a îmbunătăți proiectarea sistemului și omptimizarea controlorilor. Pentru a ne descurca cu aceste probleme, am adoptat formalismul DEVS drept unelte fundamentale pentru a observa agenții dintr-o perspectivă detaliataă și formală. Noi caracterizăm agenții ca fiind sisteme atomice dinamice cu evenimente distincte, și specificăm relațiile lor prin descrierea formală a protocoalelor de interacțiune. Aici, noi doar rezumăm structura elementară a modelelor atomice pentru a descrie mecanismul principal pe care se bazează agenții din sistemele de producție. Prezentarea unei ilustrații detaliate a cadrului de modelaj DEVS, a propietăților lui, și a problemelor aferente nu este scopul acestei lucrări. O descriere completă a mecanismului de schimbare a stării și a modelului DEVS a întregii rețele de controlori este prezentă în [17].

A. Propuneri de Model

În modelul nostru, fiecare parte componentă a sistemului de producție are asociată o procedură de lucru, care definește o secvență de pași operaționali. Deobicei, datorită flexibilității sistemului, mai multe mașini alternative pot executa o anumită operațiune. Fiecare Agent Parțial (AP) este considerat ca o unitate de control atașată sau conectată piesei corespunzătoare care circulă în sistem. Este alcătuit dintr-o entitate software care interacționează cu controlorii mașinăriilor, încărcarea materialelor și manevrarea sistemelor. La fiecare pas operațional, un AP poate alege mașinăria unde piesa asociată va trece prin următorul proces. Analog, Agenții de la Postlu de Muncă (APM) sunt controlori software asociați mașinăriilor care procesează materialele prime. Încărcarea pieselor și transferul lor prin întreg sistemul sunt controlate tot de agenți autonomi (Agent de Încărcare, AÎ, Agent de Transport, AT). Nu toți agenții urmează un plan preconceput. Mai degrabă, primesc și procesează datele în timp real cu ajutorul algoritmilor decizionali incluși (logica de decizie, LD) după care selectează o acțiune din cele disponibile. AP mai conțin și anumite cunoștiințe prespecificat necesare în leătură cu procesul care-l controleaz, cum ar fi programe parțiale, constrângeri de secvență, etc. Noi presupunem că:

Materialul prim nou este mereu disponibil pentru încărcare (buffer infinit de încărcare) și materialele finite pot fi mereu descărcate (buffer infinit de descărcare).

Sistemul de producție este închis, ex: după ce cantitatea maximă prelucrabilă a fost atinsă (setată de operatorii din fabrică), o piesă nouă poate intra în sistem atunci când o piesă finisată părăsește sistemul.

Pentru a descrie schema de control a producție cu agenți multipli, introducem pentru puțin timp modelele atomice ale elementarilor AP și a APM. AÎ și AT au structuri similare, și modelele lor sunt omise de dragul conciziei. Pentru a lua o decizie, fiecare agent trebuie să facă schimb de mesaje cu alți agenți conform unui protocol specificat. Aceste mesaje fac ca agenții de tipuri diferite să interacționeze unul cu altul (ex: AP fac schimb de mesaje cu APM și vice-versa). Din contrp, în aplicația propusă (SPI part-driven), agenții de același tip nu interacționează explicit, chiar dacă acțiunile lor sunt mediate indirect prin mediul în care operează. Descrierea schemei de comunicare este și ea necesară pentru a introduce specificarea dinamicii interne a agenților. Modul intern de funcționare a unui model atomic nu este doar interesant pentru stările de tranziție și a întrărilor/ieșirilor, dar și în ce privește mecanismul folosit de LD a agentului pentru a-i controlo comportamentul. Ulterior, cuplăm structurile atomice DEVS porturile de întrări și ieșiri ale agenților atomici (cuplare modulară), și prin evitarea oricăror relații de tip master/slave între agenți (cuplare interdependentă).

Este important de menționat că, redefinind întrările și ieșirile agenților, formalismul DEVS poate modela la fel de bine tipuri diferite SAM, ex: acelea care se ocupă de cooperarea și coordonarea între agenții de același tip, și schemele inspirate de protocolul Contract Net [27], [21], [22], [25], [29] și de alte metafore bazate pe piață [15].

B. Agenții Parțiali ca sisteme DEVS atomice

Să presupunem că o piesă generică intră în sistem sua începe o operațiune nouă. AP asociat, să-i spunem P, care era pasiv (quiescent > QUIESC), începe să ceară servicii (requesting service > REQSER) trimițând mesaje la APMul presupusei mașinării m care poate îndeplini acel serviciu. P trece de la REQSER la condiție nouă atunci când trimite ultimul mesaj. Un mesaj generic de la un AP conține un cod de identificare, și o cerere a valorilor actuale a unui set de parametri ce caracterizează operația în timp real. Parametrii pot necesita decizia unui APM (ex: timpul aproximativ de livrare a operațiunii cerute, costul serviciului în valută virtuală dacă sistemul funcționează pe un sistem de contractare a sarcinilor pe baza pieței), sau pur și simplu ssă reprezinte niște indici în timp real a condițiilor mașinăriei (numărul de piese în așteptare, nivelul de muncă curent). Un răspuns general de la un APM conține codul lui de identificare, valorile parametrilor sau indiciilor ceruți, și în plus, un indicator care anunță indisponibilitatea unui loc care să primească piesa. AP ia în considerare ca destinații canditate doar răspunsurile care semnalează că există spațiu de stocare (răspunsuri realizabile).

După REQSER, P stă și așteaptă răspuns (waiting for answers > WAIANS). Mai exact, fiecare cerere a lui P poate intra în așteptare cu unele similare trimise de alți AP. Următoarea tranziție are loc când fir P primește toate răspunsurile sau când timpul maxim prespecificat al statului WAIANS expiră. Acest timp maxim evită așteptările indefinite sau cercuri vicioase (cicluri de așteptări reciproce). De fapt, pot apărea întârzieri excesive sau pierderi de mesaje datorită erorilor din rețeaua de comunicare sau a mașinăriei, sau din cauza unor circumstanțe imprevizibile. În cazul unei expirări a timpului maxim, P ia în considerare doar răspunsurile primite (posibile) pentru a alege următorul server. În cazul în care P nu primește nici un răspuns fezabil înaintea expirării timpului, se întoarce la statutul de REQSER și repetă procedura de cerere a serviciului. Lipsa repetată de răspunsuri fezabile se poate produce datorită aglomerării sistemului sau unei erori de comunicare. Pentru a evita o și mai mare aglomerare, P repetă ciclul REQSER – WAIANS doar un număr predefinit de ori. După care, dacă răspunsurile încă lipsesc, se întoarce la condiția de QUIESC pentru un interval de timp predefinit, după care reîncepe să interogheze aparatele.

Odată ce P a primit răspunsurile de la APM, începe să ia decizii (take a decision > TAKDEC) folosind parametrii de decizie primiți în raspunsurile de la APM. Algoritmul ordonează descescător APM în funcție de satisfacerea criteriilor lui de decizie, după care alege cea mai bună destinație dintre toți APM. Ulterior, P comunică decizia (communicate the choice > COMCHO) aparatului selectat printr-un mesaj de rezervare trimis APM corespunzător. Acum, APM trebuie să decidă autonom dacă să trimită înapoi o confirmare sau o respingere a rezervării. O respingere poate fi necesară atunci când acțiunile al AP modifică condițiile aparatului în timp ce AP ia decizia, astfel încât destinația aleasă nu mai este disponibilă atunci când trebuie confirmată cererea. Respingerea poate avea loc și dacă AP și APM interacționează cu un algoritm de negociere care se repetă de multe ori înainte ca o înțelegere să fie făcută. Așadar, P așteaptă confrimarea pentru o vreme (wait for a confirmation > WAICON). Dacă P este respins sau nu primește nici un răspuns înaintea expirării timpul pentru confirmare, se întoarce la condiția de COMCHO și trimite o nouă cerere de confirmare celui de-al doilea APM din lista de decizii. Dacă P nu are nici o variantă alternativă, se întoarce la REQSER. De asemenea statutul de WAICON nu poate duce la cercuri vicioase, datorită numărului de așteptări cu expirări.

În final, P trimite cereri unui AT pentru un AGV care să transporte piesa la aparatul selectat (request AGV > AGVREQ). După aceasta, până la începutul unei noi operațiuni (dacă mai este vreuna), P nu mai face decizii, primește sau trimite mesaje la și de la APM și rămâne în QUIESC. Piesa asociată trece prin toate procesele fizice necesare (încărcarea în AGV, transferul la postul de muncă, descărcarea în bufferul de intrări, așteptarea în buffer, pregătirea, prestarea serviciului, descărcarea în bufferul de ieșiri) ghidată de controlori de nivel inferior și fără implicarea APM. Deci, doar când aceste procese s-au terminat, piesa este gata să plece la următoarea destinație și P poate începe o noua fază de decizii. De altfel, dacă apare vreo avarie la aparatul selectat sau la AGV aferent, P rămâne în QUIESC fără să restarteze interacțiile cu vreun APM. De fapt, controlorii de la fabrică reușesc se ocupă de procesul de reparare pentru a readuce la normal condițiile de operare și trasnportă piesa la aparatul selectat. În cazul ultimei operații, P semnalează finisarea piese la LA, care va colecta informațiile folosite pentru evoluția adaptativă și apoi îl scoate pe P din sistem.

Noi modelăm dinamismul unui agent parțial P ca un DEVS [34]. Mai concret:

Xp este setul de intrare, ex: setul de evenimente externe. Au loc atunci când: piesa intră în sistem sau P începe o nouă fază de decizii (x0p, vezi Fig.1); P începe o fază de decizii imediat după sosirea tuturor mesajelor de la APM interogat (x2p); P primește un mesaj de la un APM care fie acceptă sau respinge cererea de confirmare (x5p). Evident, întâmplarea unor astfel de evenimente externe nu sunt în controlul modelului P.

Op este setul de evenimente interne, ex: fenomenele generate de dinamismul lui P când: P încetează să mai ceară servicii de la APM (o1p); așteătarea pentru răspuns a lui P expiră (o2p); P oprește procesul de decizii (o3p); P nu mai își comunică opțiunile la APM selectat (o4p); așteptarea lui P pentru confirmare expiră (o5p); P nu mai transmite cererea pentru AGV (o6p).

Yp este setul de ieșire. Datorită interacțiunii dintre agenți, ieșirile de la P corespund cu evenimentele externe ale APM. Ele sunt: semnalele trimise APM pentru cerere de srvicii (y0i, 1<=i<=m); semnalul trimis APM selectat pentru confirmare (y4p); cererea pentru un AGV sau, în cazul ultimei operații, un semnal de completare (y6p). Aceste ieșiri sunt generate de o funcție de ieșirei imediat înainte ca P să-și schimbe statutul la apariția unei tranziții interne (definită mai jos).

Sp este setul de stări secvențiale. Starea secvențială a lui P este definită astfel:

(1) Sp=(RWP, AS, P-Status, tap(sp))

Unde RWP este procedură de muncă reziduală, ex: secvența de pași operaționali necesari completării piesei, AS este setul de aparate disponibile să execute următoarea operație, tap(sp) este timpul maxim de stabilitate (dacă nu apar evenimente externe) a lui P sp, dată de o funcție de avansare a timpului. Mai mult:

P-status Є {QUIESC, REQSER, WAIANS, TAKDEC, COMCHO, WAICON,AVGREQ} Qp este un set al stărilor totale, ex:

(2) Qp = {(sp, ep, LDp) | sp Є Sp, 0<=ep<=tap(sp),

DLp={αp1, αp2, …, αpk}}. Aici, ep reprezintă timpul în care sistemul a fost în starea sp. De fiecare dată când ep=tap(sp), este programat un eveniment intern după car etimpul care a trecut este resetat la 0. O funcție internă de tranziție specifică în care stare va intra P după ce timpul tap(sp) a trecut. Dacă un eveniment extern (o intrare) are loc înainte unui eveniment intern, ex: dacă ep< tap(sp), atunci o funcție externă de tranziție specifică cum își schimbă P starea. În cele din urmă, LDp este un vector de parametrii care descriu unvioc logica deciziei agentului. Conține parametrii care sunt supuși adaptabilității evoluționare. Similar metaforei evolutiei Lamarckiene, considerăm LD ca fiind cromozomii genetici ai agentului, care sunt moșteniți de la generații mai tinere ale agentului (părinții), și incorporează „ponturi” despre evenimente trecute pe care părinții lor le-au trăit. LD este considerat o componentă fundamentală a stării unui agent deoarece îi permite agentului să-și schimbe răspunsul la aceiași stimuli ai mediului înconjurător și condiții interne, ex: să-și adapteze continuu comportamentul cu trecerea generațiilor.Mai multe detalii despre evenimente interne și externe și descrierea mecanismului de tranziție pot fi găsite în [34], [17].

Eveniment extern

Eveniment intern

Alte tipuri de evenimente posibile

x5P (respingere) sau o5P (pauza)

nici un alt server disponibil

o2P

x5P (respingere) sau o5P (pauza)

un server disponibil

pauza – nu respunde

QUIESC REQSER

y01…y0m

WAIANS TAKDEC COMCHO

y4P

WAICON AGVREQ

y6P

xOP o1P

x2P or o2P

toate raspunsurile

primite inainte de

pauza

o3P o4P

x5P

confirmare

primita

o6P

Fig. 1. Valori de P-statut, evenimente si de rezultate pentru un PA

Diagraful din Fig.1 arată valorile lui P-status (noduri), tranzițiile asociate evenimentelor externe ( arcurile continue) și evenimentelor interne (arcurile cu linie întreruptă). Arcurile cu linii întrerupte și punctulețe reprezintă evenimente atât interne cât și externe. Nodurile indică de asemenea ieșirile asociate cu valorile lui P-status. După cum arată Fig.1, AP poate primi confirmarea de la APM selectat sau una sau mai multe respingeri înainte de a primi confirmarea, după cateva cuplări succesive de condiții de COMCHO și WAICON. La fel și o expirare a timpului limită poate aduce AP înapoi la REQSER (de la WAICON în cazul în care nu primește confirmare sau este respins).

C. Agenți Aparat ca sisteme atomice DEVS

Fiecare APM rămâne inactiv (remains idle > REMIDL) până când primește un mesaj de la AP care fie are nevoie de informații fie așteaptă o confirmare. Cererile care ajung la APM când aceste este activ intră în așteptare pentru a urma să fie servite. În particular, având în vedere că cererile de confirmare au prioritate mai mare decât ererile de informații, fiecare APM are două cozi de așteptare FIFO diferite care țin cererile neprocesate ale AP. Lungimea cozii contribuie la definirea stării secvențial e a APM și este actualizată de fiecare dată când este îndeplinită o cerere de informație sau cofirmare.

Să presupunem că M este APM corespunzător unui post de muncă pe care un AP P îl poate alege drept destinație pentru piesa asociată. La primirea cererii de informație de la P, M începe să culeagă date (ex: timpul de pregătire, timpul de procesare, etc.) pentru a procesa cererea lui P (process the request > REQPRO). La finalizarea culegerii de date, M incepe să trasmită informațiile (trasmit data > DATTRA).

Dacă agentul M primește cereri pentru informații sau confirmare de la alți AP în timp ce este în starea de REQPRO și DATTRA, aceste mesaje d eintrare așteaptă la rând. La sârșitul transmiterii de informații, M procesează doar prima cerere activă din rând și se întoarce la REQPRO sau CONPRO (confirmation request processing; procesarea cererii de confirmare, descrisă mai încolo). Luați aminte că o cerere este considerată activă dacp timpul de așteptare este mai mic decât un prag predefinit. Cererile care nu sunt active sunt șterse. Acest mecanism îl împiedică pe M să proceseze cereri care, datorită timpului de așteptare excesiv de lung, nu poate ajunge la AP interesat în timpul lui maxi de așteptare. În final, dacă nu mai sunt alte mesaje în REQPRO și DATTRA, și nu mai sunt și alte cereri M se întoarce la REMIDL.

Acum, să presupunem că agentul M primește un mesaj de la P cerând o confirmare a disponibilității aparatului. Cererea poate ajunge la M fie când este în condiția de REMIDL sau într-una din cea de REQPRO și DATTRA. În primul caz, M procesează cererea de confirmare (CONPRO) și apoi trasmite un mesaj de confirmare sau respingere înapoi la P (Confirmation Or Rejection > CORTRA).

În cel de-al doilea caz, M termină de procesat cererea de informație cu care era ocupat, și lăsând celelalte cereri în așteptare, verifică disponibilitatea aparatului pentru a putea trimite pe urmă mesajul de confirmare/respingere.

După ce acordă sau refuză confirmarea, M se întoarce la condiția de REMIDL (dacă nu este nici o altă cerere activă în așteptare), la REQPRO (dacă mai sunt cereri de informații în așteptare), sau la CONPRO (dacă, între timp, cereri succesive de confirmare au venit de la alți AP).

Acum, este posibil pentru un APM să specifice o structură de evenimente distincte în care Xm, Om, Ym, Sm și Qm au înțelesuri analoage ca și în modelul AP și totalitatea stării include strategie de decizie LDm folosită de M pentru a interacționa cu AP. Mai exact:

Xm este setul evenimentelor de intrare. Au loc atunci când: M primește un mesaj de la AP care cere informații sau o confirmare a disponibilității.

Om este setul de evenimente interne. Au loc când: M termină procesarea unei cereri de informație și începe să trasnimtă date; M termină trasmiterea de date; M termină verificarea disponibilității aparatului și începe să trasnmită răspunsul; M termină de transmis răspunsul de confirmare sau respingere.

Ym este setul de evenimente de ieșire. Datorită interacțiunii dintre agenți, ieșirile lui M corespund evenimentelor externe ale AP și sunt: semnalul care trasnmite informația, semnalul de confirmare sau respingere.

Sm este setul de stări secvențiale. Fiecare stare este definită ca:

( 3 ) sm={M-status, q1, q2, qb, tam(sm)}

unde q1 și q2 sunt cozile de așteptare pentru cererile de informație respectiv de confirmare, qb reprezintă conținutul curent al buffer-ului aparatului, tam(sm) este timpul maxim de retenție pentru fiecare stare secvențială, și

M-status Є {REMIDL, REQPRO, DATTRA, CONPRO, CORTRA}

Qm este setul stărilor totale:

( 4 ) Qm={(sm, em, LDm) | sm Є Sm, 0<=em<=tam(sm),

LDm={ αm1, αm2, …, αmk}}.

Modelul DEVS al APM, și în special stările secvențiale, este considerabil mai simplu decât cel al AP. Asta este clar datorită faptului că munca noastra se concentrează pe sisteme part-driven, în care doar AP joacă un rol cu a devărat activ în operarea fabricii, în timp ce APM doar procesează cereri de informații și oferă informații actualizate AP. În alte tipuri de SAM, ex: acelea în care APM au un rol activ în contractarea sarcinilor cu AP, trebuie să fie incluse în starea secvențială informații în plus cum ar fi conșinutul detaliat al bufferului, starea operațiunii curente, etc. pentru a completa descrierea APM.

III.Adaptarea evoluționară on-line a Agenților Parțiali

Evoluția naturală, guvernată de principiul darwinian “cel mai puternic supraviețuiește”, a inspirat o vastă arie de cercetare cunoscută drept calcul evolutiv. Metafora evoluției a fost adesea folosită ca mijloc de proiectare a SAM în contexte variate, începând de la puncte de referință artificale simle și până la comunități de roboți. Aceste modele au fost recent extinse la SPI, deși, după cum a fost menționat mai devreme, problema înnăscută care face această aplicație considerabil diferită de convenționala optimizare off-line făcută de obicei cu AG este natura ghidată de evenimente distincte a acestora.

Multe dificultăți apar datorită potrivirii într-un interval de timp variabil. Și anume, modificările din sistemul de producție au frecvent nevoie de ajustări ale funcției obiective, astfel făcând ca soluția optimă să varieze în timp. Din acest punct de vedere, pentru mici schimbări în timp ale condițiilor de producție ale fabricii (ex: schimbări în cantitatea producției sau a amestecului), optimizarea on-line a procesului de producție poate fi vazută ca o problemă cu o “suprafață de scop care alunecă ușor” [7]. Însă, suprafața de scop se mai poate schimba și pentru că sistemele de producție sunt supuse la evenimente neprevăzute variate care pot altera starea sistemului pe neașteptate. De exemplu, apariția unei avarii la o mașinărie reduce brusc capacitatea de procesare a fabricii, și prin urmare valoarea minimă teoretică a indicilor de condiție cum ar fi întârzierea medie, sau timpul de producție mediu al pieselor, crește brusc. În principiu, o abordare evoluționară poate fi foarte eficientă într-un asemenea context dacă timpul mediu dintre două perturbări consecutive este destul de lung pentru a permite căutarea să se îndrepte spre indivizi mai buni. Mai exact, rata de schimbare a suprafeței de scopuri trebuie să fie considerabil mai înceată decât rata la care AG generează și evaluează noi indivizi. Dar, după cum vor arăta rezultatele simulării, schema de adaptare propusă poate oferi avantaje signifiante chiar și atunci când tipul dintre două perturbări consecutive este foarte scurt, deoarece primele efecte ale adaptării bazate pe populație sunt deja evidente imediat după întâmplarea perturbației.

În această lucrare, noi considerăm doar adaptarea AP. Principalul motiv pentru această alegere este, în mod notoriu, setarea parțială a priorităților la aparate nu afectează semnificativ indicii performanței globale a sistemului de producție cu repartizare parțială flexibilă [16]. Pentru a proiecta algoritmi adaptabili, este necesar să definim preliminar cât de mult pot modifica comportamentul agenților parametrii adaptabili. Deobicei, mecanismul de decizie este jumătate consant pentru a încapsula cele mai fiabile strategii, și jumătate adaptabil conform algoritmilor de învățare [3].

Schimbul între partea constantă și partea adaptabilă asigură un sistem de control mai previzibil și mai puțin critic pentru siguranță. În agenții noștrii, partea constantă este formată dintr-un set de reguli de decizie euristic, fiecare relaționat cu un alt parametru de evaluare oferit de APM (distanța până la destinație, cantitatea de muncă curentă, pregătirea privind ultima piesă din rând). Unele reguli de decizie pot fi mai eficiente în anumite condiții de operare (anomalii, avarii, aglomerări), în timp ce un

schimb între diferitele reguli poate fi mai potrivit în alte cazuri. Așadar, greutatea atribuită regulilor reprezintă sămânța (partea ajustabilă) a LD al fiecărui agent care este adaptat de algoritmul evolutiv. În acest fel, în orice condiție de operare, randamentul cel mai prost al unui agent nu ar trebui să fie cu mult mai jos decât randamentul obținut de cea mai proastă regulă de decizie. Însă, în experimentele descrise în următoarea secțiune, această circumstanță nu are loc niciodată: schema noastră a avut mereu un randament bun, deseori aproximînd sau îmbunătățind comportamentul celei mai bune reguli de decizie singulare.

Este de asemenea important de remarcat că este foarte ușor să creezi mecanisme diferite să comuți între regulile de decizie. Dar, puține din ele pot întâlni pretențiile modelelor cu proiectare interdependentă. De exemplu, orice mecanism monitorizând starea fabricii (aparate, AGV) și modificând regulile agenților când mediul se schimbă, ar folosi în mod explicit relații hierarhice și informații globale, încălcând principiile de bază ale SPI. Din contră, noi sugerăm un algoritm adaptabil care să întălnească nevoile HMS. Ideea de bază este să lăsăm toți agenții să opereze pentru o perioadă limitată de timp, și paoi să-i înlocuim cu un mecanism care să păstreze LD cu cel mai mare randament din populația de agenți operaționali concomitent. De vreme ce tipurile de părți diferite din sistem au caracteristici diferite, și pot fi produse în cantități diferite și cu rezultate diferite, există un algoritm adaptabil independent pentru fiecare tip de parte. Politica de „încearcă și înlocuiește” a LD este bazată pe următoarea schemă evolutivă. După cum se poate vedea din Fig.2, o populație de AP npop noi este asociată materiilor prime care intră în sistem. Fiecare AP își urmează propriul LD, care nu se schimbă pe întreaga durată de viață a AP. Fiecare AP are același LD cu un set de alți AP nclo, numiți clone. Și anume, mediind randamentul clonelor cu același LD reduce efectul evenimentelor aleatoare care ar putea favoriza sau penaliza LD. Scopul adaptării noastre evolutive este satisfacerea datei de sosire, ex: minimalizarea efectelor perturbărilor asupra operațiunii fabricii în ce privește întârzierea pieselor procesate. Drept care, noi definim condiția fiecărui LD ca fiind întârzierea medie a AP care folosesc LD, care estimează abilitatea acestor AP de a completa operațiunile cerute în timpii ceruți.

Piese brute & Agenti

Locul de incarcare

(DL1)

(DL2) (DL3)

Procesul de prelucrare

Statia de lucru

Media piesele finite

(DL1, f1) (DL2, f2)

(DL3, f3)

Populatie

si agenti

…

(DLnpop-1)

FABRICAREA

PIESELOR

…

(DLnpop-1, fnpop-1)

(DLnpop)

Agentul de clone

Completarea cupiese si Agenti

(DLnpop, fnpop)

Noi agenti

(populatie)

Selectare & Recombinare

Plasarea

agentilor de baza

Pentru a evalua noua populație, am introdus o schemă evolutivă ce urmează următorii pași principali:

Selectarea. Ca și în toți algoritmii evolutivi, o schemă “supraviețuirea celui mai puternic” determină LD de npopindivizi ce vor forma următorul grup, selectînd și propagând cele mai de succes strategii, și penalizându-le pe cele mai ineficiente. Literatura tehnică sugerează mai mulți operatori diferiți să atribuie probabilități de supraviețuire diferite fiecăruei individ în funcție de gradul lor de stabilitate. Am ales operatorul Selecție pe bază de competiție (vezi [19] pentru detalii), care folosește cele mai rapide p LD a grupului precedent pentru a forma aleator npop grupuri (competiții) de LD. Fiecare grup conține nt LD care se întrec pentru reproducere, astfel încât LD cu cea mai bună condiție fizică a grupului supraviețuiește și ia parte din următorul grup. Astfel, competițiile mai mari permit indivizilor cu o condiție mai bună să aibă o probabilitate mai mare de reproducere.

Reproducerea. LD din noul grup sunt supuși aleator la operații genetice, numite mutații și încrucișări, care determină noi soluții combinând sau alterând la întâmplare indivizi din grupul curent. Aceste operații sunt aplicate cu probabilitatea de pcro și respectiv pmut. De asemenea în acest caz, literatura oferp o variette mare de operatori. În aceastp lucrare, am aplicat larg adoptatele încrucișări euristice și aritmetice, și operatori de mutații uniforme[19]. Numărul încrucisărilor și mutațiilor aplicate fiecărui grup guvernează rata de explorare/exploatare a strategiei de căutare. Ca și în cazul multor probleme de învățare a mașinăriilor [10], configurația AG nostru este semnificativ diferită de cea a convenționalelor probleme de căutare off-line. Scopul nostru este să menținem un randament general on-line bun permanent, și în același timp să experimentăm alte LD pentru a le îmbunătăți efciența. Am obținut aces rezultat cu probabilități de încrucișări și mutații semnificativ mai mici decât cele folosite în aplicațiile off-line ale AG.

O dată ce noul grup a fost evaluat, noi LD sunt atribuiți noilor AP care intră în sistem. Ciclul de mai sus este repetat pentru a obține o căutare continuă a unui colectiv de agenți mai bun. După cum a fost menționat mai devreme, într-un mediu dinamic algoritmii evolutivi trebuie să ia în considerare faptul că soluțiile optime variază o dată cu condițiile de operare. În plus, ygomotele întâmplătoare pot afecta caracterul potrivit al fiecărei soluții. În algoritmul nostru, condiția unui singur AP depinde nu numai de eficacitatea reală a LD lui, dar și de comportamentul agenților ce operează concomitent în fabrică în timpul aceleași repetiții ale GA. Astfel, strategia noastră țintește o balansare concomitentă a agenților care operează, căutând o condiție fiyică individuală optimă și un randament satisfăcător a întregii populații.

Pe lângă parametrii nclo, pmut și pcro, și npop și p au o influență fundamentală asupra ratei de adaptare, in particular, de vreme ce AG folosește doar p soluții în ultimul grup pentru a-l construi pe următorul, p poate fi privit ca mărimea meoriei sistemului: cu cât este mai mare p, cu atât este mai mare numărul de AP din trecut care sunt considerați pentru evaluarea viitorilor AP. În problemele de optimizare statică,

folosirea unor grupuri mari crește paralelismul înnăscut al AG, și în general îmbunătățește fiabilitatea

strategiei de căutare. Din contă, în problemele e optimizare dinamică, valori mai mici ale lui p implică timpi mai scurți de evaluare a unui grup, și prin urmare un răspuns mai rapid la perturbări.

În final, remarcăm că cooperarea implicită propusă atinsă prin adaptare evolutivă nu încalcă principiile interdependenței. În general, acest mecanism este considerat ca fiind:

paralel, deoarece există o evoluție independentă a fiecărui tip de agent;

accesibil, deoarece mecanismul de adaptare este independent de numărul de posturi de muncă și de pași operaționali;

distribuit, deoarece populația de agenți autonomi care execută controlul în timp real este distribuită fizic și logic pe toata suprafața de lucru;

tolerant la greșeli, deoarece o greșeală în mecanismul evolutiv de repetare afectează doar procesul de adaptare, și agenții singulari pot continua să-și îndeplinească sarcinile autonom folosindu-și LD (sau o strategie de control implicită, dacă este mai potrivit). În acest caz, fabrica va funcționa cu o rețea de control cu agenți multipli non adaptivă convențională;

folosind informații locale, deoarece întârzierea individuală este singurul feedback care ghidează adaptarea, în timp ce îmbunătățirea indicilor globali ca reyultatele sistemului sunt doar efecte indirecte;

interdependent,deoarece fiecare agent poate opera autonom pentru întreaga durație a sarcinii fără să răspundă unor entități superioare (de fapt AG evaluează LD înainte ca agenți noi să intre în sistem).

IV.Un studiu de caz

În această secțiune, folosim un model simulat a unui Sistem de Asamblare Flexibil (SAF) care produce plăci de circuite printate pentru a compara sistemul evolutiv interdependent propus cu trei alte Sisteme cu Agenți Multipli. Fabrica are trei posturi de muncă pentru instalarea Circuitelor Integrate (CI) și o mașinărie care asamblează plăcile de circuite într-un produs unitar final. Fabrica procesează trei tipuri diferite de plăci, fiecare având nevoie de un subset de șase tipuri diferite de CI. Piesele se pot mișca autonom în sistem folosind două AGV independente servind cererile pe principiul Primul Venit Primul Servit (PVPS; First Come First Serverd, FCFS). Bufferele de CI ale celor trei posturi de muncă găzduiesc varietăți parțial diferite de CI. În particular, fiecare tip de CI este disponibil în cel puțin două posturi, astfel încât sistemul să poată procesa toate plăcile chiar și cu un post nefuncțional. Toate aparatele pot insera consecutiv CI de același tip fără întârzieri de instalare. Pe de altă parte, aparatele trebuie să aștepte puțin timp pentru reconfigurare atunci când trebuie să treacă de la un tip de CI la altul. O bandă rulantă independentă aprovizionează posturile de muncă cu o gramadă de CI prime folosind un mecanism de tragere (ex: reumple bufferul când acesta este aproape gol). AP selectează autonom aparatele bazându-se pe nevoile de CI ale plăcilor asociate, și încearcă să minimalizeze întârzierea părților aferente. Datele de predare sunt atribuite conform strategiei Total Work Content [5]: fiecare piesă trebuie să-și completeze operațiile într-un interval de timp fix proporțional cu timpul general minim de procesare. Factorul de proporționalitate, numit flow allowance, tinde între 1.5 și 3, depinde de cantitatea de lucru a sistemului și de prioritatea piesei. Analog, AMP determină autonom secvența de procesare a plăcilor care așteaptă în buffer să fie servite. Folosesc strategii de secvențiere fixe, fie Earliest Due Date (EDD, cel mai devreme termen de predare) fie FCFS. De dragul analizării complete, raporturile din appendix detaliază mai amănunțit sistemul de producție simulat.

Agenții fac schimb de informații care pot fi supuse la întârzieri, erori de transmisie, sau chiar să fie temporar indisponibile datorită defecțiunilor de rețea. Am modelat timpii de transmisie ca procese întâmplătoare cu distribuție triunghiulară, pentru a imita condițiile de trafic tipice care au loc în rețele distribuite de calculatoare utilizînd cele mai comune protocoale de transfer de comunicații.

Obiectivul experimentelor simulate este de a evalua capabilitatea adaptării genetice să determine agenții autonomi să învețe cele mai potrivite strategii de decizie în diferite condiții normale si anormale de operare. Trebuie luat în considerare că nici un agent nu are informații explicite în ce privește apariția unor circumstanțe anormale reale (avarii, aglomerări, comenzi grăbite). Mai degrabă, reacția agenților este rezultată dintr-o învățare implicită datorată mecanismului evolutiv propus.

Tabelul I rezumă principalii parametri de configurare ale AG în această comparație experimentală.

TABEL I – CONFIGURAREA PARAMETRILOR PENTRU GA

În studiul nostru simulat, am comparat abordarea propusă cu alte trei SAM care folosesc euristici decizinionale convenționale, și fac schimb de informații prin aceleași protocoale de interacțiune descrise mai devreme. Cele trei SAM aplică strategii de decizie bazat pe timpul de livrare (fiecare AP cere unui APM timpul estimativ de livrare a operației cerute, iar mai apoi alege aparatul care oferă valoarea cea mai mică a acestui parametru), distanță (AP pur și simplu alege cel mai apropiat aparat), și timpii de instalare (AP cere informații legate de instalarea ultimei piese din rând, și alege aparatul care va procesa ultima piesă cu aceeași instalare). LD a agentului bazat pe AG este o combinație a acestor trei criterii decizionale. Mai precis, un algoritm decizional cu mai multe criterii [16] evaluează un index unic de calitate care combină cele trei criterii cu greutățile specificate în cromozomii LD.

De exemplu, cromozomul [1 0 0] determină AP să adopte doar criteriile legate de livrare, în timp ce cromozomul [.2 .2 1] determină AP să folosească cu prioritate criteriul bazat pe instalare. De dragul conciziei, de acum încolo ne vom referi la cele patru strategii drept GA, Delivery, Distance, și Setup. Noi am dezvoltat atât agenții controlori cât și modelul SAF în mediul nostru de simulare DEVS, scris în limbaj C++.

Simularea analizează atât condiții nederanjate când fabric lucrează la capacitatea operațională maximă, cât și situații anormale cum ar fi schimbări bruște ale capacității de muncă, avarii la mașinării, defecțiuni ale sistemului de reconfigurare, sau erori ale sistemului de manevrare a materialului. Două clase de cifre reprezentând randamentul sunt necesare pentru a compara diferitele abordări. Și anume, întârzierea medie a pieselor, rezultatele medii ale sistemului, și numărul de piese produse evaluează politicile din punctul de vedere al randamentului producției. Însă, aceste cifre nu sunt influențate de comunicarea dintre agenți, de vreme ce timpii de procesare a informațiilor sunt cel puțin de două ori mai mici decât timpii de servire.

Dar mai trebui să măsurăm și interacțiunea dintre agenți pentru a stabili dacă și cât de mult diversele strategii decizionale exploatează profitabil cantitatea de date schimbate între agenți. Așadar, am introdus un al doilea set de indici: numărul de cicluri WAICON-REQSER (Wc-Rs) (necesari pentru a descoperi o destinație potrivită), și numărul de cicluri WAICON-COMCHO (Wc+Cc) (necesare pentru a obține o confirmare finală înainte de a cere transferul) exprimate în procente luând în considerare numărul total de operațiuni executate de fiecare AP). Ideal, acești indici ar trebui să fie cât mai mici posibili. Într-un

astfel de caz, ei arată că AP sunt capabili să obțină serviciul de la destinația preferată la prima cerere. În caz contrar, valori ridicate ale indexului Wc-Rs arată că existp frecvent o lipsă de răspunsuri fezabile trimise cererii unui AP datorită aglomerării APM sau a sistemului de comunicații. Astfel, considerăm Wc-Rs ca o măsură a încărcării generale a rețelei cu agenți multipli. Analog, indexul Wc-Cc măsoară numărul relativ de refuzări de către APM ale cererii de confirmare. Astfel, cum un refuz are loc doar când AP concurează pentru ultimul loc disponibil în buffer, indexul Wc-Cc evaluează rata de conflict dintre AP.

Pentru a obține cifre statistice mai semnificative, toate rezultatel prezentate sunt media între zece replicări diferite ale simulării, cu diferite semințe aleatoare pentru variabilele modelate cu distribuție întâmplătoare. În plus, pentru fiecare replicare am ales aleator o populație inițialaă diferită de AG. Lungimea ciclurilor de producție simulată asigură o mai mare acuratețe a rezultatelor.

INTARZIERE – TIMP DE MUNCA

30

25

Distanta

S e tari

Livrare

G A

20

15

10

5

0

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 3(a). Comparatia dintre intarziere si timpul de munca

TRANSPORT – TIMP DE MUNCA

2

1.9 5

1.9

1.8 5

1.8

1.7 5

1.7

1.6

1.55

Distanta

S e tari

Livrare

G A

1.5

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 3(b).Comparatia dintre transportul pieselor si timpul de munc

0.7

0.6 NUMARUL DE CICLURI WAICON-REQSER – TIMP DE MUNCA

Distanta

S e tari

Livrare

GA

0.5

0.4

0.3

0.2

0.1

0

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 3(c). Comparatia intre numarul de cicluri Wc-Rs in functie de timpul de munca

4.5

4.25

NUMARUL DE CICLURI

WAICON-COMCHO – TIMP DE MUNCA

Distanta

S e tari

Livrare

GA

4

3.7 5

3.5

3.2 5

3

2.7 5

2.5

0 1 2 3 4 5 6

timp[s ]

4

x 1 0

Fig. 3(d).Comparatia intre numarul de cicluri Wc-Cc in functie de timpul de munca

INTARZIERE –MEDIU DE LUCRU

35

30

25

Distanta

20 Se tari

Livrare

15 G A

10

5

0

-5

-1 0

-1.5

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 4(a). Comparatia intre intarziere si mediul de lucru

2.4

TRANSPORT PIESE –MEDIU DE LUCRU

2.3 5

2.3

2.2 5

2.2

2.1 5

2.1

2.05

2

D istanta

Se tari

Livrare

G A

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 4(b).Comparatia intre transpotrul pieselor si mediul de lucru

1.6

NUMAR DE CICLURI

WAICON-REQSER-MEDIU DE LUCRU

1.4

1.2

1

0.8

D istanta

Se tari

Livrare

G A

0.6

0.4

0.2

0

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 4(c).Comparatia dupa numarul de cicluri Wc-Rs si mediul de lucru

NUMAR DE CICLURI

WAICON-COMCHO -MEDIU DE LUCRU

12

10

D istant

8 Se tari

Livrare

G A

6

4

2

0

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 4(d).Comparatia dupa numarul de cicluri Wc-Cc si mediul de lucru

INTARZIERE-SARCINA DE LUCRU

30

25

Distanta

S e tari

Livrare

G A

20

15

10

5

0

-5

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 5(a).Comparatia intre intarziere si sarcina de lucru

TRANSPORTUL PIESELOR-SARCINA DE LUCRU

2.50

2.45

2.40

2.3 5

2.30

2.2 5

2.20

2.15

2.10

2.05

Distanta

Se tari

Livrare

G A

2.00

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 5(b).Comparatia intre transpotrul pieselor si sarcina de lucru

NUMARUL DE CICLURI WAICON-REQSER – SARCINA DE LUCRU

45

40

35

30

D istanta

25 S e tari

Livrare

20 G A

15

10

5

0

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 5(c). Comparatia intre numarul de cicluri Wc-Rs si sarcina de lucru

NUMARUL DE CICLURI WAICON-COMCHO- SARCINA DE LUCRU

60

50

40

30

20

10

0

0 1 2 3 4 5 6

timp [s ]

4

x 1 0

Fig. 5(d). Comparatia intre numarul de cicluri Wc-Cc si sarcina de lucru

Fig. 3(a)-3(b) arată valoarea medie a întârzierii și rezultatele medii în condiții nromale cu capacitate de muncă mică (maximul de produse în lucru: 5 plăci). După cum ne așteptăm intuitiv, în aceste condiții Delivery este cel mai eficient, deoarece disponibilitatea largă de resurse de produs și spațiul de stocare răsplătește tendința înnăscută a acestei legi de decizie să evite întârzieri la cozile de așteptare. Fig. 3(a)-3(b) mai arată foarte clar adaptarea AG, a căror randament mediu converge în final cu ce al Delivery. Pentru a fi mai conciși, Tabelul II (a) arată rezultatele finale calculate în numărul de piese produse. Conform Fig. 3(c)-3(d), toate strategiile au rate comparabile și nesemnificative de aglomerare și conflict. Fig. 4(a)-4(d) și Fig. 5(a)-5(d) ilustrează randamentul celor patru strategii cu cantitate de muncă medie (10 plăci), repectiv mare (15 plăci). Un prim rezultat important este că randamentul relativ de producție al celor trei strategii inadaptive se schimbă cu cât cantitatea de muncă crește. Când sistemul este foarte încărcat, Distance întrece Delivery, în timp ce Setup are rezultate intermediare. Mai mult, de vreme ce cu cantitate de muncă ridicată Delivery are rezultate ceva mai mici decât cu cantitate medie de muncă, am putea concluziona că această politică este considerabil ineficientă în cazul unor lucrări majore. Pe de altă parte, Delivery tot are cea mai mică rată de aglomerare (Wc-Rs) și de conflicte (Wc-Cc), deoarece mereu alege destinația cu cea mai mică cantitate de muncă, și indirect minimalizează probabilitatea refuzării datorită suprasolicitării locale. Astfel, putem concluziona că rezultatele nesatisfăcătoare ale Delivery cu cantitate de muncă ridicată este datorată interacțiuni ineficiente cu sistemul AGV. Se mai poate preciza că AG este strategia cu cel mai mare randament în cazul cantității de muncă medie și ridicată, după cum se vede clar numărul final de piese produse în Tabelele II(b)-II(c). Mai mult, Fig. 4(c)-4(d) și Fig. 5(c)-5(d) arată că adaptarea evolutivă reduce semnificativ atât indicii Wc-Rs cât și Wc-Cc de-a lungul timpului, pe când celelalte strategii au comportamente aproape invariabile pe tot parcursul simulării. Deoarece condiția fizică nici nu ia în considerare nici nu este direct legată de indicii Wc-Rs și Wc-Cc, acest rezultat confirmă abilitatea dorită a AG de a mări cooperarea implciită a agenților prin sprijin genetic. Încă o dată este important de menționat că aglomerarea sistemul de comunicații nu afectează direct randamentul sistemului. De exemplu, Fig. 5(b) arată cum Distance este capabil să mențină rezultate comparabile cu cele ale AG (dar cu o medie de întârziere a pieselor mai mare) chiar dacă generează cele mai mari rate de indici Wc-Rs și Wc-Cc (Fig. 5(c) și Fig. 5(d)). Însă este interesant de menționat, cum AG poate duce la un randament mai bun cu rate mult mai mici de interacțiuni între AP și APM.

TABEL II.A – INDICII DE PERFORMANTA FINALA IN CONDITII NEPREVAZUTE

(volum de lucru scazut, termen limita = 3min de la inceperea activitatii)

TABEL II.B – INDICII DE PERFORMANTA FINALA IN CONDITII NEPREVAZUTE

(mediu de lucru , termen limita = 3min de la inceperea activitatii)

TABEL II.C – INDICII DE PERFORMANTA FINALA IN CONDITII NEPREVAZUTE

(inaltimea de lucru , termen limita = 3min de la inceperea activitatii)

În continuare, comparăm reacția celor patru SAM în timpul a patru schimbări bruște ale condițiilor de operare. Toate schimbările (cu excepția variației cantității de muncă) se întâmplă la 20.000 de secunde de la deschiderea fabricii, când toate SAM au atins un randament stabil. Pentru a izola efectele perturbației specifice, nu schimbăm cantitatea de muncă și termenele de predare în timpul simulării. În unele cazuri, aceasta va determina întârzieri excesive sau negative (să ajungă mai devreme) a pieselor produse. Considerăm patru cazuri.

Primul caz este o variație a cantității de muncă de la minim la maxim (la 40.000 de secunde) și de la maxim la medium (la 80.000 de secunde). Această perturbare oferă informații utile asupra reacțiilor pe termen scurt ale celor 4 strategii. În particular, Fig. 6(a)-6(b) arată cum AG are cea mai rapidă reacție, atingând și păstrându-și randamentul după ambele perturbări. În Tabelul III, valoriile medii finale ale pieselor produse de cele patru SAM confirmă superioritatea AG în acest caz.

INTARZIERI – IN CAZUL SCHIMBARII BRUSTE A ACTIVITATII

100

60

20

-2 0

-6 0

-100

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 6(a). Comparatia intre intarziere si variatia brusca a activitatii

TRANSPORTUL PIESELOR-SCHIMBAREA BRUSCA A ACTIVITATII

2.5

2.3

2.1

1.9D istanta

Se tari

Livrare

G A

1.7

1.5

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 6(b). Comparatia intre transportul pieselor si variatia bruscaa activitatii

NUMARUL DE CICLURI

WAICON-REQSER – SCHIMBAREA BRUSCA A ACTIVITATII

50

40

Distanta

Se tari

Livrare

G A

30

20

10

0

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 6(c). Comparatia intre numarul de cicluri Wc-Rs si schimbarea brusca a activitatii

NUMARUL DE CICLURI

WAICON-COMCHO SCHIMBAREA BRUSCA A ACTIVITATII

60

50

Distanta

S e tari

Livrare

G A

40

30

20

10

0

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 6(d). Comparatia intre numarul de cicluri Wc-Cc si schimbarea brusca a activitatii

180

INTARZIERI – DEFECTIUNI ALE UTILAJELOR

160

140

120

100

Distanta

S e tari

Livrare

G A

80

60

40

20

0

-2 0

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 7(a). Comparatia intarzierilor cand apar defectiuni ale utilajelor

2.25

TRANSPORTUL PIESELOR- DEFECTIUNI ALE UTILAJELOR

Distanta

Setari

Livrare

GA

2.00

1.7 5

1.50

1.2 5

1

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 7(b).Comparatia dintre transportul pieselor in timp si defectiunea utilajelor

NUMARUL DE CICLURI WAICON-REQSER – DEFECTIUNEA UTILAJELOR

90

80

Distanta

S e tari

70 Livrare

G A

60

50

40

30

20

10

0

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 7(c). Comparatia numarului de cicluri Wc-Rs defectiunea utilajului

NUMARUL DE CICLURI WAICON-COMCHO– DEFECTIUNEA UTILAJELOR

6

5

D istanta

Se tari

Livrare

4 G A

3

2

1

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 7(d). Comparatia numarului de cicluri Wc-Cc defectiunea utilajulu

INTARZIERI-GRESELI IN SISTEMUL DE MANIPULARE A PIESELOR

400

350

300

250

200

150

100

D istanta

Se tari

Livrare

G A

50

0

-5 0

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 8(a). Comparatia intarzierilor si defectiunea grava a AGV

TRANSPORTUL PIESELOR-GRESELI IN SISTEMUL

DE MANIPULARE A PIESELOR

2.5

Distanta

S e tari

2 Livrare

G A

1.5

1

0.5

0

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 8(b). Comparatia intre transportul pieselor si defectiunea grava a AGV

NUMARUL DE CICLURI WAICON-REQSER – GRESELI

IN SISTEMUL DE MANIPULARE A PIESELOR

45

Distanta

S e tari

40 Livrare

G A

35

30

25

20

15

10

5

0

0 2 4 6 8 10 12

timp[s ]

4

x 1 0

Fig. 8(c). Comparatia intre numarul de cicluri Wc-Rs si defectiunea grava a AGV

NUMARUL DE CICLURI WAICON-COMCHO – GRESELI IN SISTEMUL DE MANIPULARE A PIESELOR

60

Distanta

S etari

Livrare

50 G A

40

30

20

10

0

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 8(d). Comparatia intre numarul de cicluri Wc-Cc si defectiunea grava a AGV

INTARZIERI – DEFECTIUNI IN SETARILE SISTEMULUI

250

200

150

D istanta

Se tari

Livrare

G A

100

50

0

0 2 4 6 8 10 12

timp [s ]

4

x 1 0

Fig. 9(a). Comparatia intre intarziere si IC in cazul caderilor de tensiune ale sistemului

TRANSPORTUL PIESELOR – DEFECTIUNI IN SETARILE SISTEMULUI

2.4 5

2.2 5

2.05

Distanta

S e tari

Livrare

G A

1.8 5

1.6 5

1.4 5

1.25

0 2 4 6 8 10 12

timp [s ]

Fig. 9(b).Comparatia intre transportul pieselor si IC in cazul caderilor de tensiune ale sistemului

4

x 1 0

NUMARUL DE CICLURI WAICON-REQSER – DEFECTIUNI IN SETARILE SISTEMULUI

80

70

60

50

40

D istanta

Se tari

30 Livrare

G A

20

10

0

0 2 4 6 8 10 12

timp [s]

4

x 1 0

Fig. 9(c). Comparatia intre numarul de Wc-Rs si IC in cazul caderilor de tensiune ale sistemului

NUMARUL DE CICLURI WAICON-COMCHO – DEFECTIUNI IN SETARILE SISTEMULUI

80

70

60

50

40 D istanta

Se tari

Livrare

30 G A

20

10

0

0 2 4 6 8 10 12

timp [s ]

x 1 04

Fig. 9(d).Comparatia intre numarul de Wc-Cc si IC in cazul caderilor de tensiune ale sistemului

4x 1 0

TABEL III –INDICII DE PERFORMANTA FINALI IN CAZ DE SCHIMBARE BRUSCA A ACTIVITATII

(termene – 270 s de la inceperea activitatii)

TABEL IV –INDICII DE PERFORMANTA FINALI IN CAZUL DEFECTIUNII UTILAJULUI

(7 camere de lucru,termen limita = 220 s de la inceperea activitatii)

TABEL V –INDICII DE PERFORMANTA FINALI IN CAZUL DEFECTIUNII AGV

(15 camere de lucru,termen limita = 6 min de la inceperea activitatii)

TABEL VI –INDICII DE PERFORMANTA FINALI IN IC CAZULUL CADERILOR DE TENSIUNE

(15 camere de lucru,termen limita = 6 min de la inceperea activitatii)

TABEL V –INDICII DE PERFORMANTA FINALI IN CAZUL DEFECTIUNII AGV

(15 camere de lucru,termen limita = 6 min de la inceperea activitatii)

TABEL VI –INDICII DE PERFORMANTA FINALI IN IC CAZULUL CADERILOR DE TENSIUNE

(15 camere de lucru,termen limita = 6 min de la inceperea activitatii)

Al doilea caz (Fig.7(a)-7(d)) consideră o avarie la un post de muncă. Pentru e preveni alomerări excesive, cauzate de o defecțiune, sistemele trebuie să opereze cu cantițăți mici (7 plăci în simulare). Încă o dată Fig.7(a)-7(c) demonstrează clar convergența AG spre rezultatele celei mai bune strategii (în cazul acesta Delivery). Deși, AG nu este imediat capabil să urmărească cele mai bune rezultate, după cum arată Tabelul IV, randamentul AG este comparabil cu cel al Delivery doar spre sfărșitul simulării.

Al treilea caz consideră defecțiunea unui AGV (după 20.000 de secunde, doar un AGV este disponibil). În contrast cu cazurile precedente, aici Delivery are cele mai proaste rezultate în ce privește numărul de piese produse, fiind întrecut de toate celelalte SAMuri (vezi Fig.8(a)-8(d)). Este interesant de observat cum în acest caz AG este capabil nu numai să ofere același randament a celei mai bune strategii (Distance), dar și să reducă în timp indicii Wc-Rs și Wc-Cc, ajungând la valori stabile comparabile cu cele ale Delivery. După cum arată rezultatele medii ilustrate în Tabelul V, AG are rezultate deja comparabile cu Distance aproape imediat după perturbare.

Ultimul caz (Fig. 9(a)-9(d)) consideră o defecțiune a sistemului de reconfigurare a aparatelor, care determină o schimbare bruscă a timpul de instalare când aparatele trebuie să insereze diferte CI. În acest caz, Setup are cel mai bun randament, după cum era de așteptat. Dar și aici, AG produce aceleași rezultate ca cea mai bună strategie imediat după perturbare.

Am mai considerat și alte perturbări spontane ale condițiilor de operare ale sistemului. Și anume, am analizat comportamentul celor patru SAM când APM răspund AP cu estimări eronate ale timpul de sosire, și când posturile de muncă schimbp strategiile de servire (de la EDD la FCFS, și vice-versa). În primul caz, doar randamentul lui Delivery a scăzut drastic, în timp ce în al doilea caz nici una din cele patru SAM nu arată variații semnificative ale randamentului. Pentru concluzie, vom omite rezultatele și tabelele pentru aceste cazuri.

V. Conluzii

Această lucrare descrie o strategie care să adapteze regulile de decizie a unor agenți autonomi pentru un control al producției bazat pe interdependeță în calculele evolutive. O strategie de optimizare repetitivă caută încontinuu cele mai eficiente reguli de decizie în mediul operațional și atribuie aceste reguli la agenții ce operează concomitent. Mecanismul propus determină colectivul de agenți să reacționeze dinamic la orice perturbare a condițiilor de operare. Reacția consistă în modificarea priorităților atribuite diferiților parametri decizionali folosiț de agenții ce operează concomitent. Schimbarea regulilor de decizie produce o îmbunătățire directă a tuturor măsurilor de randament ale sistemului, nu doar cel folosit ca și condiție „locală” pentru un singur agent. Indirect, mecanismul evolutiv ajută comunitatea de agenți să exploateze mai bine informațiile schimbate, și să reducă nevoia de interacțiune dintre agenți.

Algoritmul de adaptare este remarcabil de fiabil, oferind rezultate comparabile sua superioare cu cele ale abordărilor comparate, care demonstrează performanțe extem de dependente de context. Trebuie menționat că reacțiile rețelei adaptive de agenți, obținute în fiecare caz considerat, sunt atinse fără vreo informație explicită legată de natura perturbației care a avut loc, dar mai degrabă ca rezultat a întăririi continue a celor mai eficiente comportamente. Timpii de reacție a AG par a aparține a două metre diferite. Când apare o disturbare a condițiilor de operare, schimbările randamentului AG sunt deobicei mai mici decât cele corespunzătoare celorlalte strategii. Acest rezultat este datorat prezenței permanente în populație a agenților cu LD diferite, și poate fi văzută ca o reacție imediată la perturbație. Pe de altă parte, AG iau ulterior mai multe generații pentru a le reconverge la o stare optimizată echilibrată a performanței. Evident, dacă această optimizare ar putea fi făcută într-o simulare și nu într-o fabrică reală, căutarea pentru o populație optimizată ar fi completată într-un timp comparabil cu cel al unei singure operații. Însă, chiar dacă este atractiv dintr-un punct de vedere al implementării practice, această soluție ar contrasta cu nevoile fundamentale ale SPI. De fapt, ocurența perturbației care ar declanșa noua căutare simulată ar avea nevoie de un mecanism de supraveghere centralizat. În mod clar, schimbul final între avantajele legate de absența informației centralizate, și nevoia de a coordona și optimiza rapid acțiunile unor participanți poate varia în funcție de circumstanțe. În orice caz, adaptarea evolutivă reprezintă un mod fezabil de a atinge acest schimb fără a contrasta vreo restricție a designului SPI cu probleme reale de mărime și complexitate.

VI. Appendix

Cele trei posturi de muncă (mașinării) sunt echipate cu diferite varietăți de CI, după cum este descris în Tabelul VII. Fiecare CI poate fi instalat de cel puțin două aparate, astfel încât sistemul poate continua să proceseze toate piesele chiarși cu un post de muncă defect. Mașinăriile instalează CI de același tip fără pregătire. Însă, există o întârziere (7 secunde) atunci când aparatele trebuie să treacp la un tip diferit de CI. Un sistem automat aprovizionează CI continuu celor trei posturi de muncă în loturi de câte 50 de unități cu excepția cazului în care are loc o lipsă temporară de componente. Tabelul VIII arată timpii de transfer al pieselor. Acronimul NR înseamă că nu se poate ajunge la destinația din coloană direct din originea de pe rând. Tabelul IX arată tipurile și cantitățile de CI care trebuie instalate pe cele trei plăci. Conform acestui tabel, fiecare placă trebuie sa treacă prin cel puțin două posturi sp fie completă. Ultima coloană indică timpul minim necesar pentru a ajunge la stația de asamblare, care este diferit pentru fiecare piesă. Tabelul X face un rezumat al valorilor parametrilor modelului rămași.

TABEL VII – POSIBILITATEA DE SUPRAPUNERE IN TIMP

A LUCRARILOR PE CELE TREI UTILAJE ICS

TABEL VIII-MASA RULANTA DE TRANSPORT NU ESTE ACCESIBILA

TABLE IX – ICS CERINTE PENTRU CELE TREI MESE DE

TRANSPORT

TABELUL X – SETAREA SI RACONFIGURAREA

PARAMETRILOR