CONTROL OPTIMAL CU APLICAȚII ÎN INGINERIE ÎNDRUMĂTOR ȘTIINȚIFIC, ABSOLVENT , Lector . univ. dr. Monica PÂRVAN Mălă u Gheorghe -Ionuț București 2017… [620980]

Aprobat Decan,
Prof. dr. Emil Petrescu

PROIECT DE DIPLOM Ă

CONTROL OPTIMAL CU APLICAȚII ÎN INGINERIE

ÎNDRUMĂTOR ȘTIINȚIFIC, ABSOLVENT: [anonimizat]

2017
UNIVERSITATEA POLITEHNICA DIN
BUCUREȘTI
FACULTATEA DE ȘTIINȚE APLICATE
Matematică și Informatică Aplicată în Inginerie

2
Cuprins
Capitolul 1. Introducere …………………….. …………………………………………………….. ……………….. 3
Capitolul 2. Elemente de calcul variațional
2.1 Ecuația Euler -Lagrange …………………………………………………………….. …………….5
2.2 Probleme variaționale …………………………….. …………………………………… ………..13
2.3 Hamiltonian ………………………………………………………………………………. …………18
Capitolul 3. Control optimal
3.1 Problema controlului optimal ………………………………………………………. …………22
3.2 Condiții necesare de optim ……………………………………………………….. …………….23
Capitolul 4. Control Bang -Bang
4.1 Aplicație a principiului Bang -Bang ………………………………………………… ………. 28
4.2 Descrierea princip iului Bang -Bang………………………………………………… ………..31
Capitolul 5. Principiul lui Pontryagin
5.1 Principiul de maxim al lui Pontryagin …………………………………………………. ……35
5.2 Probleme și aplicații de control optimal……………………………………………. ………38
Capitolul 6. Principiul optimului și ecuația lui Bellman
6.1 Principiul optimului……………………………………………………………….. ………………47
6.2 Ecuația lui Bellman …………………………………………………………………………………50
6.3 Aplicație . Optimizare folosind metoda programării dinamice a lui Bellman ……54
Capitolul 7. Anexe …………………………………………………………………………………….. …………….. .58
Capitolul 8. Concluzii ………….. ……………………… ………………………………………………………….. 63
Bibliografie …………………………………………………………………………………………………………….. .65

3
Capitolul 1. Introducere

Controlul optimal constă în optimizarea unor funcționale cu restricții ecuații diferenț iale
sau cu derivate parțiale, toate depinzând de funcțiile de control.
În controlul optimal î ntâlnim trei abordă ri:
 Calculul variaț ional
 Principiul de maxim
 Programarea dinamică

Metodele variaționale tradiționale se dovedesc a fi insuficiente pentru rezolvarea multor
probleme im portante de evoluție întâlnite î n studierea dife ritelor procese de evoluție, atât î n
matematică , economie, cât și î n alte domenii remarcabile.
Unele dintre aceste probleme pot fi rezolvate prin tehnici matematice specifice cont rolului
optimal.
După cum este cu noscut, prin sistem se î ntelege o mulțime de obiecte, nu neaparat de
aceiași structură , care interacționeaza î ntre ele astfel î ncat să raspundă în mod diferit la comenzi
diferite (sisteme biologice, sisteme industriale, si steme informatice , sisteme matematice etc ).
Problemele de contr ol optimal sunt acele probleme î n care, dat fii nd un sistem pentru
care se știu punctul de plecare, cel de sosire, restricțiile asupra com enzilor ș i ecu ațiile de
dinamică ale stărilor, se determină traiectoria optimă respe ctând un criteriu de performanță .
Schema unui sistem poate fi reprezentat ă prin următorul desen:

 𝑢(𝑡) reprezintă intrarile sistemului
 𝑦(𝑡) reprezintă ieșirile sistemului
 𝑥(𝑡) reprezintă variabiala de stare (descrie ce se întamplă î n interiorul sistemului)

Aceste probleme de control modelează evoluția unor sisteme care pot trece dintr -o stare
în alta î ntr-o infinitate de moduri. Alegerea uneia din totalitatea acestora, care să fie cea mai
convenabilă în raport cu un anumit s cop propus dinainte, definește în tr-un mod foarte
simplificat, ceea ce se î ntelege prin comandă optimală sau control optimal.
Problema minimizarii unei funcționale poate serv i ca punct de plecare pentr u
problemele de control optimal . 𝑥(𝑡) 𝑦(𝑡) 𝑢(𝑡)

4
Se defineș te funcționala

𝐽(𝑥(∙))=∫𝐹(𝑡,𝑥(𝑡),𝑑𝑥
𝑑𝑡(𝑡))𝑑𝑡𝑡1
𝑡0 (1.1)
pe clasa curbelor x:[𝑡0,𝑡1]→R, continue, cu derivate continue pe por țiuni și care verifică
condițiile la capetele intervalului x(𝑡0) =𝑥0, x(𝑡1)=𝑥1.
Cele două puncte fixe (𝑡0 ,𝑥0) și (𝑡1, 𝑥1) pot fi unite î n 𝑹𝑛+1 (sau pe orice altă varietate
diferențiabilă) printr -o infinitate de curbe.

În altă ordine de idei, valoarea integralei este un ic det erminată pe fiecare curbă
𝑥=𝑥(𝑡), pentru care 𝑑𝑥(𝑡)
𝑑𝑡=𝑢(𝑡), oricare ar fi t ∈[ 𝑡0,𝑡1], dacă se satisface condi ția
𝑥0+∫𝑢(𝑡)𝑑𝑡=𝑥1 ,𝑡1
𝑡0
într-o astfel de situație există o singură curbă 𝑥=𝑥(𝑡),𝑡 ∈ [𝑡0,𝑡1] astfel î ncat
𝑥(𝑡0)=𝑥0, 𝑑𝑥(𝑡)
𝑑𝑡=𝑢(𝑡), 𝑥(𝑡1)=𝑥1.

Altfel spus, pentru fiecare funcție continuă pe porțiuni 𝑢:[ 𝑡0,𝑡1]→𝑢(𝑡)∈ 𝑹, astfel încât
∫𝑢(𝑡)𝑑𝑡=𝑥1−𝑥0𝑡1
𝑡0, se obține o valoare bine determinată a integralei (1.1).
Deci, dispunem de alegerea fun cției 𝑢(𝑡) ,unde 𝑡 ∈[ 𝑡0,𝑡1], care verifică condiția
∫𝑢(𝑡)𝑑𝑡=𝑥1−𝑥0𝑡1
𝑡0, iar curba rezultă din relația
𝑥(𝑡)= 𝑥0+∫𝑢(𝑠)𝑑𝑠, 𝑡 ∈ [𝑡0,𝑡1]. 𝑡
𝑡0
Mărimea 𝑥(𝑡) variabilă î n timp, care caracteri zează starea unui sistem, poartă numele
de variabilă de stare, iar marimea 𝑢(𝑡), variabilă de asemenea în timp ș i care influentează starea
intermediară prin relaț ia 𝑥(𝑡)= 𝑥0+∫𝑢(𝑠)𝑑𝑠, 𝑡 ∈ [𝑡0,𝑡1]𝑡
𝑡0, se numește variabilă de
comandă sau de control .
În cazul problemelor de mecanică, fiecare curbă de evoluție reprezintă traiectoria unui
punct figurativ, a carui misca re leagă două puncte fixe ș i este determinată prin cunoasterea
vitezei 𝑢(𝑡), în fiecare moment 𝑡 ∈ [𝑡0,𝑡1].

5
Capitolul 2. Elemente de calcul variaț ional

Calculul variațional se o cupă cu studiul extremelor pentru o clasă specială de funcții
numite funcționale. Aceste funcționale sunt definite pe submulțimi ale unor spații de funcții
obișnuite. Din punct de vedere istoric, contribuții decisive la dezvoltarea calculului variațional
au adus Euler (1744), dar mai ales Lagrange (1760) care a dat metodele generale ale disciplinei
și le-a aplicat în mecanică.

2.1 Ecuaț ia Euler -Lagrange

Fie funcția 𝐹=𝐹(𝑢,𝑢,̇𝑥) de clasă 𝑪2. Că utăm funcția 𝑢=𝑢(𝑥) de clasă 𝑪2 pe
intervalul [𝑥0,𝑥1], cu graficul fixat la capete, 𝑢(𝑥𝑖)=𝑢𝑖,𝑖=0,1 care extremizează
funcționala
𝐽(𝑢(∙))=∫𝐹 (𝑢(𝑥),𝑢̇(𝑥),𝑥)𝑑𝑥.𝑥1
𝑥0

Condiț ia necesară de extremizare este:
Teoremă : Toate soluțiile problemei precedente satisfac ecuația Euler -Lagrange

𝜕𝐹
𝜕u−𝑑
𝑑𝑥(𝜕𝐹
𝜕u̇)=0

și condițiile la capete 𝑢(𝑥𝑖)=𝑢𝑖,𝑖=0,1.

Observație: Funcția F depinde de 3 variabile, 𝐹=𝐹(𝑢,𝑢̇,𝑥). Înlocuind variabila 𝑢 cu funcția
𝑢(𝑥), iar variabila 𝑢̇ cu derivata 𝑢̇(𝑥) se obține integrandul 𝐹 (𝑢(𝑥),𝑢̇(𝑥),𝑥) numit
Lagrangi an. Atunci 𝜕𝐹
𝜕𝑢 înseamnă derivata parțială 𝐹𝑢 (𝑢(𝑥),𝑢̇(𝑥),𝑥), iar 𝜕𝐹
𝜕𝑢̇ înseamnă derivata
parțială 𝐹𝑢̇ (𝑢(𝑥),𝑢̇(𝑥),𝑥).
Operatorul
𝑑
𝑑𝑥=𝜕
𝜕𝑥+𝜕
𝜕𝑢𝑑𝑢
𝑑𝑥+𝜕
𝜕𝑢̇𝑑𝑢̇
𝑑𝑥

înseamnă derivată totală.

6
Demonstrație: Considerăm că 𝑢(𝑥) este o soluție a problemei precedente. Construim o altă
funcție în jurul lui 𝑢(𝑥) de forma 𝑢(𝑥)+𝜀ℎ(𝑥), cu ℎ(𝑥0)=0,ℎ(𝑥1)=0. Aici 𝜀 este un
parametru „mic ”, iar ℎ este o variație „mică ”.
Funcționala devine o funcție de 𝜀 , ca integrală ce depinde de un parametru ,

𝐼(𝜀)=∫𝐹 (𝑢(𝑥)+𝜀ℎ(𝑥),𝑢̇(𝑥)+𝜀ℎ̇(𝑥),𝑥) 𝑑𝑥 .𝑥1
𝑥0
Se impune

0=𝑑
𝑑𝜀𝐼(𝜀)|
𝜀=0=𝑑
𝑑𝜀 (∫𝐹 (𝑢(𝑥)+𝜀ℎ(𝑥),𝑢̇(𝑥)+𝜀ℎ̇(𝑥),𝑥) 𝑑𝑥 𝑥1
𝑥0)|
𝜀=0.

Notând 𝜆=𝑢(𝑥)+𝜀ℎ(𝑥),𝜇=𝑢̇(𝑥)+𝜀ℎ̇(𝑥), rezultă că
∫(𝜕𝐹
𝜕𝜆𝜕𝜆
𝜕𝜀+𝜕𝐹
𝜕𝜇𝜕𝜇
𝜕𝜀)𝑑𝑥 |
𝜀=0=𝜕𝐹
𝜕𝑢̇ℎ|
𝑥0𝑥1
+∫ℎ(𝑥)(𝜕𝐹
𝜕𝑢−𝑑
𝑑𝑥(𝜕𝐹
𝜕𝑢̇))𝑑𝑥 𝑥1
𝑥0𝑥1
𝑥0
=∫ℎ(𝑥)(𝜕𝐹
𝜕𝑢−𝑑
𝑑𝑥(𝜕𝐹
𝜕𝑢̇))𝑑𝑥=0.𝑥1
𝑥0

Se aplică următoarea lemă : dacă ∫ℎ(𝑥)𝜑(𝑥)=0,𝑥1
𝑥0 pentru toate funcțiile ℎ de clasă
𝑪2, cu ℎ(𝑥0)= ℎ(𝑥1)=0, atunci 𝜑(𝑥)=0. Astfel găsim rezultatul din teoremă .
Soluțiile ecuației Euler -Lagrange se numesc extremale sau puncte critice ale funcționalei
𝐽(𝑢(∙))=0.

Extremalele funcționalei 𝐽(𝑢(∙)), fară condiții fixate la capete trebuie să satisfacă
condițiile la frontieră
𝜕𝐹
𝜕𝑢̇|
𝑥=𝑥0=0, 𝜕𝐹
𝜕𝑢̇|
𝑥=𝑥1=0,
deoarece funcțiile ℎ(𝑥0),ℎ(𝑥1) rămân arbitrare. Dacă ℎ(𝑥0)=0, dar ℎ(𝑥1) este arbitrar, atunci
rămâne numai a doua condiție.

Ecuaț ia Euler -Lagrange se transcrie:
𝜕𝐹
𝜕𝑢−𝜕2𝐹
𝜕𝑢𝜕𝑢̇𝑢̇−𝜕2𝐹
𝜕𝑢̇2𝑢̈−𝜕2𝐹
𝜕𝑥𝜕𝑢̇=0.

7
Cazul important 𝜕2𝐹
𝜕𝑢̇2≠0 conduce la o ecuație diferențială ordinară de ordinul al doilea î n
necunoscuta 𝑢(𝑥). În acest caz, soluția generală 𝑢(𝑥) depinde de două constante arbitr are.

Avem cazurile particulare:
1) Pentru o funcție Lagrange 𝐹=𝐹(𝑢̇(𝑥),𝑥), independentă de 𝑢(𝑥), ecuația
Euler -Lagrange se rescrie
𝜕𝐹
𝜕𝑢̇=𝐶,
unde 𝐶 este o constantă arbitrară.
2) Pentru o funcție Lagrange 𝐹=𝐹(𝑢(𝑥),𝑢̇(𝑥)), independenta de 𝑥, ecuația
Euler -Lagrange se rescrie
𝑢̇𝜕𝐹
𝜕𝑢̇−𝐹=𝐶,
unde 𝐶 este o constantă arbitrară.

Exemplu: Trebuie sa găsim extremalele funcționalei
𝐽(𝑢(∙))=∫(𝑢̇2−2𝑥𝑢)𝑑𝑥=02
1
cu condițiile la capete 𝑢(1)=0 și 𝑢(2)=−1.

Formam Lagrangi anul 𝐹(𝑥,𝑢,𝑢̇)=𝑢̇2−2𝑥𝑢.
Ecuația Euler -Lagrange este 𝜕𝐹
𝜕u−𝑑
𝑑𝑥(𝜕𝐹
𝜕u̇)=0, unde 𝜕𝐹
𝜕u=−2𝑥, iar 𝜕𝐹
𝜕u̇=2𝑢̇.
Derivând î n raport cu 𝑥 expresia 𝜕𝐹
𝜕u̇, obținem 𝑑
𝑑𝑥(𝜕𝐹
𝜕u̇)=(2𝑢̇)′=2𝑢̈, astfel ecuația
Euler -Lagrange devine −2𝑥−2𝑢̈=0, adică 𝑢̈=−𝑥.
Integrând o dată în raport cu 𝑥 avem u̇(𝑥)=−𝑥2
2+𝐶1, iar a doua oară obținem
𝑢(𝑥)=−𝑥3
6+𝐶1𝑥+𝐶2.
Din condițiile la capete 𝑢(1)=0⇒−1
6+𝐶1+𝐶2=0
𝑢(2)=−1⇒ −8
6+2𝐶1+𝐶2=−1,
obținem că 𝐶1=1
6 și 𝐶2=0, de aici rezultă extremala
𝑢(𝑥)=−𝑥3
6+1
6𝑥.

8
În Matlab am folosit secvenț a „x=0: 0.01:4 ; plot(x,( -(x.^3)/6) + (1/6) *x)”
pentru a evidenția graficul extremalei.

a) Lagrangieni ce depind de derivate de ordin superior

Fie funcția 𝐹=𝐹(𝑢,𝑢̇,𝑢̈,𝑥) de clasă 𝑪3, numită Lag rangian de ordinul al doilea.
Căutăm funcția 𝑢=𝑢(𝑥) de clasă 𝑪4 pe intervalul [𝑥0,𝑥1], cu graficul fixat la capete,
𝑢(𝑥𝑖)=𝑢𝑖,𝑖=0,1 care ex tremizează funcționala:
𝐽(𝑢(∙))=∫𝐹(𝑢(𝑥),𝑢̇(𝑥),𝑢̈(𝑥),𝑥)𝑑𝑥.𝑥1
𝑥0
Teorema : Ecuația diferenț iala de tip Euler -Lagrange care descrie extremalele este
ecuația E uler-Poisson
𝜕𝐹
𝜕𝑢−𝑑
𝑑𝑥(𝜕𝐹
𝜕𝑢̇)+𝑑2
𝑑𝑥2(𝜕𝐹
𝜕𝑢̈2)=0.
La ea se adaugă condițiile la capete: 𝑢(𝑥𝑖)=𝑢𝑖,𝑢̇(𝑥𝑖)=𝑣𝑖,𝑖=1,2.

Exemplu: Se dă funcționala
𝐽(𝑢(∙))=∫(720𝑥2𝑢(𝑥)−𝑢̈(𝑥)2) 𝑑𝑥1
0.
Trebuie să găsim extremala cu condițiile la capete 𝑢(0)=1,𝑢(1)=1,𝑢̇(0)=0 și
𝑢̇(1)=0.

Formăm Lagrangianul 𝐹(𝑥,𝑢,𝑢̇,𝑢̈)=720𝑥2𝑢−𝑢̈2.
Ecuația Euler -Lagrange pentru funcționale ce depind de derivate de ordin superior este
𝜕𝐹
𝜕𝑢−𝑑
𝑑𝑥(𝜕𝐹
𝜕𝑢̇)+𝑑2
𝑑𝑥2(𝜕𝐹
𝜕𝑢̈2)=0

9
și aplicând derivatele parțiale vom obține
720𝑥2−𝑑
𝑑𝑥(0)+𝑑2
𝑑𝑥2(2𝑢̈)=0.

După rezolvarea derivatelor totale rezultă 720𝑥2−2𝑢(4)=0, adică 𝑢(4)=360𝑥2 și
prin integrări succesiv e obținem 𝑢⃛(𝑥)=120𝑥3+𝐶1, adică 𝑢̈(𝑥)=30𝑥4+𝐶1𝑥+𝐶2, de aici
rezultă 𝑢̇(𝑥)=6𝑥5+𝐶1𝑥2
2+𝐶2𝑥+𝐶3, iar mai departe obținem
𝑢(𝑥)=𝑥6+𝐶1
3𝑥3+𝐶2
2𝑥2+𝐶3𝑥+𝐶4.
Deci extremalele sunt de forma
𝑢(𝑥)=𝑥6+𝐴𝑥3+𝐵𝑥2+𝐶𝑥+𝐷, cu constantele 𝐴,𝐵,𝐶,𝐷∈𝑅.

Din condițiile la capete 𝑢(0)=1⇒𝐷=1
𝑢(1)=1⇒𝐴+𝐵+𝐶=−1
𝑢̇(0)=0⇒𝐶=0
𝑢̇(1)=0⇒6+3𝐴+2𝐵+𝐶=0.

Prin rezolvarea sistem ului obținem 𝐴=4 și 𝐵=−5, deci extremala cautată este
𝑢(𝑥)=𝑥6+4𝑥3−5𝑥2+1.
În Matlab prin secvența „x=0: 0.01:2 ; plot(x,(x.^6)+(4*x.^3) -(5*x.^2) +1 )” am evidențiat
graficul extremalei.

10
b) Funcționale ce depind de o funcție de mai multe variabile

1) Cazul integralelor multiple
Considerăm o funcțională definită printr -o integrală dublă :
𝐽(𝑢(∙))=∬𝐹(𝑢(𝑥,𝑦),𝑢𝑥(x,y),𝑢𝑦(𝑥,𝑦),𝑥,𝑦)𝑑𝑥𝑑𝑦,
Ω
unde Ω este un domeniu din 𝑹2 și 𝐹(𝑢,𝑢𝑥,𝑢𝑦,𝑥,𝑦) este o funcție de clasă 𝑪2 ce de pinde de 5
variabile. Trebuie gă site funcțiile 𝑢 de clasă 𝑪2 pe domeniul Ω care sunt fixate pe frontiera 𝜕Ω
a lui Ω în sensul că 𝑢𝑥(𝑥,𝑦)|𝜕Ω=𝑓 și care extremizează funcționala.

Teoremă: O funcție 𝑢 de clasă 𝑪2care extremizează funcționala 𝐽 satisface î n mod necesar
ecuația Euler -Lagrange:
𝜕𝐹
𝜕u−𝜕
𝜕𝑥(𝜕𝐹
𝜕𝑢𝑥)+𝜕
𝜕𝑦(𝜕𝐹
𝜕𝑢𝑦)=0
și condiția la frontieră 𝑢𝑥(𝑥,𝑦)|𝜕Ω=𝑓.

Exemplu: Trebuie să găsim ecuația Eu ler-Lagrange pentru funcționala
𝐽(𝑢(∙))=∫(𝑢𝑥2+4𝑢𝑥𝑢𝑦+4𝑢𝑦2+2𝑢𝑥2𝑢𝑦)𝑑𝑥𝑑𝑦
𝐷,
unde 𝑢𝑥=𝜕𝑢
𝜕𝑥 și 𝑢𝑦=𝜕𝑢
𝜕𝑦.

Ecuația Euler -Lagrange este
𝜕𝐹
𝜕u−𝜕
𝜕𝑥(𝜕𝐹
𝜕𝑢𝑥)+𝜕
𝜕𝑦(𝜕𝐹
𝜕𝑢𝑦)=0
și vom avea
0−𝜕
𝜕𝑥(2𝑢𝑥+4𝑢𝑦+4𝑢𝑥𝑢𝑦)−𝜕
𝜕𝑦(4𝑢𝑥+8𝑢𝑦+2𝑢𝑥2)=0,
adică
−2𝑢𝑥𝑥−4𝑢𝑦𝑥−4(𝑢𝑥𝑥𝑢𝑦+𝑢𝑥𝑢𝑦𝑥)−4𝑢𝑥𝑦−8𝑢𝑦𝑦−4𝑢𝑥𝑦=0
și în final obținem
𝑢𝑥2+6𝑢𝑥𝑦+4𝑢𝑦2+2(𝑢𝑥𝑥𝑢𝑦+𝑢𝑥𝑢𝑦𝑥)=0.

11
2) Cazul Lagrangienilor de ordinul al doilea

Dacă Lagrangianul este de forma 𝐹(𝑢(𝑥),𝑢𝑥(𝑥),𝑢𝑥𝑥(𝑥),𝑥), atunci ecuația Euler -Lagrange este

𝜕𝐹
𝜕u−𝐷𝛼𝜕𝐹
𝜕𝑢𝑥𝛼+𝐷2
𝛼𝛽𝜕𝐹
𝜕𝑢𝑥𝛼𝑥𝛽=0,𝛼,𝛽=1,…,𝑚.

În dinamica L agrangiană funcționalele sunt integrale (simplă, multi plă etc), iar
integranzii , numiți Lagrangieni sunt funcții diferențiabile de argument vectorial; o componentă
indică variabila i ndependetă, alta o funcție, alta deri vata acestei funcții sau un numă r finit de
derivate ale acestei funcții.

c) Funcționale ce depind de o fu ncție vecto rială de o variabilă

Consideră m funcționala urmatoare
𝐽(𝑢(∙))=∫𝐹(𝑢(𝑥),𝑢̇(𝑥),𝑥) 𝑑𝑥,𝑥1
𝑥0
unde 𝑢=(𝑢1,…,𝑢𝑛)=(𝑢𝑖(𝑥)),𝑖=1,..,𝑛 este o colecț ie de 𝑛 funcții (sau echivalent, o
funcție cu valori î n 𝑹𝑛, adică 𝑢:[𝑥0,𝑥1]→𝑹𝑛 și 𝐹=𝐹(𝑢,𝑢̇,𝑥) o funcție de clasă 𝑪2 de
2𝑛+1 variabile 𝑢,𝑢̇,𝑥.
Dorim să extremiză m funcționala 𝐽(𝑢(∙)) cu condițiile la capete 𝑢(𝑥0)=𝑢0,𝑢(𝑥1)=𝑢1.

Teoremă : O funcție de clasă 𝑪2 care extremize ază funcționala 𝐽 satisface î n mod necesar
ecuați ile diferențiale Euler -Lagrange
𝜕𝐹
𝜕𝑢𝑖−𝑑
𝑑𝑥(𝜕𝐹
𝜕𝑢̇𝑖)=0
și condițiile la capete 𝑢(𝑥0)=𝑢0,𝑢(𝑥1)=𝑢1.

Exemplu: Se dă funcționala
𝐽(𝑢(∙))=∫(𝑢̇1(𝑥)2+𝑢̇2(𝑥)21
0+𝑒𝑥)𝑑𝑡,
unde 𝑢(𝑥)=(𝑢1(𝑥),𝑢2(𝑥)). Trebuie să aflăm extremalele cu condițiile la capete
𝑢1(0)=2, 𝑢2(0)=5, 𝑢1(1)=3, 𝑢2(1)=4.

12
Formăm sis temul de ecuații Euler -Lagrange
{𝜕𝐹
𝜕𝑢1−𝑑
𝑑𝑥(𝜕𝐹
𝜕𝑢̇1)=0
𝜕𝐹
𝜕𝑢2−𝑑
𝑑𝑥(𝜕𝐹
𝜕𝑢̇2)=0,
de unde obținem că
{𝑑
𝑑𝑥(2𝑢̇1)=𝑢̈1=0
𝑑
𝑑𝑥(2𝑢̇2)=𝑢̈2=0,
adică
{𝑢̇1(𝑥)=𝐶1
𝑢̇2(𝑥)=𝐶2,
rezultă
{𝑢1(𝑡)=𝐶1𝑥+𝐶3
𝑢2(𝑡)=𝐶2𝑥+𝐶4,
unde 𝐶1,𝐶2,𝐶3,𝐶4∈𝑹.

Din condițiile la capete rezultă constantele 𝐶1=1,𝐶2=−1,𝐶3=2,𝐶4=5 și în final
obținem extremala
𝑢(𝑥)=(𝑢1(𝑥),𝑢2(𝑥))=(𝑥+2,−𝑥+5).

În Matlab prin secvența “x=0: 0.01:6 ; plot(x,x+2,x, -x+5)” evidențiez graficul corespunzător
extremalei de mai sus.

Dinamica descrisă de EDO Euler -Lagrang e de ordinul al doilea se numește dinamică
Euler -Lagrange unitemporală .

13
Transformata G auge: Doi Lagrangieni ce diferă printr -o derivată totală produc aceleași
ecuații Euler -Lagrange. Într-adevăr, Lagrangianul 𝐹1 și funcț ia 𝑓(𝑢,𝑥), ambele de clasă 𝑪2,
determină Lagrangianul (transformata gauge)

𝐹𝟐=𝐹1+𝑑
𝑑𝑥𝑓(𝑢,𝑥)=𝐹1+𝑢̇𝑖𝜕𝑓
𝜕𝑢𝑖+𝜕𝑓
𝜕𝑥
atunci

𝜕𝐹𝟐
𝜕𝑢̇𝑖=𝜕𝐹1
𝜕𝑢̇𝑖+𝜕𝑓
𝜕𝑢𝑖,𝜕𝐹𝟐
𝜕𝑢𝑖=𝜕𝐹𝟏
𝜕𝑢𝑖+𝑑
𝑑𝑥(𝜕𝑓
𝜕𝑢𝑖).
În consecință
𝜕𝐹𝟐
𝜕𝑢𝑖−𝑑
𝑑𝑥(𝜕𝐹𝟐
𝜕𝑢̇𝑖)=𝜕𝐹𝟏
𝜕𝑢𝑖−𝑑
𝑑𝑥(𝜕𝐹1
𝜕𝑢̇𝑖).

În continuare se vor descrie câteva probleme clasice ale calculului variațional.

2.2 Probleme Variaționale

a) O problemă importantă care a dus la apariția calculului v ariațional este problema
brachistocronei . Ea a fost propusă în 1696 de către Jean Bernoulli și a fost rezolvată în diferite
moduri de Jacques Bernoulli , Leibniz , l'Hospital , Euler .

Enunțul Problemei :
Un punct material alun ecă neted și fără frecare sub acțiunea gravitației pe un fir
subțire, de la punctul 𝑃0(𝑥0,𝑦0) la punctul 𝑃1(𝑥1,𝑦1). Se dorește aflarea formei firului, dacă
mișcarea se re alizează în cel mai scurt timp.

14
Rezolvare:

Presupunem că graficul funcției 𝑦=𝑦(𝑥) reprezintă forma firului, considerăm 𝑚 masa
punctu lui material ș i 𝑣 viteza sa.
În 𝑃(𝑥,𝑦) acționează forța gravitațională 𝐹=𝑚𝑔. Lucrul mecanic este dat de formula
𝐹=𝑚𝑑. Enegia cinetică se scrie 𝑇=1
2𝑚𝑣2.
Lucrul mecanic se identific ă cu variația energiei potențiale 𝑚𝑔(𝑦−𝑦0) când ne mutam din
punctul 𝑦0 spre 𝑦.
Variația corespunzatoare a energiei cinetice este 1
2𝑚(𝑣2−𝑣02).
Teorema lucru mecanic – energie impune:
𝑚𝑔(𝑦−𝑦0)=1
2𝑚(𝑣2−𝑣02).
Presupunem că particula de masă 𝑚=1 pleacă din repaus, adică 𝑣0=0. De asemenea știm
că 𝑣=𝑑𝑠
𝑑𝑡, unde 𝑠 este abscisa curbilinie, adică 𝑑𝑠=√1+𝑦̇2 𝑑𝑥.
Rămâne 𝑑𝑠
𝑑𝑡=√2𝑔(𝑦−𝑦𝑜). Rezultă funcționala
𝑇=∫𝑑𝑠
𝑣=1
√2𝑔∫√1+𝑦̇2
√𝑦−𝑦0𝑥2
𝑥1 𝑑𝑥.𝑥2
𝑥1
Deoarece L agrangianul 𝐿=1
√2𝑔∫√1+𝑦̇2
√𝑦−𝑦0𝑥2
𝑥1 nu depinde de variabila 𝑥, ecuaț ia Euler -Lagrange
𝜕𝐿
𝜕𝑦−𝑑
𝑑𝑥𝜕𝐿
𝜕𝑦̇=0 se înlocuiește cu integrala primă 𝑦𝜕𝐿
𝜕𝑦̇−𝐿=𝑐 deci:
𝑦̇2
√(𝑦−𝑦0)(1+𝑦̇2)−√1+𝑦̇2
√𝑦−𝑦0=𝑐.

Această ecuație diferențială este o ecuație cu variabile separabile:
√𝑦−𝑦0
√𝑐2−(𝑦−𝑦0)𝑑𝑦=𝑑𝑥.
Pentru simplificare facem substituția 𝑦=𝑦0+𝑘2𝑠𝑖𝑛2𝜃. Găsim
𝑑𝑦=2𝑘2𝑠𝑖𝑛𝜃𝑐𝑜𝑠𝜃 𝑑𝜃,𝑑𝑥=𝑘2𝑠𝑖𝑛2𝜃 𝑑𝜃.
În felul acesta, ecuația Euler -Lagrange are soluția parametrică
𝑥=𝑥0+1
2𝑘2(2𝜃−𝑠𝑖𝑛2𝜃),𝑦=𝑦0+1
2𝑘2(1−𝑐𝑜𝑠2𝜃),
care reprezintă o familie de cicloide (adică este curba celei mai rapide descendențe sub acțiunea
forței gravitaționale).

15
Constantele 𝑘 și 𝑥0,𝑦0 se obțin din condiția ca cicloida să treacă prin punctul (𝑥1,𝑦1).
Soluția asigură mini mul funcționalei timp deoarece 𝜕2𝐿
𝜕𝑦̇2>0.

b) Pendule

Cele mai simple și mai instructive sisteme mecanice sunt pendulele.
1) Pendulul plan

Fie Oy axa verticală. Avem:

𝐿=𝑇−𝑈,𝑇=𝑚𝑣2
2,𝑈=𝑚𝑔𝑦,
unde 𝑚 este masa pendulului, 𝑣2= 𝑥̇2+ 𝑦̇2 este pătratul lungimii vitezei, 𝑔 este accelerația
gravitațională. Din cauza restrițiilor, sistemul este descris doar de unghiul 𝜃 dintre brațul
pendulului și direcț ia negativă a axei 𝑂𝑦.
Observăm că 𝑥=𝑙𝑠𝑖𝑛θ,y=−lcosθ, unde l este lungimea brațului, de aici rezultă că:
𝑥̇=𝑙𝑐𝑜𝑠θ∙θ̇, 𝑦̇=𝑙𝑠𝑖𝑛θ∙θ̇ și 𝑣2=𝑙2θ̇2.
Astfel

𝐿=𝑚𝑣2
2−𝑚𝑔(−lcosθ)=𝑚𝑙2θ̇2
2−𝑚𝑔(−lcosθ)=𝑚𝑙2(θ̇2
2+𝑔𝑙cosθ)

𝐿=𝑚𝑙2(1
2θ̇2+𝜔2cosθ),𝜔2=𝑔
𝑙.

16
Ecuația Euler -Lagrage este
𝜕𝐿
𝜕θ−𝑑
𝑑𝑡(𝜕𝐿
𝜕θ̇)=0,
adică
𝑚𝑙2𝜔2(−𝑠𝑖𝑛θ)−𝑑
𝑑𝑡(𝑚𝑙2θ̇)=0,
astfel,
𝑚𝑙2𝜔2𝑠𝑖𝑛θ−𝑚𝑙2θ̈=0⇒θ̈=−𝜔2𝑠𝑖𝑛θ.
Condiția de suficiență 𝜕𝐿2
𝜕θ̇ 2=𝑚𝑙2>0 este satisfăcută.

2) Pendulul sferic

Fie axa Oz verticală și îndreptata în jos. Forma generală a Lagrangianului este
𝐿=𝑇−𝑈,𝑇=𝑚𝑣2
2,𝑈=𝑚𝑔𝑧,
Există două grade de libertate parametri zate prin unghiurile sferice θ ș i 𝜑.
Raza sferei este lungimea brațului l. Folosind parametrizarea suprafeței sferice
𝑥=𝑙𝑠𝑖𝑛θcos𝜑,𝑦=𝑙𝑠𝑖𝑛θsin𝜑,𝑧=𝑙𝑐𝑜𝑠θ
și derivâ nd ca în cazul pendului plan obținem

𝑥̇=𝑙θ̇𝑐𝑜𝑠θcos𝜑−𝑙𝜑̇𝑠𝑖𝑛θsin𝜑
𝑦̇=𝑙θ̇𝑐𝑜𝑠θsin𝜑+𝑙𝜑̇𝑠𝑖𝑛θcos𝜑
𝑧̇=−𝑙𝜑̇𝑠𝑖𝑛θ.

17
Rezultă
𝑣2=𝑥2̇+ 𝑦2̇+𝑧2̇=𝑙2(θ̇2+𝜑̇2𝑠𝑖𝑛2θ).
Deducem Lagrangianul

𝐿=𝑚𝑣2
2−𝑚𝑔𝑧=𝑚
2(𝑙2(θ̇2+𝜑̇2𝑠𝑖𝑛2θ))+𝑚𝑔(𝑙𝑐𝑜𝑠θ)

𝐿=𝑚𝑙2(1
2θ̇2+1
2𝜑̇2𝑠𝑖𝑛2θ+𝜔2𝑐𝑜𝑠θ), 𝜔2=𝑔
𝑙 .
Cele două ecuații Euler -Lagrange sunt:
{ 𝜕𝐿
𝜕θ−𝑑
𝑑𝑡(𝜕𝐿
𝜕θ̇)=0
𝜕𝐿
𝜕𝜑−𝑑
𝑑𝑡(𝜕𝐿
𝜕𝜑̇)=0
După calcule se obține:

{θ̈=𝜑̇2𝑠𝑖𝑛θ𝑐𝑜𝑠θ−𝜔2𝑠𝑖𝑛θ
𝑑
𝑑𝑡(𝜑̇𝑠𝑖𝑛2θ)=𝜑̈𝑠𝑖𝑛2θ+2𝜑̇𝑐𝑜𝑠θsinθ=0.

3) Pendulul de lungime variabilă

Presupunem că lungimea brațului pendulului 𝑙 depinde de timp, adică 𝑙=𝑙(𝑡) este o
funcție dată. Pornim ca la pendulul plan, adică:
𝐿=𝑇−𝑈,𝑇=𝑚𝑣2
2,𝑈=−𝑚𝑔𝑙𝑐𝑜𝑠θ.
Acum viteza se împarte în două componente:
-componenta 𝑣⊥=𝑙θ̇ perpendiculară pe fir;
-componenta 𝑣∥=𝑙̇ paralelă cu firul.

Rezultă 𝑣2=𝑣⊥2+𝑣∥2=𝑙2θ̇2+𝑙̇2. Astfel se poate scrie Lagrangianul
𝐿=𝑚(1
2𝑙2(𝑡)θ̇2+𝑔𝑙(𝑡)𝑐𝑜𝑠θ+1
2𝑙̇2).
Masa este constantă și ultimul termen din Lagrangian nu modifică ecuația
Euler -Lagrange 𝜕𝐿
𝜕θ−𝑑
𝑑𝑡(𝜕𝐿
𝜕θ̇)=0. După calcule se obține:
𝑑
𝑑𝑡(𝑙2(𝑡)θ̇2)=−𝑔𝑙(𝑡)𝑠𝑖𝑛θ.

18
2.3 Hamiltonian

Dinamica Hamiltoniană se bazează pe ecuații diferen țiale sau cu derivate parțiale de
ordinul întâi construite fie din ecuații diferențiale sau cu derivate parț iale de ordinul al doilea
de tip Euler -Lagrange , fie ca ecuaț ii Euler -Lagrange asociate unor funcționale particulare ce
conțin funcț iile Hamilton.
Trecerea de la ecuaț iile de ordinul al doilea de tip Euler -Lagrange la ecuațiile de ordinul
întâi de tip Hamilton are la bază transformarea Legendre.

Dinamica hamiltoniană î n cazul unei singure variabile de evoluție (unitemporală )

Consideră m Lagrangianul 𝐹(𝑢(𝑥),𝑢̇(𝑥),𝑥) ca funcție de clasă 𝑪2, unde

𝑥∈ [𝑥0,𝑥1],𝑢=(𝑢1,…,𝑢𝑛): [𝑥0,𝑥1]→𝑹𝑛.

Problema de bază a calculului variațional cu o singură variabilă de evoluție este: găsiți o curbă
𝑢∗: [𝑥0,𝑥1] →𝑹𝑛 care extremizează funcționala
𝐽(𝑢(∙))=∫𝐹(𝑢(𝑥),𝑢̇(𝑥),𝑥) 𝑑𝑥 𝑥1
𝑥0,
printre funcțiile de clasă 𝑪2 care satisfac condițiile la limită 𝑢(𝑥0)=𝑢0,𝑢(𝑥1)=𝑢1 și
𝑢0,𝑢1∈𝑹𝑛.

Teoremă : Dacă 𝑢∗(∙) este solu ție a problemei de mai sus, atunci 𝑢∗(∙) este solu ție a sistemului
de ecua ții diferen țiale Euler -Lagrange
𝜕𝐹
𝜕𝑢𝑖−𝜕
𝜕𝑥(𝜕𝐹
𝜕𝑢̇𝑖)=0,𝑖=1,…,𝑛
care satisface condițiile la limită 𝑢(𝑥0)=𝑢0,𝑢(𝑥1)=𝑢1.

Acum, pentru 𝑢(∙) fixat definim momentul generalizat
𝑝=(𝑝𝑖),𝑝𝑖(𝑡)=𝜕𝐹
𝜕𝑢̇𝑖(𝑢(𝑥),𝑢̇(𝑥),𝑥), 𝑖=1,…,𝑛,𝑥∈ [𝑥0,𝑥1].

Presupunem că pentru ∀ (𝑢,𝑝)∈𝑹2𝑛,𝑥∈ [𝑥0,𝑥1], acest sistem definește funcția
𝑢̇=𝑢̇(𝑢,𝑝,𝑡). Pentru aceasta , local, conform teoremei funcțiilor implicite, este necesar ș i

19
suficient ca 𝑑𝑒𝑡(𝜕2𝑭
𝜕𝑢̇𝑖𝜕𝑢̇𝑗)≠0. În acest caz, Lagrangianul 𝐹 se numeș te regulat și intra î n
dualitate cu Hamiltonianul
𝐻(𝑢,𝑝,𝑥)=𝑢̇(𝑢,𝑝,𝑡)𝜕𝐹
𝜕𝑢̇𝑖(𝑢,𝑢̇(𝑢,𝑝,𝑥),𝑥)−𝐹(𝑢,𝑢̇(𝑢,𝑝,𝑥),𝑥)
(dualitate Legendrina ) sau mai scurt
𝐻=𝑢̇𝑖𝑝𝑖−𝐹.

Teoremă : Dacă 𝑢(∙) este soluție a sistemului de ecuații diferențiale de ordi nul doi de tip
Euler -Lagrange ș i momentul 𝑝 este definit ca mai sus, atunci perechea (𝑢(∙),𝑝(∙)) este
soluție a sistemului de ecuații difere nțiale de ordinul întâ i Hamilton
𝑢̇𝑖(𝑥)=𝜕𝐻
𝜕𝑝𝑖(𝑢(𝑥),𝑝(𝑥),𝑥), 𝑝𝑖̇(𝑥)=−𝜕𝐻
𝜕𝑢𝑖(𝑢(𝑥),𝑝(𝑥),𝑥).
Dacă 𝐹 este autonom (adică nu depinde explicit de 𝑥), atunci rezul tă că 𝐻 este o integrală primă
a sistemului Hamilton (lege de conservare ).

Demonstratie: Prin calcul g ăsim

𝜕𝐻
𝜕𝑢𝑖=𝑝𝑖𝜕𝑢̇𝑖
𝜕𝑢𝑗−𝜕𝐹
𝜕𝑢𝑗−𝜕𝐹
𝜕𝑢̇𝑖𝜕𝑢̇𝑖
𝜕𝑢𝑗=−𝜕𝐹
𝜕𝑢𝑗 .

Apoi se observă că ecuațiile Euler -Lagrange produc
𝑝𝑖̇=𝜕𝐹
𝜕𝑢𝑖(𝑢(𝑥),𝑢̇(𝑥),𝑥)=𝜕𝐹
𝜕𝑢𝑖(𝑢(𝑥),𝑢̇(𝑥(𝑡),𝑝(𝑡),𝑥))=−𝜕𝐻
𝜕𝑢𝑖(𝑢(𝑥),𝑝(𝑥),𝑥).
De asemenea,
𝜕𝐻
𝜕𝑝𝑗(𝑢,𝑝)=𝑢̇𝑗(𝑢,𝑝,𝑥)+𝑝𝑖𝜕𝑢̇𝑖
𝜕𝑝𝑗−𝜕𝐹
𝜕𝑢̇𝑖𝜕𝑢̇𝑖
𝜕𝑝𝑗=𝑢̇𝑗(𝑢,𝑝,𝑥)=𝑢̇𝑗(𝑡),
deci am obținut sistemul Hamilton (canonic) ,
{ 𝑢̇𝑗(𝑡)=𝜕𝐻
𝜕𝑝𝑗(𝑢(𝑥),𝑝(𝑥),𝑥)
𝑝𝑖̇(𝑡)=−𝜕𝐻
𝜕𝑢𝑖(𝑢(𝑥),𝑝(𝑥),𝑥).
În incheiere, observăm că
𝑑𝐻
𝑑𝑥=𝜕𝐻
𝜕𝑢𝑖𝑑𝑢𝑖
𝑑𝑥−𝜕𝐻
𝜕𝑝𝑖𝑑𝑝𝑖
𝑑𝑥+𝜕𝐻
𝜕𝑥=𝜕𝐻
𝜕𝑥.

Ecuația 𝑑𝐻
𝑑𝑥=𝜕𝐻
𝜕𝑥 se adaugă la ec uațiile Hamilton, considerând că 𝑥,𝐻 sunt variabile duale.

20
Cazul autonom, 𝐹=𝐹(𝑢(𝑥),𝑢̇(𝑥)) produce 𝐻=𝐻(𝑢(𝑥),𝑝(𝑥)) și deci 𝑑𝐻
𝑑𝑥=0.

Observație: Lagrangienii 𝐹1 și 𝐹2 legați prin transformarea Gauge

𝐹𝟐=𝐹1+𝑑
𝑑𝑥𝑓(𝑢,𝑥)=𝐹1+𝑢̇𝑖𝜕𝑓
𝜕𝑢𝑖+𝜕𝑓
𝜕𝑥

produc aceleași ecuații Euler -Lagrange. Momentele corespunzătoare satisfac relația

𝑝𝑖2=𝜕𝐹2
𝜕𝑢̇𝑖=𝜕𝐹1
𝜕𝑢̇𝑖+𝜕𝑓
𝜕𝑢𝑖=𝑝𝑖1+𝜕𝑓
𝜕𝑢𝑖.

Exemplu: Fie funcționala
𝐽(𝑢(∙))=∫[(𝑢̇1(𝑥))2+(𝑢2(𝑥))2+(𝑢̇2(𝑥))2]𝑑𝑡 2
1

Trebuie să găsim sistemul Hamiltonian corespunzator acestei funcționale .

Formăm Lagrangianul 𝐹(𝑢1,𝑢2,𝑢̇1,𝑢̇2)=(𝑢̇1)2+(𝑢2)2+(𝑢̇2)2.
Introducem momentul generalizat 𝑝=(𝑝1,𝑝2), unde 𝑝𝑖=𝑝𝑖(𝑥,𝑢1,𝑢2,𝑢̇1,𝑢̇2)=𝜕𝐹
𝜕𝑢̇𝑖 , de unde
rezultă că
{𝑝1=2𝑢̇1
𝑝2=2𝑢̇2.
De asemenea, trebuie să verificăm dacă Lagrang ianul este regulat, adică se impune condiția ca
𝑑𝑒𝑡(𝜕2𝐹
𝜕𝑢̇𝑖𝜕𝑢̇𝑗)≠0 și vom avea
𝜕2𝐹
(𝜕𝑢̇1)2=2,𝜕2𝐹
(𝜕𝑢̇1)2=2,𝜕2𝐹
𝜕𝑢̇1𝜕𝑢̇2=𝜕2𝐹
𝜕𝑢̇2𝜕𝑢̇1=0,
atunci
𝑑𝑒𝑡|20
02|=4≠0⇒𝐹 este regulat.

În continuare exprimăm 𝑢̇1,𝑢̇2 în funcție de 𝑝1,𝑝2
{𝑢̇1=𝑝1
2
𝑢̇2=𝑝2
2

21
și construim Hamiltonianul
𝐻=𝑢̇1𝑝1+𝑢̇2𝑝2−𝐹=𝑝12
2+𝑝22
2−(𝑝12
4+(𝑢2)2+𝑝22
4)
care este echivalent cu
𝐻(𝑢1,𝑢2,𝑝1,𝑝2)=𝑝12
4+𝑝22
4−(𝑢2)2.
Astfel sistemul Hamilton corespunzător este
{ 𝑢̇1=𝜕𝐻
𝜕𝑝1=𝑝1
2
𝑢̇2=𝜕𝐻
𝜕𝑝2=𝑝2
2
𝑝1̇=−𝜕𝐻
𝜕𝑢1=0
𝑝2̇=−𝜕𝐻
𝜕𝑢2=−2𝑢2.

22
Capitolul 3. Control Optimal

3.1 Problema controlului optimal

Studiul sistemelor optimale se face pornind de la ur mătoarele elemente fundamentale:
1. Dinamica procesului este cunoscută, fiind exprimat ă sub forma ecuației de stare
(3.1) presupusă în cel e mai multe cazuri a fi liniară .

𝑥̇(𝑡)=𝑓(𝑡,𝑥 (𝑡),𝑢(𝑡)) (3.1)
2. Se limitează atenția la cazul determinist, adică se admite că sistemu l nu este supus
unor perturbații stoc astice (iar măsurarea vectorului de stare nu este alterată de zgomote).
3. Vectorul de stare x și/sau comanda u sunt supuse unor restricții diverse – de exemplu,
componentele lui u trebuie să se încadreze între anumite limite (restricții de tip inegalitate), sau
se pot impune anumite valori inițiale și finale pentru x (restricții de tip egalitate), sau se impun
chiar restricții privind durata 𝑡𝑓 a conducerii procesului respectiv.
4. Se alege indice le de performanță 𝐽, dependent în general de x și de u și crescător,
cumulativ cu timpul :
𝐽[𝑢]=∫𝐿 (𝑡,𝑥 (𝑡),𝑢(𝑡))𝑑𝑡𝑡2
𝑡1 (3.1.2)
în raport cu care se realizează optimizarea .
5. Nu se face nici o presupunere cu privire la structura dispozitivului de conducere
optim ală.
Multe probleme de inginerie și stiința pot fi formulate ca probleme de optimizare
guvernate de ecuații diferențiale ordinare de tip „flow ” (sisteme de evolu ție în timp, curenți) ș i
de funcționale exprimate ca integrale simple (control optimal unitemporal) .

Cu acestea , problema comenzii optimale se formulează astfel :
Să se găsească comanda optimă 𝑢 care optimi zează indicele de performanță 𝐽, în
condițiile unor restricții impuse.
Consideră m un sistem cu ecuația de stare
𝑥̇(𝑡)=𝑓(𝑡,𝑥 (𝑡),𝑢(𝑡)) (3.1)
pentru care asociem funcționala de cost (criteriu de tip Boltza)

23
𝐽[𝑢]=∫𝐿 ((𝑡,𝑥 (𝑡),𝑢(𝑡))𝑑𝑡+𝑀(𝑡1, 𝑥(𝑡1), 𝑡2, 𝑥(𝑡2) ),𝑡2
𝑡1 (3.2)
unde,
𝑥(𝑡)=[𝑥1(𝑡)
𝑥2(𝑡)
⋯
𝑥𝑛(𝑡)]= starea 𝑢(𝑡)=[𝑢1(𝑡)
𝑢2(𝑡)
⋯
𝑢𝑛(𝑡)]= comanda

𝑓(𝑡)=[𝑓1(𝑡)
𝑓2(𝑡)
⋯
𝑓𝑛(𝑡)], 𝑓𝑖 (𝑡,𝑥1,…,𝑥𝑛,𝑢1,…𝑢𝑚), 𝑓 este funcție masurabilă de clasă 𝑪1 în 𝑥 și 𝑢;
𝑥(𝑡)∈ 𝑋 ⊂𝑹𝑛, 𝑢(𝑡)∈ 𝑈 ⊂𝑹𝑚.
Notă m cu 𝒰={𝑢∶[𝑡1,𝑡2]→U⊂𝑹𝑚} = mul țimea comenzilor admisibile .
Perechile (𝑥,𝑢), unde 𝑥∶[𝑡1,𝑡2]→X și 𝑢 ∈ 𝑈 care verifică ecuația de stare (3.1) se
numesc traiectorii admisibile.

Notă m T={(𝑥,𝑢)∈𝑋×𝒰|(𝑥,𝑢) traiectorii admisibile };
𝐿 – funcțională de clasă 𝑪1 în raport cu 𝑥 și 𝑢, nenegativă , numită Lagrangian ;
𝑀- funcțională de clasă 𝑪1 în raport cu 𝑥1 și 𝑥2, convexă, numită Meyerian.

3.2 Condiții necesare de optim

Definiț ie: O traiectorie (𝑥,̃ 𝑢̃) se numește optimală (𝑢̃-comandă optimală ) dacă
𝐽[𝑢̃]≤ 𝐽[𝑢], oricare ar fi 𝑢̃ comandă admisibilă .

Exemplu de condiție necesară de extrem (Teorema lui Fermat):
Fie 𝐹:(𝑎,𝑏)→𝑹 o funcție și se presupune că 𝑥0 ∈ (𝑎,𝑏) este punct de maxim (sau
minim) local al funcției 𝐹. Dacă 𝐹 este derivabilă în 𝑥0 atunci 𝐹′(𝑥0)=0.

Se dorește să se determine comanda optimală care realizează mini mul funcț ionalei de
cost 𝐽[𝑢].
Fie (𝑥,̃ 𝑢̃) ∈ T o traiectorie optimală , deci 𝐽[𝑢̃]≤ 𝐽[𝑢], ∀ 𝑢̃ comandă admisibilă .
Consideră m o variație mică a traiectoriei optimale
{𝑥𝜀(𝑡)=𝑥̃(𝑡)+ 𝜀ℎ(𝑡)
𝑢𝜀(𝑡)=𝑢̃(𝑡)+ 𝜀𝑘(𝑡),
astfel î ncat (𝑥𝜀,𝑢𝜀) este traiectorie (verifică ecuația (3.1)).

24
ℎ(𝑡)=[ℎ1(𝑡)
ℎ2(𝑡)
⋯
ℎ𝑛(𝑡)], 𝑘(𝑡)=[𝑘1(𝑡)
𝑘2(𝑡)
⋯
𝑘𝑛(𝑡)].

Construim o funcț ie 𝐹:𝑹→𝑹,𝐹(𝜀)= 𝐽[𝑢𝜀].
𝐹(𝜀) = 𝐽[𝑢𝜀]= ∫𝐿 ( 𝑡,𝑥̃1(𝑡)+ 𝜀ℎ1(𝑡),…,𝑥̃𝑛(𝑡)+ 𝜀ℎ𝑛(𝑡),…,𝑢̃1(𝑡)+𝑡2
𝑡1
𝜀𝑘1(𝑡),…,𝑢̃𝑚(𝑡)+ 𝜀𝑘𝑚(𝑡))𝑑𝑡+𝑀(𝑡1,𝑥̃1(𝑡1)+𝜀ℎ1(𝑡1) ,…,𝑥̃𝑛(𝑡1)+
𝜀ℎ𝑛(𝑡1),𝑥̃1(𝑡2)+𝜀ℎ1(𝑡2),…,𝑥̃𝑛(𝑡2)+𝜀ℎ𝑛(𝑡2) )+
+ 𝑀(𝑡1,𝑥̃(𝑡1)+ 𝜀ℎ(𝑡1) ⏟
𝑥1; 𝑡2,𝑥̃(𝑡2)+ 𝜀ℎ(𝑡2) ⏟
𝑥2);

𝐿,𝑀 de clasă 𝑪1⇒𝐹 este derivabilă ;
Pentru 𝜀=0, 𝑥𝜀(𝑡)=𝑥0(𝑡)=𝑥̃(𝑡) și 𝑢𝜀(𝑡)=𝑢0(𝑡)=𝑢̃(𝑡);
𝐹(0) = 𝐽[𝑢0] = 𝐽[𝑢̃] ≤ 𝐽[𝑢𝜀]= 𝐹(𝜀)⇒ 𝐹(0)≤𝐹(𝜀);
⇒𝜀=0 este punct de minim pentru 𝐹(𝜀);
⇒ are loc Teorema lui Fermat, adică 𝑭′(𝟎)=𝟎. (3.3)
Derivă m 𝐹 în raport cu 𝜀 și apoi î nlocuim 𝜀=0.
Derivăm î n rapo rt cu 𝜀 funcția compusă L.
𝜕𝐿
𝜕𝑥1∙ 𝜕𝑥1
𝜕𝜀+⋯+𝜕𝐿
𝜕𝑥𝑛∙𝜕𝑥𝑛
𝜕𝜀=𝜕𝐿
𝜕𝑥1∙ℎ1+⋯+𝜕𝐿
𝜕𝑥𝑛∙ℎ𝑛==[𝜕𝐿
𝜕𝑥1,…,𝜕𝐿
𝜕𝑥𝑛][ℎ1
ℎ2
⋯
ℎ𝑛]⇒
⇒(𝜕𝐿
𝜕𝑥)𝑇
∙ℎ(𝑡)+(𝜕𝐿
𝜕𝑢)𝑇
∙𝑘(𝑡);

grad L= 𝜕𝐿
𝜕𝑥 = [𝜕𝐿
𝜕𝑥1…
𝜕𝐿
𝜕𝑥𝑛].
𝐹′(𝜀)=∫[(𝜕𝐿
𝜕𝑥)𝑇
∙ℎ(𝑡)+(𝜕𝐿
𝜕𝑢)𝑇
∙𝑘(𝑡)]𝑡1
𝑡0𝑑𝑡 + (𝜕𝑀
𝜕𝑥1)𝑇
∙ℎ(𝑡1)+(𝜕𝑀
𝜕𝑥2)𝑇
∙𝑘(𝑡2), (3.4)
(3.4) – calcula t în 𝑥𝜀(𝑡)=𝑥̃(𝑡)+ 𝜀ℎ(𝑡) și 𝑢𝜀(𝑡)=𝑢̃(𝑡)+ 𝜀𝑘(𝑡).

Din ecuația 𝐹′(0)=0 ⇒ Traiectoria optim ală (𝑥̃,𝑢̃) verifică ecuația :
∫[(𝜕𝐿
𝜕𝑥)𝑇
∙ℎ(𝑡)+(𝜕𝐿
𝜕𝑢)𝑇
∙𝑘(𝑡)]𝑡1
𝑡0𝑑𝑡 + (𝜕𝑀
𝜕𝑥1)𝑇
∙ℎ(𝑡1)+(𝜕𝑀
𝜕𝑥2)𝑇
∙𝑘(𝑡2)=0. (3.5)
deoarece pentru 𝜀=0, 𝑥𝜀(𝑡)=𝑥̃(𝑡) și 𝑢𝜀(𝑡)=𝑢̃(𝑡).

25
Formă m Hamiltonianul problemei:
𝐻(𝑡,𝑥,𝑢,𝑝)=𝐿(𝑡,𝑥,𝑢)+𝑝𝑇𝑓(𝑡,𝑥,𝑢), (3.6)
⇒ 𝐿(𝑡,𝑥,𝑢)= 𝐻(𝑡,𝑥,𝑢,𝑝)−𝑝𝑇𝑓(𝑡,𝑥,𝑢)
unde 𝑝(𝑡)=[𝑝1(𝑡)
⋯
𝑝𝑛(𝑡)]= vector adjunct , iar 𝑝1,…,𝑝𝑛 se numesc multiplicatori Lagrange.
Derivăm această ecuație după x și după u pentru a afla 𝜕𝐿
𝜕𝑥 și 𝜕𝐿
𝜕𝑢.
𝜕
𝜕𝑥(𝑝𝑇∙𝑓)=
[ 𝜕
𝜕𝑥1(𝑝1∙𝑓1+⋯+𝑝𝑛∙𝑓𝑛)
⋯
𝜕
𝜕𝑥𝑛(𝑝1∙𝑓1+⋯+𝑝𝑛∙𝑓𝑛)]
=
[ 𝑝1∙𝜕𝑓1
𝜕𝑥1+⋯+𝑝𝑛∙𝜕𝑓𝑛
𝜕𝑥1⋯
𝑝1∙𝜕𝑓1
𝜕𝑥𝑛+⋯+𝑝𝑛∙𝜕𝑓𝑛
𝜕𝑥𝑛]
;
𝜕
𝜕𝑥(𝑝𝑇∙𝑓)=
[ 𝜕𝑓1
𝜕𝑥1 ⋯ 𝜕𝑓𝑛
𝜕𝑥1⋯ ⋯ ⋯
𝜕𝑓1
𝜕𝑥𝑛 ⋯ 𝜕𝑓𝑛
𝜕𝑥𝑛]
∙[𝑝1
⋯
𝑝𝑛].
Rezultă că
𝜕
𝜕𝑥(𝑝𝑇∙𝑓)=(𝜕𝑓
𝜕𝑥)𝑇
∙[𝑝1
⋯
𝑝𝑛].
Analog
𝜕
𝜕𝑢(𝑝𝑇∙𝑓)=(𝜕𝑓
𝜕𝑢)𝑇
∙[𝑝1
⋯
𝑝𝑛].
Obținem
{ 𝜕𝐿
𝜕𝑥=𝜕𝐻
𝜕𝑥−(𝜕𝑓
𝜕𝑥)𝑇
∙𝑝
𝜕𝐿
𝜕𝑢 =𝜕𝐻
𝜕𝑢−(𝜕𝑓
𝜕𝑢)𝑇
∙𝑝 .
Înlocuim î n (3.5):
∫[(𝜕𝐿
𝜕𝑥)𝑇
∙ℎ(𝑡)+(𝜕𝐿
𝜕𝑢)𝑇
∙𝑘(𝑡)]𝑑𝑡𝑡1
𝑡0− ∫𝑝𝑇[𝜕𝑓
𝜕𝑥ℎ(𝑡)+𝜕𝑓
𝜕𝑢𝑘(𝑡)]𝑡2
𝑡1dt⏟
𝑛𝑜𝑡 𝐼 +(𝜕𝑀
𝜕𝑥1)𝑇
∙ℎ(𝑡1)+
+(𝜕𝑀
𝜕𝑥2)𝑇
∙𝑘(𝑡2)=0.
Notă m ℎ(𝑡)=dx si 𝑘(𝑡)=du și obținem
𝜕𝑓
𝜕𝑥 ∙ℎ+𝜕𝑓
𝜕𝑢∙𝑘=𝜕𝑓
𝜕𝑥 dx+𝜕𝑓
𝜕𝑢du=df=d𝑥̇=𝑑𝑥⏞.
=ℎ̇.
𝐼= −∫𝑝𝑇(𝑡)∙𝑡2
𝑡1 ℎ̇(𝑡)dt =−𝑝𝑇(𝑡)ℎ(𝑡)|𝑡2
𝑡1 ⏟
−𝑝𝑇(𝑡2)ℎ(𝑡2)+𝑝𝑇(𝑡1)ℎ(𝑡1 )+∫𝑝̇𝑡2
𝑡1(𝑡)𝑇ℎ(𝑡)dt.

26
Înlocuim pe 𝐼:
∫[(𝑝̇+𝜕𝐻
𝜕𝑥)𝑇
⏟
=0ℎ(𝑡)+(𝜕𝐻
𝜕𝑢)𝑇
⏟
=0𝑘(𝑡)]𝑡2
𝑡1𝑑𝑡+

+(𝑝(𝑡1)+𝜕𝑀
𝜕𝑥1 )𝑇
ℎ(𝑡1)+(−𝑝(𝑡2)+𝜕𝑀
𝜕𝑥2 )𝑇
ℎ(𝑡2)⏟
=0=0, (3.7)
(∀) ℎ,𝑘⇒ coeficienț ii lor sunt nuli .
În plus (𝑥,̃ 𝑢̃) traiectorie ⇒ (𝑥,̃ 𝑢̃) verifică ecuaț ia: 𝑥̇(𝑡)=𝑓(𝑡,𝑥 (𝑡),𝑢(𝑡)) care din (3.6)
se poate scrie
𝑥̇(𝑡)=𝜕𝐻
𝜕𝑝.

Am demonstrat:
Teorema de optimalitate: Dacă (𝑥,̃ 𝑢̃) este traiectoria optimală a problemei
(3.1),(3.2), atunci (𝑥,̃ 𝑢̃) verifică cond ițiile sistemului canonic :
{𝑥̇(𝑡)=𝜕𝐻
𝜕𝑝 (3.8)
𝑝̇(𝑡)=−𝜕𝐻
𝜕𝑥 (3.9)
𝜕𝐻
𝜕𝑢=0→ Ecuația comenzii optimale (3.10)
(𝑝(𝑡1)+𝜕𝑀
𝜕𝑥1 )𝑇
ℎ(𝑡1)+(−𝑝(𝑡2)+𝜕𝑀
𝜕𝑥2 )𝑇
ℎ(𝑡2)=0→ Condiția de transversalitate (3.11)

Exemplu: Se doreșt e să găsim maximul funcționalei
𝐼(𝑢(∙))=−∫𝑥(𝑡)+𝑢2(𝑡))𝑑𝑡1
0
cu restricția 𝑥̇(𝑡)=𝑢(𝑡),𝑥(0)=0,𝑥(1)=5.

Construim Hamiltonianul , unde 𝑝(𝑡)−vector adjunct
𝐻(𝑥(𝑡),𝑢(𝑡),𝑝(𝑡))=−(𝑥(𝑡)+𝑢2(𝑡))+𝑝(𝑡)𝑢(𝑡).

Trebuie să găsim comanda optimală 𝑢∗(𝑡), iar din condiția
𝜕𝐻
𝜕𝑢=0,

27
se observă că maximul se atinge pentru 𝑢∗=𝑝∗
2 astfel,
−2𝑢∗+𝑝∗=0⇒𝑢∗=𝑝∗
2
𝜕𝐻2
𝜕𝑢2=−2<0, deci 𝑢∗ realizează maximul funcționalei.
Formăm Hamiltonianul maximizat 𝐻∗ introducând comanda optimală 𝑢∗ în 𝐻 și obținem
𝐻∗(𝑥∗(𝑡),𝑢∗(𝑡),𝑝∗(𝑡))=−𝑥(𝑡)+𝑝∗2
4.
Traiectoriile optimale rezultă din urmatoarele relații
𝑝̇∗=−𝜕𝐻∗
𝜕𝑥∗=1⟹𝑝∗(𝑡)=𝑡+𝐶1
𝑢∗=𝑝∗
2=𝑡+𝐶1
2=𝑥̇∗(𝑡)⟹𝑥∗(𝑡)=𝑡2
4+𝐶1𝑡
2+𝐶2.
Din condițiile 𝑥(0)=2,𝑥(1)=5 se determină 𝐶2=2 și 𝐶1=11
2.
Prin secvența de cod de mai jos evidențiez traiectoriile optimale .

t=0:0.2:4;
p=t+2;
u=(t+5.5)/2;
x=((t.^2)/4)+(5.5/2)*t +2;
plot(t,p, 'b-',t,u,'r-',t,x,'g-')

28
Capitolul 4.Control Bang -Bang

4.1 Aplicație a principiului Bang -Bang

În teoria controlului, un controler bang -bang ( controller on -off), de asemenea cunoscut
ca un controler de histerezis, este un regulator de feedback care comută brusc între două st ări
(între o limită inferioară ș i o limită superioară) .

Inițial o să desc riu o problemă bang -bang, iar în partea a doua a capitolului voi prezenta
principiul efectiv.

Considerăm o mașină care se deplasează pe distanța 𝐚 cu timp minim .
Ecuația de miscare este
𝑑2𝑥
𝑑𝑡=𝑢, (4.1)
unde 𝑢=𝑢(𝑡),−𝛼≤𝑢≤𝛽 (4.2)
reprezentând accelerați a sau frânarea aplicată, iar 𝑥 distanța parcursă .
Problema poate fi descrisă ca minimizarea lui
𝑇=∫1 𝑑𝑡𝑇
0 (4.3)
cu condițiile inițiale 𝑥(0)=0,𝑥̇(0)=0,𝑥(𝑇)=𝑎,𝑥̇(𝑇)=0. (4.4)
Metodele descrise în capitolul anterior pot fi potrivite pentru această problemă, cu
excepția faptului că nu pot face față criterii lor de inegalitate (4.2).
Putem schimba această constrangere î ntr-o constrangere de egalitate prin introducerea unei
alte variabile de control, 𝑣, unde
𝑣2=(𝑢+𝛼)(𝛽−𝑢). (4.5)
Deoarece 𝑣 este real, 𝑢 trebuie să satisfacă (4.2). Introducem pentru variabila de stare notația
𝑥1=𝑥, astfel încat
𝑥̇1=𝑥2 𝑥1(0)=0,𝑥2(𝑇)=𝑎 (4.6)
𝑥̇2=𝑢 𝑥2(0)=0,𝑥2(𝑇)=𝑎. (4.7)

29
Formăm funcționala de cost
𝑇∗=∫{1+𝑝1(𝑥2−𝑥̇1)+𝑝2(𝑢−𝑥̇2)+𝜇[𝑣2−(𝑢+𝛼)(𝛽−𝑢)]}𝑇
0𝑑𝑡 (4.8)
unde 𝑝1, 𝑝2, 𝜇 sunt multimplicatorii Lag range asociați restrictiilor (4.6),(4.7) și (4.5).

Ecuațiile Euler pentru variabilele de stare 𝑥1,𝑥2 și comenzilor 𝑢,𝑣 sunt
𝜕𝐹
𝜕𝑥1−𝑑
𝑑𝑡(𝜕𝐹
𝜕𝑥̇1)=0⟹𝑝1̇=0 (4.9)
𝜕𝐹
𝜕𝑥2−𝑑
𝑑𝑡(𝜕𝐹
𝜕𝑥̇2)=0⟹𝑝2̇=−𝑝1 (4.10)

𝜕𝐹
𝜕𝑢−𝑑
𝑑𝑡(𝜕𝐹
𝜕𝑢̇)=0⟹𝑝2=𝜇(𝛽−𝛼−2𝑢) (4.11)
𝜕𝐹
𝜕𝑣−𝑑
𝑑𝑡(𝜕𝐹
𝜕𝑣̇)=0 2𝑣𝜇=0 (4.12)

Din (4.12)⟹𝑣=0 𝑠𝑎𝑢 𝜇=0. Vom considera în cele ce urmează ambele cazuri:

1) 𝜇=0
⟹{𝑝1=0
𝑝2=0 este imposibil

2) 𝑣=0
Din 𝑣2=(𝑢+𝛼)(𝛽−𝑢)⟹𝑢=−𝛼 sau 𝑢=𝛽
Prin urmare
𝑥̇2={𝛽,0≤𝑡≤𝜏
−𝛼, 𝜏<𝑡≤𝑇,
deci comutarea este î ntalnită la timpul 𝜏. Integrâ nd utilizând condițiile la frontiera pe 𝑥2 se
obține
𝑥2=𝑥̇1={𝛽𝑡, 0≤𝑡≤𝜏
−𝛼(𝑡−𝑇),𝜏<𝑡≤𝑇. (4.13)
De asemenea, integrâ nd utilizând condițiile la frontiera pe 𝑥1 se obține
𝑥1={1
2𝛽𝑡2, 0≤𝑡≤𝜏
−1
2𝛼(𝑡−𝑇)2+𝑎,𝜏<𝑡≤𝑇. (4.14)
Atât distanța, 𝑥1, cât ș i viteza, 𝑥2, sunt continue câ nd 𝑡=𝜏, deci trebuie să avem
(14)⟹𝛽𝜏=−𝛼(𝑡−𝑇)
(15)⟹1
2𝛽𝜏2=𝑎−1
2𝛼(𝜏−𝑇)2 .

30
Eliminând 𝑇, obținem timpul de comutare inițial
𝜏=√2𝑎𝛼
𝛽(𝛼+𝛽),
iar cel final este
𝑇=√2𝑎(𝛼+𝛽)
𝛼𝛽.
Problema este acum rezolvată , iar comanda optimală este dată de sistemul de mai jos
𝑢={𝛽, 0≤𝑡≤𝜏
−𝛼, 𝜏<𝑡≤𝑇.

Exercițiu: Se cere să găsim
𝑚𝑖𝑛⏟
−1≤𝑢≤1𝐼(𝑢(∙))=∫(2−5𝑡)𝑢(𝑡)𝑑𝑡1
0

cu restricțiile 𝑥̇(𝑡)=2𝑥(𝑡)+4𝑡𝑒2𝑡𝑢(𝑡), 𝑥(0)=0, 𝑥(1)=𝑒2.

Aplicăm principiul de maxim. Construim Hamiltonianul
𝐻=(2−5𝑡)𝑢(𝑡)+𝑝(𝑡)(2𝑥(𝑡)+4𝑡𝑒2𝑡𝑢(𝑡)).
Ecuația adjunctă 𝑝̇(𝑡)=−𝜕𝐻
𝜕𝑥(𝑥,𝑢,𝑡)=−2𝑝(𝑡) are so luția generală 𝑝(𝑡)=𝑝0𝑒−2𝑡, fără
condiții d e transversalitate.
Deoarece
𝐻=(2−5𝑡+4𝑝𝑒−2𝑡)𝑢+2𝑝𝑥
𝐻=(2+4𝑝0𝑡−5𝑡)𝑢+2𝑝𝑥
este o funcție liniară în controlul 𝑢, extremele se pot atinge doar la capete, adică
𝑢∈{−1,1}. Coeficientul 2+4𝑝0𝑡−5𝑡 este funcție de comutare și trebuie să avem cel puțin
o trecere de la + la −. În 𝑡=0 avem 2+4𝑝0𝑡−5𝑡>0.
Fie 𝑢∗=−1 pe intervalul [0,𝑡̃). Dacă 𝑢∗=−1 pe intervalul [0,1] atunci ecuația
diferențiala și condiția 𝑥(0)=0 dau 𝑥(𝑡)=−2𝑡2𝑒2𝑡, iar aceasta nu verifică condiția
𝑥(1)=𝑒2.
Pe intervalul (𝑡̃,1], avem 2+4𝑝0𝑡−5𝑡<0 și 𝑢∗=1. Ecuația diferențială ș i
condiția 𝑥(1)=1 dau 𝑥(𝑡)=𝑒2𝑡(2𝑡2−1). Pe de altă parte, 𝑥∗ trebuie sa fie continuă î n
punctul 𝑡̃, adică 𝑒2𝑡̃(2𝑡̃2−1)=−2𝑡̃2𝑒2𝑡̃ sau 𝑡̃=1
2.
Funcția de comutare este zero î n 𝑡̃, adică 𝑝0=1
4.

31
În final
𝑥∗(𝑡)={−2𝑡2𝑒2𝑡, 𝑡∈[0,1
2] ș𝑖 𝑢∗=−1
𝑒2𝑡(2𝑡2−1), 𝑡∈(1
2,1] ș𝑖 𝑢∗=1.

4.2 Descrierea principiului Bang -Bang

Alegem 𝒜 ca fiind cubul [−1,1]𝑚⊂𝑹𝑚.
Definiție: Un control 𝛼(∙)∈𝒜 este numit bang -bang atât timp câ t 𝑡≥0 și fiecare indice
𝑖=1,…,𝑚, avem | 𝛼𝑖(𝑡) |=1, unde:
𝛼(𝑡)=(𝛼1(𝑡)
⋮
𝛼𝑚(𝑡)).

Teoremă (Principiul Bang -Bang): Fie 𝑡=0 și presupunând 𝑥0∈𝑪(𝑡), pentru sistemul
𝑥̇(𝑡)=𝑀𝑥(𝑡)+𝑁𝛼(𝑡)

unde, 𝑪(𝑡) este mulțimea punctelor inițiale 𝑥0 pentru care există un c ontrol 𝑥(𝑡)=0, atunci
există un control bang -bang 𝛼(∙) care piloteaza 𝑥0 la 0 la momentul 𝑡.

Pentru a demonst ra teorema de mai sus trebuie să apelam la niște cu noștințe de analiză
funcțională; vom studia geometria anumitor spații de funcții infinit -dimensionale.
Notații : 𝐿∞=𝐿∞(0,𝑡;𝑅𝑚)={𝛼(∙):(0,𝑡)→𝑅𝑚| 𝑠𝑢𝑝⏟
0≤𝑠≤𝑡|𝛼(𝑠)|<∞}, unde |𝛼(𝑠)| este norma
vectorului m -dimensional 𝛼 și nu modulul.
‖𝛼(𝑠)‖𝐿∞=𝑠𝑢𝑝⏟
0≤𝑠≤𝑡|𝛼(𝑠)|.

Definiție: Fie 𝛼𝑛∈𝐿∞ pentru 𝑛=1,… și 𝛼∈𝐿∞. Spunem că 𝛼𝑛 converge slab * (are
topologie slabă) către 𝛼
𝛼𝑛⇀∗𝛼
dacă ∫𝛼𝑛(𝑠)∙𝑣(𝑠)𝑑𝑠→∫𝛼(𝑠)∙𝑣(𝑠)𝑑𝑠 𝑡
0𝑡
0, când 𝑛→∞, pentru orice 𝑣(∙):[0,𝑡]→𝑹𝑚 care
satisface ∫|𝑣(𝑠)|𝑑𝑠<∞.𝑡
0
Este necesar sa enunțăm următoarea teoremă de compacitate slabă * pentru 𝐿∞ a lui Alaoglu.

32
Teoremă (Alaoglu) : Fie 𝛼𝑛∈𝒜,𝑛=1,… atunci există un subsir 𝛼𝑛𝑘 și 𝛼∈𝒜, astfel încat
𝛼𝑛𝑘⇀∗𝛼.
Definiție: a) Mulțimea Κ este convexă, dacă orice 𝑥,𝑥̂∈𝐾 și toate numere reale
0≤𝜀≤1, atunci
𝜀𝑥+(1−𝜀)𝑥̂∈𝐾.
b) 𝑧∈𝐾 se numește punct extrem dacă nu există puncte 𝑥,𝑥̂∈𝐾 și 0≤𝜀≤1 astfel încât
𝑧=𝜀𝑥+(1−𝜀)𝑥̂.

Teorema Krein -Millman: Fie K o mulțime convexă nevidă inclusă în 𝐿∞ care este compactă
în topologia slabă * . Atunci K are cel puțin un punct de extrem.
În cele ce urmează, vom ară ta că ipotezele teoremei Krein -Millman sunt satisfă cute, iar î n
final vom demonstra că un punct de extrem este un control bang -bang.

Considerăm sistemul dinamic liniar
{ 𝑥 ̇(𝑡)=𝑀𝑥(𝑡)+𝑁𝛼(𝑡)
𝑥(0)=𝑥0
unde 𝑥0∈ 𝑪(𝑡) și 𝐾={𝛼(∙)∈𝒜|𝛼(∙) 𝑝𝑖𝑙𝑜𝑡𝑒𝑎𝑧ă 𝑥0 𝑙𝑎 0 𝑙𝑎 𝑡𝑖𝑚𝑝𝑢𝑙 𝑡}.
Lemă (Geometria mulțimii de controale): Colecția 𝐾 de controale admisibile satisface
ipotezele teoremei Krein -Millman.

Demonstrație: Din 𝑥0∈ 𝑪(𝑡), 𝐾≠∅ arătam că 𝐾 este mulțime convexă. Amintim că
𝛼(∙)∈𝐾 dacă si numai dacă 𝑥0=∫𝑋−1(𝑠)𝑡
0 𝑁α(𝑠)𝑑𝑠.
Fie 𝛼̂∈𝐾 și 0≤𝜀≤1. Atunci 𝑥0=∫𝑋−1(𝑠)𝑡
0𝑁𝛼̂ (𝑠)𝑑𝑠 astfel
𝑥0=∫𝑋−1(𝑠)𝑡
0𝑁(𝜀α(s)+(1−𝜀)𝛼̂ (𝑠))𝑑𝑠,
prin urmare 𝜀α+(1−𝜀)𝛼̂∈𝐾.
Acum vom demonstra compacitatea (asta înseamnă că pentru orice șir convergent din
multimea 𝐾, limita șirului aparține lui 𝐾).
Fie 𝛼𝑛∈𝐾 pentru 𝑛=1,… . Conform cu teorema lui Alaoglu există un 𝑛𝑘→∞ și
𝛼 ∈𝒜 astfel 𝛼𝑛𝑘⇀𝛼. Trebuie să arătam că 𝛼∈𝐾, dar 𝛼𝑛𝑘∈𝐾 implică
𝑥0=∫𝑋−1(𝑠)𝑡
0𝑁𝛼𝑛𝑘(s)ds→−∫𝑋−1(𝑠)𝑡
0𝑁𝛼 (𝑠)𝑑𝑠 care este prin definiție o convergență
(topologie) slabă *, prin urmare 𝛼∈𝐾.

33
În final, putem aplica teorem a Krein -Milman pentru a arăta că există un punct de extrem
α∗∈𝐾, iar un astfel de punct corespunde unui control de tip bang -bang.

Teore mă ( Principiul de extremitate ș i bang -bang): Controlul 𝛼∗(∙) este un control bang –
bang.

Demonstrație:
1. Trebuie să arătam că atât timp câ t 0≤𝑠≤𝑡 și pentru orice indice 𝑖=1,…,𝑚, avem
| 𝛼𝑖∗(𝑠) |=1.

Presupunem că nu există niciun indice 𝑖∈{1,…,𝑚} și o su bmulțime 𝐸⊂[0,𝑡] pozitiv
măsurabilă astfel încat | 𝛼𝑖∗(𝑠) |<1 pentru 𝑠∈𝐸. De fapt, există un număr 𝜆>0 și o
submulțime 𝐹⊆𝐸 astfel încât 𝐹>0 ș𝑖 | 𝛼𝑖∗(𝑠) |≤1−𝜆 pentru 𝑠∈𝐹.
Fie
𝐼𝐹(𝛽(∙))=∫𝑋−1(𝑠)𝑁 𝛽(𝑠)𝑑𝑠
𝐹,
pentru 𝛽(∙)=(0,…,𝛽(∙),…0)𝑇, unde funcția 𝛽 inclusă in slotul 𝑖.
Alegem orice funcție 𝛽(∙)≢0, astfel 𝐼𝐹(𝛽(∙))=0, |𝛽(∙) |≤1 și descriem
𝛼1(∙)=𝛼∗(∙)+𝜆𝛽(∙)
𝛼2(∙)=𝛼∗(∙)− 𝜆𝛽(∙),
unde considerăm 𝛽 ca fiind zero pe mulțimea 𝐹.

2. Presupunem că 𝛼1(∙), 𝛼2(∙)∈𝐾. Se observă că
−∫𝑋−1(𝑠)𝑡
0𝑁 𝛼1(𝑠)𝑑𝑠=−∫𝑋−1(𝑠)𝑡
0𝑁𝛼∗ (𝑠)𝑑𝑠−𝜆∫𝑋−1(𝑠)𝑡
0𝑁𝛽(𝑠)𝑑𝑠
=𝑥0−𝜆∫𝑋−1(𝑠)𝑡
0𝑁𝛽(𝑠)𝑑𝑠
⏟ =𝑥0
𝐼𝐹(𝛽(∙))=0.
Din 𝛼1(∙)∈𝒜, într -adevăr
{𝛼1(𝑠)=𝛼∗(𝑠) (𝑠∉𝐹)
𝛼1(𝑠)=𝛼∗(𝑠)+𝜆𝛽(𝑠) (𝑠∈𝐹),

dar pe mulțimea 𝐹 avem | 𝛼𝑖∗(𝑠) |≤1−𝜆, prin urmare
|𝛼1(𝑠)|≤|𝛼∗(𝑠)|+𝜆|𝛽(𝑠)|≤1−𝜆+𝜆=1.
Analog pentru 𝛼2, deci 𝛼1,𝛼2∈𝐾.

34
În cele din urma, observăm că
{𝛼1=𝛼∗+𝜆𝛽, 𝛼1≠𝛼∗
𝛼2=𝛼∗−𝜆𝛽, 𝛼2≠𝛼∗,
dar
1
2𝛼1+1
2𝛼2=𝛼∗
ne conduce la o cotradicție deoarece 𝛼∗ este punct extrem din 𝐾.

35
Capitolul 5. Principiul lui Pontryagin

5.1 Principiul de maxim al lui Pontryagin

Principiul de maxim a l lui Pontryagin este utilizat î n teoria controlului pentru a gă si o
comandă optimă 𝑢∗(𝑡) care va transfera sistemul din starea inițială 𝑥(0)=0 în starea finală
𝑥(𝑇) astfel î ncat să optimizeze criteriul 𝐽, respectand restricțiile impuse comenz ii.
Sistemul este descris de sistemul de ecuații diferențiale
𝑥̇𝑖=𝑓𝑖(𝑥,𝑢,𝑡),𝑖=1,…,𝑛
cu condițiile inițiale 𝑥=𝑥0 și condițiile finale 𝑥1,𝑥2,…,𝑥𝑞 unde 𝑞≤𝑛.
Presupunem că 𝑢∈𝑈, unde 𝑈 este domeniul comenzilor admisibile în spațiul m-dimensional .
Ne propunem să cautăm valori pentru a extremiza funcționala
𝐽=∫𝑓0(𝑥,𝑢 ,𝑡)𝑑𝑡𝑇
0.
Se introduc multiplicatorii lui Lagrange , se formează funcț ionala de cost
𝐽∗=∫[𝑓0+∑𝑝𝑖(𝑓𝑖−𝑥̇𝑖)𝑛
𝑖=1]𝑑𝑡𝑇
0
și definim Hamiltonianul
𝐻=𝑓0+∑𝑝𝑖𝑓𝑖𝑛
𝑖=1.
Pentru simplificare consideră m Hamiltonianul ca o funcție care de pinde de vectorul de stare
𝑥, de vectorul de control 𝑢 și de vectorul adjunct 𝑝
𝐻=(𝑥,𝑢,𝑝).
Se poate exprima 𝐽 astfel
𝐽∗=∫(𝐻−∑𝑝𝑖𝑥̇𝑖𝑛
𝑖=1)𝑑𝑡𝑇
0
și evaluând ecuația lui Euler pentru 𝑥𝑖 vom obține ecuația adjunctă
𝑝𝑖=𝜕𝐻
𝜕𝑥𝑖, 𝑖=1,…,𝑛.
Pentru a afla condițiile de transversalitate se aplică condiția de punct final liber 𝜕𝐹
𝜕𝑥̇𝑖=0 și
obținem 𝑝𝑘(𝑇)=0 𝑢𝑛𝑑𝑒 𝑘=𝑞+1,…,𝑛. Se observă că variabila adjunct ă este zero la
fiecare punct final unde variabila de stare cores punzătoare nu est e specificată.

36
Dificultatea actuală este obținerea unei ecuații analo ge 𝜕𝐻
𝜕𝑢𝑖=0 pentr u controalele
continue. Vom presupune că putem deriva 𝐻 în raport cu 𝑢 și considerăm o variație mică 𝛿𝑢
astfel încat 𝑢+𝛿𝑢∈𝑈, unde 𝑈 este domeniul comenzilor admisibile.
De asemenea , vom considera variații mici pentru 𝑥 și 𝑝.
Astfel 𝐽∗ devine
𝛿𝐽∗=𝛿∫[𝐻−∑𝑝𝑖𝑥̇𝑖𝑛
𝑖=1]𝑑𝑡𝑇
0.
Dacă interschimbă m operatorul 𝛿 cu semnul integralei obținem:
𝛿𝐽∗=∫[𝛿(𝐻−∑𝑝𝑖𝑥̇𝑖𝑛
𝑖=1)]𝑑𝑡𝑇
0=∫[𝛿𝐻−∑𝛿(𝑝𝑖𝑥̇𝑖)𝑛
𝑖=1]𝑑𝑡,𝑇
0
așadar
𝛿𝐽∗=∫[𝛿𝐻−∑𝑥̇𝑖𝛿𝑝𝑖−∑𝑝𝑖𝛿𝑥̇𝑖𝑛
𝑖=1𝑛
𝑖=1]𝑑𝑡𝑇
0.
Deoarece
𝛿𝐻=∑𝜕𝐻
𝜕𝑢𝑗𝛿𝑢𝑗+𝜕𝐻
𝜕𝑥𝑖𝛿𝑥𝑖+𝑚
𝑖=1𝜕𝐻
𝜕𝑝𝑖𝛿𝑝𝑖
rezultă
∫[∑𝜕𝐻
𝜕𝑢𝑗𝛿𝑢𝑗+∑(𝜕𝐻
𝜕𝑝𝑖𝛿𝑝𝑖−𝑝̇𝑖𝛿𝑥𝑖−𝑥𝑖𝛿𝑝̇𝑖−𝑝𝑖𝛿𝑥̇𝑖)𝑛
𝑖=1𝑚
𝑖=1]𝑑𝑡𝑇
0,
întrucât
𝑝̇𝑖=−𝜕𝐻
𝜕𝑥𝑖.
De asemenea , din definiția Hamiltonianului rezultă că 𝜕𝐻
𝜕𝑝𝑖=𝑓𝑖=𝑥̇𝑖 și utilizând
𝑥̇𝑖=𝑓𝑖(𝑥,𝑢,𝑡),𝑖=1,…,𝑛 obținem
𝛿𝐽∗=∫[∑𝜕𝐻
𝜕𝑢𝑗𝛿𝑢𝑗−∑(𝑝̇𝑖𝛿𝑥𝑖+𝑝𝑖𝛿𝑥̇𝑖)𝑛
𝑖=1𝑚
𝑖=1]𝑑𝑡𝑇
0

𝛿𝐽∗=∫[∑𝜕𝐻
𝜕𝑢𝑗𝛿𝑢𝑗−∑𝑑
𝑑𝑡(𝑝𝑖𝛿𝑥𝑖)𝑛
𝑖=1𝑚
𝑖=1]𝑑𝑡,𝑇
0
deci acum se poate integra par tea a doua a integrandului la T
𝛿𝐽∗=−∑𝑝𝑖𝛿𝑥𝑖𝑛
𝑖=1|𝑇
0+∫(∑𝜕𝐻
𝜕𝑢𝑗𝛿𝑢𝑗𝑚
𝑖=1)𝑑𝑡𝑇
0.

37
Astfel,
La 𝑡=0 𝑥𝑖( 𝑖=1,…,𝑛 ) sunt specificate ⟹ 𝛿𝑥𝑖(0)=0
La 𝑡=𝑇 𝑥𝑖( 𝑖=1,…,𝑞 ) sunt fixate ⟹ 𝛿𝑥𝑖(𝑇)=0

Pentru 𝑖=𝑞+1,…,𝑛 din condițiile de transversalitate 𝑝𝑖(𝑇)𝛿𝑥𝑖(𝑇)=0;
Pentru 𝑖=1,2,…,𝑞,𝑞+1,…,𝑛 avem acum
𝛿𝐽∗=∫(∑𝜕𝐻
𝜕𝑢𝑗𝛿𝑢𝑗𝑚
𝑖=1)𝑑𝑡,𝑇
0
unde 𝛿𝑢𝑗 este o variație mică a vectorului de control 𝑢.
Deoarece toate aceste variații sunt independente și avem nevoie de 𝛿𝐽∗=0 pentru a
extremiza funcționala atunci câ nd controlul u este continuu, concluzionam că
𝜕𝐻
𝜕𝑢𝑗=0 𝑗=1,2,…,𝑚,
dar acest lucru este valabil doar în cazul î n care controalele sunt continue ș i nu sunt contrâ nse
de restrictii . În cazul prezentat 𝑢∈𝑈, unde 𝑈 domeniul comenzilor admis ibile sunt permise
discontinuitățile de speța 1 asociate variabilei de coman dă 𝑢.
Argumentele prezentate mai sus urmează acei ași cale cu excepț ia că 𝜕𝐻
𝜕𝑢𝑗𝛿𝑢𝑗 trebuie
înlocuit cu
𝐻(𝑥;𝑢1,𝑢2,…𝑢𝑗+𝛿𝑢𝑗,…,𝑢𝑚;𝑝)−𝐻(𝑥,𝑢,𝑝),
astfel obținem,
𝛿𝐽∗=∫∑[𝐻(𝑥;𝑢1,𝑢2,…𝑢𝑗+𝛿𝑢𝑗,…,𝑢𝑚;𝑝)𝑚
𝑖=1−𝐻(𝑥,𝑢,𝑝)]𝑑𝑡𝑇
0,
în așa fel încât , dacă 𝑢 este comandă minimă trebuie să avem 𝛿𝐽∗≥0 pentru toate comenzile
admisibile 𝑢+𝛿𝑢. Asta implică
𝐻(𝑥;𝑢1,𝑢2,…𝑢𝑗+𝛿𝑢𝑗,…,𝑢𝑚;𝑝)≥𝐻(𝑥,𝑢,𝑝)
oricare ar fi 𝛿𝑢𝑗 cu 𝑗=1,2,…,𝑚.
Am demonstrat:
Teorema: Fie 𝑢∈𝑹𝑛 o comandă admisibila . Pentru ca 𝐽 sa fie minimă /maximă în cazul unui
process dinamic 𝑥̇𝑖=𝑓𝑖(𝑥,𝑢,𝑡),𝑖=1,…,𝑛 este necesar să existe o funcție 𝑢(𝑡)∈𝑹𝑚 astfel
încât 𝑢 să minimizeze/maximizeze funcția lui Hamilton
𝐻=𝑓0+∑𝑝𝑖𝑓𝑖𝑛
𝑖=1
pe tot intervalul [0,𝑇].

38
5.2 Probleme și aplicații de contr ol optimal

I. Vom considera o problemă în care timpul și starea finală a sistemului sunt fixate. Ceea ce
înseamnă că 𝑡𝑓 și 𝑥(𝑡𝑓) sunt date și variațiile 𝛿𝑡𝑓=𝛿𝑥(𝑡𝑓)=0.

Oprirea unui tren in stație: Considerăm miș carea unui tren. Controlul se face prin
intermediul forței aplicate (forța motoare sau forța de frânare) , iar scopul este de a aduce
trenul în stație ș i de a -l opri.
Ecuația sistemului este
𝑚𝑥̈=𝑢,
unde 𝑚 este masa sistemului, 𝑥 reprezintă poziția și 𝑢 forța aplicată. Dacă scriem ecuația de
mai sus ca un sistem de ordinul I (notă m 𝑥1=𝑚𝑥) atunci vom avea
{𝑥̇1=𝑥2
𝑥̇2=𝑢. (5.2.1)
Considerăm indicele de performanță
𝐽=1
2∫𝑢2𝑡𝑓
𝑡𝑖𝑑𝑡. (5.2.2)
Trebuie să căutăm soluția problemei de control optimal care maximizează funcționala, unde
starea s istemului este 𝑥=(𝑥1,𝑥2)𝑇∈𝑹2.
Alegem starea inițială 𝑥(𝑡𝑖)=(1,2)𝑇, iar starea finală 𝑥(𝑡𝑓)=(1,0)𝑇. Presupunem că
controlul și starea nu sunt restricționat e.
Pasul 1 . Notăm cu 𝑝=(𝑝1,𝑝2)𝑇 starea duală si formăm Hamiltonianul problemei
𝐻=𝐻(𝑥1(𝑡),𝑥2(𝑡),𝑢(𝑡),𝑝1(𝑡),𝑝2(𝑡))
𝐻=𝑝1𝑥2+𝑝2𝑢+1
2𝑢2. (5.2.3)

39

Pasul 2. Trebuie să gă sim comanda optimală 𝑢∗(𝑡).
Formăm sistemul dual {𝑝̇1=−𝜕𝐻
𝜕𝑥1=0
𝑝̇2=−𝜕𝐻
𝜕𝑥2=−𝑝1.
Principiul de maxim ne spune că
𝐻𝑢∗=(𝑥∗,𝑝∗)=𝑚𝑎𝑥⏟
𝑢∈𝑅 𝐻𝑢(𝑥∗,𝑝∗).
Din condiția 𝜕𝐻
𝜕𝑢=0 obținem că 𝑢∗(𝑡)+𝑝2∗(𝑡)=0⇒𝑢∗(𝑡)=−𝑝2∗(𝑡), (5.2.4)
deci se observă că maximul se atinge în 𝑢∗(𝑡)=−𝑝2∗(𝑡).
Pasul 3 . Utilizând rezultatele din Pasul 2 în Pasul 1 obținem Hamiltonianul maximizat
𝐻∗(𝑥1∗(𝑡),𝑥2∗(𝑡),𝑢∗(𝑡),𝑝1∗(𝑡),𝑝2∗(𝑡))=𝑝1∗(𝑡)𝑥2∗(𝑡)−𝑝2∗2(𝑡)+1
2𝑝2∗2(𝑡)
=𝑝1∗(𝑡)𝑥2∗(𝑡)−1
2𝑝2∗2(𝑡) (5.2.5)
Pasul 4. Pentru a afla traiectoriile optimale trebuie să rezolvăm sistemul Hamiltonian
maximizat 𝐻∗
{ 𝑥̇𝑖∗=𝜕𝐻∗
𝜕𝑝𝑖∗
𝑝̇𝑖=−𝜕𝐻∗
𝜕𝑥𝑖∗
și vom obține ecuațiile de stare si ecuațiile adjunct e
𝑥̇1∗(𝑡)=𝑥2∗(𝑡)
𝑥̇2∗(𝑡)=−𝑝2∗(𝑡) (5.2.6)
𝑝̇1∗(𝑡)=0
𝑝̇2∗(𝑡)=𝑝1∗(𝑡).
Rezolvând ecuațiile anterioare obținem
𝑥1∗(𝑡)=𝐶3
6𝑡3−𝐶4
2𝑡2+𝐶2𝑡+𝐶1
𝑥2∗(𝑡)=𝐶3
2𝑡2−𝐶4𝑡+𝐶2 (5.2.7)

40
𝑝1∗(𝑡)=𝐶3
𝑝2∗(𝑡)=−𝐶3𝑡+𝐶4.
Pasul 5. Obținem comanda optimală din
𝑢∗(𝑡)=−𝑝2∗(𝑡)=𝐶3𝑡−𝐶4, (5.2.8)
unde 𝐶1,𝐶2,𝐶3,𝐶4 sunt constante evaluate utilizând condițiile la limtă 𝑥(𝑡𝑖)=(1,2)𝑇și
𝑥(𝑡𝑓)=(1,0)𝑇. Constantele se dovedesc a fi
𝐶1=1,𝐶2=2,𝐶3=3,𝐶4=4.
În final, vom obține
𝑥1∗(𝑡)=0.5𝑡3−2𝑡2+2𝑡+1
𝑥2∗(𝑡)=1.5𝑡2−4𝑡+2
𝑝1∗(𝑡)=3
𝑝2∗(𝑡)=−3𝑡+4,
iar comanda optimală va fi
𝑢∗(𝑡)=3𝑡−4.
Pentru a rezolva aceast ă problem ă și pentru a trasa comanda și stă rile optimale am folosit
programul Matlab, co dul corespunzător regăsindu -se în Capitolul 7. Anexe

41
II. Oscilatorul armonic controlat . Considerăm un oscilator armonic a supra că ruia acționam
cu o forță 𝑢. Ecuația sistemului este
𝑚𝑥̈=−𝑘𝑥+𝑢
unde 𝑚-masa sistemului, 𝑥-poziția, 𝑘-constanta de elasticitate, iar 𝑢∈𝑹 comandă .
Transformăm ecuația într -un sistem de ordinul I (notăm 𝑚𝑥=𝑥1) și obținem
{𝑥̇1=𝑥2
𝑥̇2=−𝑥2+𝑢. (5.2.9)
Funcționala de cost este dată de
𝐽(𝑢)=1
2∫𝑢2𝑡𝑓
𝑡𝑖𝑑𝑡. (5.2.10)
Scopul problemei este de a controla oscilatorul cu efort minim. Presupunem inițial că starea și
controlul nu sunt restricționate.
Trebuie să găsim condițiile necesare pentru ca problema de control optimal sa fie satisfacută.

Pasul 1. Formăm Hamiltonianul
𝐻(𝑥(𝑡),𝑢(𝑡),𝑝(𝑡))=𝑝1𝑥2−𝑝2𝑥2+𝑝2𝑢+1
2𝑢2. (5.2.11)
Pasul 2. Trebuie să gă sim comanda optimală 𝑢∗(𝑡).
Formăm s istemul dual {𝑝̇1=−𝜕𝐻
𝜕𝑥1=0
𝑝̇2=−𝜕𝐻
𝜕𝑥2=−𝑝1+𝑝2.
Principiul de maxim ne spune că
𝐻𝑢∗=(𝑥∗,𝑝∗)=𝑚𝑖𝑛⏟
𝑢∈𝑅 𝐻𝑢(𝑥∗,𝑝∗)
Din condiția 𝜕𝐻
𝜕𝑢=0 obținem că
𝑢∗(𝑡)+𝑝2∗(𝑡)=0⇒𝑢∗(𝑡)=−𝑝2∗(𝑡), (5.2.12)
deci se observă că minimul se atinge în 𝑢∗(𝑡)=−𝑝2∗(𝑡).
Pasul 3 . Utilizând rezultatele din Pasul 2 în Pasul 1 obținem Hamiltonianul minimizat
𝐻∗(𝑥1∗(𝑡),𝑥2∗(𝑡),𝑢∗(𝑡),𝑝1∗(𝑡),𝑝2∗(𝑡))=
=𝑝1∗(𝑡)𝑥2∗(𝑡)−𝑝2∗(𝑡)𝑥2∗(𝑡)−𝑝2∗2(𝑡)+1
2𝑝2∗2(𝑡) (5.2.13)

42
Pasul 4 . Pentru a afla traiectoriile optimale trebuie să rezolvăm sistemul Hamiltonian
minimizat 𝐻∗
{ 𝑥̇𝑖∗=𝜕𝐻∗
𝜕𝑝𝑖∗
𝑝̇𝑖=−𝜕𝐻∗
𝜕𝑥𝑖∗
și vom obținem ecuațiile de stare si ecuațiile adjuncte
𝑥̇1∗(𝑡)=𝑥2∗(𝑡)
𝑥̇2∗(𝑡)=−𝑥2∗(𝑡)−𝑝2∗(𝑡) (5.2.14)
𝑝̇1∗(𝑡)=0
𝑝̇2∗(𝑡)=−𝑝1∗(𝑡)+𝑝2∗(𝑡).
Rezolvând sistemul de ecuații anterio r vom avea
𝑥1∗(𝑡)=𝐶1+𝐶2(1−𝑒−𝑡)+𝐶3(−𝑡−1
2𝑒−𝑡+1
2𝑒𝑡)+𝐶4(1−1
2𝑒−𝑡−1
2𝑒𝑡)
𝑥2∗(𝑡)=𝐶2𝑒−𝑡+𝐶3(−1+1
2𝑒−𝑡+1
2𝑒𝑡)+𝐶4(1
2𝑒−𝑡−1
2𝑒𝑡) (5.2.15)
𝑝1∗(𝑡)=𝐶3
𝑝2∗(𝑡)=𝐶3(1−𝑒−𝑡)+𝐶4𝑒𝑡,
de unde se obține comanda optimală
𝑢∗(𝑡)=−𝑝2∗(𝑡)=−𝐶3(1−𝑒−𝑡)−𝐶4𝑒𝑡.
În cele ce urmează vom aborda problema din 3 puncte de vedere :
a) Analog problemei anterioare 𝑡𝑓 și 𝑥(𝑡𝑓) sunt fixate .
Presupunem că 𝑥(0)=0 și 𝑥(2)=[5 2]𝑇. Din 𝑥(0)=0 se observă că 𝐶1=𝐶2=0, iar
din 𝑥(2)=[5 2]𝑇 se obțin ecuațiile
5=𝐶3(−2−1
2𝑒−2+1
2𝑒2)+𝐶4(1−1
2𝑒−2−1
2𝑒2)
2=𝐶3(−1+1
2𝑒−2+1
2𝑒2)+𝐶4(1
2𝑒−2−1
2𝑒2)
După rezolvarea sistemului obținem că 𝐶3=−7.289 și 𝐶4=−6.103, deci traiectori ile
optimale vor fi
𝑥̇1∗(𝑡)=7.289𝑡−6.103+6.696𝑒−𝑡−0.593𝑒𝑡

43
𝑥̇2∗(𝑡)=7.289−6.696𝑒−𝑡−0.593𝑒𝑡
și comanda optimală devine
𝑢∗(𝑡)=7.289−7.289𝑒−𝑡+6.103𝑒𝑡.

b) Presupunem că stare a inițială 𝑥(0)=0 este fixată și starea finală 𝑥(2) este liberă, asta
înseamnă că 𝑡𝑓 este dat , deci variația 𝛿𝑡𝑓=0 și 𝛿𝑥𝑓 este arbitrară, acest lucru conduce la
modificarea condiției de transversalitate (3.13) astfel
𝑥(𝑡1)=𝑥1 fixat
𝑝(𝑡2)=𝜕𝑀
𝜕𝑥2(𝑡1,𝑥1,𝑡2,𝑥̃(𝑡2)).

Funcționala de cost pentru această abordare devine
𝐽(𝑢)=1
2[𝑥1(2)−5]2+1
2[𝑥2(2)−2]2+1
2∫𝑢22
0𝑑𝑡, (5.2.16)
deoarece restricțiile la frontieră sunt afectate doar pentru 𝑡=2.

44
Obținem ecuațiile adjuncte
𝑝1∗(2)=𝑥1∗(2)−5 (5.2.17)
𝑝2∗(2)=𝑥2∗(2)−2.

În continuare 𝐶1=𝐶2=0, deoarece 𝑥(0)=0. Introducem 𝑡=2 în ecuația (5.2.15), vom
obține următoarele rezultate
𝑥1∗(2)=1.627𝐶3−2.762𝐶4
𝑥2∗(2)=2.762𝐶3−3.627𝐶4
𝑝1∗(2)=𝐶3
𝑝2∗(2)=−6.389𝐶3+7.389𝐶4
și substituind în ecuațiile (5.2.1 7) rezultă sistemul
0.627𝐶3−2.762𝐶4=5
9.151𝐶3−11.016𝐶4=2.
După rezolvarea sistemului se gă sesc constantele 𝐶3=−2.697,𝐶4=−2.422, deci
traiectoriile optimale sunt:
𝑥1∗(𝑡)=2.697𝑡−2.422+2.560𝑒−𝑡−0.137𝑒𝑡
𝑥2∗(𝑡)=2.697𝑡−2.560𝑒−𝑡−0.137𝑒𝑡
și comanda optimală devine :
𝑢∗(𝑡)=2.697−2.697𝑒−𝑡+2.422𝑒𝑡.

45
c) Presupunem că s istemul este transferat din starea ini țială 𝑥(0)=0 în starea finală
𝑥1(𝑡)+5𝑥2(𝑡)=15, care reprezintă o suprafață, astfel încât criteriul de performanța (2) este
minimizat . Condi ția de transversalitate pentru problema cu astfel de restricții la capete devine
𝑝(𝑡1)=−𝜕𝑀
𝜕𝑥1(𝑡1,𝑥̃(𝑡1),𝑡2,𝑥̃(𝑡2))+𝜕𝐹
𝜕𝑥(𝑡1,𝑥̃(𝑡1))𝑇𝑞1
𝑝(𝑡2)=−𝜕𝑀
𝜕𝑥2(𝑡1,𝑥̃(𝑡1),𝑡2,𝑥̃(𝑡2))+𝜕𝐹
𝜕𝑥(𝑡2,𝑥̃(𝑡2))𝑇𝑞2,
unde 𝑞1,𝑞2-multi plicator i Lagrange adițional i.

Asemănato r punct elor precedente soluțiile ecuațiilor de stare ș i adjuncte sunt date de relațiile
(5.2.15), astfel 𝐶1=𝐶2=0.
Pentru 𝑡=2 obținem ecuațiile
𝑥1∗(2)+5𝑥1∗(2)=15
−𝑝1∗(2)=𝑞
−𝑝2∗(2)=5𝑞.
Considerăm 𝑞=1 și introducem 𝑡=2 în ecuația (5.2.17) obținem
15.437𝐶3−20.897𝐶4=15
11.389𝐶3−7.389𝐶4=0.
Rezolvăm sistemul d e mai sus în Matlab prin secvența
syms C3 C4
[solC3,solC4] = solve(15.437*C3 -20.897*C4 == 15, 11.389*C3 -7.389*C4 == 0)

rezultă că 𝐶3=−0.894 și 𝐶4=−1.379, deci vom avea următoarele traiectorii optimale
𝑥1∗(𝑡)=0.894𝑡−1.379+1.136𝑒−𝑡+0.242𝑒𝑡
𝑥2∗(𝑡)=0.894−1.136𝑒−𝑡+0.242𝑒𝑡

46
și comanda optimală devine
𝑢∗(𝑡)=0.894−0.894𝑒−𝑡+1.379𝑒𝑡.
Codul corespunzător pentru această proble mă se regă sește î n Capitolul 7. Anexe

47
Capitolul 6. Principiul optimului si ecuația lui Bel lman

Bellman a iniț iat o abordare diferită pentru rezolvarea pr oblemelor de control optimal.
Până în momentul de față am luat î n considerare intrările continue și am stabilit con dițiile
necesare pentru existența unui control optimal. Considerăm acum o clasă mai mare de intrări
de comandă și anume funcții continue pe porțiuni , iar principiul de optimalitate ne oferă condiții
suficiente pentru ex istența unui control optimal.

6.1. Principiul de optimalitate al lui Bel lman
Principiul optimalității al lui Bel lman sub forma sa actuală este enunțat în urmatoarea
manieră : Într-un proces de optimizare dinamică, o serie de decizii sunt optimale dacă, oricare
ar fi starea și momentul considerate pe traiectoria care îi este asociată, deciziile ulterioare
constituie o serie optimală de decizii pentru subproblema dinamică care are această stare și
acest moment ca și condițiile inițiale (Culiolli 1994) .

Teoremă (Principiul de optimalitate): Fie 𝐹(𝑥,𝑢,𝑡) și 𝑓(𝑥,𝑢) funcții continuu difereți abile
în fiecare argument. Alegem 𝑢∗∈[𝑡𝑖,𝑡𝑓]⊂𝑈, comandă optimală pentru funcționala:
𝐼𝑥∗(𝑢)=∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡, 𝑡𝑓
𝑡𝑖
cu condițiile 𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑢(𝑡)), 𝑡∈[𝑡𝑖,𝑡𝑓],𝑥(𝑡𝑖)=𝑥𝑖. (6.1)
Luăm 𝑥∗ stare a optimă corespunzatoare. Dacă 𝑡𝑚∈[𝑡𝑖,𝑡𝑓), atunci restricția 𝑢∗ la [𝑡𝑚,𝑡𝑓] este
o coman dă optimală pentru funcțion ala:
𝐼̃𝑥∗(𝑡𝑚)(𝑢)=∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡,𝑡𝑓
𝑡𝑚
cu condițiile : 𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑢(𝑡)), 𝑡∈[𝑡𝑚,𝑡𝑓), 𝑥(𝑡𝑚)=𝑥𝑚. (6.2)
În plus,
𝑚𝑖𝑛⏟
𝑢∈[𝑡𝑖,𝑡𝑓]𝐼𝑥∗(𝑢)=∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡+𝑚𝑖𝑛⏟
𝑢∈[𝑡𝑚,𝑡𝑓]𝑡𝑚
𝑡𝑖𝐼̃𝑥∗(𝑡𝑚)(𝑢). (6.3)

48
Demonstrație: Pentru a demonstra Principiul ui de optimalitate este necesar să introducem
câteva noțiuni, print re care și Teorema 1 .
Fie ecuația diferențială
𝑑𝑥
𝑑𝑡(𝑡)=𝑓(𝑥(𝑡),𝑢(𝑡)),𝑥(𝑡𝑖)=𝑥𝑖,𝑡≥𝑡𝑖,𝑥(𝑡)∈𝑅𝑛,𝑢(𝑡)∈𝑹𝑚. (#)
Rescriem ecuația ca un set de 𝑛 ecuații
𝑑𝑥1
𝑑𝑡(𝑡)=𝑓1(𝑥1(𝑡),…,𝑥𝑛(𝑡),𝑢1(𝑡),…,𝑢𝑚(𝑡)),𝑥1(𝑡𝑖)=𝑥𝑖,1
⋮
𝑑𝑥𝑛
𝑑𝑡(𝑡)=𝑓𝑛(𝑥1(𝑡),…,𝑥𝑛(𝑡),𝑢1(𝑡),…,𝑢𝑚(𝑡)),𝑥𝑛(𝑡𝑖)=𝑥𝑖,𝑛,
unde 𝑓1,…,𝑓𝑛 sunt componentele lui 𝑓. În ecuația (#) variabila 𝑢 poartă numele de intrare.
Sub anumite condiții de regularitate privind funcția 𝑓:𝑹𝑛×𝑹𝑚→𝑹𝑛, există o unică soluție
a ecuației diferențiale (#), pentru orice condiție inițială 𝑥𝑖∈𝑅𝑛 și orice comandă continuă
pe porțiuni 𝑢.

Teorema 1 : Presupunem că 𝑓 este continuă în ambele variabile. Dacă ∃ 𝐾>0,𝑟>0 și
𝑡𝑓>𝑡𝑖 spunem că
‖𝑓(𝑥2,𝑢(𝑡))−𝑓(𝑥1,𝑢(𝑡))‖≤𝐾‖𝑥2−𝑥1‖ (∗)
∀ 𝑥1,𝑥2∈𝐵(𝑥𝑖,𝑟)={𝑥∈𝑅𝑛/‖𝑥−𝑥𝑖‖≤𝑟} și ∀ 𝑡∈[𝑡𝑖,𝑡𝑓], atunci (∗) are o unică soluție
𝑥(∙) în intervalul [𝑡𝑖,𝑡𝑚],∀ 𝑡𝑚>𝑡𝑖. În plus această soluție depinde de 𝑥𝑖 pentru 𝑡,𝑢 fixați.
Acum putem începe demonstrația și vom avem
𝐼𝑥∗(𝑡𝑚)(𝑢∗)=∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡 𝑡𝑓
𝑡𝑖
=∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡+∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡. 𝑡𝑓
𝑡𝑚 (6.4)𝑡𝑚
𝑡𝑖
Din teorem a 1 rezultă că 𝑥1 soluție pentru 𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑢∗|[𝑡𝑚,𝑡𝑓](𝑡)),𝑡∈[𝑡𝑚,𝑡𝑓],
𝑥(𝑡𝑚)=𝑥∗(𝑡𝑚), iar 𝑥∗ este restricție pe intervalul [𝑡𝑚,𝑡𝑓]. Astfel al doilea termen di n (6.4)
este funcționala de cost 𝐼̃𝑥∗(𝑡𝑚)(𝑢∗|[𝑡𝑚,𝑡𝑓](𝑡)) pentru (6.2).

49
Presupunem că există un 𝑢̃∈𝑈[𝑡𝑚,𝑡𝑓] astfel încât
∫𝐹(𝑥̃(𝑡),𝑢̃(𝑡),𝑡)𝑑𝑡=𝐼̃𝑥∗(𝑡𝑚)(𝑢̃)<𝐼̃𝑥∗(𝑡𝑚)(𝑢∗|[𝑡𝑚,𝑡𝑓](𝑡)) 𝑡𝑓
𝑡𝑚
=∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡, 𝑡𝑓
𝑡𝑚
unde 𝑥̃ este soluți a ecuației (6.2) corespunzătoare lui 𝑢̃. Fie 𝑢∈𝑈[𝑡𝑚,𝑡𝑓], unde 𝑈[𝑡𝑚,𝑡𝑓] este
mulțimea comenzilor admisibile , astfel încat
𝑢(𝑡)={𝑢∗(𝑡) 𝑝𝑒𝑛𝑡𝑟𝑢 𝑡∈[𝑡𝑖,𝑡𝑚)
𝑢̃(𝑡) 𝑝𝑒𝑛𝑡𝑟𝑢 𝑡∈[𝑡𝑚,𝑡𝑓]
și fie 𝑥 soluția corespunzătoare pentru (6 .1). Din teorema 1 rezultă că
𝑥|[𝑡𝑖,𝑡𝑚]=𝑥∗|[𝑡𝑖,𝑡𝑚].
Prin urmare ,
𝐼𝑥∗(𝑢)=∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡 𝑡𝑓
𝑡𝑖
=∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡+∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡𝑡𝑓
𝑡𝑚 𝑡𝑚
𝑡𝑖
=∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡+∫𝐹(𝑥̃(𝑡),𝑢̃(𝑡),𝑡)𝑑𝑡𝑡𝑓
𝑡𝑚 𝑡𝑚
𝑡𝑖
=∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡+𝑡𝑚
𝑡𝑖𝐼̃𝑥∗(𝑡𝑚)(𝑢̃)
<∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡+𝑡𝑚
𝑡𝑖𝐼̃𝑥∗(𝑡𝑚)(𝑢∗|[𝑡𝑚,𝑡𝑓](𝑡))
=∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡+𝑡𝑚
𝑡𝑖∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡𝑡𝑓
𝑡𝑚
= 𝐼𝑥∗(𝑢∗),

50
care contrazice criteriul de optimalitate 𝑢∗. Acest lucru dovedește că există un control optimal
pentru funcționala 𝐼̃𝑥∗(𝑡𝑚) corespunzator condițiilor (6.2) și care este dat de restricția 𝑢∗ la
intervalul [𝑡𝑚,𝑡𝑓]. Din (6.4) rezultă că (6.3) este valabil.
De reținut faptul că am arătat
𝑚𝑖𝑛⏟
𝑢∈𝑈[𝑡𝑚,𝑡𝑓]𝐼̃𝑥∗(𝑡𝑚)=𝐼̃𝑥∗(𝑡𝑚)(𝑢∗|[𝑡𝑚,𝑡𝑓](𝑡)).
Deci, teorema de mai sus spune c ă: Dacă te afli pe o traiectorie optimă , atunci cel mai bun
lucru posibil este să ramai pe acea traiectorie .

6.2 Ecuația lui Bellman
În această secț iune, voi demonstra Teorema 2 care oferă o con diție suficientă pentru
existenț a unei comenzi optimale în ceea ce privește existența unei soluții aproximative a
ecuației lui Bellman (6.5). Cu toate acestea, oferim î n primul rând un argument care ne cond uce
la ecuația lui Bellman: nu î ncepem prin a ne î ntreba daca problem a de control are o soluție, ci
începe m să presupunem că problema optimă de control este rezolvabilă și studiem așa numita
funcție de valoare, care ne va conduce la ecuația lui Bellman.
Alegem 𝑡𝑚∈[𝑡𝑖,𝑡𝑓). Trebuie sa determină m funcția 𝑉: 𝑹𝑛×[𝑡𝑖,𝑡𝑓]→𝑹 dată de
𝑉(𝑥𝑚,𝑡𝑚)=𝑚𝑖𝑛⏟
𝑢∈[𝑡𝑚,𝑡𝑓]∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡, 𝑡𝑓
𝑡𝑖 (6.5)
unde 𝑥(∙) este soluție unică 𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑢(𝑡)), 𝑡∈[𝑡𝑚,𝑡𝑓], 𝑥(𝑡𝑚)=𝑥𝑚.
Cu ac este notații, î n principiul optimului am atătat că:
𝑉(𝑥∗(𝑡𝑚),𝑡𝑚)=𝑚𝑖𝑛⏟
𝑢∈[𝑡𝑚,𝑡𝑓]∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡=𝑡𝑓
𝑡𝑚 ∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡.𝑡𝑓
𝑡𝑚

51
Prin urmare
𝑉(𝑥∗(𝑡𝑚+𝜀),𝑡𝑚+𝜀)−𝑉(𝑥∗(𝑡𝑚),𝑡𝑚)=−∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡.𝑡𝑚+𝜀
𝑡𝑚
Daca 𝜀→0, partea stângă va deveni i
𝜕𝑉
𝜕𝑡(𝑥∗(𝑡𝑚),𝑡𝑚)+𝜕𝑉
𝜕𝑥(𝑥∗(𝑡𝑚),𝑡𝑚)𝑓(𝑥∗(𝑡𝑚),𝑢∗(𝑡𝑚)),
iar partea dreapta este zero.
Astfel obține m ecuația lui Belman :
𝜕𝑉
𝜕𝑡(𝑥∗(𝑡𝑚),𝑡𝑚)+𝜕𝑉
𝜕𝑥(𝑥∗(𝑡𝑚),𝑡𝑚)𝑓(𝑥∗(𝑡𝑚),𝑢∗(𝑡𝑚))+𝐹(𝑥∗(𝑡𝑚),𝑢∗(𝑡𝑚),𝑡𝑚)=0.
Această ecuație ne conduce catre urmatorul rezultat:
Teoremă 2: Fie 𝐹(𝑥,𝑢,𝑡) și 𝑓(𝑥,𝑢) funcții continuu diferențiabile î n fiecare argument.
Presupunem că există o funcție 𝑊:𝑹𝑛×[𝑡𝑖,𝑡𝑓]→𝑹 astfel încat :
1. W continuă pe 𝑹𝑛×[𝑡𝐼,𝑡𝑓];
2. W este continuu diferențiabila î n 𝑹𝑛×(𝑡𝑖,𝑡𝑓);
3. W satisface ecuatia lui Bellman ;
𝜕𝑊
𝜕𝑡(𝑥,𝑡)+𝑚𝑖𝑛⏟
𝑢∈𝑅𝑚[𝜕𝑊
𝜕𝑥(𝑥,𝑡)𝑓(𝑥,𝑢)+𝐹(𝑥,𝑢,𝑡)]=0, (𝑥,𝑡)∈𝑹𝑛×(𝑡𝑖,𝑡𝑓). (6.6)
4. 𝑊(𝑥,𝑡𝑓)=0,∀ 𝑥∈𝑹𝑛.
Această teoremă are urmatoare le implicații :
1. Dacă 𝑡𝑚∈[𝑡𝑖,𝑡𝑓) și 𝑢∈[𝑡𝑚,𝑡𝑓], atunci
∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡 ≥𝑊(𝑥𝑚,𝑡𝑚),𝑡𝑓
𝑡𝑖
unde 𝑥 este solu ție unică pentru 𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑢(𝑡)), 𝑡∈[𝑡𝑚,𝑡𝑓], 𝑥(𝑡𝑚)=𝑥𝑚.
2. Dacă există o funție 𝑣:𝑹𝑛×[𝑡𝑖,𝑡𝑓]→𝑹𝑚 astfel încat:
a) ∀ (𝑥,𝑡)∈𝑹𝑛×(𝑡𝑖,𝑡𝑓),
𝜕𝑊
𝜕𝑥(𝑥,𝑡)𝑓(𝑥,𝑣(𝑥,𝑡))+𝐹(𝑥,𝑣(𝑥,𝑡),𝑡)=𝑚𝑖𝑛⏟
𝑢∈𝑅𝑚[𝜕𝑊
𝜕𝑥(𝑥,𝑡)𝑓(𝑥,𝑢)+𝐹(𝑥,𝑢,𝑡)].

52
b) Ecuația 𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑣(𝑥(𝑡),𝑡)), 𝑡∈[𝑡𝑖,𝑡𝑓], 𝑥(𝑡𝑖)=𝑥𝑖, are o soluție unică 𝑥∗.
c) Dacă 𝑢∗ definit de 𝑢∗(𝑡)=𝑣(𝑥∗(𝑡),𝑡),𝑡∈[𝑡𝑖,𝑡𝑓] este un element din 𝑈[𝑡𝑖,𝑡𝑓], unde 𝑈[𝑡𝑖,𝑡𝑓]
reprezintă mulțimea comenzilor admisibile, atunci 𝑢∗ este comandă optimală pentru funcționala
de cost 𝐼𝑥∗, dată de relația
𝐼𝑥∗(𝑢)=∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡, 𝑡𝑓
𝑡𝑖
unde 𝑥 este soluție unică pentru 𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑢(𝑡)), 𝑡𝑚∈[𝑡𝑖,𝑡𝑓], 𝑥(𝑡𝑖)=𝑥𝑖 și în plus
𝐼𝑥∗(𝑢∗)∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡=𝑊(𝑥𝑖,𝑡𝑖)𝑡𝑓
𝑡𝑖. (6.7)
3. Dacă ∀ 𝑡𝑚∈[𝑡𝑖,𝑡𝑓) și ∀ 𝑥𝑚∈ 𝑹𝑛, ecuația 𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑣(𝑥(𝑡),𝑡), 𝑡∈[𝑡𝑚,𝑡𝑓],
𝑥(𝑡𝑚)=𝑥𝑚 are o soluție, atunci 𝑊 este valoarea funcțion alei 𝑉 definită în (6.4).
Demonstrație:
1. Avem
∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡=𝑡𝑓
𝑡𝑚∫[𝜕𝑊
𝜕𝑥(𝑥(𝑡),𝑡)𝑓(𝑥(𝑡),𝑢(𝑡))𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)]𝑑𝑡− 𝑡𝑓
𝑡𝑚
∫𝜕𝑊
𝜕𝑥(𝑥(𝑡),𝑡)𝑓(𝑥(𝑡),𝑢(𝑡))
𝑡𝑓
𝑡𝑚
≥ ∫𝑚𝑖𝑛⏟
𝑢∈𝑅𝑚[𝜕𝑊
𝜕𝑥(𝑥(𝑡),𝑡)𝑓(𝑥(𝑡),𝑢)+𝐹(𝑥(𝑡),𝑢,𝑡)]𝑡𝑓
𝑡𝑚𝑑𝑡−
∫𝜕𝑊
𝜕𝑥(𝑥(𝑡),𝑡)𝑓(𝑥(𝑡),𝑢(𝑡))𝑡𝑓
𝑡𝑚𝑑𝑡
=∫[−𝜕𝑊
𝜕𝑡(𝑥(𝑡),𝑡)−𝜕𝑊
𝜕𝑥(𝑥(𝑡),𝑡)𝑓(𝑥(𝑡),𝑢(𝑡))]𝑑𝑡 𝑡𝑓
𝑡𝑚
=−∫(𝑑
𝑑𝑡𝑊(𝑥(∙),∙ ))𝑡𝑓
𝑡𝑚(𝑡)𝑑𝑡

53
=−𝑊(𝑥(𝑡𝑓),𝑡𝑓)+𝑊(𝑥(𝑡𝑚),𝑡𝑚)
=𝑊(𝑥𝑚,𝑡𝑚).

2. Dacă 𝑥∗ este o soluție pentru 𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑣(𝑥(𝑡),𝑡)), 𝑡∈[𝑡𝑖,𝑡𝑓], 𝑥(𝑡𝑖)=𝑥𝑖, atunci
∫𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)𝑑𝑡=𝑡𝑓
𝑡𝑖∫[𝜕𝑊
𝜕𝑥(𝑥∗(𝑡),𝑡)𝑓(𝑥∗(𝑡),𝑣(𝑥∗(𝑡),𝑡)+𝐹(𝑥∗(𝑡),𝑢∗(𝑡),𝑡)]𝑑𝑡− 𝑡𝑓
𝑡𝑖
∫𝜕𝑊
𝜕𝑥(𝑥∗(𝑡),𝑡)𝑓(𝑥∗(𝑡),𝑣(𝑥∗(𝑡),𝑡))
𝑡𝑓
𝑡𝑖
= ∫𝑚𝑖𝑛⏟
𝑢∈𝑅𝑚[𝜕𝑊
𝜕𝑥(𝑥∗(𝑡),𝑡)𝑓(𝑥∗(𝑡),𝑢)+𝐹(𝑥∗(𝑡),𝑢,𝑡)]𝑡𝑓
𝑡𝑖𝑑𝑡−
∫𝜕𝑊
𝜕𝑥(𝑥∗(𝑡),𝑡)𝑓(𝑥∗(𝑡),𝑣(𝑥∗(𝑡),𝑡))𝑡𝑓
𝑡𝑖𝑑𝑡
=∫[−𝜕𝑊
𝜕𝑡(𝑥∗(𝑡),𝑡)−𝜕𝑊
𝜕𝑥(𝑥∗(𝑡),𝑡)𝑓(𝑥∗(𝑡),𝑣(𝑥∗(𝑡),𝑡))]𝑑𝑡 𝑡𝑓
𝑡𝑖
=−∫(𝑑
𝑑𝑡𝑊(𝑥∗(∙),∙ ))𝑡𝑓
𝑡𝑚(𝑡)𝑑𝑡
=𝑊(𝑥𝑖,𝑡𝑖).
Dar 𝑡𝑚=𝑡𝑖 și știm că dacă 𝑢∈𝑈[𝑡𝑖,𝑡𝑓], atunci
𝐼𝑥∗(𝑢)=∫𝐹(𝑥(𝑡),𝑢(𝑡),𝑡)𝑑𝑡≥ 𝑊(𝑥𝑖,𝑡𝑖). 𝑡𝑓
𝑡𝑖
Asta arată că 𝑢∗(∙)=𝑣(𝑥∗(∙),∙ ) este o comandă optimală care satisface (6.7).
3. Fie 𝑣:𝑅𝑛×[𝑡𝑖,𝑡𝑓]→𝑅𝑚. Pentru ∀ 𝑡𝑚∈[𝑡𝑖,𝑡𝑓) și ∀ 𝑥𝑚∈𝑅𝑛, ecuația
𝑥̇(𝑡)=𝑓(𝑥(𝑡),𝑣(𝑥(𝑡),𝑡)), 𝑡∈[𝑡𝑚,𝑡𝑓], 𝑥(𝑡𝑚)=𝑥𝑚, are o s oluție atunci 𝑊 este valoarea
funcționalei 𝑉 definită de (6 .4).

54
6.3 Aplicație. O ptimizare folosind metoda programării dinamice a lui Bellman

Programarea dinamică este o metodă de optimalitate dinamică, în mod particular bine
adaptată problemelor de optimizare secvențială, adică, pentru care se dorește să se optimizeze
o funcție obiectiv separabilă de timp de -a lungul unei traiectorii. Dezvoltată la sfârșitul anilor
1950 de Bellman, programarea dinamică a fost inițial conceput ă pentru a trata probleme de
control optimal în termeni discreți, dar principiul de optim alitate (descris în subcapitolul 6.1)
al lui Bellman se aplică de asemenea problemelor definite în timp continuu.

Metoda programării dinamice este o metodă de program are care se aplică problemelor
a căror soluție se poate construi dinamic în timp, adică deciziile care conduc la obținerea
rezultatului se pot lua pas cu pas, pe baza deciziilor de la pasul/pașii precedenți.

De obicei, metoda programării dinamice este ade cvată în cazul problemelor care solicită
determinarea unui optim (minim sau maxim), în urma unui proce s decizional care se desfășoară
în mai multe etape. Astfel, se pornește de la o stare inițială și la fiecare pas se ia o decizie care
determină o nouă s tare, până când se ajunge la soluția finală, optimă.

Metoda programarii dinamice se poate aplica cu următoarele abordări:
– Metoda înainte : pentru rezo lvarea problemei se pleacă de la starea finală
– Metoda înpoi: pentru rezo lvarea problemei se pleacă de la starea inițială
– Metoda mixt ă: o combina ție a celor două .

Am ales să descriu principiul metodei programarii dinamice prin exemplul de mai jos , pe care
îl voi rezolva cu metoda înainte .

Un autovehicul trebuie să parcurgă de la stânga la dreapta ruta reprezentată în Figura 1.
Intersecțiile 𝑎,𝑏,…,𝑖 reprezintă orașe , iar numerele reprezintă combustibilul necesar pentru a
parcurge distanța dintre orașe.
Folosi m principiul programării dinamice al lui Bellman pentru a determina ruta ce
trebuie urmată de autovehicul pentru a ajunge din orașul 𝑎 în oraș ul 𝑖 cu consum minim de
combustibil.

55

Considerăm nivelurile de decizie ale procesului de la 𝑘=0 până la 𝑘=4. La fiecare
nivel 𝑘=0,…,𝑛−1 se ia o decizie, acest lucru nu este necesar la ultimul nivel , deoarece
starea finală este impusă.

Figura 2

Starea curentă este nodul î n care luăm decizia curentă. Astfel, starea initială este
𝑥0=𝑎. La nivelul 1, starea poate fi 𝑥1=𝑏 sau 𝑥1=𝑑. Similar 𝑥2=𝑐,𝑒 𝑠𝑎𝑢 𝑔 și
𝑥3=𝑓 𝑠𝑎𝑢 ℎ, iar starea finală este constransă să fie 𝑥𝑛=𝑖.
Pentru a controla 𝑢𝑘 considerăm că la fiecare nivel 𝑘, 𝑢𝑘 poate lua valorile +1 și −1 după
următoarea regula:
Figura 1

56
 𝑢𝑘=+1 dacă ne mișcăm în sus pe diagrama rutelor ;
 𝑢𝑘=−1 dacă ne mișcăm în jos pe diagrama rutelor (nivelul de referință este dat de
nivelul nodului în care se ia decizia).
Pentru a rezolva problema vom parcurge diagrama în sens invers, de la nodul final 𝑖 la
nodul de start 𝑎.
Pornim cu 𝑘=𝑛=4. La acest nivel nu este necesară nicio decizie așa că trecem la
nivelul 𝑘=3:
1) Dacă 𝑥3=𝑓, atunci controlul optimal este 𝑢3=−1, iar costul (adică combustibilul
necesar pentru a ajunge din nodul 𝑖 în nodul 𝑓) este 3 .
2) Dacă 𝑥3=ℎ, atunci controlul optimal este 𝑢3=+1, iar costul este 1 .
Acum trecem la nivelul următor 𝑘=2. Aici vom avem 3 stări posibil e:
1) Dacă 𝑥2=𝑐, atunci controlul este 𝑢2=−1, iar costul este 5+3=8.
2) Dacă 𝑥2=𝑒 trebuie să luăm o decizie:
a) Dacă alegem 𝑢2=+1, o luăm pe ruta 𝑒→𝑓 și apoi aju ngem în nodul 𝑖, având un cost de
1+3=4.
b) Pe de altă parte, dacă luăm 𝑢2=−1, pornim pe ruta 𝑒→ℎ și apoi ajungem în nodul 𝑖, vom
avea un cost de 2+1=3.
Astfel decizia optimală este 𝑢2=−1, cu un cost asociat de 3 .
3) Dacă 𝑥2=𝑔 avem o singură ob țiune: 𝑢2=+1, cu un cost de 3+1=4.
Trecem la nivelul 𝑘=1. Aici vom avea 2 stări posibile.
1) Dacă 𝑥1=𝑏 trebuie să luăm o decizie:
a) Dacă luăm 𝑢1=+1, parcurgem ruta 𝑏→𝑐→𝑓 și apoi ajungem in nodul 𝑖, având un cost
de 1+5+3=9.
b) Dacă luăm 𝑢1=−1, parcurgem ruta 𝑏→𝑒 și apoi continuăm pe ruta optimală aflată mai
sus 𝑒→ℎ→𝑖, având un cost de 2+2+1=5.
Astfel decizia optimală este 𝑢1=−1 cu un cost asociat de 5.
2) De asemenea, în cazul în care 𝑥1=𝑑 trebuie luată o decizie.
a) Dacă luăm 𝑢1=+1, parcurgem ruta 𝑑→𝑒 și apoi continuăm pe ruta optimală 𝑒→ℎ→𝑖,
având un cost de 4+2+1=7.

57
b) Dacă luăm 𝑢1=−1, parcurgem ruta 𝑑→𝑔→ℎ și apoi ajungem în nodul 𝑖, având u n cost
de 1+3+1=5. Astfel decizia optimală este 𝑢1=−1, cu un cost asociat de 5 .

Ajunge m în final la nivelul 𝑘=0. Avem o singură stare posibilă 𝑥0=𝑎 (starea inițială).
a) Dacă luăm 𝑢0=+1, parcurgem ruta 𝑎→𝑏 și apoi continuăm pe ruta optimală 𝑏→𝑒→
ℎ→𝑖, având un cost de 2+2+2+1=7 .
b) Dacă luăm 𝑢0=−1, parcurgem ruta 𝑎→𝑑 și apoi continuăm pe ruta optimală 𝑑→𝑒→
ℎ→𝑖, având un cost de 3+4+2+1=10 .
Decizia optimală este 𝑢1=+1 cu un cost asociat de 7 .
Conform rezultatelor obținute există o s ingură rută optimă de la nodul 𝑎 la nodul 𝑖
care are costul 7 (consumul minim de combustibil): 𝑎→𝑏→𝑒→ℎ→𝑖. Astfel so luția
problemei de cost minim este unică.
Am evidențiat rezultatele obținute mai sus în figura de mai jos ( Figura 3 ).
Cifrele din paranteze reprezintă costul minim ne cesar pentru a ajunge din nodul asociat
numărului din paranteză în nodul final 𝑖.

ruta optimala
𝐹𝑖𝑔𝑢𝑟𝑎 3
Observăm că principiul de optimalitate al lui Bellman a redus numărul calculelor
necesare pentru a rezolva problema prin reducerea numărului deciziilor ce trebuie luate.

58
Capitolul 7. Anexe

7.1 Cod pen tru problema opriri i unui tren î n stație 5.2.I

S=dsolve( 'Dxl=x2,Dx2=p2,Dpl=0,Dp2=pl, xl(0)=1,×2(0)=2,xl(2)=1,×2(2)=0' )
S.xl
S.x2
S.pl
S.p2
S =
x2: [1×1 sym]
xl: [1×1 sym]
p1: [1×1 sym]
p2: [1×1 sym]
>>S.xl
=t^3/2 – 2*t^2 + 2*t + 1
>> S.x2
= (3*t^2)/2 – 4*t + 2
>>S.p1
=3
>> S.p2
=4 – 3*t
%% Convertim valori le simbolice în valori numerice pentru a determina graficul traiectoriilor
j=1;
for td=0:.02:2
t=sym(td);
xld(j)=double(subs(S.xl)); %convertește valoare simbolică în double
x2d(j)=double(subs(S.x2));
ud(j)= -double(subs(S.p2));
tl(j)=td;
j=j+1;
end
plot(tl,xld, 'k',tl,x2d, 'k',tl,ud, 'k:')
xlabel ( 't')
gtext( 'x_l(t)' )

59
gtext ( ' x_2(t)' )
gtext ( ' u(t)')

7.2 Cod pentru problema oscilatorului armonic 5.2.II

function Oscilator
% Sistemul de ecu ații de ordin I initial
syms x1 x2 p1 p2 u;
Dx1 = x2;
Dx2 = -x2 + u;
% În variabila g salvăm funcț ionala de cost din interiorul integralei
syms g;
g = 0.5*u^2;
% Formă m Hamiltonianul
syms p1 p2 H;
H = g + p1*Dx1 + p2*Dx2;
% Formă m sistemul dual
Dp1 = -diff(H,x1);
Dp2 = -diff(H,x2);
% Aplicăm condiț ia de optimalitate ș i rezultă că u=-p2.
du = diff(H,u);
sol_u = solve(du, 'u');
% Substituim u= -p2 în ecuatiile sistemului inițial, deci Dx2= -p2-x2
Dx2 = subs(Dx2, u, sol_u);
% Convertim valorile si mbolice ale ecuațiilor în ș iruri
% strcat -concatenează ș irul orizontal î ntr-un vector
eq1 = strcat( 'Dx1=' ,char(Dx1));
eq2 = strcat( 'Dx2=' ,char(Dx2));
eq3 = strcat( 'Dp1=' ,char(Dp1));
eq4 = strcat( 'Dp2=' ,char(Dp2));
% În sol_h rezolvăm sistemul de ecuaț ii ant erior
sol_h = dsolve(eq1,eq2,eq3,eq4) ;
%% Introducem condiț iile la capete
% Cazul a: x1(0)=x2(0)=0; x1(2) = 5; x2(2) = 2 ;

60
conA1 = 'x1(0) = 0' ;
conA2 = 'x2(0) = 0' ;
conA3 = 'x1(2) = 5' ;
conA4 = 'x2(2) = 2' ;
% sol_a calculeaza sistemul ecuaț iilor de stare ș i adjuncte cu conditii la capete
sol_a = dsolve(eq1,eq2,eq3,eq4,conA1,conA2,conA3,conA4)
% Scriem traiectoriile optimale pentru x1 si x2 din sistemul calculat de noi
sol_calculata = {@(t)(7.289*t -6.103+6.696*exp( -t)-0.593*exp(t)), …
@(t)(7.289 -6.696*exp( -t)-0.593*exp(t))};
time = linspace(0,2,20); % alegem t de la 0 la 20 din 2 î n 2.
s_calculata = [sol_calculata{1}(time); sol_calculata {2}(time)]; % soluția x1, x2 pentru
valorile lui t
% Plotam traiectoriile optimale
figure(1);
ezplot(sol_a.x1,[0 2]); hold on; %ezplot trasează soluția optimală x1 pe [0 2]
ezplot(sol_a.x2,[0 2]);
ezplot( -sol_a.p2,[0 2]); % trasă m graficul come nzii optimale u=-p2
plot(time, s_calculata ,'*');
axis([0 2 -1.6 7]); % alegem sistemul de axe
text(0.6,0.5, 'x_1(t)' ); % se insereaza text î n figură pentru coordo nate respective
text(0.4,2.5, 'x_2(t)' );
text(1.6,0.5, 'u(t)');
xlabel( 'time' );
ylabel( 'states' );
title( 'Solutions comparison (case a)' );
hold off;
% Cazul b: (a) x1(0)=x2(0)=0; p1(2) = x1(2) – 5; p2(2) = x2(2) -2;
% Se convertesc în șiruri (grupuri de date) valorile simbolice din sol_h.x1,…și se aplică
%condiț iile la capete (char – transformă un vector într -un vector de caractere)
eq1b = char(subs(sol_h.x1, 't',0));
eq2b = char(subs(sol_h.x2, 't',0));
eq3b = strcat(char(subs(sol_h.p1, 't',2)),'=',char(subs(sol_h.x1, 't',2)),'-5');
eq4b = strcat(char(subs(sol_h.p2, 't',2)),'=',char(subs(sol_h.x2, 't',2)),'-2');
% sol_b rezolvă sistemul ecuaț iilor de stare ș i adjuncte cu conditii la capete
sol_b = solve(eq1b,eq2b,eq3b,eq4b);

61
% Converteș te în numere de tip double
C1 = double(sol_b.C1);
C2 = double(sol_b.C2);
C3 = double(sol_b.C3);
C4 = double(sol_b.C4);
% sol_b2 at ribuie lui x1 valoarea simbolică din sol_h.x 1, idem pentru celelalte
sol_b2 = struct( 'x1',{subs(sol_h.x1)}, 'x2',{subs(sol_h.x2)}, 'p1',…
{subs(sol_h.p1)}, 'p2',{subs(sol_h.p2)});
% Plotă m rezultatele
clear sol_calculata time s_calculata ;
% Scriem traiectoriile optim ale pentru x1 ș i x2 din sistem calculate la punctul b)
sol_calculata = {@(t)(2.697*t -2.422+2.560*exp( -t)-0.137*exp(t)), …
@(t)(2.697 -2.560*exp( -t)-0.137*exp(t))};
time = linspace(0,2,20);
s_calculata = [sol_calculata{1}(time);sol_calculata {2}(time)]; % sol x1 ș i x2
figure(2);
ezplot(sol_b2.x1,[0 2]); hold on; %ezplot trasează soluția optimală x1 pe [0 2]
ezplot(sol_b2.x2,[0 2]);
ezplot( -sol_b2.p2,[0 2]); %plotă m comanda: u=-p2
plot(time, s_calculata ,'*');
axis([0 2 -.5 3]);
text(1,.7, 'x_1(t)' );
text(0.4,1, 'x_2(t)' );
text(.2,2.5, 'u(t)');
xlabel( 'time' );
ylabel( 'states' );
title( 'Solutions comparison (case b)' );
hold off;
% case c: (a) x1(0)=x2(0)=0; x1(2)+5*x2(2) = 15; p2(2) = 5*p1(2);
% Se convertesc în șiruri valorile simbolice din sol_h.x1… și se aplică condiț iile la capete
eq1c = char(subs(sol_h.x1, 't',0));
eq2c = char(subs(sol_h.x2, 't',0));
eq3c = strcat(char(subs(sol_h.p2, 't',2)),'-(',char(subs(sol_h.p1, 't',2)),')*5');
eq4c = strcat(cha r(subs(sol_h.x1, 't',2)),'+(',char(subs(sol_h.x2, 't',2)),')*5-15');
sol_c = solve(eq1c,eq2c,eq3c,eq4c);

62
% Convertește î n numere de tip double
C1 = double(sol_c.C1);
C2 = double(sol_c.C2);
C3 = double(sol_c.C3);
C4 = double(sol_c.C4);
% În sol_c2 se at ribuie lui x1 valoarea simbolică din sol_h.x1, idem x2, p1, p2
sol_c2 = struct( 'x1',{subs(sol_h.x1)}, 'x2',{subs(sol_h.x2)}, 'p1',…
{subs(sol_h.p1)}, 'p2',{subs(sol_h.p2)});
% Plotă m rezultatele pentru cazul c
clear sol_calculata time s_calculata ;
%Scriem traiectoriile optimale pentru x1 si x2 din sistemul calculate la c
sol_calculata = {@(t)(0.894*t -1.379+1.136*exp( -t)+0.242*exp(t)), …
@(t)(0.894 -1.136*exp( -t)+0.242*exp(t))};
time = linspace(0,2,20);
s_calculata = [sol_cal culata{1}(time);sol_calculata{2}(time)];
figure(3);
ezplot(sol_c2.x1,[0 2]); hold on;
ezplot(sol_c2.x2,[0 2]);
ezplot( -sol_c2.p2,[0 2]); %plotă m comanda: u= -p2
plot(time, s_calculata, '*');
axis([0 2 0 5]);
text(1.4,.9, 'x_1(t)' );
text(0.6,1, 'x_2(t)' );
text(.8,2.2, 'u(t)');
xlabel( 'time' );
ylabel( 'states' );
title( 'Solutions comparison (case c)' );
hold off;

63
Capitolul 8. Concluzii

Lucrarea de față prezintă o sinteză a calculu i variațional și o introducere în ramura mai
nouă a matema ticii numită teoria controlului.
Conceptul de control optimal a fost abordat din 3 puncte de vedere: calculul variațional,
principiul maximului și principiul optimului al lui Bellman.
În prima parte a lucră rii am analizat ecuația Euler -Lagrange care este utilă î n rez olvarea
problemelor de optimizare în care, date fiind unele funcționale, se dorește găsirea valorii
maxime/minime. În această secțiune am detaliat cele mai importante moduri în care regă sim
ecuația Euler -Lagrange și am exemplificat prin probleme în care am determinat graficul
extremalei cu ajutorul Matlab.
De asemenea, am exemplificat noțiunile de bază ale calcului variațional pornind d e la
câteva probleme de extrem clasice prec um problema brachistochronei, pendule etc.
Pasul imediat următor a fost descri erea dinamicii Hamiltoniene, adică trecerea de la
ecuațiile Euler -Lagrange de ordinul al doilea, la ecuațiile de ordinul întâi Hamilton.
A doua parte a lucrarii conține elemente din ramura controlului , sunt descrise metodele
de optimizare dinamică (metoda multiplicatorilor Lagrange – metoda variațională, principiul
maximului și principiul de optimalitate a lui Bellman), concomitent fiind tratat si princi piul
bang -bang pentru restricții de tip inegalitate, când controlul optimal trece de la o extrem itate la
alta (adică nu este strict între limite).
Metodele variaționale de opti mizare se utilizează în cazul p roceselor continue, având
un indice de performanț ă de tip pătratic (probleme de tip Bolza), iar principiul lui Pontriaghin
se utilizează în cazul problemelor care nu pot fi soluționate prin metoda calculului
variațional – de exemplu ecuații de tip Euler -Lagrange, avantajul principiului fiind că acesta
caută soluția optimală pe frontiera d omeniului comenzilor admisibile
Principiul de optimali tate a l lui Bellman ne ajută la rezolvarea proble melor de
optimizare secvențială, permite reducerea procesului de decizie în 𝑁 pași la un proces secvențial
de 𝑁 procese de decizie cu un singur pas.
Pentru a evidenția partea teoretic ă a lucrarii am realizat grafice și aplicații în mediul de
programare Matlab, acest lucru m -a ajutat la înțelegerea rezultatelor obținute prin calcul scris.
Aplicații le abordează î ntr-o manieră detaliată probleme funda mentale ale controlului
optimal prec um:

64
-minimizarea unei funcționale
-oprirea unui tren în stație cu efort minim
-controlul unui oscilator
-determinarea unei rute optimale.

În concluzie, scopul problemelor de control optimal este realizarea transferului unui
sistem dintr -o stare inițial ă într -o stare finală cu cost minim, respectându -se restricțiile impuse.

65
Bibliografie

1. Cătă lin George -Lefter, Calculul v ariațiilor și controlul sistemelor diferențiale, Editura
Alexandru -Myler, Iași, 2006
2. Constantin Udriste, Sorin Comșa, Gloria Cosovici etc , Calcul V ariațional , Contract Posdru ,
București, 2011
3. Constantin Udriste , Laura Matei, Teorii Lagrange -Hamilton , Geometry Balk an Press,
Bucureș ti, 2008
4. Desinemi Subbaram Naidu, Optimal Control Sistem , CRC Press , June, 2002
5. Donald E. Kirk, Optimal Control Theory An Introduction, Prentince -Hall Inc. , New Jersey,
1970
6. Lawrence C. Evans, An Introduction to Mathematical Optimal Control Theory Version 0.2,
Department of Mathematics, University of Californ ia, Berkeley
7. Valeriu Prepeliță , Cursuri Teoria sistemelor și control optimal , Anul III, Facultatea de
Știinte Aplicate
8. Valeriu Prepeliță ., Tiberiu Vasilache , Mona Doroftei , Control Theory , UPB Department of
Engineering Sciences, 1997
9. https://www.scribd.com/document/6929846/Introduction -to-Control -Theory -Including –
Optimal -Control
10. http://obadeanu.users.info.uvt.ro/wordpress/wp -content/uploads/2013/01/SDD -22.2.pdf
11. http://obadeanu.users.info.uvt.ro/wordpress/wp -content/uploads/2013/01/SDD -23.2.pdf
12. https://www.scribd.com/document/249606908/Calculus -of-Variations -Optim al-Control
13. https://wiki -proiecte.wikispaces.com/file/view/programare%20dinamica.pdf/