Comunicatii de Date. Modelare Matematica Si Mathcad

INTRODUCERE

Necesitatea studierii comunicațiilor de date

(nevoia de performanta, stabilitate,fiabilitate,standardizare)

Inca de la inceputurile sale, omul a resimtit nevoia comunicarii. dacă la inceput au fost folosite semne și zgomote ce se asemanau celor produse de celelalte animale, în timp aceste metode rudimentare de comunicare au luat forme din ce în ce mai avansate.

Dupa comunicarea directa, comunicarea de grup, comunicarea logica, articulata, cea care asigura existenta unor indivizi ce coexistau în acelasi spatiu geografic restrans, a aparut o nouă nevoie : nevoia de comunicare la distanța.

Distanta putea diferi și ea : pe distanțe mari – zeci sau sute de kilometri – sau distanțe mici – câțiva kilometri.

Dintre metodele de comunicare pe distanțe scurte, amintim mesajele « nori de fum », folosite de amerindieni, ce puteau transmite de la câteva cuvinte, la câteva propoziții simple, mesajele purtate de carausi pedestrii, sau calare.

Pe distanțe lungi, se foloseau, ca modalitate de transmitere a unui singur mesaj dinainte stabilit de părțile comunicante, focurile aprinse din aproape în aproape pe crește de munti sau zone înalte vizibile reciproc doua câte doua. Astfel, cel mai întâlnit mesaj era cel de solicitare de ajutor : dacă una din părți ar fi fost atacata și ar fi avut nevoie de asistenta celeilalte parti, ar fi aprins focul din apropierea sa ; urmatorul punct de ardere, la vederea focului dinaintea sa, se aprindea și el, și tot asa, până când focul din tabara căreia i se cerea ajutorul se aprindea.

O alta metoda era cea a carausului : carausul putea fi o pasare special antrenata să ajunga la o destinatie precisa, căreia i se atasa o mică tolba de picior în care se punea un ravas cu mesajul dorit, sau carausul putea fi chiar un calaret.

Cand era vorba de distanțe care depășeau câțiva zeci de kilometri, adică distanțe care nu puteau fi parcurse de un singur cal intr-o singura sesiune, și mesajul era urgent, fie se foloseau alți cai care puteau fi schimbați la anumite locatii dinainte stabilite, fie se schimba curierul cu tot cu cal.

Progresul tehnologic al omenirii a dus, în timp, la aparitia unor metode din ce în ce mai eficiente de transmitere a informației, pe distanțe tot mai mari, peste regiuni geografice cu un relief din cel mai variat : mlastini, ape curgatoare, lacuri, munti, zone greu impadurite, etc. Aceste zone puteau fi greu, dacă nu imposibil de trecut de persoane calare, sau faceau semnalele de fum neobservabile.

Odata cu descoperirea telegrafului, a crescut distanța de transmitere, cantitatea de informație transmisa, scazand costul comunicarii – lipsa cailor, a curierilor, a antrenarii păsărilor – drastic crescand viteza de ajungere a informației de la emițător la receptor.

Astfel, comunicația mai eficienta a grabit, la rândul sau, dezvoltarea tuturor celorlalte ramuri ale societatii umane , pornind de la industrie și ajungand până la apropierea dintre indivizi.

Dar comunicația nu s-a oprit la telegraf. Putin mai tarziu, descoperirea telegrafului a culminat cu inventarea telefonului, care a purtat la un nivel superior comunicarea personala, facilitand, pe langa creșterea de viteza a transmiterii informațiilor impersonale, a implicarii în comunicare și a unui grad mai avansat de emotii și sentimente .

“De ce să ne oprim aici?” se auzi o voce în mintea unora. ‘Cum ar fi să putem trimite poze, imagini pe care să la vadă toata lumea  deodata, și să se și miste aceste imagini?’ Da. și mintile animate de creativitate și de dorinta de a lasa ceva omenirii, s-au pus în miscare.

Rotitele Universului s-au mai invartit de câteva ori și treptat, unindu-si fortele, matematicieni, electronisti și chimisti au pus la cale aparitia miraculoasei – pe atunci – « cutii cu imagini ». Televizorul.

‘Oameni buni, stiti ce ar fi cu adevarat uimitor ? dacă am putea să punem oamenilor din televizor și partea care i-ar intregi? Vocea!’ și glasul acestora s-a facut auzit. Nu fara ecou, că orice strigat constructiv din istoria omenirii.

Ecoul a adus cu sine aparitia filmului cu sonor. Iata deci – acum banal – televizorul, în spatele caruia dansuiau și cantau oameni ‘atat de mici că incapeau în cutia de lemn’, dar și oameni care spuneau lumii ultimele stiri care se petreceau intr-insa.

Abia acum, informațiile receptionate de publicul larg, au ajuns la apogeul fortei lor de penetrare.

Dar toate acestea au avansat, la rândul lor fiind baza pentru noi inventii și din ce în ce mai multe ramuri ale industriei și cercetarii au inceput sa-si uneasca eforturile în vederea obtinerii de noi produse și tehnologii din ce în ce mai performante.

Batranul – de pe-acum – telefon, impovarat de necesitatea mobilitatii celor care aveau de transmis informații, s-a aliat cu tehnologia oferita omenirii de satelitii sai ce inconjura Pamantul, dand nastere, pe langa varianta vache, fixa, unui nou tip de telefon : telefonul mobil. Folosind tehnologia care ia din ce în ce mai multa amploare : WIRELESS, care se bazeaza pe radiatii electromagnetice (fie ele unde radio, LASER, microunde, etc.).

Avem deja posibilitatea, în prezent, oferita pe scara larga de telefonia mobila, de a atasa imagini, sau chiar scurte inregistrari filmate, unor mesaje care ajung la receptor, de asemenea posesor al unui telefon mobil. Dar nu putem inca face transmisii în direct de imagini animate și de sunet de pe telefonul mobil pe altul de aceeasi natura.

Insa din spate, pentru publicul larg, vine puternic tehnologia care permite transmisia REALTIME, adică în timp real, de sunet și imagine în miscare, facilitate oferita de telefonia fixa. Video-conferintele sunt cel mai graitor exemplu de video-fon. Iata deci, ultimul și cel mai important pas în comunicația interpersonala la distanța. Putem transmite și informații, dar, poate cel mai important, sentimente, emotii umane intr-o cea mai avansata forma posibila la distanța.

A venit momentul să aruncam o privire mai în adancul tehnologiilor de ‘ultima ora’. Ce sta oare la baza lor ?

Raspunsul vine sub forma scurta : COMPUTER-ele.

Un computer este un ansamblu de componente fizice și logice, care conlucreaza conform unor seturi de reguli numite protocoale, pentru a oferi asistenta precisa activitatii umane. Ele controleaza, asista și ofera viteza unor procese care ar necesita un volum enorm de gandire umana.

In interiorul unui computer, fenomenul de comunicare globala se desfasoara la mivel microscopic. Toate componentele calculatorului se afla intr-o interdependenta continua în fiecare fractiune de secunda a funcționarii sale că tot unitar. în fiecare moment, exista cel putin un circuit în care circula un pachet de date de la o componenta catre o alta sau catre un grup de componente. Se realizeaza astfel, comunicațiA DE DATE. Da. Chiar și aici, în calculator, sau mai bine zis, ‘AICI !’ cu siguranta, comunicarea ia multe forme și sta la baza funcționarii acestui mecanism complicat, iar pentru că acest computer a ajuns să fie instrumentul esential societatii noastre, putem spune că : comunicația de date la orice nivel, constituie baza societatii .

Am vazut ce rol are comunicarea de informații, de date de orice fel, asupra dezvoltarii societatii și implicit asupra dezvoltarii intelectuale a omului.

Dar ce insemnatate ar avea transmisia, comunicația de date dacă aceasta s-ar produce cu ERORI ? Sau : nu ar trebui să PROTEJAM cumva informațiile în timpul transmiterii lor ?

Sa privim lucrurile cronologic și să analizam eforturile care au fost facute intotdeanuna în cele doua privinte.

ERORILE de transmitere a informațiilor în cazul mesajelor “cu fum” , a focurilor “din aproape în aproape”, sau a mesajelor de tipul sunarii în bucium, adică cele monosensuale, erau prectic nule. De ce? Pentru că în primul caz, turnurile nu se aprindeau decat în caz de urgenta, iar mesajul era liniar, neper-mitand erori “Avem nevoie de ajutor !”. Semnalele de fum  aveau de asemenea mesaje liniare bine cunoscute de cei care le practicau, dar aveau dezavantajul că erau vulnerabile la conditiile atmosferice. Oricum, un mesaj, era mereu transmis de un număr stabilit de ori, și dupa intelegerea mesajului, se primea apoi un mesaj de confirmare sau răspuns, dupa caz. La comunicația tip ‘bucium’,’corn’, sau alte instrumente cu puternic zgomot, iarasi nu aveau cum să apara neintelegeri, pentru că mesajul era de asemenea liniar : ‘oșteni, strângeți-vă !’,sau ‘Navalesc dusmanii, luati-va masurile de rigoare !’.

Erori puteau aparea în cazul mesajelor ce necesitau intermedieri. La capitolul eroare, nu putem include decat esecul curierului de a razbate până la destinatie, caz în care comunicația poate fi socotita că esuata : porumbelul a avut un accident, a fost vanat din gresala, calul și calaretul au intampinat dificultati de ordin neprevazut care le-a cauzat imposibilitatea de a livrea mesajul în timp util, lucru care a dus la esecul actului comunicației.

La telegraf și telefon, cea mai mare sursa de erori erau cele care constau în avarierea accidentala a caii de comunicație, a firelor de pe stalpi sau chiar a stalpilor pe care firele de comunicație erau postate, din diverse cauze naturale. Alte surse de eroare, puteau fi constituite de caderea tensiunii sau avarierea temporara/neobservabila sau observabila a modulatoarelor de semnal la emitent (de exemplu).

In cazul televizorului, erorile de comunicație se datorau și inca se datoreaza în principal interferentelor magnetice/electromagnetice putenice produse de surse aflate în vecinatatea emițătorului sau a receptorului, precum și defectari ale aparaturii.

Tot interferențele (magnetice) sunt problema majoră pentru orice tip de tehnologie WIRELESS : telefonie mobilă, transmisii prin satelit, etc.

În interiorul computerelor, cât și între computere, erorile apar din numeroase motive : fluctuatii ale sursei – incapacitatea permanentă/temporară a unora din componente de a mai funcționa – , defectarea unor componente din cauza utilizarii în exces și a slabei intretineri, interferente, defectiuni ale cablajului de legatura intre terminale din cauze naturale, defectare componente de legatura, erori umane de manipulare a entităților hardware si/sau software,etc.

PROTEJAREA informațiilor a fost avuta în vedere inca de la inceput. Din diverse motive, se pot gasi mereu părți terte, din afara partilor care doresc să comunice, părți terte care doresc intreruperea actului comunicațional, prin mijloace vazute de cele mai multe ori ca sabotaje.

Sa ne imaginam că locurile înalte unde se aprindeau focurile ‘din aproape în aproape’ ar fi fost lasate nesupravegheate. În acest caz, un grup ar fi putut cauza panica și dezordine în existenta celor doua părți intre care focurile ar fi trebuit să fie mijloc de comunicare : aprindeau unul din turnuri. Și de aici, focurile s-ar fi aprins din aproape în aproape până la cele doua parti. Mai departe, e usor de imaginat vulnerabilitatea produsa. De aceea, turnurile erau în permanenta pazite.

Modul de comunicare cel mai vulnerabil la sabotaj a fost și ramane transmiterea prin « purtatori », sau prin « carausi ».

Exemple se gasesc pretutindeni în istorie. Cel mai cunoscut este probabil sabotajul legat de ‘Declaratia De Independenta’ a Statelor Unite ale Americii. în ce constă sabotajul ?

Curierul era impiedicat să ajunga la destinatie cu informațiile din grija prin inlocuire malitioasa cu o persoana ce purta informații eronate, fie prin schimbarea cu sau fara voia lui a mesajului, fie prin simpla retinere a lui de catre o terta parte, ce nu ar fi avut în interes ajungerea mesajului.

Metoda era valabila și la porumbeii calatori, acestia fiind în general impuscati și inlocuiti cu altii purtand mesaje false.

METODE de PROTECTIE a comunicației de date au existat inca de la inceput : curierii cavaleristi erau alesi din rândul apropiatilor celui care emitea mesajul, era dotat cu un mesaj cheie ce actiona drept parola, purta un insemn ce nu putea fi duplum  aveau de asemenea mesaje liniare bine cunoscute de cei care le practicau, dar aveau dezavantajul că erau vulnerabile la conditiile atmosferice. Oricum, un mesaj, era mereu transmis de un număr stabilit de ori, și dupa intelegerea mesajului, se primea apoi un mesaj de confirmare sau răspuns, dupa caz. La comunicația tip ‘bucium’,’corn’, sau alte instrumente cu puternic zgomot, iarasi nu aveau cum să apara neintelegeri, pentru că mesajul era de asemenea liniar : ‘oșteni, strângeți-vă !’,sau ‘Navalesc dusmanii, luati-va masurile de rigoare !’.

Erori puteau aparea în cazul mesajelor ce necesitau intermedieri. La capitolul eroare, nu putem include decat esecul curierului de a razbate până la destinatie, caz în care comunicația poate fi socotita că esuata : porumbelul a avut un accident, a fost vanat din gresala, calul și calaretul au intampinat dificultati de ordin neprevazut care le-a cauzat imposibilitatea de a livrea mesajul în timp util, lucru care a dus la esecul actului comunicației.

La telegraf și telefon, cea mai mare sursa de erori erau cele care constau în avarierea accidentala a caii de comunicație, a firelor de pe stalpi sau chiar a stalpilor pe care firele de comunicație erau postate, din diverse cauze naturale. Alte surse de eroare, puteau fi constituite de caderea tensiunii sau avarierea temporara/neobservabila sau observabila a modulatoarelor de semnal la emitent (de exemplu).

In cazul televizorului, erorile de comunicație se datorau și inca se datoreaza în principal interferentelor magnetice/electromagnetice putenice produse de surse aflate în vecinatatea emițătorului sau a receptorului, precum și defectari ale aparaturii.

Tot interferențele (magnetice) sunt problema majoră pentru orice tip de tehnologie WIRELESS : telefonie mobilă, transmisii prin satelit, etc.

În interiorul computerelor, cât și între computere, erorile apar din numeroase motive : fluctuatii ale sursei – incapacitatea permanentă/temporară a unora din componente de a mai funcționa – , defectarea unor componente din cauza utilizarii în exces și a slabei intretineri, interferente, defectiuni ale cablajului de legatura intre terminale din cauze naturale, defectare componente de legatura, erori umane de manipulare a entităților hardware si/sau software,etc.

PROTEJAREA informațiilor a fost avuta în vedere inca de la inceput. Din diverse motive, se pot gasi mereu părți terte, din afara partilor care doresc să comunice, părți terte care doresc intreruperea actului comunicațional, prin mijloace vazute de cele mai multe ori ca sabotaje.

Sa ne imaginam că locurile înalte unde se aprindeau focurile ‘din aproape în aproape’ ar fi fost lasate nesupravegheate. În acest caz, un grup ar fi putut cauza panica și dezordine în existenta celor doua părți intre care focurile ar fi trebuit să fie mijloc de comunicare : aprindeau unul din turnuri. Și de aici, focurile s-ar fi aprins din aproape în aproape până la cele doua parti. Mai departe, e usor de imaginat vulnerabilitatea produsa. De aceea, turnurile erau în permanenta pazite.

Modul de comunicare cel mai vulnerabil la sabotaj a fost și ramane transmiterea prin « purtatori », sau prin « carausi ».

Exemple se gasesc pretutindeni în istorie. Cel mai cunoscut este probabil sabotajul legat de ‘Declaratia De Independenta’ a Statelor Unite ale Americii. în ce constă sabotajul ?

Curierul era impiedicat să ajunga la destinatie cu informațiile din grija prin inlocuire malitioasa cu o persoana ce purta informații eronate, fie prin schimbarea cu sau fara voia lui a mesajului, fie prin simpla retinere a lui de catre o terta parte, ce nu ar fi avut în interes ajungerea mesajului.

Metoda era valabila și la porumbeii calatori, acestia fiind în general impuscati și inlocuiti cu altii purtand mesaje false.

METODE de PROTECTIE a comunicației de date au existat inca de la inceput : curierii cavaleristi erau alesi din rândul apropiatilor celui care emitea mesajul, era dotat cu un mesaj cheie ce actiona drept parola, purta un insemn ce nu putea fi duplicat sau instrainat (semne caracteristice).

Mesajele insele erau pecetluite cu ceara și cu insemnele inelului sau unei alte metode de ‘stampilare’ a emitentului, scrisul era examinat de primitor în vederea autentificarii, sau mesajele erau cifrate.

Aceasta metoda a cifrarii, a criptarii mesajelor, este cea mai des folosita în cazul telefonului și a telegrafului pentru caile oficiale, iar pentru uzul general, metodele de protectie nu difera cu nimic de rationamentele de amplasare : firele erau plasate foarte sus pe stalpi, pentru a ingreuna accesul la ele a persoanelor neautorizate. Televiziunea foloseste și ea incriptarea informațiilor transmise, proces care este decriptat doar de catre instrumente speciale furnizate de televiziunea emitenta a semnalului pentru canale cu tarif special sau pentru canale video de securitate.

Unul din cele mai complicate modele de incriptare cu un număr mare de variabile a semnalului il are orice tehnologie wireless. Aici, informațiile transmise sunt de obicei vitale, esentiale, și securitatea ‘cantareste‘ probabil jumătate sau chiar mai mult din insemnatatea lor.

NEVOIA DE STANDARDIZARE, este un aspect important al comunicarii de toate tipurile. Standardul de comunicație în tehnologia telegraf, a fost codul Morse. Fara un cod general cunoscut nu se putea realiza comunicația la nivel global. Acest fapt s-a observat și odata cu aparitia primelor retele locale de calculatoare. Modul lor de construire și funcționare era atat de diversificat, încât atunci când s-a pus problema unificarii lor intr-o retea globala, au aparut probleme pe toate planurile ( atat conceptual cat și arhitectural ).

A fost nevoie să se infiinteze o autoritate în domeniu, care să introduca, să elaboreze un set de reguli care să guverneze atat constructia cat și modul de funcționare a tuturor retelelor locale cat și a noii retele globale. așa a ajuns ISO (Organizatia Internationala de Standardizare) să elaboreze modelul, standardul de comunicare de date OSI (Open Systems Interconnection= Interconectarea Sistemelor Deschise).

STABILITATEA și FIABILITATEA sunt factori determinanti în conceperea unui sistem comunicațional. Ce sens ar avea un sistem în care procentul de producere a erorilor sau de nerezolvare a acestora ar fi mare ? Ce sens ar avea deci un sistem în care pierderea iremediabila a informației ar fi mare? răspunsul este că nu ar avea nici un sens. Eforturile de eliminare a erorilor și de adaptare-portabilitate a sistemelor comunicaționale sunt în permanenta puse la incercare, dar mai ales în momentul conceperii sistemului.

Un sistem este stabil atunci când procentajul defectarilor sale urmate de pierderea iremediabila a datelor este neglijabil.

Intr-un sistem comunicațional considerat fiabil, raportul calitate/pret este convenabil, de asemenea funcționarea să nu da probleme mari de intretinere ulterioara, și prezinta posibilitatea depanarii relativ fara eforturi considerabile în caz de defectiune.

Am vazut, în cele spuse mai inainte, evolutia succinta și câteva din calitatile și preocuparile legate de un sistem comunicațional.

Am stabilit că societatea nu ar putea exista fara comunicație de date. Iar odata cu comunicația, apar și problemele atat inerente cat și imanente acesteia.

Studiind toate aceste aspecte legate de actul propriu-zis al transmiterii și receptionarii de informații, putem spune că studiem, în sine, una dintre cele mai importante trasaturi ale lumii moderne.

Capitolul I: MODELARE MATEMATICA

Modelarea matematica este acea ramura a stiintei, în speta a matematicii, care se ocupa cu aducerea realitatii la nivelul de “intelegere” al entități lor exacte (aparatul matematic, computerul), în vederea obtinerii de modificari controlate a evenimentelor sau în vederea obtinerii de rezultate de perspectiva, de previziuni bazate pe fapte concrete dar și pe fapte aleatoare.

Modelarea matematica foloseste pentru funcționarea sa, un puternic substrat probabilistic, motiv pentru care vom deschide capitolul cu prezentarea unor notiuni de probabilistica.

I. A. VARIABILE ALEATOARE :

Vom defini pentru inceput câteva notiuni fundamentale:

Numim experiment, un act ce se poate repeta în conditii date.

Numim proba, realizărea o singura data a experimentului.

Numim eveniment, rezultatul posibil al unei probe.

Numim eveniment elementar, rezultatul obtinut în realizărea unei singure probe.

Numim eveniment sigur, acel eveniment care se realizează cu certitudine la efectuărea unei probe (se noteaza de obicei cu spatiul total: Ω sau X).

Numim eveniment imposibil acel eveniment care nu se realizează în niciuna din probe efectuate(se notează de obicei cu ).

Definim variabilă aleatoare reala pe campul de evenimente (Ω, Қ)ca fiind orice aplicatie ξ : Ω → R pentru care

{ω: ξ( ω ) є I} є Қ

oricare ar fi intervalul I al dreptei reale.

Se noteaza uzual cu

ξ :

ceea ce inseamna că «evenimentul ’xi ‘ se întâmplă cu probabilitatea ‘pi’ ».

Conditia care se impune este că .

De asemenea, p = . Pentru evenimentul sigur, consideram probabilitatea p = 1, iar pentru evenimentul imposibIl probabilitatea p = 0.

Variabilele aleatoare se impart în doua câtegorii, dupa multimea de valori:

variabile aleatoare continue

variabile aleatoare discrete

Variabilele aleatoare de tip continuu, sunt acele variabile aleatoare ale caror mulțimi de valori posibile sunt intervale ale dreptei reale ( nu neaparat marginite).

Variabilele aleatoare discrete, sunt acele variabile aleatoare ale caror mulțimi de valori posibile sunt finite, sau cel mult numărabile.

Vom numi lege de probabilitate corespondenta intre valorile posibile ale variabilei aleatoare și probabilitățile corespunzatoare.

Sa consideram următorul joc : se arunca un zar și un jucator primește 2 puncte dacă apare fața 1, primește 4 puncte dacă apare fața 2 sau fața 3 ; primește 5 puncte dacă apare fața 4 ; pierde 6 puncte dacă apare una din fețele 5 sau 6. Vom considera că zarul este corect.

Notam cu ξ  numărul de puncte obtinute de jucatorul respectiv. Tabloul distribuției acestei variabile aleatoare este ξ : .

Sa presupunem acum că acest joc se repeta de ‘n’ ori. dacă în cele ‘n’ aruncari ale zarului :

de n1 ori a apărut fața 1

de n2 ori a apărut una din fețele 2 sau 3

de n3 ori a apărut fața 4

de n4 ori a apărut una din fețele 5 sau 6, atunci jucatorul considerat a primit

de n1 ori 2 puncte, de n2 ori 4 puncte, de n3 ori 5 puncte și de n4 ori -6 puncte, totalizand :

2n1+4n2+5n3 – 6n4 puncte, unde n1+n2+n3 +n4=1

Dacă acesta este numărul total de puncte obtinut, atunci în fiecare joc a obtinut, în medie, 2n1+4n2+5n3 – 6n4 puncte

n

Dacă n este suficient de mare, atunci frecventa aparitiei feței 1 a zarului, ,este aproximativ egala cu  ; la fel, ≈ ; ≈ ;≈ .

Rezulta că valoarea medie a numărului de puncte obtinute la o aruncare a zarului este aproximativ :

2*+4*+5*-6* =.  

Dacă privim tabloul distribuției varabilei aleatoare ξ, observam că acest număr s-a obtinut inmultind fiecare valoareposibila a variabilei cu probabilitatea corespunzatoare și adunand rezultatele obtinute.

De aici ajungem la alte caracteristici ale variabilelor aleatoare:

I. A. 1 Media și despersia :

I. A. 1. 1 Media unei variabile aleatoare:

Dacă variabilă aleatoare simpla ξ ia valorile x1,x2,…,xn respectiv cu probabilitățile p1,p2,…,pn (cu p1+ p2+…+pn =1) atunci numărul

M( ξ ) = p1 x1+p2 x2+…+pn xn

se numeste valoarea medie sau speranța matematica a variabilei aleatoare ξ.

In continuare, vom prezenta fără demonstrație proprietățile valorilor de medie, considerând variabilele aleatoare

ξ : și η : .

1. M(ξ + c) = M(ξ) + c , unde c este o constantă.

2. M(ξ · c) = c · M(ξ) , unde c este o constantă.

3. M(ξ + η) = M(ξ) + M(η), unde c este constantă.

4. M (ξ · η) = M(ξ) · M(η), unde c este constantă, iar ξ și η sunt variabile aleatoare independente.

I. A. 1. 2. Dispersia unei variabile aleatoare:

Se numeste dispersia sau varianta variabilei aleatoare ξ care are valoarea medie m, numărul D2(ξ) = M( ξ – m )2 (Dacă variabilă aleatoare (ξ – m2)are o valoare medie).

In continuare, vom prezenta fără demonstrație proprietățile valorilor dispersiei, considerând variabilele aleatoare:

ξi : .

1. D2(ξ) ≥ 0, oricare ar fi variabilă aleatoare ξ , si

D2(ξ) = 0 , dacă și numai dacă ξ = m , adică dacă P(ξ = m) = 1.

2. D2(ξ) = M (ξ2) – [M (ξ) ]2

3. D2(ξ · c) = c2 · D2(ξ), unde c este o constanta.

4. D2(ξ 1+ξ2+…+ ξn) = D2(ξ1)+ D2(ξ2)+…+ D2(ξn), dacă și numai dacă variabilele ξi sunt variabile aleatoare independente două câte două.

Să explicitam termenul de variabile aleatoare independente.

Două variabile ξ și η se numesc variabile aleatoare independente dacă realizările/nerealizarile variabilei ξ nu influenteaza realizările/nerealizarile variabilei η.

Să analizăm media și dispersia în cazul variabilelor aleatoare continue:

Dacă ξ este o variabilă aleatoare de tip continuu având densitatea de repartiție p, atunci numărul

M(ξ) =

se numeste valoarea medie a variabilei aleatoare ξ, dacă integala din membrul drept este convergentă.

Dacă ξ ia valori numai în intervalul (a,b) inclus în R, atunci:

M(ξ) = .

Introducem definițiile a încă două noțiuni esențiale pentru caracterizarea variabilelor aleatoare :

I. A. 2. Funcția de repartiție și dnsitatea de repartiție(sau densitatea de probabilitate)

I. A. 2. 1. Funcția de repartiție :

Se numeste funcția de repartiție (sau de distribuție) a variabilei aleatoare ξ aplicatia F : R→[0,1] data de

F(x) = P(ξ < x).

Vom enunța câteva proprietați legate de funcția de repartiție, fără demonstrație:

1. Este nedescrescatoare pe R : x1,x2 din R cu x1 < x2 => F(x1) ≤ F(x2).

2. F(-) = F(x) = 0 ;

F(+) = F(x) = 1.

3. Este continuă la stânga : F(x0 – 0) = = F(x0) , pentruxo є R.

4. P(a ≤ ξ < b) = F(b) – F(a) ; unde a,b є R, cu a < b;

P(ξ = x) = F(x + 0) – F(x); unde x є R.

P(ξ ≥ x) = 1 – F(x); unde x є R.

P(a ≤ ξ ≤ b) = F(b + 0) – F(a); unde a,b є R, cu a ≤ b;

Observație: proprietățile 4. sunt proprietăți derivate din primele trei proprietăți de bază cu ajutorul unor propoziții auxiliare ce nu vor fi prezentate.

I. A. 2. 2. Densitatea de repartiție :

Pentru multe variabile aleatoare de tip continuu ce apar în practica, legea de probabilitate este exprimata prin densitatea de repartiție (sau densitatea de probabilitate).

Spunem că variabilă aleatoare ξ are o densitate de repartiție dacă există o aplicație p: R→[0, +) astfel ca:

F(x) =

unde F este funcția de repartiție a variabilei aleatoare ξ. în acest caz, p se numeste densitatea de repartiție sau densitatea de probabilitate a variabilei ξ.

Sa mentionăm și proprietăți ale lui p :

p(x) > 0, cu x din (a,b) și =1.

p este integrabilă pe R și = 1.

P(a’ ≤ ξ < b’) = , unde a’, b’ є R și a’ < b’.

Să presupunem că avem o variabilă aleatoare ξ și o funcție f : (a,b)→R. Atunci: f(ξ) este de asemenea variabilă aleatoare și în plus, M( f(ξ) ) = .

Vom mai avea nevoie de câteva ‘unelte’ pentru cele ce vor urma, dintre care Legea numerelor mari și Teorema limită centrală. Prima teoremă, o vom prezenta fără demonstrație.

I.B. Legea numerelor mari. Prezentam următorul

Enunț : se poate obtine o bună aproximare a mediei unei variabile aleatoare ξ prin media aritmetică a N realizări ale sale.

Adică, cu o probabilitate mare, avem

atunci când N→.

La aceasta propoziție, prezentam cazul particular următor :: , unde p este probabilitatea de realizăre a unui eveniment A în urma unui experiment. Fie 1,2, … ,N cele N realizări ale acestei variabile.

Atunci :

α = se numeste frecventa de aparitie a evenimentului A în N experimente identice. Folosind Legea Numerelor Mari, rezulta α ≈ Mξ . Dar din faptul că

Mξ = 0 x (1 – p) + 1 x p = p,

rezulta că α = p.

Observatie : formula ne arata ca, cu o probabilitate foarte mare, probabilitatea teoretica de realizăre a unui eveniment este egala cu frecventa sa.

I. C. Teorema limita centrala :

Enunt: fie ξ1, ξ2, …, ξN , N variabile aleatoare astfel încât Mξi = m, D2ξi = σ2 unde i=1÷N. notăm ρM = ξ1+ξ2+…+ξN. dacă ηN ~ N(N · m, N · σ2) atunci a’, b’ є R, cu

a’ < b’ => P(a’ ≤ ρN ≤ b’) = N→∞, sau P(a’ ≤ ρ < b’) = , unde

pη(x) ≈ N(N · m, N · σ2). Nu vom prezenta demonstrație pentru aceasta teorema.

Observatii :

O1 : N(0,1) se numeste normala redusa.

O2 : funcția de repartiție o vom notă cu φ

Fie acum η ~ N(m, σ2). Atunci, deoarece ~ N(0,1), avem :

P(a ≤ η < b) = P(≤<) = φ() – φ() (*)

, relatie pe care o aplicam pentru : ρN ~ N(N·m, N·σ2).

Alegem un t oarecare, număr real și aplicam relatia (*). Rezulta :

P(N·m – t ≤ ρN < N·m + t) = P(≤<) =

= φ() – φ(– ) = 2 · φ() – 1. Ultimul rezultat se poate demonstra pe cale intuitiva.

I. D. Generarea numerelor aleatoare

Numerele aleatoare, respectiv variabilele aleatoare, sunt entități care nu au fost “create”, “inventate” sau introduse recent în uz. Ele exista și sunt prezente în orice proces neliniar de orice fel, dintotdeauna. Descoperirea lor nu a coincis cu aparitia calculatoarelor moderne, ci existenta lor a fost studiata cu mult în urma. Una din mentionarile sigure ale procedeului bazat pe variabile aleatoare este regasita în tratatul “In an experiment determination of π” al lui Hall, din anul 1873. Aici este prezentata metoda de determinare a valorii lui π, folosindu-se de aruncarile intamplatoare ale unui ac pe o suprafata(de hartie) pe care se trasasera în prealabIl drepte paralele. Pentru generarea numerelor aleatoare necesare lucrarilor stiintifice, de specialitate, s-au folosit mijloace relativ simple, cum ar fi: extragerea bilelor din urne pe diferite cazuri de combinatii de bile albe și negre, aruncarea zarurilor, de asemenea în variate combinatii, aruncarea monezilor, și altele.

I. D. 1.Metode de generare a numerelor aleatoare :

Metodele de generare ale numerelor aleatoare sunt:

metoda tabelelor de numere aleatoare

metoda generatoarelor de numere aleatoare

metoda generatoarelor de numere pseudo-aleatoare

I. D. 1. 1. Metoda tabelelor de numere aleatoare

Este prima metoda folosita de generare a numerelor aleatoare. Este, de asemenea, și cea mai rudimentara metoda. Dar în ce constă metoda ?

Generarea numerelor se face mecanic, iar rezultatele se depun într-un tabel, cu ajutorul caruia se vor face calculele ulterioare. Generarea se face, dupa cum am mentionat, printr-un procedeu mecanic : urne, rulete speciale, și altele.

Dezavantaje majore în folosirea tabelelor în calculatoare:

necesarul de memorie pentru stocarea tabelelor este mare.

Imperfectiunile datorate modului de obtinere(mecanic) al numerelor aleatoare.

Prima tabela a fost publicata în 1955 de rând Corporation, și a fost obtinuta că urmare a folosirii unui procedeu special de generare, ce cuprindea 1 milion de cifre aleatoare.

I. D. 1. 2. Metoda generatoarelor de numere aleatoare

Este cea de-a doua metoda de generare a numerelor aleatoare, cu un grad de fiabilitate și de performanta mai mare decat al metodei tabelelor, imbunatatire care se datoreaza punerii laolalta a unui mecanism mecanic de generare și a unui computer.

Oricum, și aceasta metoda are un dezavantaj principal care o face, de asemenea, greu de aplicat : diferenta dintre viteza de producere a numerelor de catre dispozitivul mecanic și viteza de procesare a datelor de catre computer.

Ca orice metoda, și aceasta a primit o imbunatatire care a introdus-o în sirul aplicatiilor ce au că scop generarea eficace de numere aleatoare. Modificarea constă în schimbarea mecanismului de generare, care devine din mecanic, electric: folosirea zgomotelor din semnalele tuburilor electronice. Zgomotele electronice, reprezinta modificari ale formei undei purtatoare, altfel spus, iregularitati (datorate unor cauze interne sau din mediul exterior) ale frecventei electronilor din mediul conductor.

Cum funcționa aceasta metoda?

Se fixa o valoare a pragului în graficul de oscilatie a undei purtatoare, notăta cu h. numărul de depășiri ale pragului în intervalul de timp Δt, este notăt cu N.

Variabila (functia) de generare este notăta și definita astfel :

αi = , αi = .

Bineinteles, calitatea numerelor generate cu acest procedeu, trebuia verificata periodic, deoarece valorile αinu reflecta intotdeauna distribuția . Prin aceasta metoda, numerele generate nu sunt și nu pot fi facute să devina reproductibile, motiv pentru care ele trebuiau memorate în cantitati mari, pentru a li se putea aplica formulele de verificare a calitatii lor de aleatorialicitate. Iata deci că se revenea la dezavantajul metodei de dinainte: spatiul excesiv de memorare.

Trebuia să se dezvolte o metoda de generare a numerelor aleatoare care să nu ia în seama factorul experimental, fizic, supus prin natura să existentei imperfectiunilor, ci să fie pur teoretica. Conform acestor ipoteze, a apărut în timp:

I. D. 1. 3. Metoda generatoarelor de numere pseudo-aleatoare

Metoda de generare a numerelor pseudo-aleatoare are la baza o metoda cunoscuta sub numele de MONTE CARLO. Fondatorii metodei sunt John von Neumann și Stanislav Ulam în anul 1947. Metoda a apărut în contextul tulburarilor politice din perioada conflagratiilor mondiale, perioada de febrIl progres în toate domeniile. Domeniul care a dus la fondarea metodei MonteCarlo a fost, din pacate poate, cel militar. Cercetarile celor doi matematicieni, faceau parte din studiile care urmareau construirea bombei nucleare.

Numele metodei vine de la bine-cunoscutul oras faimos pentru cazinourile sale (si în ultimele decenii pentru cursele sale de Formula1). Momentul “nasterii” metodei, este considerat, totusi, a fi lucrarea lui Metropolis și Ulam : “The Monte Carlo Method”, studiu care a apărut în anul 1949.

Functia de generare a numerelor aleatoare, f, trebuie să satisfaca doua conditii:

sa genereze siruri de numere aleatoare, uniform aleatoare pe patratul [0,1]; calitatea acestor numere de a fi aleatoare, se verifica cu ajutorul testelor statistice specifice.

sa fie simpla, adică să nu puna probleme de calcul; dificultatea calcularii funcției trebuie să fie scazuta, deoarece calculele trebuiesc facute si, în sens opus, refacute, de un număr mare de ori, lucru care, în conditiile unei funcții complexe, ar rezulta într-un efort de calcul de proportii care nu si-ar justifica scopul.

Avantajele unei astfel de generari:

numerele generate prin acest procedeu, se pot genera la comanda. Aceasta inseamna că nu avem nevoie de spatiu de memorare prea mare(chiar foarte redus), și că resursele pot fi gestionate eficient în vederea obtinerii de rezultate satisfacatoare, ele fiind ocupate doar pentru scurta perioada de timp în care programul efectueaza cele câteva instructiuni de calcul propriu-zis, de un număr dorit de ori.

Numerele generate prin acest procedeu, sunt reproductibile. Adica, dacă în algoritmul de calcul se introduce aceeasi valoare initiala (denumita rândseed în mod conventional), intregul sir de numere aleatoare se va repeta element cu element la fiecare rulare. Iata un motiv în plus care atesta că nevoia de spatiu de memorare pentru metoda Monte Carlo este minima și practic neglijabila.

Sa analizăm în continuare câteva metode practice de generare ale numerelor aleatoare, derivate din metoda Monte Carlo.

I. D. 2. Metoda reziduurilor:

In practica, metoda reziduurilor este cea mai raspandit procedeu de generare a numerelor aleatoare. Are la baza urmatoarea formula de recurenta:

xn+1 = (a · xn + c) mod m ,

unde: – m > 0;

a,c є [0,m);

m se numeste MODUL;

a se numeste MULTIPLICATOR;

c se numeste INCREMENT;

xo se numeste TERMEN INITIAL.

Observatie:

se observa ca funcția din metoda congruentiala (a reziduurilor) respecta proprietățile generale ale unei funcții Monte Carlo, în speta, este o funcție relativ simpla, ale cărei productii sunt numere care au calitatea de a fi uniforme pe intervalul lor de valori.

I. D. 3. Metoda mijlocului patratului:

Prezentat cu un nume deosebit de sugestiv, algoritmul nu face altceva decat să ridice un număr subunitar la puterea a doua ( la patrat ) lasand rezultatul cu 8 zecimale, apoi luand cele 4 cifre din mijlocul partii zecimale și reluand procedeul:

nr : = 0,abcd

nr_intermediar : = nr2 = 0,q1q2q3q4q5q6q7q8

nr : = 0, q3q4q5q6 și se reia de la pasul i.

I. D. 4. Metoda inversa:

Porneste de la ideea că dacă se cunoaste funcția de repartiție a unei variabile aleatoare, se poate reconstitui insasi variabilă aleatoare, în anumite conditii. să analizăm metoda:

Fie ξ ~ Fξ (x) și fie γ un număr repartizat pe (0,1), pentru Fξ (x) fiind funcția de repartiție a variabilei aleatoare ξ pe care dorim să o generăm.

Atunci, η = F-1ξ (γ) este o variabilă aleatoare cu densitatea de repartiție Gη(x) = Fξ (x).

Demonstratie:

Gη(x) = P(η < x )= P(F-1ξ (γ) < x ) = P( γ < Fξ (x) ) , relatie notăta în continuare cu (*).

Fie Pγ(x) = . Dar Fγ (x) = = [ t ]ox = x => P(γ < x) = x

Folosind acum relatia (*), rezulta că P( γ < Fξ (x)) = Fξ (x). Ceea ce trebuia demonstrat.

I. D. 5. Generarea unei variabile cu repartiție binomiala:

Distributia binomială este o distribuție discretă unidimensională.

Spunem că variabila aleatoare ξ are distribuție binomială cu parametri n și p (n= întreg pozitiv cu 0<p<1) Dacă pentru orice k=1÷n, se întâmplă ca

P(ξ=k) = ,

unde p+q=1.

Dacă A1,A2,…,An sunt evenimente independente și P(Ai)=p, pentru orice i de la 1 la n, iar ξ numărul evenimentelor care se realizează atunci ξ are distribuție binomială cu parametri n și p.

In particular, dacă A este un eveniment legat de o anumită experiență aleatoare și probabilitatea că A să se producă când efectuăm o singura data experiența, este P(A)=p, atunci numărul ξ al realizărilor lui A când efectuăm de n ori experiența are distibutie binomială cu parametri n și p.

Dacă o variabilă aleatoare ξ are distribuția binomială cu parametri n și p atunci valoarea medie și dispersia lui ξ sunt:

M(ξ)=n · p, respectiv D2(ξ)=n·p·q, (unde p+q=1).

I. D. 6. Metoda respingerii:

Printre metodele de generare ale numerelor aleatoare, se numără și asa-numita metoda a respingerii. Se ia în considerare o variabilă aleatoare ξ și (densitatea de repartiție a variabilei ξ);

. Să analizăm în continuare algoritmul metodei:

REPETA

genereazǎ și

PANA când

de unde se deduce că:

Consecință: Dacă o densitate de repartiție și c > a și știm să generăm pe calculator X care are densitatea de repartiție g(x) atunci următorul algoritm furnizează numere aleatoare care urmează densitatea de repartiție p(x).

Repetă:

Generează

Generează

Până când

Alege ξ=X

Se alege un exemplu pentru metoda respingerii:

Să se genereze ξ ~ N(0,1);

Fie ;

Căutăm g(x) a.î.

I. D. 7. Metoda polară pentru determinarea variabilelor aleatoare normale:

Incepem prin prezentarea algoritmului metodei:

Fie

REPETA

Generează

Calculează

Până când

Se face mentiunea că :

Observăm că .

Dacă f(x,y) este densitatea de repartiție a vectorului ;

Luam

Observatie:

I. E. Simularea firelor de așteptare (procese de servire)

Istoria așteptării se ocupă cu studiul evoluției care prezintă aglomerări. Un sistem de așteptare se compune din una sau mai multe stații (canale) ce servesc clienții care sosesc în sistem. Studiul sistemului de așteptare se face cu ajutorul unui model de așteptare. Elementele cunoscute de modelator sunt:

fluxul intrărilor (numărul de clienți pe unitatea de timp sau repartiția intervalului între două sosiri);

mecanismul sistemului (topologia sistemului (serie sau paralel); repartiția numărului de clienți serviți în unitatea de timp; repartiția duratei serviciului)

capacitatea sistemului (numărul maxim de clienți ce pot fi în sistem; lungimea maxima a cozii)

Elemente necunoscute (timpul de așteptare la coadă, timpul de ocupare a stațiilor, lungimea cozii, numărul de clienți în sistem etc.)

Aceste elemente sunt variabile aleatoare. Se dorește aflarea repartiției lor sau cel puțin valorile medii ale acestor variabile

A/S/C (L,d)

A: repartiția timpului dintre două sosiri în sistem

S: repartiția duratei serviciului

C: numărul de stații, canale de servicii

L: lungimea maximă a cozii

d: disciplina serviciului.

Exemplu de simulare:

durata exponențială de parametru λ dintre două sosiri;

durata serviciului este de natura exponentiala;

avem o singura stație la dispozitie;

capacitatea este nelimitată;

regula de servire este first în first out (coadă).

Un sistem de așteptare este eficient dacă gradul de utilizare a stațiilor este mare, iar serviciul se realizează într-un timp mic de așteptare.

Procesul de așteptare este considerat a fi un caz particular de proces Markov, numit și proces de naștere și moarte.

Definiția procesului de naștere pornește de la faptul că pe intervale mici (t, t+Δt) variația numărului de indivizi este mică.

Procesul este cu creșteri independente dacă, pentru sunt independente stochastic, adică evoluțiile procesului pe două intervale disjuncte sunt independente.

Definiție: Procesul stochastic discret cu creșteri independente N(t) se numește proces de naștere sau moarte, dacă:

λ se numește intensitate de natalitate;

μ se numește intensitate de mortalitate.

Ne interesează să determinăm repartiția lui N(t) și P(N(t)=n)

Fie intervalul (t, t+Δt);

Notatii:

A = evenimentul că în acest interval să vină un client

B = evenimentul să plece un client din sistem

C = evenimentul să vină i clienți în sistem

D = evenimentul să plece i clienți din sistem

Presupunem că sistemul este staționar

, cu

Se pot obține:

numărul mediu de clienți în sistem ;

lungimea medie a cozii (c – numărul stațiilor);

timpul mediu de așteptare în coadă timpul mediu de serviciu;

μ – numărul mediu de ieșiri din sistem;

λ – numărul mediu de intrări în sistem;

– intensitatea de trafic.

Pentru a studia procesul de naștere și moarte trebuie să cunoaștemcare uneori sunt foarte greu sau chiar imposibIl de calculat. Din acest motiv se recomandă simularea – mai ales atunci când numărul de stații c este mare, timpii de sosire și de servire sunt de un tip complicat (repartițiile gamma, R² ) sau amestecări de legi de repartiție; atunci când mecanismul presupune priorități; atunci când se urmărește o anumită eficiență.

Procesele de servire rezolvate analitic pot constitui un suport pentru validarea modelelor de simulare.

Exemplu de Model de servire :

Dar . Deci dacă avem ρn → ∞, adică , atunci: po = 1 – ρ.

Obtinem deci pn = (1 – ρ)ρn.

I. F. Modele de simulare

A realiză modelul unui sistem constă în a-i descrie entități le (obiectele) și legaturile dintre acestea.

Entitățile sunt descrise prin atribute (de exemplu: timp mediu de sosire, prioritate, timp mediu de stat la coada, timp de servire). Un model de simulare operează cu concepte specifice, precum:

Starea entități i este reprezentata de descrierea tuturor valorilor atrbutelor la un moment dat.

Actiunea este un set de operații care transforma starea unei entități .

Evenimentul reprezinta o schimbare în starea unei entități , schimbare care apare la un moment dat și declanseaza o activitate (de exemplu: initierea unei cereri de servire, sosirea sau ieșirea clientului in/din coadă de asteptare).

Proces este termenul ce denota succesiunea stărilor unei entități pe unul sau mai multe intervale de timp.

I. F. 1. Modele de simulare și alte tipuri de modele:

Modelele apar din necesitatea studierii comportamentului anumitor entități reale în situatii limita sau, în general, în condiții pentru care experimentarea în sens clasic, al încercărilor fizice, nu se poate efectua.

De exemplu, se realizează modelul unei aeronave abia ieșită de pe planșeta proiectanților. Înainte de a se construi la scară largă, i se realizează modelul matematic, model ce se introduce într-un computer, obtinând astfel o simulare a comportarii aeronavei. Aceasta se va testa în condiții de maximă securitate, descoperindu-i-se eventualele erori de proiectare, chiar înainte de a se construi fizic aeronava.

De asemenea se testează diferite caracteristici ale obiectului, în condiții extrem de variate, simulate pur și simplu pe calculator.

Este evident ca o metodă clasică, bazată pe principiul “construiește și încearcă” ar duce la eșecul proiectului încă dinainte de începerea sa. Să ne imaginăm un Boeing747 sau un supersonic din clasa Concorde proiectat și construit în număr limitat, și apoi pus în miscare pentru a se face teste.

Să luam doar cazul în care aripile nu ar rezista “bang-ului” supersonic. Am avea atunci o rachetă uriasă îndreptându-se în vrie catre un oraș, poate chiar metropolă, cu viteze de 800 km/h. Catastrofa ar fi de proporții monumentale.

Chiar dacă s-ar prabusi în mijlocul deșertului sau al oceanului, să ne imaginam că proiectanții n-au luat în considerare 10-15 asemenea probleme. Deci am avea 10-15 avioane Concorde prăbușite numai în perioada de testare, când la momentul actual, exista doar câteva zeci de asemenea aeronave în lume.

Este deci inutil să facem alte comentarii și să aducem mai multe argumente (decat simularea folosirii unui reactor nuclear) în favoarea utilității modelării și de aici, a simulării în societatea mileniului III.

Modelele presupun cunoașterea unor variabile controlabile numite intrări, și existența unor variabile necunoscute, necontrolabile numite ieșiri.

De cele mai multe ori, relatiile funcționale dintre intrări și ieșiri, nu pot fi exprimate în totalitate prin ecuații simple, liniare. Acesta este motivul pentru care se elaborează proceduri prin care se generează experimente în urma cărora se colectează statistici.

Dupa culegerea acestor date statistice, sistemul va putea fi descris cu o precizie cu atât mai mare cu cât mai multe date au fost strânse.

Astfel de modele se numesc MODELE DE SIMULARE.

I. F. 2. Tipuri de Modele de simulare

Am vazut ce este un model de simulare și ce importanta covarsitoare are el în dezvoltarea stiintei și tehnicii ulterioare momentului aparitiei modelarii. în continuare, vom prezenta o scurta clasificare a modelelor de simulare.

Modelele de simulare se împart in:

modele statice versus modele dinamice;

modele continue versus modele discrete;

modele deterministe versus modele stocastice.

De cele mai multe ori, modelele de simulare sunt dinamice, discrete și stocastice. Motivul? Deoarece procesele care necesită simulare sunt de cele mai multe ori în mișcare, starea lor se schimbă permanent, deci e nevoie de un model dinamic, timpii intermediari ce intră în model sunt disparați (la intervale Δt egale sau nu) deci este și un model discret, iar stocastic, pentru că legea după care se produce evenimentul ce necesită simulare este de cele mai multe ori non-deterministică.

I. F. 3. Reprezentarea timpului în modelele de simulare

Fiind o simulare a realității, modelul de simulare trebuie să respecte anumite reguli, naturale de altfel, asmenea realității.

Una din aceste reguli, este cea a succesiunii evenimentelor și a respectarii proportionalitatii duratei lor de existență, de apariție, de dispariție, a duratei de timp dintre două evenimente succesive, etc.

Acesta regulă este implementată într-un model cu ajutorul ceasului simulării. La fiecare interval de timp egal cu valoarea ceasului, algoritmul de simulare avansează agenda evenimentelor și stările componentelor sistemului și ia deciziile corespunzatoare.

In funcție de tipul de eveniment natural este simulat, exista doua tipuri de ceas de simulare:

ceasuri de simulare cu creștere constanta;

ceasuri de simulare cu creștere variabila.

Sa analizăm fiecare din cele doua metode, precum și situatiile concrete carora li se pot aplica.

I. F. 4. Ceasul de simulare cu creștere constanta: este cunoscut și sub numele de ceas orientat pe interval. Acest tip de ceasuri este cel care detecteaza evenimentele care apar pe un interval de timp de forma (t, t+Δt), la momentul t+Δt. Aceasta metoda este recomandata în mod special pentru sistemele de tip continuu, și în particular, pentru cele care prezinta un număr mare de variabile. Algoritmul unui astfel de ceas de simulare se prezinta sub forma urmatoare:

Initializare ceas: t ← to;

Cat_ timp sfarsit_simulare= fals executa:

dacă apare_eveniment = adevarat atunci schimba starea sistemului ;

Colectioneaza statistici;

t ← t+Δt;

Sfarsit Cat_ timp;

Scrie rezultate obtinute.

I. F. 5. Ceasul de simulare cu creștere variabila: este cunoscut și sub numele de ceas orientat pe evenimente. Pentru aceasta metoda, important nu este un interval de timp fixat, ci evenimentele. Unitatea de timp pentru acest ceas nu este o cuanta temporala, ci ocurenta unui eveniment. Este folosit acolo unde diferenta de timp dintre producerea a doua evenimente este mare, deoarece, spre deosebire de prima metoda, se reduce considerabIl efortul de programare.

Avantajele folosirii ceasului cu creștere variabilă sunt imaginarea unor scenarii imposibIl de realizăt în mod real, economie de timp și de bani, nu se intrerup procesele reale.

Algoritmul unui astfel de ceas de simulare se prezinta sub forma urmatoare:

Initializare ceas: t ← to;

Cat_ timp sfarsit_simulare= fals executa:

dacă apare_eveniment = adevarat atunci t ← tev_urm ;

Schimba starea sistemului ;

Colectioneaza statistici;

Sfarsit Cat_ timp;

Scrie rezultatele obtinute.

Atat în simulari, cât și în procesele reale, apare fenomenul de coada. Aceasta nu este altceva decat o insiruire de evenimente care trebuiesc puse în asteptarea executiei, asteptare datorata diferentei dintre capacitatea statiei de deservire (de viteza cu care poate efectuă o operațiune de furnizare de servicii) și dintre intervalul de sosire a cererilor de servicii. Exemplele sunt extrem de variate și regasibile în viata cotidiana: cozile la casele de achitare a facturilor, cozile la benzinarii, cozile de avioane asteptand accesul la piste libere, etc.

I. F. 6. Caracteristici ale proceselor de servire:

Procesele de servire se clasifica dupa populatie: infinita versus finita.

I. F. 7. Caracteristici ale clientilor:

timpul dintre doua sosiri succesive în sistem;

gradul de nerabdare (reprezentat de prioritatea serviciului) al unui client.

I. F. 8. Caracteristici fizice ale cozilor:

lungimea cozii ( respectiv numărul de cereri care asteapta servirea la o anume statie din cadrul sistemului);

numarul de cozi care se formeaza (de obicei coincide cu numărul de statii de deservire, asta în cazul în care sistemul nu necesita existenta unor statii de rezerva, puse la dispozitia anumitor servicii cu prioritate critica la executie, sau pentru alte sarcini auxiliare: intretinere, suplimentare servicii, servicii speciale, etc.).

Dintre Disciplinele de servire, mentionam:

FIFO (First în First Out sau în traducere: primul venit, primul servit; disciplina precizeaza că este vorba despre o coadă normala, de tipul celei de la benzinarii, în care nu conteaza prioritatile evenimentelor, ele fiind privite că avand aceeasi prioritate și sunt servite în ordinea sosirii în coada);

LIFO (Last în First Out sau ultimul venit, primul servit; disciplina precizeaza că se face referinta la o insiruire de tip stiva, în care accesul – intrarile și ieșirile – se face numai la nivelul ultimei inregistrari. Astfel, primul eveniment sosit în sistem este intotdeauna ultimul servit).

dupa timpul de servire cel mai mic ( sistemul bazat pe o asemenea disciplina este cel dedicat servirii celui mai mare număr de evenimente într-un timp dat; astfel, procesele “lungi” sunt cele mai neglijate, fiind executate ultimele; acesta este modelul sistemului activ, orientat pe dinamism în activitate).

Favoritul la servire (in acest caz, indiferent de momentul soririi în sistem, evenimentul care are cea mai mare prioritate este servit la prima statie care se elibereaza, sau primul următor la statia la care se afla; sistemul care se bazeaza pe acest principiu este sistemul care administreaza activitati de tip real-time – în timp real – și în care reactia de răspuns a sistemului este critica: exemplul cel mai elocvent: creșterea brusca a presiunii într-un reactor nuclear).

I. F. 9. Caracteristicile statiei de servire:

dupa numărul de statii, se diferentiaza statii în serie versus statii în paralel.

timpul de servire (care în general este aleator, datorita faptului că în natura nu exista fenomene perfect identice din nici un punct de vedere, incluzand aici și timpul lor de existenta, iar un model de simulare “deserveste” prin simulare un eveniment atat timp cât el exista).

Limbaje de simulare sunt de 2 tipuri:

universale ( C, Pascal, Fortran,etc.);

specializate ( cele pe care le vom prezenta sumar în continuare).

Limbajele universale permit elaboararea unor programe complexe cu mulat flexibilitate în corectarea și analiza statisticilor și afisarea rezultatelor.

Limbajele specializate, pe de alta parte, ofera facilitati legate de generarea evenimentelor, colectarea statisticilor și afisarea rezultatelor obtinute.

Exista mai multe tipuri de clasificari a limbajelor de simulare:

dupa natura evenimentelor:

limbaje pentru simularea a evenimentelor discrete (GPSS, SIMSCRIPT, etc.);

limbaje pentru simularea evenimentelor discrete și continue ( GASP IV, SLAM II ) .

dupa natura problemelor de rezolvat

limbaje orientate catre rezolvarea unor problemelor generale de simulare (SIMULA, SIMSCRIPT, GASP, etc.);

limbaje orientate catre rezolvarea problemelor de servire (GPSS).

dupa natura translatorului: interpretoare (GPSS V, GPSSH(compilator),etc.).

Criterii de comparare a limbajelor de simulare :

generalitate;

puterea de programare;

usurinta în utilizare.

Sa remarcam în continuare doar câteva din caracteristicile unuia din limbajele de simulare destul de folosite.

GPSS(General Purpose Simulation System):

Limbaj de simulare introdus de IBM în 1961. în continuare, dupa aparitie, este modificat aducandu-i-se imbunatatiri ce au dat nastere lui GPSS V, scos pe piata în 1970. Wolverine Software. Firma de software ce introduce, în 1977, limbajul GPSS H. Minuteman Software lanseaza, la rândul ei, în anul 1984, GPSS/PC.

Ce caracteristici pune la dispozitie GPSS?

Facilitati de programare asemanatoare limbajelor de nivel înalț (lucrul cu interfete grafice de înalța calitate, macrocomenzi incorporate, etc.);

Intrări/ieșiri flexibile

Eficiență mare în timpul executiei

Facilități impresionante de colectare a datelor

Este probabil sistemul cu cea mai mare independență față de mașina pe care rulează.

I. G. Dependența dintre variabilele aleatoare x și y.

Covarianță. Coeficient de corelație

Fie x, y variabile aleatoare se numește covarianță a celor două variabile aleatoare și se notează: cov(x,y)=M(x-M(x)(y-M(y)))

Observație: conv(x,x)=M((x-M(x)(x-M(x)))=D²(x)

Proprietăți:

conv(x,y)=M(xy)-M(x)M(y)

dacă x,y independente cov(x,y)=0

dacă x,y independente demonstrați M(xy)=M(x)M(y)

dacă sunt n variabile aleatoare având dispersiile și covarianțele cov atunci

Se numește coeficient de corelație pentru variabilele aleatoare x, y cu valori medii Mx și My și dispersiile D²x, D²y raportul:

Proprietăți:

Pentru x, y variabile aleatoare, atunci δ²(x,y)1

Observații:

coeficientul de corelație este un indicator pentru legătura liniară dintre x și y.

Valoarea 0 pentru coeficientul de corelație indică lipsa de legătură de natură liniară dintre x și y. Acest lucru nu exclude existența unor legături de altă natură între x și y.

Valoarea lui δ(x,y) determină intensitatea legăturii, semnul δ indică tendința lui y de a crește sau descrește față de x.

Dacă δ(x,x)>0 atunci y crește.

Deoarece de cele mai multe ori nu sunt disponibile toate observațiile pentru variabilele x, y sau acestea sunt de tip continuu. În practică pentru a măsura gradul de dependență liniară se utilizează coeficientul de corelație de selecție.

Dacă se cunoaște un eșantion de mărime n, pentru vectorul aleator tridimensional (x,y) atunci coeficientul de corelație de selecție este:

coeficientul de corelație de selecție este doar un eșantion pentru coeficientul de corelație.

Schimbând eșantionul valoarea acestui coeficient se va schimba și ea.

Când legătura liniară dintre x și y este slabă (coeficientul de corelație ia valori mici în modul) se pot căuta dependențe liniare mai bune între diverse transformări ale lui x și y.

Se numește regresia lui y asupra lui x media condiționată M(y|x). Graficul funcției M(y|x) se numește curba de regresie a lui y asupra lui x.

Fie (x,y) un vector aleator bidimensional.

Notăm M(x)=

Dacă regresia lui x asupra lui y este liniară, atunci

Dacă (x,y) este un vector aleator bidimensional normal, atunci:

regresia lui y asupra lui x este o dreaptă

regresia lui x asupra lui y este o dreaptă.

Obs. () variabile bidimensionale x,y nerepartizate normal pentru care regresiile M(y|x), M(x|y) sunt liniare.

() variabile bidimensionale x,y oarecare pentru care regresiile M(y|x);

M(x|y) sunt neliniare.

I. H. Modele de regresie liniară

Când curba de regresie nu se poate obține prin calcul direct și () un eșantion () i=1,n pentru variabila bidimensională x,y curba de regresie se poate estima:

, # număr pentru care

O reprezentare grafică e estimației pentru curba ne arată o funcție cu aspect brut neprelucrat cu o mare variabilitate () metode alternative care ne conduc la estimări acceptabile. O astfel de metodă este metoda celor mai mici pătrate.

Β – este un vector parametru care va fi estimat din datele existente.

β0 și β1 se pot estima prin valorile care minimizează suma pătratelor erorilor

reprezintă estimatorul în sensul celor mai mici pătrate pentru respectiv

I. I. Sistem de economii normale

cu

Proprietăți:

1) sunt estimatori nedeplasați pentru parametrii ,

2) dispersiile

3) au cea mai mică dispersie dintre toți estimatorii parametrilor , liniari în observațiile

Diferența dintre valoarea observată și valoarea estimată se numește reziduu.

Observație: Pentru valoare prezisă există două interpretări:

prima interpretare apare când cercetătorul este interesat în estimarea valorii lui y pentru o valoare individuală x a lui X. În acest caz este cea mai bună valoare prezisă pentru X=x

a doua interpretare apare atunci când cercetătorul dorește să facă o inferență asupra mediului lui Y în sulepapulația specificată de X=x. În acest caz este cea mai bună estimație a mediei lui Y în raport cu X=x

Modulul de regresie liniar centrat are forma:

în acest caz estimatorii prin metoda celor mai mici pătrate pentru și sunt de forma:

, unde este coeficientul obținut prin metoda celor mai mici pătrate. În mod uzual se numește coeficient de regresie, iar se numește intercepție.

I. J. Intervale de încredere

În ipostaza de normalitate a erorilor apar noi proprietăți ale estimatorilor , și (unde este un estimator nedeplasat pentru dispersia erorilor ) sintetizate în propoziția următoare:

atunci:

1)

2)

3) și sunt independente

4)

5) , estimația pentru dispersie

6)

Observatie: 5) și 6) sunt estimatori nedeplasați pentru , :

Proprietate:

La pragul de încredere intervalele marginale:

este cuantila superioară pentru distribuția student cu n-2 grade de libertate. cu α = 0,05 = 0,95. La pragul de încredere găsim pentru ., pentru funcția de regresie estimată în .

La pragul de încredere banda de încredere pentru media lui y când

Pe baza intervalelor obținute anterior se pot verifica ipoteze de forma cu alternativa

cu alternativa , constante

Pentru a verifica prima ipoteză se folosește statistica , iar pentru a doua ipoteză .

Subipostazele statisticile sunt reprezentate cu n-2 grade de libertate.

Testul pentru verificarea ipostazei cu alternativa este 0 se respinge ipostaza la pragul de semnificație α.

Modelul liniar de regresie

Consideram variabilele de selecție necorelate:

Variabilele independente numite și regresoare nu sunt obligatoriu independente în mod statistic.Modelul se spune liniar pentru că este liniar în parametri și nu neapărat în variabile.

Modelul liniar general clasic:

variabile dependente

X(n×p) – matrice design

Β(n×p) – vectorul parametrilor necunoscuți

ε(n×1) – reprezintă erorile

, variația erorilor .

Alte modele nu sunt liniare, dar pot fi liniarizate:

Exemplu:

Estimarea parametrilor β și σ² :

Economii normale

rang(x) = p rang maxim,

rang (x) = r rang (x′ x) = r

rang (x) = p

rang (x) < p rang (x′ x) = r < p x′ x nu este inversabil.

Inversă generalizată pentru o matrice A(m×n) este o altă matrice notată A‾ AA‾A = A

Se arată astfel că soluția în sensul celor mai mici pătrate verifică sistemul de economii normale.

Minimul lui este atins atunci când este perpendicular pe planul subîntins de coloanele

Fie:

se numește suma pătratelor erorilor și se notează

Modele generale

Funcții estimabile. Teorema Gauss-Markov

Funcția se numește funcție parametrică.

O funcție parametrică se numește estimabilă dacă () un vector a′(n×1) astfel încât relația M(a′ y) = Ψ să fie o identitate în raport cu β.

Funcția Ψ = c′β admite estimația dacă și numai dacă () a(n×1) a.î. a′ = a′x

a′ înseamnă transpusul lui a

x – matricea vectorilor diagonali (variabilelor explicative)

pentru orice funcție parametrică ce admite estimație există o singură estimație nedeplasată dacă x′y este o estimație nedeplasată oarecare a funcției Ψ atunci – proiecția lui α pe spațiul ,

Ψ admite estimație; a.î.

Pentru o funcție estimabilă () o singură estimație nedeplasată de forma .

Teorema Gauss-Markov

În condițiile enunțate, funcția Ψ = c′β care admite estimație are o estimație liniară nedeplasată cu cea mai mică dispersie. Estimația este unică în clasa estimatorilor nedeplasați și liniari , unde este estimatorul în sensul celor mai mici pătrate.

Ψ = c′β

c′ = ax′ ↔ M(a′y) = Ψ

Demonstrație:

() o unică estimație liniară nedeplasată a lui y de forma

1)

2) cazul erorilor corelate sau a variabilelor de selecție corelate – , unde este o constantă necunoscută.

β(n × n) – matrice nesingulară

Acest model se reduce la modelul în acre variabilele (y, y′) sunt necorelate. β este singulară. () o matrice de ordin (n × n) nesingulară a.î. p βp′ = In

Notăm

Estimația dispersiei σ² și a unei funcții care admite estimație.

Fie spațiul variabilei dependente spațiul generat de coloanele lui x și o bază ortonormală a acestui spațiu.

{ } poate fi completată până la o bază ortonormală până la ,

– coordonatele pe noua bază date de relația:

reprezintă spațiul generat de coloanele liniar independente ale lui x. De aici rezultă faptul că este bază a spațiului, bază ortogonală și poate fi completată astfel încât {} bază ortogonală în , adică . Pentru, Zi scalari – coordonatele lui y în raport cu noua bază:

reprezintă estimația nedeplasată a lui σ²(M(D²)=σ²)

n – r reprezintă estimatorul nedeplasat pentru σ²

Repartițiile estimațiilor. Regiunile de încredere. Teste și ipoteza de normalitate

; y se mișcă ca o variabilă normală

q sunt funcții ce admit estimații

Conform teoremei Gauss-Markov estimațiile pentru sunt:

Teoremă:În ipoteza r, vectorul aleator Ψ² are repartiția (Ψ, σ²AA′), , σ²A = β, iar .

Demonstrație:

cu

Dacă atunci .

Se consideră:

sunt funcții ce admit estimații și sunt liniar independente

se respinge când elipsoidul nu acoperă punctul Ψ=0

Domeniul critic al testului este , pragul de semnificație fiind:

= probabilitatea erorii de genul I

β=P(H|NH)= probabilitatea erorii de genul II

H:, unde

Domeniul critic:

Proceduri de factorizare a unei matrici

Prin transformări elementare (eliminare gaussiană), proceduri compacte (factorizarea Daditte, Crant, Choledny)

Prin transformări ortogonale (Hausholder etc.)

Fie A- submatricele lui A

Presupunem sunt nesingulare

matrice A de (n×n) care satisface condiția de mai sus acceptă o factorizare de genul: A=LR, unde L – o matrice inferior D; R – o matrice superior D, evident L, R nesingulare.

Ax=y

LR x = y

Se bazează pe propoziția: dacă A satisface …. există o matrice inferioară M astfel încât MA=R

cu și .

Capitolul II: PRELIMINARII

Dezvoltarile recente ale diverselor metode de modulatie, cum ar fi PCM și PPM, care schimba bandwidth-ul pentru raportul zgomot-la-semnal, au intensificat interesul pentru teoria generala a comunicarii. O baza pentru aceasta teorie este continuta în lucrarile importante ale lui Nyquist și Hartley.

In lucrarea de fata, vom lua în considerare, pe langa elementele consacrate în domeniul conunicatiei și un număr de factori noi, în particular efectul zgomotului pe canalul de comunicație și economiile ce se pot face datorita structurii statistice a mesajului initial și datorita naturii destinatiei finale a informației.

Problema fundamentala a comunicației este aceea de a reproduce la un moment dat fie exact, fie aproximativ, un mesaj selectat la un alt moment, din retea. în general, mesajele au sens, adică se refera la, sau sunt corelate în funcție de un acelasi sistem, cu anumite entități fizice sau logice.

Aceste aspecte semantice ale comunicației sunt lipsite de relevanta, totusi, pentru problemele tehnice.

Aspectul cu adevarat esential, este că mesajul actual este unul selectat dintr-un set de mesaje posibile. Sistemul trebuie proiectat să opereze pentru fiecare selecție posibila, nu doar pentru unele dintre alegeri.

Daca numărul de mesaje din set este finit, atunci acest număr, sau orice funcție monotona a acestui număr, poate fi privita ca o măsură a informației produsa atunci când un singur mesaj este ales din set, toate alegerile avand aceeasi probabilitate de ocurenta.

Dupa cum a fost subliniat de Hartley, cea mai “naturală” alegere este funcția logaritmică. Cu toate că definiția trebuie generalizata puternic atunci când consideram influenta statisticilor mesajului și când avem o gama continua de mesaje, se va folosi, în toate cazurile, o măsură în esenta logaritmică.

De ce se foloseste funcția logaritmică?

este mai folositoare din punct de vedere practic. Parametri de importanta tehnica, așa cum ar fi lățimea benzii, numărul de relee, etc., tind să varieze liniar cu logaritmul numărului de posibilitati. De exemplu, adaugand 1 releu la un grup, apare o dublare a numărului de stări posibile ale releelor. crește astfel cu 1 unitate, logaritmul în baza 2 al numărului vechi de stări. Dubland timpul, se dublează logaritmul, sau apare o putere a doua a numărului de mesaje posibile, etc.

intuitiv, logaritmica este funcția cea mai propice, din moment ce măsurăm entitățile prin comparatie liniară cu standardele obisnuite. Se “simte”, de exemplu, că doua cartele perforate ar putea contine de doua ori mai multa informație decat una singura, și doua canale de comunicație de doua ori mai multa capacitate de transport decat un singur canal.

Din punct de vedere matematic, este mai convenabil. Multe operații de trecere la limita sunt simple, în cazul logaritmului, dar ar trebui reformulate greoi în cazul numărului de posibilitati. Alegerea bazei logaritmului corespunde alegerii unității de măsură a informației. dacă folosim baza 2, unitățile care ar rezulta ar putea fi numite cifre binare, sau mai pe scurt, biti, cuvant ce a fost sugerat de J. W. Tukey.

Un dispozitiv cu doua pozitii stabile, cum ar fi releul, sau un circuit flip-flop(sus-jos, “tac”-“tac”), poate stoca un singur bit de informație. N asemenea dispozitive pot stoca N biti de informație, din moment ce numărul de stări posibile este 2N și log2 2N = N. dacă se foloseste baza 10, unitățile pot fi numite cifre zecimale.

Pentru că log2 M = = 3.32 log10 M,

o cifra zecimală este aproximativ 3 dintr-un bit. Un digit-wheel al unui computer personal are 10 pozitii stabile și deci, are o capacitate de stocare de o cifra zecimală. în calculul analitic, unde integrarea și calculul diferential sunt implicate, este folositor uneori să folosim baza e.

Unitatile de informație ce au rezultat, vor fi numite unități. Schimabarea din baza a în baza b, necesita o simpla inmultire cu logb a.

In continuare, prin sistem de comunicare, vom intelege un sistem de tipul celui indicat în Figura 1:

Figura 1: diagrama unui sistem general de comunicație.

Acesta este constituit în principal din 5 parti:

sursa de informații, care produce un mesaj sau o secventa de mesaje ce vor fi transmise catre un terminal receptor. Mesajul poate fi de diferite tipuri:

secventa de litere, asemenea sistemului telegraf;

o singura funcție de timp f(t) că la radio sau la telefonie;

o funcție de timp insotita de alte variabile, asemenea semnalului folosit în televiziunea alb-negru – aici mesajul poate fi gandit ca o funcție de tipul f(x,y,t) de doua coordonate spatiale și o coordonata timp, adică intensitatea punctului luminos de coordonate (x,y) și timpul t pe un tub cinescop;

doua sau mai multe funcții de timp, să zicem f(t)si g(t) și h(t) – acesta fiind cazul transmisiei sonore “tri dimensionala”, sau dacă sistemul este destinat să deserveasca câteva canale individuale în multiplex;

cateva funcții de mai multe variabile: f(x,y,t),g(x,y,t)si h(x,y,t) definite într-un continuu tridimensional – putem să vizualizam aceste funcții că fiind componente ale unui camp vectorial definit în regiunea data – în mod asemanator, unele surse de televiziune alb-negru, produc “mesaje” constand într-un număr de funcții de trei variabile;

alte combinatii: de exemplu imaginea TV în asociere cu semnalul audio.

Emitator, care opereaza asupra mesajului, producand un semnal potrivit transmisiei prin canalul de comunicație. în telefonie, acest procedeu constă în schimbarea presiunii vocii într-un curent electric direct proportional. în cazul telegrafului, avem de-a face cu o operațiune de codare care produce o secventa de puncte, liniute și spatii corespunzatoare mesajului, pe care apoi le transmite prin canal. într-un sistem multiplex PCM, diferitele funcții de vorbire trebuiesc testate, comprimate, divizate și codate, și în final reasamblate pentru a construi un semnal. Sistemele Vocoder, televiziunea și modularile de frecventa sunt alte exemple de operațiuni complexe aplicate mesajului pentru obtinerea semnalului.

Canalul care nu este altceva decat mediul folosit că suport pentru transmiterea semnalului de la emițător la receptor. Poate fi o pereche de cabluri, un cablu coaxial, o banda de frecvente radio, o raza de lumina, etc.

Receptorul intreprinde de obicei operațiile emițătorului, dar în ordine inversa, reconstituind pas cu pas mesajul, pornind de la semnalul primit.

Destinatia este persoana(sau obiectul) pentru care mesajul a fost trimis.

Sa analizam câteva probleme generale privind sistemele de comunicație. Pentru a realiza scopul propus, este necesar să reprezentam diferitele elemente implicate, cum ar fi entitățile matematice, idealizate în mod convenabil pornind de la părțile lor constituente de natura fizica.

Putem să clasificam empiric sistemele de comunicație în trei câtegorii:

Discrete;

Continue;

Mixte.

Prin sistem discret, intelegem un sistem în care și mesajul și semnalul sunt secvente de simboluri discrete. Un caz tipic este telegraful, unde mesajul este o secventa de litere și semnalul este o secventa de puncte, liniute și spatii.

Prin sistem continuu, intelegem un sistem în care atat mesajul cat și semnalul sunt tratate ca funcții continue, așa cum se intampla în cazul radioului și televiziunii.

Prin sistem mixt, vom considera un sistem în care apar atat variabile discrete cat și variabile continue, cum este cazul transmisiilor de voce PCM.

Pentru inceput, să analizam cazul sistemului discret. Acest caz are aplicatii nu numai în teoria comunicației, dar și în teoria masinilor de calculat, în proiectarea schimbarilor telefonice, dar și în alte ramuri. în plus, cazul discret constituie o baza, o fundatie pentru cazurile continuu și mixt, care vor fi tratate în a doua parte a tezei.

II. A. Sisteme discrete fara zgomote

II. A. 1. Canalul discret, fara zgomote.

Telegraful este un exemplu simplu de canal discret pentru transmitere de informații. în general, un canal discret va desemna un sistem în care o secventa de optiuni dintr-un set finit de simboluri elementare S1, S2, … , Sn pot fi transmise de la un punct catre altul. Fiecare dintre simbolurile Si , se presupune că are o durata finita de ti secunde (nu neaparat acelasi pentru toate și – urile, de exemplu liliutele și punctele din telegrafie). Nu se cere că toate secventele posibile și să fie capabile să transmita în sistem. Pot fi admise doar anumite secvente. Acestea vor fi semnalele posibile pentru canalul în cauza.

Astfel, în telegrafie, să presupunem, simbolurile admise sunt:

Punctul , care constă în închiderea liniei pentru o unitate de timp și apoi deschiderea liniei pentru o unitate de timp.

Liniuta , care constă în trei unități de timp de închidere a liniei de comunicație și o unitate de timp de deschidere.

Spatiu de litera care constă in, să zicem, 3 unități de deschidere a liniei.

Spatiu de cuvant care constă în 6 unități de deschidere a liniei.

Am putea pune conditia asupra secventelor admise că să nu fie urmate de spatii libere (daca doua spatii de litera sunt consecutive, atunci ele se confunda cu un spatiu de cuvant). Intrebarea care se pune în aceste conditii este “Cum putem măsura capacitatea de a trimite informații a unui asemenea sistem?”

In cazul teleimprimatorului, unde toate simbolurile au aceeasi durata, și orice secventa a celor 32 de simboluri este admisa, răspunsul este simplu. Fiecare simbol reprezinta 5 biti de informație.

Daca sistemul transmite n simboluri pe secunda, e normal să spunem că sistemul are o capacitate de 5n biti pe secunda. Asta nu inseamna că teleimprimatorul, respectiv canalul sau, va transmite intotdeauna la rata de 5n biti pe secunda – aceasta fiind rata de transmisie maxima și dacă rata actuala de transfer ajunge sau nu la valoarea maxima a canalului, tine de sursa informației care se descarca în canalul de transfer, dupa cum se va vedea ulterior.

In cazul mai general, în care lungimile simbolurilor difera și apar constrangeri, asupra secventelor admise, dam urmatoarea:

Definitie: capacitatea C a unui canal discret este data de

C =

unde N(T) este numărul de semnale admise de durata T.

Este usor de observat ca, în cazul teleimprimatorului aceasta formula se reduce la rezultatul anterior obtinut pe cale intuitiva. Se poate arata calimita în cauza va exista și va fi finita în cele mai importante din cazurile practice. să presupunem că toate secventele de simboluri S1, S2,…, Sn sunt admise și că aceste secvente au duratele t1, t2,…, tn. Care este în acest caz, capacitatea canalului?

Raspuns: dacă N(t) reprezinta numărul de secvente de durata t , atunci avem:

N(t) = N(t – t1)+N(t – t2)+…+N(t – tn).

Numarul final este egal cu suma numerelor de secvente care se termina în S1, S2,…, Sn și acestea sunt respectiv, N(t – t1), N(t – t2),…,N(t – tn). Conform cu un rezultat important din calculul diferentelor finite, N(t) este atunci asimptotic pentru t la Xot, unde Xo este cea mai mare solutie a ecuatiei caracteristice :

= 1,

si deci

C = log Xo

In cazul în care exista restrictii asupra secventelor admise, putem inca obtine, în multe situatii o ecuatie de acest tip și il putem calcula pe C din ecuatia caracteristica. în cazul teleimprimatorului,

N(t) = N(t – 2)+N(t – 4)+ N(t – 5)+N(t – 7)+N(t – 8)+N(t – 10)

dupa cum observam prin numărarea secventelor de simboluri conform ultimei sau penultimei aparitiei a simbolului. Deci C este –log μo unde μo este radacina pozitiva a lui 1 = μ2 + μ4 + μ5 + μ7 + μ8 + μ10. Rezolvand acesta ecuatie, obtinem C=0.539.

Un caz foarte general de restrictie care poate fi pusa secventelor permise este urmaoarea: ne imaginam un număr de stări posibile a1, a2, …, am. Pentru fiecare stare, doar anumite secvente din setul S1, …, Sn pot fi transmise (diferite submultimi pentru diferite stări). când una din acestea a fost transmisa, starea se schimba intr-o alta stare, depinzand și de vechea stare cat și de simbolul transmis. în acest sens, că exemplu simplu se poate oferi telegraful. Exista doua stări depinzand de transmisia sau

Figura 2: reprezentarea grafica a constrangerilor asupra simbolurilor telegrafului.

netransmisia unui spatiu că ultim simbol transmis. dacă așa stau lucrurile, atunci doar un punct sau o liniuta pot fi transmise în continuare , și starea se va schimba mereu. dacă nu, atunci orice simbol poate fi transmis și starea se schimba doar atunci când se trimite un spatiu. Conditiile pot fi indicate într-un graf liniar, dupa cum se poate observa în figura urmatoare, notata Figura 2.

Punctele de jonctiune din graf corespund stărilor și liniile indica simbolurile posibile intr-o stare și starea ce rezulta. în Anexa I, este aratat că dacă conditiile asupra secventelor permise poate fi descrisa în aceasta forma, C va exista și va putea fi calculat în funcție de rezultatul urmator:

Teorema 1: fie durata simbolului al s-lea care este permis în starea i și care conduce la starea j. atunci, capacitatea canalului C este egala cu log W, unde W este cea mai mare radacina reala a determinantului ecuatiei :

unde δij = 1, dacă i = j și zero în rest.

De exemplu, în cazul telegrafului (Fig.2), determinantul este:

Dezvoltand detrminantul, obtinem ecuatia data deasupra pentru acest caz.

II. A. 2. Sursa discreta de informații:

Am vazut că în conditii generale, logaritmul numărului de semnale posibile într-un canal discret, crește direct proportional, liniar, cu timpul. Capacitatea de a transmite informații poate fi specificata dand aceastei rate de creștere, numărul de biti pe secunda necesar specificarii semnalului particular folosit.

Sa consideram acum sursa de informații. Cum ar trebui să fie descrisa matematic o sursa de informații, și cat de multa informație exprimata în biti pe secunda este produsa de o anumita sursa?

Principalul punct de discutie este efectul cunostintelor statistice în legatura cu sursa, asupra reducerii capacitatii necesare a canalului, prin folosirea codarii potrivite a informației. în telegrafie, de exemplu, mesajele ce vor fi transmiseconstau în secvente de litere.

Aceste secvente, oricum, nu sunt complet intamplatoare. în general, ele formeaza propoziții și au, să zicem, structura statistica a, să zicem, limbii romane. Litera E apare mai frecvent decat litera Q, secventa TH apare mai frecvent decat secventa XT, etc.

Existenta acestei structuri admite economii în timp (a capacitatii canalului) prin codarea potrivita a secventelor de mesaj în secventa de semnal.

Aceasta este în general realizata la scara limitata în telegraf, folosind simbolul celui mai scurt canal, un punct, pentru cele mai folosite litere din alfabet: E. în timp ce cel mai putin frecvente litere Q, X, Z, sunt reprezentate prin secvente mai lungi de liniute și de puncte.

Acesta idee este dusa și mai departe în anumite coduri comerciale, unde cuvinte și fraze uzuale sunt reprezentate prin grupuri de coduri de patru-cinci litere, cu o scadere considerabila a timpului de lucru.

Telegramele aniversare precum și felicitarile standardizate folosite acum , extind aceasta idee a codarii până la a reduce propoziții sau fraze în secvente relativ scurte de numere.

Putem să ne gandim ca o sursa discreta genereaza mesajul, simbol cu simbol. Va alege simboluri succesive în funcție de anumite probabilități, depinzand, în general, de alegeri predecesorale, cat și de simbolurile în cauza. Un sistem fizic, sau un model matematic al unui sistem care produce o asemenea secventa de simboluri guvernata de un set de probabilități este cunoscut că proces stocastic.

Putem considera o sursa discreta, deci, că fiind reprezentata de un proces stocastic. Reciproc, orice proces stocastic ce produce o secventa discreta de simboluri alese dintr-o mulțime finita, poate fi considerata o sursa discreta. Aceasta va include câteva situatii, cum ar fi:

limbajele naturale, așa cum ar fi romana, engleza, germana, etc.

surse de informație continua care au fost discretizate de anumite procese de cuantificare. De exemplu, vorbirea cuantificata de la un emițător PCM, sau un semnal TV cuantificat.

cazuri matematice unde pur și simplu se defineste abstract un proces stocastic care genereaza o secventa de simboluri. Urmatoarele sunt exemple de acest tip de sursa:

Sa presupunem că avem cinci litereA,B,C,D,E care sunt alese fiecare cu probabilitatea de 0.2 %, alegerile succesive fiind independente. Aceasta ar duce la o secventa dupa cum ar urma: B D C B C E C C C A D C B D D A A E C E E A A B B D A E E C A C E E B A E E C B C E A D, secventa construita cu ajutorul unei tabele de numere aleatoare.

Folosind aceleasi cinci litere, fie că probabilitățile de alegere să fie, respectiv 0.4, 0.1, 0.2, 0.2, 0.1, cu alegerile succesive independente. Un mesaj tipic de la aceasta sursa ar fi de forma: A A A C D C B D C E A A D A D A C E D A E A D C A B E D A D D C E C A A A A A D

O structura mai complicata este obtinuta dacă simbolurile succesive nu sunt alese independent, dar probabilitățile lor depind de literele precedente.

In cazul cel mai simplu de acest gen, o alegere depinde doar de litera precedenta și nu de cele dinaintea precedentei. Structura statistica poate fi apoi descrisa de o mulțime de probabilități de tranzitie pi(j), adică probabilitatea că litera i să fie urmata de litera j. Indicii i și j variaza luand la rând toata gama de simboluri posibile.

O alta metoda echivalenta de a specifica structura este de a da probabilitățile “digram” p(i,j), de exemplu: frecventa relativa a digramului i j.

Frecventele literelor, p(i) (adica probabilitatea literei i), tranzitia probabilităților pi(j) și probabilitățile digramelor p(i,j) sunt legate prin formulele urmatoare:

Ca exemplu concret, să presupunem că avem 3 litere A, B, C și tabelele de probabilități:

un exemplu tipic de mesaj obtinut de la aceasta sursa este:

A B B A B A B A B A B A B A B B B A B B B B B A B

A B A B A B A B B B A C A C A B B A B B B B A B B

A B A C B B B A B A.

Urmatoarea creștere în complexitate ar include frcvente trigam, dar nu mai multe. Alegerea unei litere ar depinde de precedentele doua litere dar nu de mesajul dinaintea acelui punct.

O mulțime de frecvente trigram p(i,j,k) sau echivalent o mulțime de probabilități de trecere pij(k) ar fi necesara. Continuand în acest mod, se obtin procese stocastice din ce în ce mai complicate. în cazul general al proceselor n-gram, este necesara o mulțime de probabilități n-gram p(i1, i2,…, in) sau de probabilități de tranzitie , pentru specificarea structurii statistice.

Procesele stocastice pot fi deasemenea definite că fiind producatoare de text constand intr-o secventa de “cuvinte”. să presupunem că avem 5 litere A, B, C, D, E și 16 “cuvinte” în limbaj cu probabilitățile lor asociate:

0.10 A 0.16 BEBE 0.11 CABED 0.40 DEB

0.04 ADEB 0.04 BED 0.05 CEED 0.15 DEED

0.05 ADEE 0.02 BEED 0.08 DAB 0.01 EAB

0.01 BADD 0.05 că 0.04 DAD 0.05 EE

Sa presupunem că “cuvintele” succesive sunt alese independent și sunt separate printr-un singur spatiu. Un mesaj tipic ar putea fi:

DAB EE A BEBE DEED DEB ADEE ADEE EE DEB BEBE

BEBE BEBE ADEE BED DEED DEED CEED ADEE A DEED

DEED BEBE CABED BEBE BED DAB DEED ADEB

Daca toate cuvintele sunt de lungime finita, acest proces este echivalent cu unul de tipul mai inainte mentionat, dar descrierea poate fi mai simpla din punct de vedere al structurii cuvantului și al probabilităților.

Aceste limbaje artificiale sunt folositoare în construirea problemelor simple și a exemplelor pentru ilustrarea diferitelor posibilitati. Se poate aproxima și un limbaj natural printr-o serie de simple limbaje artificiale.

Aproximatia de ordin zero este obtinuta prin alegerea tuturor literelor de probabilitate egala și independente.

Aproximatia de ordinul intai este obtinuta prin alegerea literelor succesive în mod independent, dar fiecare litera are aceeasi probabilitate că și în limbajul natural.

Astfel, în aproximatia de ordinul intai asupra limbii engleze, E este ales cu oo probabilitate de 0.12(in limba engleza oficiala) pe când W este ales cu probabilitatea de 0.02, dar nu exista nici o influenta directă intre alegerea literelor adiacente, și nici o tendinta pentru formarea grupurilor de câte doua litere(digrame), cum ar fi TH, ED, etc.

In aproximatia de ordinul al doilea, este introdusa structura de digram. Dupa ce este aleasa o litera, urmatoarea este aleasa în funcție de frecventele cu care diferite litere o urmeaza pe prima.

Pentru aceasta, avem nevoie de o tabela de digrame pi(j). în aproximatia de ordinul al treilea, este introdusa structura de trigram. Fiecare litera este aleasa cu probabilități ce depind de precedentele doua litere dinaintea sa.

II. A. 3. Seria aproximărilor limbii engleze.

Pentru o idee de vizuala asupra modului în care aceasta serie de procese abordeaza un limbaj, au fost construite secvente tipice în aproximatiile catre limba engleza, așa cum sunt prezentate ele mai jos. în toate cazurile,se presupune un “alfabet” format din 27 de simboluri, din care avem 26 litere și un spatiu.

Aproximatia de ordin zero (simboluri independente și echiprobabile)

XFOML RXKHRJFFJUJ ZLPWCFWKCYJ

FFJEYVKCQSGXYD QPAAMKBZAACIBZLHJQD

Aproximatia de ordinul intai (simboluri independente cu frecventele textului englezesc)

OCRO HLI RGWR NMIEL WIS EU LL NBNESEBYA TH EEI ALHENHTTPA OOBTTVA NAH BRL

Aproximatia de ordinul al doilea(structura de digram că și în engleza)

ON IE ANTSOUTINYS ARE T INCTORE ST BE S DEAMY

ACHIN D ILONASIVE TUCOOWE AT TEASONARE FUSO TIZIN ANDY TOBE SEACE CTSIBE

Aproximatia de ordinul al treilea (structura de trigram englezeasca)

IS NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONSTRURES OF THE REPTAGIN IS REGOACTIONA OF CRE

Aproximatia de ordinul intai a cuvintelor. în loc să se continue cu tetragrame, pentagrame și așa mai departe, este mai usor și mai folositor să se treaca la unități de tip “cuvant”. Aici, cuvintele sunt alese independent dar cu frecventele potrivite.

REPRESENTING AND SPEEDILY IS AN GOOD APT OR

COME CAN DIFFERENT NATURAL HERE HE THE A IN

CAME TO OF TO EXPERT GRAY COME TO FURNISHES THE

LINE MESSAGE HAD BE THESE.

Aproximatia de ordinul al doilea pentru cuvinte. probabilitățile tranzitiei cuvinatului sunt corecte și nu mai este necesar să se includa alte structuri.

THE HEAD AND în FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHOD FOR THE LETTERS THAT THE TIME OF WHO EVER TOLD THE PROBLEM FOR AN UNEXPECTED

Asemanarea cu textul englezesc obisnuit crește în mod evident cu fiecare din pasii de dinainte. Se impune observatia că aceste exemple au structura cam de doua ori mai buna decat în momentul constructiei lor.

Astfel, la psul al treilea, procesul statistic asigura un text rezonabil pentru secvente de doua litere, dar secventele de patru litere se pot deja incadra în propoziții cu un grad de inteligibilitate destul de crescut.

La pasul al saselea, secventele de patru sau mai multe cuvinte se pot incadra în propoziții logice, fara prea multe constructii ambigue. Se pare, deci, că un sistem stocastic suficient de complex va genera o reprezentare satisfacatoare a unei surse discrete.

Primele doua exemple au fost construite prin folosirea unei tabele de numere aleatoare în conbinatie cu o tabela de frecvente ale literelor. Aceasta metoda ar fi putut fi continuata și pentru exemplele a treilea, al patrulea și al cincilea, din moment ce sunt disponibile tabele cu frecventele digramelor, trigramelor și cuvintelor, dar a fost folosita în schimb o metoda mai putin complicata, echivalenta.

Pentru construirea exemplului al treilea, se alege o carte oarecare și se alege o litera la intamplare de pe o pagina. Aceasta se noteaza undeva. Se deschide la pagina urmatoare și se citeste până când se întâlneste litera notata. Litera urmatoare va fi iarasi notata separat și se va repeta procedeul că și cu prima litera. așa s-au obtinut exemplele al patrulea, al cincilea și al saselea.

II. A. 4. Reprezentarea grafica a unui proces Markoff.

Procesele stocastice de tipul mai sus mentionat sunt cunosctue inmatematica sub denumirea de procese Markoff discrete, și au fost studiate extensiv în literatura de specialitate din domeniul comunicației de date. Cazul general se poate descrie astfel:

Exista un număr finit de stări S1, S2, …, Sn.

în plus, exista o mulțime de probabilități de tranzitie; notam cu pi(j), probabilitatea că un sistem din starea și să treaca imediat în starea Sj.

Pentru a trensforma acest proces Markoff intr-o sursa de informații, mai trebuie doar să consideram că este produsa o litera la fiecare trecere dintr-o stare în alta. stările vor corespunde “reziduului de influenta” ale literelor precedente.

Figura 3 – un graf corespunzator sursei din exemplul B

Situatia poate fi reprezentata grafic așa cum se va vedea în Figura 3, Figura 4 și în Figura 5. “Starile” sunt punctele de jonctiune din grefic, și probabilitățile și literele produse pentru o tranzitie, sunt date alaturi în linia corespunzatoare.

Figura 3 este destinata exemplului B din partea a II-a, în timp ce Figura 4 corespunde exemplului C. în figura 3, exista o singura stare, deoarece literele succesive sunt independente.

In Figura 4, exista atateastari câte sunt și litere. dacă s-ar construi un exemplu pentru trigrame, acolo ar fi cel mult n2 stări corespunzand perechilor posibile de litere precedand-o pe cea actuala.

Figura4 – un graf corespunzator sursei din exemplul C.

Figura 5 este un graf pentru cazul structurii de cuvant din exemplul D, unde S corespunde simbolului “spatiu”.

Figura5 – un graf corespunzator sursei din exemplul D.

II. A. 5. Surse ergodice și mixte

Dupa cum am spus deja, o sursa discreta pentru scopul care ne intereseaza, poate fi considerata că fiind reprezentata de un proces Markoff. Printre procesele Markoff discrete exista un grup cu proprietati speciale de semnificatie puternica în teoria comunicației. Aceasta clasa speciala constă din procese “ergodice” și pe mai departe, aceste surse se vor numi surse ergodice. definiția este mai complicata, dar ideea în sine este relativ simpla. într-un proces ergodic, fiecare secventa produsa în proces are aceleasi proprietati statistice. Astfel, frecventele, literelor, digramelor, etc., obtinute din secvente specifice, pe măsură ce lungimile secventelor cresc, tind catre limite finite independent de secventa respectiva. în fapt, aceasta afirmatie nu este adevarata pentru toate cazurile, ci este valabila “aproape peste tot”, adică multimea secventelor pentru care nu este adevarata, este neglijabila (altfel spus, în termeni matematici de teoria masurii, multimea este de măsură neglijabila). în sens larg, proprietatea de ergodicitate inseamna omogenitate statistica.

Toate exemplele de limbaje artificiale date mai sus, sunt limbaje ergodice. Aceasta proprietate este legata de graful corespunzator. dacă graful mai are și urmatoarele proprietati, atunci procesul corespunzator va fi ergodic:

graful nu e format din doua părți izolate A și B astfel încât să fie imposibil de trecut de la punctele de jonctiune (nodurile) din A la cele din B folosind liniile grafului în directia sagetilor sau să fie imposibil să trecem de la cele din B la cele din A.

o serie de linii inchise din graf, cu toate toate directiile în acelasi sens se va numi “circuit”. “Lungimea” unui circuit este egala cu numărul liniilor (segmentelor) continute. Astfel, în Figura 5, seria BEBES este un circuit de lungime 5. A doua proprietate necesara este că cel mai mare divizor comun d al lungimilor circuitelor din graf să fie 1. Altfel spus, lungimile circuitelor grafului să fie valori prime intre ele.

Daca prima conditie este satisfacuta dar a doua nu este satisfacuta pe motiv că cel mai mare divizor comun d este supraunitar, inseamna că secventele au un fel de structura periodica. Secvente diferite cad în d clase diferite care sunt statistic identic distanțate de o măsură fixa de la origine (exemplu: litera din secventa care este numita litera1). Printr-o deplasare cu unități de la 0 la d –1, orice secventa poate fi egalata statistic cu oricare alta. Un exemplu simplu, pentru d = 2 este: exista 3 litere posibile a, b, c. Litera a este urmata fie de b fie de c cu probabilitățile de 1/3 respectiv 2/3. Astfel, atat b cat și c, sunt mereu urmate de un a. așa ar arata o astfel de secventa:

a b a c a c a c a b a b a c a c

Acest tip de situatie nu ne va folosi în studiul pe care il intreprindem, totusi.

Daca insa prima rima conditia nu este satisfacuta, graful poate fi separat intr-o serie de subgrafuri, fiecare în parte satisfacand prima conditie. Vom presupune că a doua conditie este de asemenea satisfacuta pentru fiecare subgraf. Avem în acest caz cazul unei surse “mixte”, formata dintr-un număr de componente pure. Componentele corespund subgrafurilor formate și care indeplinesc fiecare conditiile initiale impuse. dacă L1, L2, L3, … sunt sursele componente, putem scrie:

L = p1 L1 + p2 L2 + p3 L3 +…

unde pi este probabilitatea sursei componente. Din punct de vedere fizic, situatia reprezentata sta astfel: exista câteva surse diferite L1 ,L2, L3, … care sunt fiecare de structura statistica omogena (adica pot fi toate ergodice). Nu conoastem ceva a priori pe care să ne putem baza, dar odata ce o secventa incepe intr-o componenta pura, data, Li , ea continua infinit, conform structurii statistice a acelei componente.

Ca exemplu, se pot lua doua din procesele definite mai sus și se presupune p1=0.2 și p2=0.8. O secventa:

L = 0.2L1 + 0.8L2

a sursei mixte ar fi obtinuta alegand intai L1 sau L2 cu probabilitățile 0.2 sau 0.8 și dupa aceasta alegere generand o secventa din oricare a fost ales.

Daca nu se mentioneaza altfel, vom presupune de aici inainte că toate sursele sunt ergodice. Aceasta presupunere ne permite să identificam medii de-a lungul unei secvente cu medii peste ansambblul secventelor posibile (probabilitatea unei secvente fiind zero). că exemplu, frecventa relativa a literei A intr-o secventa infinita va fi, cu probabilitate maxima, egala cu probabilitatea ei relativa într-un ansamblu de secvente.

Daca Pi este probabilitatea stării i și pi(j) probabilitatea de tranzitie în starea j, atunci pentru că procesul să fie stationar este evident că Pi trebuie să satisfaca conditia de echilibru:

.

In cazul ergodic, se poate arata ca, cu orice conditii de start, probabilitățile Pj (N) de a fi în starea j dupa N simboluri, se aproprie de valorile de echilibru pentru N → ∞.

II. A. 6. Alegere, Incertitudine și Entropie

Am reprezentat o sursa discreta de informații că proces Markoff. Intrebarea care se pune în continuare este: “se poate defini o cantitate, un etalon care să masoare câtă informație s-a creat, sau, mai bine, cu ce rata de producere a informației avem de-a face?”.

Sa presupunem că avem o mulțime de evenimente posibile ale caror probabilități sunt p1, p2,…, pn. până acum nu se stie decat că probabilitățile sunt cunoscute, dar nu se stie nimic despre care din evenimente va aparea urmatorul. S-ar putea oare gasi o măsură care să spuna câtă “alegere” este implicata în selecția evenimentului, sau de cat de incerti suntem de rezultat?

Daca exista o asemenea măsură, să o notam cu H(p1, p2,…, pn), ar trebui să aiba urmatoarele proprietati:

H ar trebui să fie continua în pi.

daca toate probabilitățile pi sunt egale, pi = , atunci H ar trebui să fie o funcție crescatoare și monotona de parametru n.

Daca o alegere va fi descompusa în doua alegeri succesive, H initial ar trebui să fie egal cu sumele valorilor individuale ale lui H. Toate acestea sunt aratate în Figura 6:

Figura 6: Descompunerea unei alegeri din 3 posibilitati.

In partea stanga avem 3 posibilitati p1 = , p2 = , p3 = . în partea dreapta, alegem intai dintre doua posibilitati , fiecare cu probabailitatea ½, iar dacă apare a doua, facem alta alegere cu probabilitățile 2/3 și 1/3. Rezultatele finale au aceleasi probabilități că și mai inainte. Punem conditia, în acest caz special, ca:

Coeficientul ½ apare datorita faptului că aceasta a doua alegere apare în doar jumătate din cazuri. Teorema ce urmeaza, va avea demonstratia în Anexa II:

Teorema 2: singura funcție H care satisface cele trei conditii de mai sus, este de forma:

, unde K este o constanta pozitiva.

Teorema 2 nu are legatura cu ceea ce dorim să demonstram, ci va fi folosita doar pentru a face logica unor definiții ulterioare. Aceste definiții, la rândul lor, vor folosi prin implicatiile pe care le au.

Cantitatile de forma H = – Σpi log pi (constanta K se reduce la o simpla alegere a unei unități de măsură) joaca un rol central în teoria informației ca măsură a informației, alegerii și incertitudinii.

Forma lui H va fi recunoscuta că aceea a entropiei așa cum este ea definita în unele formule de mecanici statistice , unde pi este probabilitatea unui sistem în faza i. H este atunci, de exemplu, H din terorema H a lui Boltzmann.

H se va numi de acum inainte entropia multimii de probabilități p1, p2,…, pn. . dacă x este o variabila aleatoare , atunci se va nota cu H(x) entropia sa. Astfel, x nu este un argument al unei funcții, ci mai degraba este o eticheta pentru un număr, pentru a se diferentia, să zicem, de entropia variabilei aleatoare y.

Entropia în cazul a doua posibilitati cu probabilitățile p,si q=1 – p este:

H = – (p log p + q log q)

si este reprezentata în Figura 7, ca funcție de p.

Figura 7. Entropia în cazul a doua posibilitati cu probabilitățile p și (1-p).

Cantitatea H are un număr de proprietati interesante care o recomanda și pe mai departe ca funcție de măsură a alegerii informației.

H = 0 dacă și numai dacă toate probabiliatatile pi în afara de una sunt zero, aceasta avand probabilitatea 1. astfel, H dispare doar atunci când rezultatul extragerii(alegerii) este sigur.

Pentru n dat, H este cel mult egal cu log n, atunci când toate evenimentele (posibilitatile) sunt echiprobabile, cu probabiliatea: . Intuitiv, aceasta este cea mai putin probabila situatie.

Sa presupunem că exista în discutie doua evenimente x și y, cu m posibilitati pentru primul și n pentru al doilea eveniment. Fie p(i,j) probabilitatea aparitiei conjugate a lui i pentru primul eveniment și a lui j pentru al doilea. Entropia evenimentului rezultant este:

în timp ce

și

Se poate demonstra că:

cu egalitate doar în cazul în care evenimentele sunt independente (de exemplu p(i,j) = p(i) p(j)). Incertitudinea unui eveniment obținut ca reuniune de evenimente (eveniment rezultant), este mai mică sau egala cu suma incertitudinilor individuale.

Orice modificare facută în vederea egalizării probabilităților p1, p2,…, pn, il mareste pe H. Astfel, dacă p1 < p2 și il marim pe p1, scazandu-l pe p2 cu o cantitate egala, astfel încât p1 și p2 să fie mai apropiate, atunci H crește. Mai general, dacă efectuăm orice operațiune de “mediere” asupra lui pi de forma :

unde , și toate aij > 0, atunci H crește (in afara cazului special când aceasta transformare se ridica la nu mai mult de o permutare a lui pj cu H ramanand la fel).

Sa presupunem că avem doua evenimente aleatoare x și y, la fel că la 3), nu neaparat independente. Pentru orice valoare particulara i pe care o poate lua x, exista o probabilitate conditionata pi(j) că y să aiba valoarea j.

Aceasta este data de:

Definim entropia conditionata a lui y , Hx(y) că fiind media entropiilor lui y pentru fiecare valoare x, ponderata conform probabilității pentru obtinerea acelui x în cauza. Aceasta este:

Aceasta cantitate masoara cat de incert este y in medie, atunci când il cunoastem pe x. Inlocuind valoarea lui pi (j), obtinem:

sau

.

Incertitudinea (sau entropia) evenimentului rezultant x, y este incertitudinea lui x plus incertitudinea lui y, când x este cunoscut.

Din 3) și din 5), reiese ca:

De aici, rezulta că H (y) ≥ Hx (y ).

Incertitudinea lui y nu este niciodata crescuta de cunoasterea lui x. Va fi scazuta dacă x și y nu sunt evenimente independente.

II. A. 6. 1. Entropia unei surse de informații

Fie o sursa discreta de tipul stării finite definite în paragraful anterior. Pentru fiecare stare posibila i, exista o mulțime de probabilități pi (j) ce produc simbolurile posibile j. Astfel, exista o entropie Hi pentru fiecare stare. Entropia sursei va fi definita că media acestor entropii ale stărilor separate, ponderate în conformitate cu probabilitatea de aparitie a stării în discutie:

Aceasta este entropia sursei pe simbol de text. dacă procesul Markoff se deruleaza cu o rata de timp finita, exista atunci și o entropie exprimata în secunde:

H’ = fi Hi

unde fi este frecventa medie (repetitii pe secunda) a stării i. Evident, H’ = mH , unde m este numărul mediu de simboluri produse pe secunda. H sau H’ masoara cantitatea de informație generata de sursa pe simbol sau pe secunda. dacă baza logaritmului este aleasa că fiind 2, atunci atat H cat și H’ vor reprezenta biti/simbol sau biti/secunda.

Daca simbolurile succesive sunt independente, atunci H este doar – Σ pi log pi unde pi este probabilitatea simbolului i.

Sa presupunem că avem un mesaj lung, de N simboluri. Va contine cu o probabilitate mare cam p1N aparitii ale primului simbol, p2N aparitii ale celui de-al doilea, și așa mai departe. De aici rezulta că probabilitatea acestui mesaj luat în discutie va fi de forma:

sau

H este astfel aproximativ egal cu logaritmul probabilității reciproce a unei secvente lungi obisnuite impartita la numărul de simboluri din secventa.

Acelasi rezultat este valabil pentru orice sursa. Mai precis, avem urmatoarea

Teorema 3: fiind dat orice p >0 și δ > 0, exista un No astfel încât secventele de orice lungime N ≥ No să indeplineasca una din conditiile:

O mulțime a cărei probabilitate totala este mai mică decat p.

Restul, adică secventele ale caror membri au probabilitățile satisfacand relatia:

Altfel spus, tinde la H când N tinde la infinit.

Sa reconsideram secventele de lungime N și să le consideram aranjate în ordinea descrescatoare a probabilităților lor. Definim n(q) că fiind numărul ce trebuie luat din aceasta mulțime incepand cu cel mai probabil urmarind să acumulam o probabilitate totala de q pentru secventele considerate.

Teorema 4:

cand q ≠ 0 și q ≠ 1.

Logaritmul log n(q) se poate interpreta că fiind numărul de biti necesari pentru specificarea secventei când se considera doar cele mai probabile secvente cu o probabilitate totala de q. Atunci este numărul de biti pe simbol. Teorema afirma că pentru N suficient de mare, fractia va fi independenta de q și egala cu H. Rata de creștere a logaritmului numărului de secvente probabile este dat de H, indiferent de definiția lui “secvente probabile”. Datorita acestor rezultate, care sunt demonstrate în Anexa III, este posibil că în majoritatea cazurilor să tratam secventele lungi că și când ar fi doar 2HN, fiecare cu probabilitatea de 2-HN.

Urmatoarele doua teoreme arata că H și H’ se pot determina prin operații de trecere la limita direct din statisticile secventelor de mesaje.

Teorema 5: Fie p(Bi) probabilitatea unei secvente Bi de simboluri din sursa. Fie

GN =

unde suma este facuta dupa toate secventele Bi de lungime N. Atunci, GN este o funcție monotona descrescatoare de N, și

.

Teorema 6: Fie p(Bi , Sj), probabilitatea că secventa Bi să fie urmata de simbolul Sj și pHi(Sj ) = p(Bi , Sj )/ p(Bi )probabilitatea conditionata a lui Sj dupa Bi . Fie

unde suma s-a calculat dupa toate blocurile Bi de câte N – 1 simboluri și dupa toate simbolurile Sj . Atunci FN este o funcție monotona descrescatoare de N, și

si

Aceste rezultate sunt demonstrate de asemenea, pe larg, în Anexa III. Ele demonstreaza ca o serie de aproximari ale lui H poate fi obtinuta considerand numai structura statistica a secventelor ce au de la 1 până la N simboluri. FN devine în acest caz, cea mai buna aproximatie. De fapt, FN este entropia ordinului al N-lea de aproximatie a sursei de tipul discutat. dacă nu exista influenta statistice extinzandu-se pe mai mult de N simboluri, atunci FN = H. FN este deci entropia conditionata a urmatorului simbol când cele N – 1 secvente precedente sunt cunoscute, în timp ce GN este entropia pe simbol de blocuri de N simboluri.

Rata entropiei unei surse la valoarea maxima pe care o poate avea, cat timp e inca restrictionata la aceleasi simboluri va fi numita entropie relativa. Aceasta este compresia maxima posibila atunci când codam în acelasi alfabet.

1 – entropia relativa = redundanta. Redundanta limbii engleze obisnuite este, dacă nu se iau în considerare structurile statistice mai mari de 8 litere, de aproximativ 50%. în termeni simpli, aceasta inseamna că atunci când se scrie în engleza, jumătate din ce se scrie este determinata de structura corecta, gramaticala, semantica, a limbii, iar cealalta jumătate este aleasa în mod arbitrar.

Cum s-a obtinut procentul de 50%? S-au folosit câteva metode diferite care au dus la acelasi procent.

Primul este calcularea entropiei aproximarilor limbii engleze. O a doua metoda este stergerea unui anume procent din literele unei mostre dintr-un text englezesc și desemnarea unei persoane în vederea reconstituirii textului. dacă textul poate fi refacut atunci când 50% din litere au fost sterse, atunci redundanta trebuie să fie mai mare de 50%. O atreia metoda depinde de anumite rezultate cunoscute din criptografie.

Redundanta unei limbi este legata de existenta “cuvintelor incrucisate”, a rebus-urilor. dacă redundanta este zero, atunci orice secventa de litere este un text inteligibil în limba respectiva și orice tablou bidimensional de litere formeaza un careu de cuvinte incrucisate. dacă redundanta este prea mare, limbajul impune prea multe constrangeri facand astfel imposibile, practic, careurile de dimensiuni mari de cuvinte incrucisate.

Iata din ce cauza rebusurile noastre au foarte multe “cuvinte” ale caror definiții sunt marcate cu “!”, adică acele “cuvinte ” care nu reprezinta cuvinte în sine, ci terminatii de cuvinte, adică umpluturi care au menirea să intregeasca acel careu.

Info: dacă redundanța ar fi de max. 33% atunci ar fi posibile rebusuri tridimensionale !

II. A. 7. Reprezentarea codării și decodării operațiilor

Până acum nu am făcut decât să menționăm operațiile executate de emițător și de receptor. Incepând cu acest punct, să descriem și matematic aceste operații de codare și de decodare a informației. Atât codarea cât și decodarea, se vor numi simbolic transduceri (transformari + traduceri) discrete. Intrarea unei transduceri este o secvență de simboluri de start, iar ieșirea sa, o secvență de simboluri de ieșire. Transducător poate avea o memorie interna, astfel că ieșirile sale vor depinde nu numai de simbolurile de intrare ci și de evenimentele care au precedat transducerea curentă. Se presupune că memoria internă este finită, adică există un număr finit de m posibile stări ale transducătorului și că ieșirile sale sunt rezultate ale unei funcții a stării prezente și a simbolului de inceput actual.

Următoarea stare va fi o altă funcție a acelorași două cantități. Astfel, un transducător poate fi descris prin doar două funcții:

yn = f(xn , αn)

αn+1 = g(xn , αn) ,

unde xn este simbolul n de start,

αn este starea transducătorului când este introdus simbolul n,

yn este simbolul de ieșire (sau secvența de simboluri de ieșire) produsă la introducerea simbolului n în starea αn.

Dacă simbolurile de ieșire ale unui transducător se pot identifica cu simbolurile de intrare ale unui al doilea, atunci ele se pot conecta în tandem și rezultatul va fi de asemenea un transducător. Dacă există un al doilea transducător care operează asupra ieșirilor primului obținând intrările acestuia, primul transducător se va numi nesingular și al doilea inversul său.

Teorema 7: Ieșirea unui transducător cu memorie internă finită care pornește de la o sursă statistică de stări finite este ea însăși o sursă statistică de stări finite cu entropia (pe unitatea de timp) mai mică sau egală cu aceea a sursei de intrare.

Dacă transducătorul este nesingular, atunci entropiile celor două surse menționate în enunțul teoremei sunt egale.

Să presupunem că α reprezintă starea sursei care produce o secvență de simboluri xi , iar β starea transducătorului care produce blocuri de simboluri yi .Sistemul combinat poate fi reprezentat matematic sub forma unui “spațiu al stărilor produs” , adică un spațiu bidimensional în care elementele sale sunt perechi (α, β). Două puncte n spațiu, (α1 , β1 ) și (α2 , β2 ), sunt conectate cu o linie dacă α1 poate produce un x care să-l ducă pe β1 în β2, iar acestei linii i se dă valoarea probabilității lui x în situația dată. Linia este etichetată cu blocul simbolurilor yi produse de transducător. Entropia ieșirii poate fi calculată că medie aritmetică ale celor două stări. Dacă îl însumăm întâi după β, fiecare din termenii rezultați va fi mai mic sau egal cu termenul corespunzător pentru α, deci entropia nu crește. Dacă transducătorul este neliniar, atunci presupunem că avem ieșirea lui conectată la transducătorul său invers. Dacă H’1, H’2 și H’3 sunt entropiile ieșirilor sursei, atunci H’1 ≥ H’2 ≥ H’3 = H’1, de unde rezultă H’1 = H’2 .

Să presupunem că avem un sistem de condiții asupra secventelor posibile de tipul celor care pot fi reprezentate cu ajutorul unui graf că cel din Figura 2. Dacă probabilitățile au fost atribuite diferitelor linii care unesc starea i de starea j, acestea ar deveni o sursă. Acesta este una din metodele de maximizare a entropiei rezultante.

Teorema 8:Fie sistemul de condiții considerate canal de capacitate C. Dacă

unde este durata celui de-al s-lea simbol care duce din starea i în starea j și Bi care satifac

atunci H este maxim și este egal cu C.

Prin atribuirea corectă a probabilităților de tranziție, entropia simbolurilor pe un canal poate fi maximizată la capacitatea canalului.

II. A. 8. Teorema fundamentală a canalului fără zgomot

În continuare, se prezintă justificarea interpretării lui H că rată a informației generate, dovedind că H determină capacitatea cerută de cea mai eficientă codare a canalului.

Teorema 9: Fie o sursă cu entropia H (biti pe simbol) și un canal cu capacitatea C (tot exprimată în biti pe secundă). Atunci este posibilă codarea ieșirilor sursei astfel încât ea să poată emite la o rată medie de simboluri pe secundă, unde ε este arbitrar, ales oricât de mic. Nu este posibilă o transmisie la o rată mai mare decât . Reciproca teoremei, că nu poate fi depășit, se poate dovedi prin faptul că entropia canalului exprimată în semnale pe secundă este egală cu aceea a sursei, deoarece transmițătorul nu poate fi nesingular, și astfel, această entropie nu poate depăși capacitatea canalului. De aici rezultă că H’ ≤ C și numărul de simboluri pe secundă este egal cu H’/H ≤ C/H.

Prima parte a teoremei se demostrează în două metode, din care nu vom prezenta decât una. Metoda este formulată astfel: se aranjază mesajele de lungime N în ordnea dsescrescătoare a probabilităților lor care sunt de forma: p1 ≥ p2≥ …≥ pn . Fie Ps=.

Codarea se va face întâi în baza 2. Codul binar pentru mesajul s este obținut prin scrierea lui Ps că număr binar. Scrierea în baza 2 este apoi dusă până la ms poziții, cu ms fiind intreg astfel că:

. Astfel, mesajele de probabilitate mare sunt reprezentate de coduri scurte și cele de probabilitate mică de coduri lungi. Din inegalitățile de mai sus, rezultă că:

Codul pentru Ps va diferi de toate cele care îi vor succeda prin cel puțin una din cele ms poziții, din moment ce toate celelalte Pi poziții care mai rămân sunt cel puțin cu mai mari și extinderile lor în baza 2 diferă deci în primele ms locuri. Dacă secvențele nu sunt deja secvențe de 0 și 1, li se vor asocia numere binare în mod aleator și codul binar va fi astfel tradus în semnale potrivite pentru canalul de transfer.

Numărul mediu de cifre binare H’ folosite pe simbol din mesajul inițial este uțor de estimat. Avem:

Dar

și deci:

Pe măsură ce N crește, GN se apropie de H (entropia sursei ) și H’ se apropie de H.

Observăm că ineficiența în codare, atunci când se folosește o întârziere finită de N simboluri, nu este mai mare decât + diferența dintre entropia H și entropia GN calculată pentru secvențele de lungime N. Timpul necesar deci pentru codare în plus față de timpul ideal este:

II. A. 9. Discuții

Transducătorul care efectuează codarea ar trebui să potrivească sursa canalului respectiv din punct de vedere statistic. Sursa, văzută de canalul de comunicație prin transducător, ar trebui să aibă aceeași structură statistică că și sursa care maximizează entropia din canalul respectiv. Raportul dintre rata actuală de transmisie și capacitatea C poate fi denumită eficiența sistemului de codare. Acest raport este egal cu raportul dintre entropia reală a simbolurilor canalului și entropia maximă posibilă.

În general, cazul codării ideale este reprezentat de o întârziere mare între transmițător și receptor. În cazul canalului fără zgomot, funcția principală a acestei întârzieri este să permită o potrivire relativ bună a probabilităților la lungimile corespunzătoare de secvențe. Cu un cod bun, expresia

trebuie să aibă valoare mică pentru majoritatea mesajelor lungi. Dacă o sursă nu poate produce mai mult de 1 mesaj, atunci entropia să este zero și nu este necesar un canal.

Pentru exemplu, o mașină de calcul setată să calculeze zecimale ale lui π produce o secvență finită fără element de nesiguranță. Nu este necesar un canal pentru “transmiterea” rezulatului undeva. Cazul nu este practic. Putem considera că toate zecimalele lui π sunt o secventa aleatoare de cifre și construim un canal care să trimită orice secvență de cifre. În acest caz, considerăm sursa cu entropie maximă că subiect al condițiilor statistice pe care dorim să le reținem. Entropia acestei surse determină capacitatea necesară și suficientă a canalului. Pentru exemplul cu π, singura informație reținută este că toate cifrele sunt alese din multimea {0, 1, … , 9}.

II. B. Sisteme discrete cu zgomote

II. B. 1. Reprezentarea unui canal discret cu zgomote.

În acest capitol, considerăm cazul în care semnalul este perturbat de zgomote la unul din capete. Asta înseamnă că semnalul primit nu este același cu cel transmis. Se pot distinge doua cazuri. Dacă un anume semnal transmis produce mereu același semnal de receptat, adică de exemplu semnalul receptat este o funcție finită a semnalului transmis, atunci efectul se poate numi distorsiune.

Dacă această funcție are o inversă – oricare două semnale transmise produc semnale de receptat diferite – atunci distorsiunea se poate corecta prin efectuarea operațiilor funcționale inverse asupra semnalului receptat.

Cazul care prezintă interes în acest moment este acela în care semnalul nu suferă mereu aceeași transformare în transmisie. În acest caz, putem presupune că semnalul recepționat E este o funcție care depinde de semnalul transmis S și de o a doua variabilă, zgomot, N, astfel:

E = f ( S , N ) .

Zgomotul este considerat a fi o variabilă aleatoare exact că și mesajul de mai sus. În general se poate reprezenta printr-un proces stochastic potrivit. Cel mai general tip de canal discret cu zgomot pe care-l vom considera este o generalizare a canalului discret fără zgomot cu stări finite descris anterior. Presupunem existența unui număr finit de stări și de probabilități

pα, i(β, j).

Aceasta este probabilitatea , dacă canalul este în starea α și se transmite simbolul i , că simbolul j să fie recepționat și canalul să fie lăsat în starea β. Deci α și β parcurg stările posibile, i parcurge semnalele posibile la transmisie, iar j pe cele posibile de recepție.

În situația în care simboluri succesive sunt perturbate independent de zgomot există doar o stare, și canalul este descris de o mulțime de tranziții posibile pi(j), adică probabilitatea că la transmiterea simbolului i să se recepționeze simbolul j.

Dacă un canal cu zgomot este alimentat de o sursă, atunci există două procese statistice care acționează: sursa și zgomotul.

Deci numărul de entropii se poate calcula. Prima entropie este H(x), entropia sursei sau a intrărilor din sistem (aceste doua canități vor fi egale în cazul surselor nesingulare).

Entropia ieșirii canalului de comunicație, de exemplu semnalul receptat, se va nota cu H(y). În cazul fără zgomot, H(y)=H(x). Entropiile cumulate ale ieșirilor și intrărilor va fi H(xy). Există două entropii Hx(y) și Hy(x), respectiv entropia ieșirii atunci când se cunoaște intrarea și invers. Între aceste două cantități, există relațiile:

Toate aceste entropii se pot calcula la secundă sau la simbol.

II. B. 2. Echivocul și capacitatea canalului de comunicație

Dacă avem de-a face cu un canal cu zgomot, nu se poate întotdeauna reconstrui semnalul inițial sau semnalul transmis cu certitudine. Există totuși metode de transmitere a informației care să înllăture problema zgomotului din canale. Aceasta este situația pe care o vom analiza în continuare.

Să presupunem că există două simboluri posibile 0 și 1. și transmisia se face la o rată de 1000 de simboluri pe secundă cu probabilitățile p0 = p1 = ½. Astfel, sursa produce informație la o rată de 1000 de simboluri pe secundă. În timpul transmisiei, zgomotul introduce erori astfel încât, în medie, 1% din informație este receptată eronat. Se pue întrebarea “Care este rata de transmitere a informației?” cu siguranță mai puțin de 1000 de biți pe secundă, din moment ce aproximativ 1% din informație este primită incorect. La o primă impresie, am fi tentați să afirmăm că rezultatul este evident: 990 de biți pe secundă.

Greșit! Această valoare nu este satisfăcător de corectă, deoarece receptorul nu știe exact care bit de informație a fost afectat. În cazul cel mai extrem, putem presupune că zgomotul este atât de mare încât simbolurile receptate sunt total independente de simbolurile emise. Probabilitatea primirii unui 1 este egală cu probabilitatea primirii unui 0, care este jumătate din probabilitatea primirii unui bit. Deci asta înseamnă că jumătate din simbolurile primite de receptor sunt corecte, din cauza întâmplării, adică ar rezulta o rată de transfer de 500 de biți pe secundă. Adică noi am da sistemului prin această metodă o încredere de 500 de biți pe secundă, când de fapt el nu transmite corect deloc. La fel de bine am putea să luăm o monedă și la fiecare bit primit, să aruncăm moneda și să luăm că satisfăcătoare metoda.

Din cele dicutate mai înainte entropia este o măsură a nesiguranței și deci pare logic să o folosim și în continuare sub forma entropiei condiționate a mesajului, că măsură a informației lipsă.

Conform acestei idei, rata reală de transmisie a informației, R, ar fi obținută asa:

R = H(x) – Hy (x)

Entropia condiționată se vanumi, din motive de conveniență, echivoc. Ea măsoară ambiguitatea semnalului primit. În exemplul considerat, dacă se primește un 0, probabilitatea a posteriori că să fi fost trimis un 0 este de 99%, iar aceea că un 1 a fost trimis este de 1%. Aceste cifre sunt valabile și atunci când se primește un 1. Deci:

Hy(x) = – [0.99 log0.99 + 0.01 log0.01]

= 0.081 biți / simbol,

adică 81 de biți pe secundă. Putem spune că sistemul transmite la o rată de 1000 – 81 = 919 biți pe secundă. În cazul extrem în care nu se mai poate spune cu siguranță dacă s-a transmis 1 sau 0 și probabilitățile a posteriori sunt ½ și ½ și

Hy(x) = – [ ½ log ½ + ½ log ½ ] =

=1 bit pe simbol.

adică 1000 de biți pe secundă. Rata transmisiei ar fi atunci de 0 biti pe secundă, așa cum ar trebui pentru cazul luat în discuție.

Teorema urmatoare lămurește intuitiv problema echivocului și justifică folosirea măsurii considerate. Se consideră un sistem comunicațional și un observator care poate vedea ceea ce se întâmplă la ambele capete între care există zgomot. Observatorul notează erorile din mesajul primit și îl trimite sursei printr-un canal de “corecție”, pentru a permite emițătorului să corecteze erorile. Situația este aceea din Figura 8.

Teorema 10: dacă canalul de corecție are o capacitate egală cu Hy (x), este posibilă o astfel de codare a datelor de corecție, astfel încât ele să poată fi trimise prin acest canal și să corecteze toate erorile în afară de o fracțiune ε de masură nulă. Acest lucru nu este posibil dacă capacitatea canalului este mai mică de Hy (x).

Cu alte cuvinte, Hy (x) este cantitatea suplimentară de informație care este necesară pe secundă la receptor, pentru corectarea mesajului inițial.

Pentru demonstrarea primei părți, se consideră două secvențe lungi, una din mesajul primit, M’ și una corespunzătoare din mesajul inițial, M. Astfel, există THy(x) cifre binare ce se transmit la fiecare T secunde. Aceasta se poate realiza cu o frecvență a erorilor de ε, pe un canal de capacitate Hy (x).

Pentru demonstrarea părții a doua a teoremei, folosim la început ideea că pentru orice 3 variabile aleatoare discrete x, y, z avem: Hy(x, z) ≥ Hy (x) deci :

Dacă x este ieșirea sursei, y este semnalul primit și z este semnlul emis prin canal, atunci partea dreaptă a expresiei este echivocul minus rata de transmisie peste canalul de corecție. Dacă capacitea acestui canal este mai mică decât echivocul, partea dreaptă a expresiei, va fi mai mare decâ 0 și Hyz(x) ≥ 0. Aceasta este nesiguranța atunci când se cunosc atât semnalul emis cât și cel receptat, precum și cel de corecție. Dacă acesta este mai mare decât 0, frecvența erorilor nu poate fi oricât de mică.

Figura 8. – Schema unui sistem de corecție.

II. B. 3. Teorema fundamentală pentru un canal discret cu zgomot.

Poate părea surprinzător că se va defini o capacitate finită C pentru un canal cu zgomot din moment ce nu se poate niciodată informații sigure în acest caz. Trimițând informații redundante, se micșorează probabilitatea apariției erorilor. De exemplu, emițând de multe ori același mesaj, prin studii statistice ale semnalului recepționat, proabilitatea apariției erorilor se apropie de zero. Asta nu înseamnă că pentru a se obține un mesaj clar, redundanța tinde la infinit, adică transmisia scade la zero. Dacă așa ar sta lucrurile, nu ar mai exista o capacitate foarte bine definită a canalului ci doar o capacitate pentru o anumită frecvență a erorilor. Capacitatea scade pe măsură ce cerințele erorilor devin mai stringente. C definit mai sus are o semnificație solidă: este posibil să trimiți informații la o rată de C prin canal, cu o frecvență a erorilor(echivoc) oricât de mică impune codarea potrivită. Pentru rate mai mari de C, afirmația nu mai e adevărată. În Figura 9 , rata informației în canal este reprezentată orizontal , iar echivocul vertical. Orice punct de deasupra liniei groase din regiunea mai umbrită se poate obține iar acelea de dedesubt nu. De obicei, punctele de pe linie nu se pot obține, dar în general, există două puncte pe linie care se pot obține.

Rezultatele enunțate se demostrează cu:

Teorema 11: Fie un canal discret de capacitate C și o sursă discretă de entropie pe secundă H. dacă H ≤ C, există un sistem de codare astfel încât ieșirea sursei să poată fi transmisă printt-un canal cu o frecvență relativ mică de erori(cu echivoc mic). Dacă H>C, este posibil să se codeze sursa astfel că echivocul să fie mai mic decât H – C + ε, unde ε este oricât de mic. Nu există o metodă de codare care să creeze un echivoc mai mic decât H – C.

Demonstrație:

Prima parte a teoremei se demonstrează arătând că un asemenea cod există într-un anume grup de coduri. Dacă media unei mulțimi este mai mică decât un ε, trebuie să existe cel puțin un număr în mulțime care să fie mai mic decât ε. De aici se ajunge la rezultatul dorit.

Figura 9. – Echivocul posibil pentru entropia unei intrări într-un canal.

Capacitatea C a unui canal a fost definită că

unde x este intrerea, iar y este ieșirea.

Fie So o sursă care atinge capacitatea maximă C. Dacă acest maxim nu este atins practic de nici o sursă, fie So o sursă care aproximează rata maximă. Să presupunem că So este folosită că intrare pentru canal. Considerăm doar secvențele emise și receptate de lungime T. Atunci:

Secvențele transmise se împart în două câtegorii: un grup de probabilitate mare cu circa 2TH(x) și grupul celorlalte secvențe.

Secvențele receptate au o mulțime de probabilitate mare de aproximativ 2TH(x) membri și o mulțime de secvențe de probabilitate mică.

Fiecare ieșire de probabilitate mare ar putea fi produsă de cam 2THy(x)intrări.

Toate simbolurile ε și δ implicate de cuvinte că “mic” și “aproximativ” în aceste afirmații se apropie de zero pe măsură ce T crește și So se apropie de maximizarea sursei. Situația este figurată în Figura 10, unde secvențele de intrare sunt puncte pe

partea stângă, iar secvențele de ieșire sunt puncte pe partea dreaptă. Liniile oblice reprezintă gama de cauze posibile pentru o ieșire specifică.

Acum să presupunem că avem altă sursă care produce informație la o rată de R cu R < C. În timpul T, această sursă va avea 2TR ieșiri de mare probabilitate. Se asociază acestea cu o selecție a intrărilor canalelor în așa fel încât să se obțină cele mai puține erori. Să presupunem că se observă o ieșire oarecare y1. Există 2TR mesaje distribuite la întâmplare în 2TH(x) puncte. Deci probabilitatea că un anume punct să fie mesaj este:

2T( R-H(x) ).

Probabilitatea că nici unul din puncte să nu fie mesaj este

Acum R <H(x) – Hx(x) și R – H(x) = – Hy(x) – η cu η pozitiv. Prin urmare:

tinde, când T → ∞ la:

Deci probabilitatea unei erori se apropie de zero, și prima parte a teoremei este demonstrată. A doua parte a teoremei se demonstrează folosind ideea că putem trimitem C biți de informație pe secundă de la sursă, neglijând restul informațiilor generate. La receptor, partea neglijată dă un echivoc de H(x) – C și la partea trimisă nu mai trebuie adăugat decât un ε.

Ultima afirmație din teoremă este o simplă consecință a definiției dată lui C. Să presupunem că putem coda o sursă cu R = C + a astfel încât să obținem un echivoc Hy(x) = a – ε cu ε pozitiv. Atunci R = H(x) + a și

H(x) – Hy(x) = C + ε.

Acest rezultat contrazice definiția lui C că maxim al H(x) – Hy(x).

II. B. 4. Discuții.

O aproximație a idealului ar avea proprietatea că dacă semnalul ar fi modificat de zgomot într-o măsură rezonabilă, originalul ar putea fi regăsit. Altfel spus, alterarea va transforma mesajul în altul nou care ar avea cea mai mare asemănare cu semnalul original, și nu cu alt mesaj. Acest rezultat se obține cu ajutorul unui anume grad de redundanță în codare. Redundanța trebuie introdusă în asemenea măsură încât să combată structura specifică a zgomotului implicat în mediul respectiv de comunicație.

Oricum, orice redundanță a sursei va fi de folos dacă se va folosi la capătul care recepționează. Concret, dacă sursa are deja o anumită redundanță și nu se iau măsuride eliminare a acestei redundanțe, atunci această redundanță va ajuta în combaterea zgomotului. De exemplu, s-ar economisi cu până la 50% din timp, prin codarea corespunzătoare a mesajelor din telegrafie.

Dar cum așa ceva nu se întâmplă, redundanța limbii engleze rămâne în simbolurile canalului. Avantajul este că, în canalul de comunicație, este permisă o cantitate considerabilă de zgomot. Un procent însemnat de litere poate fi recepționat incorect, și totuși mesajul poate fi reconstuit de context.

La fel că și în cazul fără zgomot, în general, este necesară o întârziere pentru a ne apropia de cazul ideal de codare. În cazul de față, întârzierea mai are și rolul de a permite existența unei cantități mai mari de zgomot în canalul de comunicație, zgomot care afectează semnalul.

Enunțul Teoremei 11 și demonstrația ei, pot fi formulate și într-un fel care permite observarea legăturii directe cu cazul canalului de comunicație fără zgomot.

Să considerăm mulțimea semnalelor posibile de durată T și o submulțime a să pe care o alegem pentru lucru. De asemenea considerăm că toate elementele pe care le avem în discuție din submulțimea aleasă sunt echiprobabile și că receptorul este prevăzut să aleagă, că și semnalul inițial, cae mai probabilă cauză din submulțime, atunci când este recepționat un semnal perturbat. Definim N(T,q) că fiind numărul maxim de semnale pe care le putem alege pentru submulțime astfel încât probabilitatea unei interpretări eronate să fie mai mică sau egală cu q.

Teorema 12: , unde C este capacitatea canalului, în condițiile în care q nu este 0 sau 1.

Cu alte cuvinte, indiferent de modul în care stabilim limitele de “încredere”, putem distinge cu siguranță, în timpul T, sufiente mesaje care să corespundă la aproximativ CT biți, când T este suficient de mare. Teorema 12 este comparabilă cu defeniția capacității unui canal fără zgomot dată la început.

II. B. 5. Exemplu de Canal Discret și capacitatea sa.

Un exemplu de canal discret este indicat în Figura 11. există 3 simboluri posibile. Primul nu este niciodată afectat de zgomot. Al doilea și al treilea au fiecare probabilitatea p de a ajunge la receptor nemodificate, și probabilitatea q de a fi schimbate în celălalt simbol al perechii.

Dacă considerăm α = – [ p log p + q log q] și P, Q probabilitățile folosirii

primului sau calui de-al doilea simbol, atunci avem

Dorim să alegem P și Q astfel încât să maximizăm H (x) – Hy (x), în condițiile în care P+2Q = 1. Deci se consideră

Prin eliminarea lui λ, obținem

În această situație, capacitatea canalului devine:

Să notăm că rezultatul obținut verifică valorile pentru cazurile p =1 și p = ½. În primul, β = 1 și C = log 3, care este corect pentru că acest canal devine fără zgomot cu 3 simboluri posibile. Dacă p = ½, atunci β = 2 și C = log 2.

Aici, al doilea și al treilea simbol nu pot fi distinse deloc și se comportă asemenea unui singur simbol. Primul simbol este folosit cu probabilitatea P = ½ iar al doilea și al treilea împreună cu prbabilitatea ½.

Pentru valori intermediare ale lui p, capacitatea canalului va varia între log 2 și log 3. Diferența dintre al doilea și al treilea simbol oferă unele informații dar nu la fel de multe că în cazul fără zgomot. Primul simbol este folosit ceva mai frecvent decât celelalte două din cauza independenței sale față de zgomot.

II. B. 6. Capacitatea canalului în anumite cazuri speciale

Dacă zgomotul afectează simboluri de canal succesive în mod independent, poate fi descris de o mulțime de probabilități de tranziție pij. Aceasta este probabilitatea ca, dacă este transmis simbolul i, să se recepționeze j. Rata maximă de transfer a canalului este dată de maximizarea expresiei

unde variază Pi în limitele în care Σ Pi = 1. Prin metoda Lagrange, deducem ecuațiile

Înmulțind cu Ps și adunând după s, arată că μ = – C. Fie inversa lui psj (dacă există ) notată cu hst astfel încât

Atunci:

De aici rezultă că

sau

Acesta este sistemul de ecuații necesar determinării și maximizării valorilor lui Pi , cu C de determinat astfel încât Σ Pi = 1. când s-s făcut determinarea, C va reprezenta capacitatea canalului, și Pi -urile vor fi probabilitățile că simbolurile din canalul de comunicație să atingă această capacitate.

Dacă fiecare simbol de intrare are aceeași mulțime de probabilități pe arcurile grafului ce pornesc din el, și același lucru este adevărat pentru fiecare simbol de ieșire, capacitatea poate fi ușor calculată. Exemplele se regăsesc în Figura 12. În acest caz, Hx(y) este independent de distribuția probabilităților simbolurilor de intrare, și este dat de relația – Σ pi log pi unde pi sunt valorile probabilităților de tranziție ale oricărui simbol de intrare. Capacitatea canalului este

Maximul lui H(y) este log m unde m este numărul de simbolurilor de ieșire, din moment ce este posibil să le facem pe toate echiprobabile prin echiprobabilizarea simbolurilor de intrare. Capacitatea canalului devine după procedeu:

În Figura 12 a, ar fi

Acest rezultat se obține prin folosirea doar a primului și a celui de-al treilea simbol.

În Figura 12 b,

În Figura 12 c, avem

Să presupunem că simbolurile cad în câteva grupuri astfel încât zgomotul să nu transforme vreunul din simboluri în altul din alt grup. Să notăm capacitatea grupului n cu Cn atunci când folosim simbolurile din acest grup. Atunci se arată ușor că, în

interesul întregii mulțimi, probabilitatea totală Pn a tuturor simbolurilor din grupul n ar trebui să fie

În interiorul unui grup, probabilitatea este distribuită exact așa cum ar fi distribuită dacă aceste simboluri ar fi singurele folosite.

Capacitatea canalului este deci:

II. B. 7. Un exemplu de codare eficientă

Exemplul următor, oarecum lipsit de realism, presupune că potrivirea perfectă a unei codări pe un anume canal cu zgomot este posibilă. Există două simboluri de canal, 0 și 1, iar zgomotul le afectează pe ambele în blocuri de câte 7 simboluri. Un astfel de bloc de 7 simboluri este fie transmis fără eroare, fie unul și numai unul dintre simboluri este afectat (incorect). Aceste opt posibilități sunt echiprobabile. Avem

O codare eficientă, permițând corectarea completă a erorilor și transmiterea la rata C, este următoarea:

Fie un bloc de 7 simboluri X1, X2, … ,X7. Din acestea, X3, X5 ,X6 și X7 sunt simboluri de mesaj și sunt alese arbitrar de către sursă. Celelalte sunt redundante și sunt calculate după procedeul următor :

X4 este ales să facă expresia α = X4 +X5 + X6+X7 divizibilă cu 2

X2 este ales să facă expresia β = X2 +X3 + X6+X7 divizibilă cu 2

X1 este ales să facă expresia γ = X1 +X3 + X5+X7 divizibilă cu 2.

Atunci când se primește un bloc de 7 simboluri, α, β și γ și dacă sunt pare atunci iau valoarea 0, dacă sunt impare iau valoarea 1.

Capitolul III: PRELIMINARII MATEMATICE

În acest ultim capitol vom considera cazul în care semnalele sau mesajele, sau și unele cât și celelalte sunt continuu variabile, în opoziție cu natura discretă presupusă până acum.

În cazul continuu, nu vom încerca să obținem rezulatele cu o cea mai largă generalitate , sau cu rigoarea matematicii pure, din rațiuni de calcul. După un studiu efectuat, s-a constatat că teoria se poate formula într-o manieră riguroasă și complet axiomatică care include atât cazul discret cât și continuu, dar și alte situații ce mai pot apărea. Libertățile pe care le vom permite din loc în loc proceselor de trecere la limită se pot justifica din punct de vedere al interesului practic.

III. A. Mulțimi și familii de funcții

O mulțime defuncții, după cum chiar numele sugerează este doar o colecție de funcții, în general de o singură variabilă, timpul.

Mulțimea se poate declara explicit, dând reprezentarea diferitelor funcții, sau sintetic, implicit, dând o proprietate a funcțiilor din ea.

Un exemplu ar fi:

Fiecare valoare θ determină o funcție distinctă a mulțimii.

O familie de funcții este reprezentarea potrivită din punct de vedere matematic pentru mesajele produse de o sursă continuă (de exemplu vorbirea curentă), pentru semnalele produse de un transmițător și pentru zgomotul din canalul de comunicație. Teoria comunicației este preocupată nu numai cu operații asupra unor funcții specifice, dar și asupra mulțimilor de funcții și familiilor de funcții. Un sistem de comunicație nu este prevăzut pentru un singur caz, sau pentru o anumită funcție a vorbirii, ci pentru o familie de funcții ale vorbirii.

III. B. Familii de funcții limitate de bandă

Dacă o funcție de timp f(t) este limitată la o bandă de la 0 la W cicluri pe secundă, ea este complet determinată prin enumerarea ordonatelor sale la intervale egale de secunde în maniera indicată mai departe.

Teorema 13: Fie f(t) fără frecvențe peste W.

Atunci:

în condițiile în care

În dezvoltarea lui f de mai sus, el este reprezentat ca o sumă de funcții ortogonale.

Coeficienții Xn ai termenilor pot fi considerați că coordonate într-un “spațiu de funcții” infinit dimensional. În acest spațiu, fiecare funcție corespunde precis unui singur punct și fiecare punct unei singure funcții.

O funcție poate fi considerată că fiind substanțial limitată la timpul T, dacă toate ordonatele sale Xn din afara acestui interval sunt egale cu 0. În această situație, toate coordonatele în afară de 2TW din ele vor fi zero. Astfel, funcțiile limitate la o bandă de lățime W și de durată T corespund unui spațiu cu 2TW dimensiuni.

O familie de funcții de durată limitată și de badă dată vor fi reprezentate de o distribuție de probabilități

în spațiul n-dimensional corespunzător. Dacă familia nu este limitată în timp, atunci cele 2TW coordonate cuprinse într-un interval T reprezintă partea de funcții din intervalul T și probabilitatea de distribuție

care dă structura statistică a familiei pentru intervale de aceeași durată.

III. C. Entropia unei distribuții continue

Entropia unei mulțimi discrete de probabilități pi cu i de la 1 la n s-e definit așa:

În mod asemănător, definim entropia unei distrbuții continue cu funcția densitate de distribuție p(x) :

Cu o distribuție n-dimensională avem:

Dacă avem de-a face cu două argumente x și y, atunci rezultanta entropiilor condiționate ale lui p(x,y) sunt date de

și

unde

Entropiile distribuțiilor continue au majoritatea proprietăților pe care le au și cele din cazul discret. În particular, avem urmatoarele:

Dacă x este limitat la un anume volum v din spațiu, atunci H(x) este un maxim și este egal cu log v când p(x) este constant (1/v) din volum.

Cu oricare două variabile x,y, avem

iar egalitatea are loc dacă și numai dacă x și y sunt independente.

Fie o operație de tipul

cu

Atunci, entropia distribuției p’(y) este mai mare sau egală cu aceea a distribuției inițiale.

Dacă

atunci rezultă:

Fie p(x) o distribuție unidimensională. Forma lui p care dă entropia maximă condiției că devierea standard a lui x este fixată dacă σ este gaussiană. Pentru a demonstra cele afirmate, trebuie să maximizăm expresia:

cu condițiile

Pentru aceasta, prin calculul variațiilor, este necesar să maximizăț mai departe

Condiția care se obține este ca

și deci (ajustănd constantele să satisfacă condițiile):

Analog stau lucrurile și în cazul n-dimensional, presupunând că momentele de ordinul al doilea p(x1, . . . ,xn ) sunt fixate la Aij :

Atunci, entropia maximă apare atunci când p(x1, . . . ,xn ) este distribuția gaussiană n-dimensională a momentelor de ordinul doi Aij .

Entropia unei distribuții gaussiene uni-dimensionale a cărei deviație standard este σ, este dată de

Această relație s-a calculat astfel:

Analog, distribuția gaussiană n-dimensională cu forma ei cvadrică asociată aij este dată de:

și entropia poate fi calculată ca

unde | aij | este determinantul ale cărui elemente sunt aij.

Există o deosebire importantă între entropiile stărilor discrete și continue. În cazul discret, entropia măsoară în mod absolut “aleatoricitatea” variabilei aleatoare. În cazul continuu, măsurătoarea este relativă la sistemul de coordonate.

Dacă schimbăm coordonatele, entropiile se vor modifica și ele în general. Entropia unei distribuții continue poate fi și negativă. Scara măsurătorilor alege un zero arbitrar corespunzător unei distribuții uniforme peste o unitate de volum. O distribuție mai fină decât aceasta, are entropia mai mică și va fi negativă. Ratele și capacitățile vor fi, totuși, nenegative.

Un caz particular de schimbare de coordonate este transformarea liniară

În acest caz, Jacobianul este determinantul și rezultă că

Dacă analizăm o rotație, avem J = 1 și H(y) = H(x).

III. D. Entropia unei familii de funcții

Să considerăm o familie de funcțiii ergodice limitate la o anumită bandă de lățime W cicluri pe secundă. Fie

funcția densitate de distribuție pentru amplitudinile x1 . . . xn la n momente diferite de timp. Definim entropia familiei pe grad de libertate prin

Putem defini și entropia H pe secundă prin împărțirea la timpul T exprimat în secunde pentru n mostre. Pentru că n = 2TW rezultă că H’ = 2WH.

Entropia unui proces stocastic continuu are multe proprietăți analoage celui discret. În cazul discret entropia este legată de logaritmul probabilității secvențelor lungi, și de numărul secvențelor probabile de lungime mare. În cazul continuu este legată de densitatea de probabilitate a unei serii lungi de mostre , și de volumul probabilităților mari din spațiul funcțiilor.

Mai precis, dacă presupunem p(x1 . . . xn) continuă în toți xi pentru orice n suficient de mare

pentru orice alegere a (x1 . . . xn) mai puțin o mulțime a cărei probabilități totale este mai mică decât δ, cu δ și ε alese arbitar oricât de mici.

Legătura dintre H și volum poate fi pusă sub următoarea formă:

Fie Vn (q) cel mai mic volum în acest spațiu care include în interiorul său o probabilitate totală q. Atunci

cu condiția că q să nu fie 1 sau 0.

Deci pentru un n suficient de mare, există un volum destul de bine definit în sens logaritmic, de mare probabilitate, și că în acest volum densitatea de probabilitate este relativ uniformă (tot în sens logaritmic).

În cazul continuu, este convenabil să lucrăm nu cu entropia H a familiei de funcții ci cu o cantitate derivată pe care o vom denumi în continuare puterea entropiei.

Aceasta este definită că puterea într-un zgomot alb limitată la aceeași bandă că și familia inițială și având aceeași entropie.

Cu alte cuvinte, dacă H’ este entropia unei familii de funcții, puterea entropiei sale este

Ca reprezentare geometrică, acest lucru se reduce la măsurarea volumului de probabilitate mare prin pătratul razei unei sfere având același volum.

III. E. Pierderea de entropie în filtre liniare

Teorema 14: Dacă o familie de funcții având entropia H1 pe grad de libertate în banda W este trecută printr-n filtru cu caracteristica Y(f) atunci ieșirea familiei are entropia

Operația filtrului este în principal o transformare liniară de coordonate. Dacă ne referim la diferitele componente ale frecvenței că fiind sistemul original de coordonate, noile componente ale frecvenței sunt cele vachi înmulțite cu diferiți factori supra sau subunitari.

Matricea transformării coordonatelor este astfel esențial diagonalizată în termenii acestor coordonate. Jacobianul transformării este

unde fi sunt egal distanțate în banda W. Limita devine astfel

Din moment ce J este constant, valoarea lui medie este aceeași cantitate și aplicând teorema schimbării entropiei cu o schimbare de coordonate, se va obține rezultatul următor .

Astfel, dacă N1 este puterea entropiei primei familii, atunci a celei de a doua este

Puterea finală a entropiei este entropia inițială înmulțită cu media geometrică câștigată la trecerea prin filtru.

Dacă câștigul este măsurat în decibeli, atunci puterea entropiei ieșirii sale va crește cu câștigul mediei aritmetice peste W.

În tabelul următor, pierderea de putere entropică este calculată și exprimată în decibeli (db) pentru un număr de caracteristici de câștig ideal.

Răspunsurile impulsurilor acestor filtre sunt de asemenea date pentru W = 2π, cu faza presupusă zero.

Pierderea de entropie pentru multe alte cazuri poate fi obținută din aceste rezultate. Ridicând câstigul la orice putere, ridică și factorul la aceeași putere.

Capitolul IV: CANALUL DE COMUNICAȚIE

CONTINUU

IV. A. Capacitatea unui canal continuu

Într-un canal continuu, intrările sau semnalele transmise vor fi funcții continue de timp f(t) aparținând unei anumite mulțimi, iar ieșirile sau semnalele recepționate vor fi variante perturbate ale primelor. Vom lua în considerare doar cazul unde atât semnalul transmis cât și cel recepționat sunt limitate la o anumită bandă W. Ele pot fi specificate, pentru un timp T, prin 2TW numere, și structura lor statistică prin funcții de distribuție finit dimensionale. Astfel,statisticile smnalului transmis vor fi determinate de

și cele ale zgomotului de distribuția probabilităților condiționate

Rata de transmisie a informației pentru un canal continuu este definită în mod analog canalului discret, adică

unde H(x) este entropia intrării iar Hy(x) este echivocul. Capacitatea C a canalului este definită că fiind maximul lui R când variem intrarea prin toate familiile posibile de funcții. Asta înseamnă că într-o aproximație finit dimensională trebuie să varieze

și să maximizăm

Expresia obținută se mai poate scrie și că

folosind faptul că

Capacitatea canalului este astfel exprimată prin expresia finală

În această formă R și C sunt independente de sistemul de coordonate din moment

ce numărătorul și numitorul din vor fi înmulțiți cu aceeași factori când x și y sunt transformați în orice valoare într-un singur mod. Această expresie integrală a lui C este mai generală decât H(x) – Hy(x), deoarece dacă ultima poate ajunge în situații de ∞ – ∞, prima poate fi mereu evaluată.

Dacă baza logaritmului folosit în calcularea lui H(x) și Hy(x) este 2, atunci C este numărul maxim de cifre binare care pot fi trimise pe secundă prin canal cu echivoc arbitrar ales oricât de mic, exact că în cazul discret. Se poate vedea fizic, împărțind spațiul semnalelor într-un număr mare de celule mici, suficient de mici pentru că densitatea de probabilitate Px (y) a semnalului x care este perturbată în punctul y să fie relativ constantă pe o celulă. Dacă celulele sunt considerate puncte distincte, atunci situația este identică cu cazul canalului discret. Practic este imposibilă o astfel de împărțire, folosindu-se regiuni suficient de mici, astfel încât să nu afecteze rezultatul final.

Deci capacitatea va fi limita capacităților subdiviziunilor discrete și aceasta este definiția capacității continue. Din punct de vedere matematic, se poate vedea că dacă u este mesajul, x este semnalul iar y este semnalul recepționat (cu perturbările de rigoare), atunci indiferent dacă operațiile a ufost făcute asupra lui u pentru a-l obține pe x sau asupra lui y pentru a-l obține pe v.

Adică, indiferent de metoda de codare a cifrelor binare pentru obținerea semnalului, sau de metoda de decodare, rata discretă pentru cifrele binare nu depășește capacitatea canalului pe care deja am definit-o. pe de altă parte, este posibil în anumite condiții să găsim un sistem de codare pentru transmiterea cifrelor binare la rata C, cu un echivoc sau frecvență a erorilor oricat de mici.

Este adevărat dacă luăm un spațiu de aproximare finit dimensional al funcțiilor semnal, P( x, y) care este continuu atât în x cât și în y cu excepția unei mulțimi de puncte de probabilitate zero.

Un caz special este acela în care se adaugă zgomot semnalului și este independent de el (în sens probabilistic). Atunci Px(y) este o funcție doar de diferența n=( y – x ),

și putem atașa o entropie finită zgomotului (independent de statistica semnalului), și anume entropia distribuției Q(n). Această entropie va fi notată cu H(n).

Teorema15: dacă semnalul și zgomotul sunt independente și semnlul recepțional este suma semnalului transmis și a zgomotului, atunci rata transmisiei este

adică entropia semnlului primit minus entropia zgomotului. Capacitatea canalului este

Din moment ce y = x + n vom avea

Dezvoltând membrul stâng și folosind faptul că x și n sunt independente

Deci

Pentru că știm de independența lui H(n) față de P(x), maximizarea lui R necesită maximizarea lui H(y), adică a entropiei semnalului recepționat. Dacă există anumite condiții asupra familiei semnalelor trimise, entropia semnalului primit trebuie maximizat în lumina acestor condiții.

IV. B. Capacitatea canalului cu limită medie de putere

O aplicație simplă a teoremei anterior prezentate este cazul unde zgomotul este un zgomot termic alb, și semnalele trimise sunt limitate la o anumită putere medie P. atunci, semnalele recepționate au o putere medie de P + N unde N este puterea medie a zgomotului. Entropia maximă pentru semnalele primite are loc atunci când ele formează o familie de zgomot alb, pentru că aceasta este cea mai mare entropie posibilă pentru o putere de P + N și se poate obține printr-o alegere convenabilă a familiilor de semnale trimise, adică dacă formează o familie de zgomot alb de putere P. În acest caz, entropia (pe secundă ) a familiei recepționate este

și entropia zgomotului este atunci

Mai rămâne de menționat capacitatea canalului, adică

Concluzionând, obținem următoarea

Teorema16: capacitatea unui canal de bandă W perturbat de zgomot termic alb de putere N când puterea medie a transmițătorului este P, este dată de relația

Acest rezultat înseamnă că prin sisteme de codare suficient de involuate putem

transmite cifre binare la rata de biți pe secundă, cu o frecvență a

erorilor oricât de mică. Nu este posibil să se transmită la o rată mai mare prin nici un sistem de codare fără o frecvență pozitivă a erorilor.

Pentru a aproxima această rată de transmitere limitativă, semnalele transmise trebuie să aproximeze, în poprietăți statistice, un zgomot alb. Un sistem care se apropie de rata ideală, se poate descrie așa:

Fie M = 2s mostre de zgomot alb construite fiecare în timpul T. Acestora le sunt atașate numere binare de la yero la (M – 1). La emițător, secvențele de mesaj sunt dezmembrate în grupuri de s și pentru fiecare grup mostra de zgomot corespunzătoare este transmisă că semnal. La receptor, cele M mostre sunt cunoscute și semnalul recepționat (afectat de zgomot) este comparat cu fiecare din ele. Mostra care are cea mai mică discrepanță R.M.S. de la semnalul primit, este aleasă că semnal trimis și numărul binar corespunzător este reconstruit. Acest proces se reduce la a alege cel mai probabil ( a posteriori ) semnal. Numărul M de mostre de zgomot folosit va depinde de frecvența tolerabilă ε a erorilor, dar pentru majoritatea selecțiilor de mostre avem

astfel încât oricât de mic ar fi ales ε, putem, dacă-l alegem pe T suficient de mare, să

transmitem cât de aproape dorim de cifre binare în timpul T.

Teorema17: capacitatea unui canal de bandă W perturbat de un zgomot arbitrar este legată de inegalitățile

unde P = puterea medie a transmițătorului;

N = puterea medie a zgomotului;

N1 = puterea entropiei zgomotului.

Și aici, puterea medie a semnalelor afectate va fi P + N. Entropia maximă pentru această putere ar apărea dacă semnalul recepționat ar fi zgomot alb și ar fi

S-ar putea că așa ceva să nu se întâmple. E posibil să nu existe familii de semnale trimise care, adăugate la zgomotul perturbator, să producă zgomot termic alb la receptor, dar cel puțin astfel se stabilește o limită superioară pentru H(y). Avem deci

Aceasta este limita superioară dată în teoremă. Limita inferioară se poate obține dacă luăm rata care ar rezulta din realizarea de zgomot alb din semnalul transmis, zgomot de putere P.

În acest caz, puterea entropiei semnalului recepționat trebuie să fie cel puțin egală cu aceea a unui zgomot alb de putere P + N1 din moment ce puterea entropiei sumei a două familii este mai mare sau egală cu suma puterilor entropiilor luate individual. Deci

și

Pe măsură ce P crește, limitele inferioară și superioară se apropie una de cealaltă, deci avem de-a face cu o rată asimptotică

Dacă zgomotul este el însuși alb, N = N1 și rezultatul se reduce la formula dinainte:

Dacă zgomotul este gaussian dar cu un spectru care nu este neapărat plat, N1 este media geometrică a puterii zgomotului peste diferitele frecvențe din banda W. Astfel,

unde N(f) este puterea zgomotului la frecvența f.

Teorema18: dacă stabilim capacitatea pentru o putere a emițătorului dată P la

atunci η descrește monoton cu limită la zero pe măsură ce P crește.

Demonstrație: Să presupunem că pentru o anume putere dată P1, capacitatea canalului este

Aceasta înseamnă că cea mai bună distribuție a semnalului, să-i zicem p(x), atunci când este adăugată la distribuția q(x) a zgomotului, produce o distribuție rezultantă r(y) a cărei putere a entropiei este

Dacă vom alege să creștem puterea la P1 + ΔP prin adăugarea unui zgomot alb de putere ΔP la semnal. Entropia semnalului recepționat va fi de cel puțin

prin aplicarea teoremei asupra puterii minime a entropiei unei sume.

De aici, deoarece putem obține H indicat, entropia distribuției maximizante trebuie să fie cel puțin egală și η trebuie să fie monoton descrescător.

Pentru a arăta că η→0 în timp ce P→∞, să considerăm un semnal care este zgomot alb, iar P foarte mare.

Oricare ar fi zgomotul perturbator, semnalul recepționat va fi aproximativ un zgomot alb, dacă P este suficient de mare, în sensul obținerii unei puteri a entropiei care să se apropie de P + N.

Capitolul V:

RATA UNEI SURSE CONTINUE

V.A. Funcții de evaluare a fidelității

În cazul unei surse discrete de informații, am reușit să determinăm o ratș finită de generare a informației, și anume entropia procesului stocastic de la bază. Cu o sursî continuă, situația este mult mai complicată.

În primul rând, o cantitate continuu variabilă poate lua o infinitate de valori și necesită, pentru o specificare exactă, un număr infinit de cifre binare. Asta înseamnă că pentru a transmite ieșirea unei surse continue cu recuperare exactă la receptor necesită, în general, un canal cu capacitate infinită (în biți pe secundă). Din moment ce canalele au în ele un zgomot inerent, deci o capacitate finită, transmisii exacte sunt imposibile.

Practic, nu suntem interesați de transmisii exacte când vine vorba de o sursă continuă, ci doar de transmisii în anumite limite de toleranță. Întrebarea care se pune, este dacă putem atașa o rată finită unei surse continue, atunci când cerințele sunt acelea ale unei anumite fidelități în recuperarea datelor, măsurată în mod convenabil.

Bineînțeles, pe măsură ce nevoia de fidelitate crește, va creșt și rata. Se va arăta că putem defini o asemenea rată, în cazuri foarte generale, care să aibă proprietatea că, prin codarea potrivită a informației, aceasta se poate transmite într-un canal a cărui capacitate este egală cu rata în discuție, și care în plus satisface necesitățile de comunicație. Un canal de capacitate mai mică nu este suficient.

Este necessar în primul rând să dăm o formulare matematică ideii de fidelitate a transmisiei. Să considerăm mulțimea de mesaje de durată mare, de T secunde. Sursa în cauză este descrisă dându-i densitatea de probabilitate, pe spațiul asociat, cu care sursa va selecta mesajul în discuție P(x). Un sistem comunicațional este descris prin enunțarea probabilității condiționate Px(y) că dacă mesajul x este produs de sursă, mesajul recepționat la receptor este y. sistemul că întreg este descris de funcția de probabilitate P(x, y) de a avea mesajul x și ieșirea finală y.

Dacă această funcție este cunoscută, caracteristicile complete ale sistemului din punct de vedere al fidelității sunt cunoscute. Orice evaluare a fidelității trebuie să corespundă matematic unei operații aplicate lui P(x, y). Această operație trebuie să aibă măcar proprietatea de ordine pe spațiul fidelităților, adică trebue să fie posibil să spui care din două sisteme reprezentate de P1(x, y) și P2(x, y), conform criteriilor de fidelitate, are fidelitate: mai mare, mai mică, sau sunt de fidelitate egală.

Asta înseamnă că un criteriu de fidelitate poate fi reprezentat de o funcție numerică

ale cărei argumente iau la rând toate funcțiile de probabilitate P(x, y).

Vom arăta în continuare că, pe cazuri mai generale, funcția v(P(x, y)) poate fi scrisă într-o formă mult mai specializată, și anume că medie a unei funcții ρ(x, y) peste mulțimea de valori posibile ale lui x și y:

Pentru a obține acest rezultat nu trebuie decât să presupunem că

sursa și sistemul sunt ergodice astfel ca o mostră de lungime mare va fi, cu probabilitate aproape de 1, tipică pentru familia de funcții;

evaluarea este posibilă, prin obsevarea unei intrări anume x1 și ieșiri y1 pentru a forma o evaluare empirică pe baza acestor mostre; iar dacă acestor mostre li se mărește durata atunci, cu probabilitatea 1, evaluarea empirică se va apropia de evaluarea exactă bazată pe cunoașterea lui P(x, y).

Fie evaluarea empirică ρ(x, y). Atunci, funcția ρ(x, y) tinde la o constantă atunci când T → ∞, pentru aproape toate perechile (x, y) care se află în zona de probabilitate mare corespunzătoare sistemului: ρ(x, y) → v(P(x, y))

și mai putem scrie

pentru că

Și astfel s-a stabilit rezultatul dorit.

Funcția ρ(x, y) are natura generală a unei “distanțe” între x și y. măsoară cât de dificil este să se primească y când s-a transmis x. rezultatul de mai sus se poate reformula astfel: orice evaluare satisfăcătoare poate fi reprezentată ca o medie a distanței funcției peste mulțimea de mesaje și mesajele recepționate x și y ponderate conform probabilității P(x, y) de a primi perechea în discuție, cu condiția că durata T a mesajului să fie suficient de mare.

V. A. 1. Exemple de funcții simple de evaluare:

1. Criteriul R.M.S.

este un criteriu de fidelitate foarte des folosit, în care funcția distanță ρ(x, y) este pătratul distanței euclidiene între punctele x și y în spațiul funcțiilor asociate.

2. Criteriul R.M.S. al frecvențelor ponderate. Mai general, se pot aplica diferite ponderi diferitelor componente ale frecvențelor a priori folosirii unei măsuri de fidelitate R.M.S.

Asta este echivalent cu trecerea diferenței x(t) – y(t) printr-un filtru de modelare și apoi determinând puterea medie a ieșirii. Fie deci

și

atunci

3. Criteriul erorii absolute

4. Cazul discret poate fi considerat ca o specializare în care am presupus în mod tacit, o evaluare bazată pe o frecvență a erorilor. Funcția ρ(x, y) este apoi definită că numărul de simboluri din secvența y care diferă de simbolurile corespunzătoare din x împărțit la numărul total de simboluri din x.

V. B. Rata unei surse relativ la o evaluare a fidelității

Putem defini acum rata unei surse continue de generare a informației. Ni se dă P(x) pentru sursă, și o evaluare v determinată de o funcție distanță ρ(x, y) care va fi presupusă continuă în x cât și în y. Cu un sistem anume P(x, y), calitatea este măsurată de relația

Mai mult, rata de curgere a cifrelor binare corespunzătoare lui P(x, y) este

Definim rata R1 de generare a informației pentru o calitate dată v1 de reproducere că fiind minimumul lui R atunci când se păstrează fix v în v1 și variem doar Px(y). Adică:

este supusă condițiilor

Aceasta înseamnă că considerăm toate sistemele comunicaționale ce pot fi folosite și care transmit cu fidelitatea cerută.

Rata de transmisie în biți pe secundă este calculată pentru fiecare și îl alegem pe acela care are rata cea mai mică. Această ultimă rată este rata pe care o atașăm sursei pentru fidelitatea în discuție. Justificarea definiției stă în următoarea

Teorema19: dacă o sursă are rata R1 pentru o valoare v1 este posibil să codăm ieșirea sursei și să o transmitem peste un canal de capaciztate C cu o fidelitatate cât de apropiată de v1 se dorește prin R1 ≤ C. Pentru R1 > C nu este posibil.

Ultima afirmație din teoremă rezultă imediat din definiția lui R1 dată anterior și din rezultate anterioare. Dacă n-ar fi adevărat, am putea transmite mai mult de C biți pe secundă într-un canal de capacitate C și am demonstrat că acest lucru nu este posibil.

Putem, de la început, să împărțim spațiul perechilor (x, y) într-un număr mare de celule mici și apoi să reprezentăm situația că un caz discret. Acest fapt nu va schimba funcția de evaluare cu mai mult de o cantitate arbitrar de mică (când celulele sunt foarte mici) datorită continuității presupusă pentru ρ(x, y). Să presupunem că P1(x, y) este sistemul anume care minimizează rata și dă R1. Alegem din acei y de probabilitate mare, o mulțime la întâmplare conținând

membri, unde ε→0 iar T→∞. Cu T mare, fiecare punct ales va fi conectat printr-o linie de probabilitate mare că în Figura 10, de o mulțime de x.

Un calcul asemănător celui din Teorema11 arată că pentru T mare, aproape toți x sunt acoperiți de liniile ce pornesc din punctul y ales, aproape pentru orice y. Sistemul de comunicație folosit funcționează după cum urmează: punctelor selectate li se asociază numere binare. când se naște un mesaj x, el va fi acoperit de o linie ce pleacă din y, cu o probabilitate ce tinde la 1, în timp ce T→∞. Numărul binar corespunzător este transmis prin canalul de comunicație prin metode potrivite de codare, pentru a da probabilități de eroare mici. Pentru că R1 ≤ C, este deci posibil. La receptor, y-ul corespunzător este reconstruit și folosit că mesaj recuperat.

Evaluarea v’1 pentru acest sistem poate fi realizată oricât de aproape de v1 prin luarea lui T suficient de mare. Acesta se datorează faptului că pentru fiecare mostră lungă de mesaj x(t) și de mesaj recuperat y(t), evaluarea se apropie de v1 cu probabilitatea 1.

De observat este că, în acest sistem, zgomotul din mesajul recuperat este de fapt produs de un fel de cuantificare a emițătorului și nu este produs de zgomotul din canal.

V. C. Calcularea ratelor

Definiția ratei este similară în multe aspecte cu definiția capacității canalului de comunicație. În prima,

cu valorile fixate P(x) și

În cea de-a doua,

cu Px(y) fixat și cu posibilitatea existenței a uneia sau mai mai multor constrângeri, de forma

O soluție parțială a problemei maximizării pentru determinarea ratei unei surse se poate exprima. Folosind metoda lui Lagrange considerăm

Ecuația, atunci când considerăm prima variație a lui P(x, y), conduce la

unde λ este determinat astfel încât să dea fidelitatea cerută și B(x) este aleasă să satisfacă

Acest rezultat arată că, folosind cea mai bună codare, probabilitatea condițională a unei anumite cauze pentru diferiți y receptați, Py(x) va scădea exponențial cu funcția distanță ρ(x, y) între x și y aflați în discuție.

În cazul special unde funcția distanță ρ(x, y) depinde doar de diferența vectorială dintre x și y,

avem

Deci B(x) este constant, să zicem α, și

Aceste soluții formale sunt dificil de evaluat pentru cazuri particulare și par a fi fără valoare. Dacă funcția distanță ρ(x, y) este discrepanța pătrată medie dintre x și y și familia mesajului este zgomot alb, rata poate fi determinată.

În acest caz, avem

cu

Dar max( Hy (x) ) apare atunci când y – x este zgomot alb, și este egal cu W1 log 2πe N unde W1 este lățimea de bandă a familiei de funcții mesajului. De aceea:

unde Q este puterea medie a mesajului. Acest rezultat demonstrează

Teorema20: rata pentru o sursă de putere Q și bandă W1 relativă la o măsură de fidelitate R.M.S. este

cu N fiind eroarea medie pătratică dintre mesajele original și cel final recepționat.

Mai general, cu orice sursă de mesaje putem obține inegalități care leagă rata relativă la un criteriu de eroare medie pătratică.

Teoremă21: rata pentru orice sursă de bandă W1 este cuprinsă între

în condițiile în care Q este puterea medie a sursei, Q1 este puterea entropiei și N este eroarea medie pătratică admisă.

Limita inferioară rezultă din faptul că maximul lui Hy (x) pentru un N = (x – y)2

are loc ]n cazul zgomotului alb.

Limita superioară rezultă imediat dacă amplasăm punctele folosite în demonstrarea Teoremei19, nu în mod optim, ci la întâmplare într-o sferă de rază

Capitolul VI:

MathCAD

PREZENTARE GENERALĂ

MathCAD este un produs informatic destinat rezolvării problemelor de calcul numeric, cu posibilitatea documentării și a reprezentării grafice plane și spațiale.

În MathCAD se utilizează notația matematică obișnuită, tot ceea ce apare pe ecran se poate trimite în exact aceeași formă la imprimantă.

In MathCAD, sunt implemantați algoritmi numerici pentru calculul unei integrale, a derivatei unei funcții într-un punct, rezolvarea unei ecuații algebrice, a sistemelor de ecuații algebrice neliniare, calculul matricial, etc.

Comanzile devin operaționale prin acționarea tastelor funcționale, prin tastarea numelui comenzii sau cu ajutorul unui set de meniuri.

MathCAD este beneficiază deautodocumentare prin intermediul unui meniu de asistanță Help, activat și prin tastarea tastei funcționale cunoscute F1.

De asemenea, MathCAD este echipat cu propriul său editor. Tot ceea ce este introdus prin intermediul editorului, conduce la crearea unui “document MathCAD”.

Într-un document, orice definiție, ecuație, text, comentariu sau reprezentare grafică ocupa un spațiu denumit “regiune”. Regiunile sunt disjuncte două câte două. Procesul de calcul constă în evaluarea regiunilor și are loc de sus în jos, iar pe nivel orizontal, de la stânga la dreapta. Regiunile pot fi vizualizate tastând Ctrl + V care funcționează în regim “On/Off”.

VI. A. Apelarea si ecranul MathCAD

Se intră în MathCAD prin dublu-click pe pictograma scurtătură a programului, sau prin tastarea lui Enter pe MathCAD.exe. Apare ecranul următor:

Pe ecran apare un semn + de culoare roșie, care inițial este în colțul din stânga-sus, dar se poate deplasa oriunde în ecranul de lucru al ferestrei cu ajutorul pointer-ului de la mouse, sau cu ajutorului tastelor săgeți sau cu Enter.

Orice se tastează, apare pe ecran începând de la poziția lui “ + “.

Pentru activarea setului de meniuri, extins dealtfel, se tastează Alt +F, sau orice altă literă subliniată a cuvintelor din bara de meniu din partea de sus a ecranului. Meniul va coborâ:

VI. B. Efectuarea calculelor numerice

În această secțiune vor fi prezentate noțiunile de bază ale MathCAD-ului: operatori, identificatori, tipuri de date, etc. De asemenea se studiază și vectorizarea relațiilor, formatul de editare al datelor numerice, precum și folosirea unităților de măsură.

VI. B. 1. Operatori MathCAD

operatorul de atribuire / definire := (se obține tastând: )

formatul:

variabilă := expresie

funcție (lista de variabile) := expresie

semantica:

Valoarea expresiei din membrul drept este atribuită elementului din membrul stâng.

operatorul de afișare =

formatul:

variabilă =

expresie =

funcție (listă de variabile) =

semantica:

Afișază valoarea membrului stâng.

operatorul de definire globală ≡ (se obține tastând Shift + -)

formatul:

variabilă ≡ expresie

semantica:

Permite fixarea sau modificarea unor parametri MathCADla nivel global, adică având domeniul de valabilitate întregul document.

VI. B. 2. Efectuarea unor calcule simple:

MathCAD permite efectuarea unor calcule numerice simple, de exemplu tastând:

(, 2.5, *, 4, ), ^, 2, -, 90.6, /, 6, =

pe ecran apare:

MathCAD utilizează operatorii uzuali, +, -, *, /, ^ , pentru introducerea expresiilor algebrice, afișarea pe ecran fiind cea uzuală din matematică.

Rezultatul expresiei este afișat în urma tastării operatorului de afișare =.

Într-o regiune corespunzătoare unei expresii de calcul, ecuații sau zonă grafică, cursorul MathCAD devine │. Bara verticală a cursorului indică locul unde se inserează ceea ce se tastează. În urma tastării unui operator algebric +, – , * , / , ^ , se afișază un dreptunghi pe care îl vom denumi “poziție marcată”. Poziția marcată ține locul unei expresii ce urmează să fie tastată.

Pentru modificarea textului introdus, se poziționează cursorul în zona caracterelor de modificat și se acționează tasta Backspace sau Delete după care se reia editarea.

VI. B. 3. Identificatori MathCAD

Identificatorii MathCAD, adică numele dat variabilelor, constantelor și funcțiilor, pot conține oricare din următoarele caractere:

litere din alfabetul latin mari și mici; se face distincție între literele mari și mici.

cifre de la 1 la 9 (un identificator nu poate începe cu o cifră).

litere grecești.

caractere speciale: linia de subliniere, procent, simbolul infinit, etc.

caractere internaționale, care în cod ASCII au codurile cuprinse între 128 și 175; un astfel de caracter se obține tastând Alt + n, unde n є [128, 175].

Example de identificatori:

alfa β x_2kk4u val_tot_%

m (s-a modificat c.d ) a func` `

VI. B. 4. Tipuri de date MathCAD

MathCAD folosește următoarele tipuri de date:

VI. B. 4.1. Variabile

VI. B. 4.1.1. Variabile numerice și complexe

Pentru a defini o variabilă:

se tastează numele variabilei,

se tastează operatorul de definiție,

se introduce expresia care definește variabila.

Exemplu: pentru a calcula valoarea expresiei y= x2 – 3x +2 în punctul 0.5, se definește

x:=0.5

y:=x2 – 3·x + 2

Rezultatul se obține tastând

y, =

y = 0.75

O constantă numerică întreagă se poate defini în baza 10, 8 sau 16. în cazul bazei octale, numărul este urmat de litera o sau O, iar în cazul bazei hexazecimale numărul este urmat de litera h sau H. În aceste cazuri, numerele pot avea până la 32 de cifre.

Pentru a defini o constantă complexă se utilizează forma algebrică a+bi. În locul lui i, se poate folosi ca indice j. Pentru a defini unitatea imaginară, trebuie tastat 1i sau 1j. MathCAD utilizează i la sfârșitul numerelor complexe. Schimbând parametrul Imaginary Unit al comenzii format în j, atunci numerele complexe se afișază cu simbolul j ca unitate imaginară.

VI. B. 4.1. 2. Variabile șir

Se va arăta modul de definire al unui șir. O progresie aritmetică se poate defini folosind formatul:

variabila_sir :=val_initiala, val_urmatoare . . val_finala

Observații:

pentru obținerea lui . . se tastează ;

val_initiala, val_urmatoare si val_finala pot fi și expresii.

rația progresiei aritmetice este val_urmatoare – val_initiala.

ultimul_termen al progresiei este definit de inegalitatea

ultimul_termen ≤ val_finala < ultimul_element +ratia (daca ratia > 0)

si

ultimul_termen ≥ val_finala > ultimul_element +ratia (daca ratia < 0).

Exemplul 1:

Șirurile definite prin

i := 0.5 . . 5

j := 5 . . 0.5

sunt i: {0.5, 1.5, 2.5, 3.5, 4.5 } și j: { 5, 4, 3, 2, 1}.

O variabilă șir ale cărei valori sunt numere naturale consecutive se numeste variabilă indice.

Exemplul 2:

Dacă k este variabila_indice definită ca k = k0 . .kf , atunci pentru definirea șirului xk=k2 se tastează

X, [, k, :, k, ^ , 2

Pe ecran apare

xk := k2

Elementele șirului devin vizibile doar dacă se tastează x =

și elementele lui x vor fi {0, 0, 4, 9, 16, 25}. Se observă că au fost tipărite și valorile x0 si x1 care sunt 0, deoarece nu au fost definite; variabila_indice k ia valorile 2, 3, 4 și 5.

VI. B. 4. 1. 3. Variabile array (tablou): matrice și vectori

O variabilă devine variabilă tablou dacă i se atribuie o constantă tablou sau o expresie a cărei valoare este de tip tablou.

Pentru a crea o constantă de tip tablou se parcurg următorii pași:

P1. se tastează Alt + i + m

P2. se fixează dimensiunile tabloului completând lementele din fereastra de dialog care se deschide:

Rows – specifică numărul de linii ale tabloului;

Columns – specifică numărul de coloane ale tabloului.

P3. în urma completării (valorile deja existente sunt 3 și 3), apare tabloul cu spațiile ce trebuie completate:

P4. spațiile se completează trecând de la poziție la poziție cu tasta Tab.

Afișarea componentelor unui vector (sau ale unei matrice) se obțin tastând numele vectorului (matricei) urmat de indici inferiori.

Exemplu: dacă v := [1,2,3] atunci v0 se obtine tastând

v[0=

Într-un tablou, valoarea inițială indicilor este 0. Dacă dorim ca valoarea inițială a indicilor să fie 1, trebuie să atribuim parametrului MathCAD origin valoarea 1. Aceasta se obține prin definiția globală:

ORIGIN ≡ 1

Pentru cazul matricilor, pentru a obține perechea de indici, aceasta trebuie inclusă în paranteze. Astfel, după indicatorul de indice [ tastăm ‘ atunci pe ecran apar în locul indicilor o pereche de paranteze deschise, între care se inserează cei doi indici.

VI. B. 4. 2. Funcții

MathCAD posedă o largă familie de funcții. În plus, se pot defini noi funcții conform

sintaxei:

Nume_ funcție (arg1, arg2, arg3, . . . ) := expresie

unde arg i reprezintă argumentele funcției. Nume_funcție, arg1, arg2, arg3, … sunt identificatori. Argumentele pot fi variabile numerice, vectori, matrice sau chiar alte funcții.

Tipul expresiei definește tipul valorilor funcției: numeric, vectorial, matricial.

VI. B. 4. 2. 1. Funcții condiționate

Deși nu posedă instrucțiuni pentru programarea structurilor alternative sau de ciclare, MathCAD dispune totuși de două funcții until și if , ale căror valori se calculează după cum se îndeplinește sau nu o anumită condiție.

Funcția until:

Format:

until (Exp1 , Exp2 )

Semantica:

Valoarea funcției until este aceea a expresiei Exp2 atâta timp cât valoarea expresiei Exp1 este nenegativă. Dacă valoarea expresiei Exp1 devine negativă, procesul de calcul încetează. Funcția until este operațională în ecuații cu o variabilă șir.

Exemplu: ne propunem să calculăm limita șirului (an)nєN definită prin formula de recurență : an+1 = , unde a0 = .

cu o precizie ε = 0.00001, în sensul că an este o aproximație a limitei dacă | an – an | < ε.

N:=100 n:=1 . . N ε:= 0.00001

a0:= a1:=

an+1:=until [ | an – an-1 | – ε , ]

limita:=alast(a) – 1

limita = 2

Funcția if

Format:

If (Condiție , Exp1 , Exp2 )

Semantica:

Valoarea funcției if este Exp1 sau Exp2 după cum conciția este adevărată sau nu.

Exemplu:

Problema anterioară se programează cu ajutorul lui if prin:

N:=100 n:= 1 . . N ε:=0.00001

a0:= a1:=

an+1:= if [ | an – an-1 | < ε , , an ]

limita:=alast(a)

limita = 2

VI. B. 5. Vectorizare

Să presupunem că o funcție f(x,y) trebuie aplicată succesiv unui sistem de variabile (xi,yi), obținând zi = f(xi,yi), pentru i= 1 . . n.

MathCAD oferă posibilitatea efectuării acestor calcule prin vectorizare, procedeu care este mult mai rapid decât folosirea indexării.

z =

unde x:= [x1, . . . , xn] iar y:= [y1, . . . , yn].

Pntru a obține simbolul vectorizării se plasează cursorul oriunde pe numele funcției și se tastează Ctrl + – .

În cazul vectorizării unei expresii mai complicate, expresia se închide în paranteze și cu cursorul pe paranteza stângă, se tastează Ctrl + -.

Exemplu: Rezolvarea unor ecuatii de gradul al doilea cu coeficienții:

a:=[1, 1, 1, 1] b:=[3, 2, 1, 0] c:=[2, 1, 1, 4]

Formulele de calcul vectorizat sunt:

Se obțin următoarele rezultate: x ={-1, -1, -0.5+0.866i, 2i}, y = {-2, -1, -0.5-0.866i, 2i}.

VI. C. Formatul de editare al datelor numerice

Formatul implicit de editare al datelor numerice se poate modifica local sau global. Pentru a modifica local formatul de editare se tastează f după operatorul de calcul (=). Tastând d în regiunea de editare se revine la formatul standard de afișare.

Pentru a obține modificarea globală a formatului de editare (a modului de scriere a numerelor) se utilizează meniul Format (→Numbers … care arată ca în figura alăturată:)

unde:

Radix precizează natura numerelor afișate;

Displayed precision: precizia de afișare;

Exponential Treshold: formatul exponential de afișare;

Complex tolerance: toleranta complexa:

trebuie să fie un întreg între 0 și 15, implicit fiind 10. Dacă raportul celor două părți ale numărului complex este mai mic decât 10-n atunci partea mai mică nu mai este afișată. De exemplu, dacă avem: 1+1i 10-13 este afisat 1, iar 10-12 +2i este afisat ca 2i ! Rotunjirea nu afectează însă valoarea internă a numărului.

Zero tolerance: toleranța sub care numărul în valoare absolută este considerat 0. Este un întreg cuprins între 0 și 308; implicit este 15. Numerele mai mici decât 10-n sunt afișate 0.

Imaginary: precizează notația pentru elementul imginar (i sau j).

Display as matrix este folosită pentru afișarea tablourilor ce au mai mult de 9 linii sau coloane sub formă de matrice. Celelalte tablouri vor fi afișate sub forma de tablou grilă.

Trailing zeros: este opțiunea care completează cu zero-uri pozițiile care rămân necompletate în cazul folosirii opțiunii displayed precision. Se completează pozițiile până la completarea a displayed precision poziții.

VI. D. Unități de măsură

Variabilele MathCAD pot reprezenta mărimi fizice numerice, caz în care valoarea numerică este urmată de o unitate de măsură.

MathCAD acceptă 4 mărimi fundamentale considerate implicit drept lungime (L), masă (M), timp(T) și sarcină(Q), pe baza cărora se pot construi alte mărimi. Numele acestor mărimi se poate schimba cu ajutorul comenzii dimension. Pentru a folosi mărimi fizice se parcurg următorii pași:

Se definesc unitățile de măsură pentru mărimile fundamentale:

Exemplu :

m := 1L kg := 1M s := 1T rad := 1

Se definesc unități de măsură derivate:

Exemplu :

Mm := 0.001·m g := 0.001·kg N :=

grad :=

Se introduc relațiile de calcul:

Exemplu :

360·grad = 6.283 sin (π/4) = 0.707

MathCAD verifică compatibilitatea variabilelor într-o ecuație, tipărește unitățile de măsură ale rezultatelor și poate converti rezultate dintr-o unitate de măsură în alta.

VI. E. Redactarea documentelor

Într-un document MathCAD pot fi incluse și texte și comentarii.Regiunile text se obțin:

tastând “ se creaza o zona text, delimitata de ghilimele “ ”.

tastând Ctrl + t se crează o bandă text, care ocupă toată lățimea documentului. În măsura în care se adaugă text în banda text, această regiune împinge în jos toate regiunile deja create. O regiune text se părăsește plasând cursorul în afara ei. Lățimea implicită a unei linii într-o bandă text este de 78 de caractere. Lățimea unei linii într+o bandă text se poate fixa cu ajutorul comenzii linelength.

Lățimea unei zone text se poate modifica în două feluri:

în yona text se plasează cursorul astfel încât să marcheze noua lățime și se tastează Ctrl+Enter;

cu ajutorul comenzii width se fixează noua lățime.

Într-o bandă text avem posibilitatea să definim blocuri pe care le putem copia, șterge și insera. În editarea ecuațiilor este utilă comanda Ctrl+Enter, care permite scrierea unei sume pe două rânduri.

VI. F. Realizarea unei reprezentări grafice

În vederea realizării unei reprezentări grafice bidimensionale, se tastează Shift + 2. Pe ecran apare :

Pe axa x-ilor pozițiile marcate din mijloc se înlocuiesc cu una sau mai multe expresii separate prin virgulă.

Pe axa y-ilor pozițiile marcate din mijloc se înlocuiesc cu una sau mai multe expresii separate prin virgulă.

După completarea pozițiilor mai sus menționate, vor aparea la extremitățile axelor noi spații care vor fi completate prin default. Pozițiile extreme de pe fiecare axă definesc domeniul reprezentării grafice. În cazul în care pe una din axe, limitarea nu este dată (adică pozițiile extreme marcate se lasă nemodificate) MathCAD va determina intervalul de pe axa respectivă care corespunde cel mai bine reprezentării grafice. Trecerea de la o poziție marcată la alta se realizează acționând tasta Tab.

Principalele opțiuni ale meniului Local Plot Format sunt:

size = y,x :

indică mărimea reprezentării grafice; primul parametru numeric se referă la axa Oy, iar al doilea la axa Ox .

trace types = litera: (indica simbolul prin care se realizeaza trasarea graficului:)

l sau L – linie : punctele sunt legate prin segmente;

d(punct) – graficul este marcat prin puncte;

s (scara) – punctele sunt conectate prin segmente verticale si orizontale in scara;

b(bara) – se traseaza bare verticale pentru fiecare punct;

x(x punct) – se marcheaza cu un “x” fiecare punct;

X(x linie) – punctele marcate cu “x” sunt legate prin segmente;

p(+ punct) – se marcheaza cu “+” fiecare punct;

P(+ linie) – punctele marcate cu “+” sunt legate prin segmente;

o(dreptunghi) – fiecare punct este indicat printr-un dreptunghi;

O(dreptunghi linie) – dreptunghiurile sunt unite prin segmente;

v(romb) – fiecare punct indicat printr-un romb;

v(romb linie) – romburile sunt unite prin segmente.

Log cycles = y,x :

Reprezentări grefice în scara logaritmică; x și y sunt numere întregi în intervalul [0,63]. Valorile x și y au următoarea interpretare:

0 – sistem de axe rectangulare;

1 – sistem de axe logaritmice;

n – sistem de axe logaritmice are n diviziuni pe axa indicata (n>1).

Subdivisions = y,x :

Se indică numărul de subdiviziuni pe axa Oy, respectiv Ox; sunt numere întregi în intervalul [1,63]. Pentru axele logaritmice, valorile admise sunt 1, 2 și 9. În cazul ambelor sisteme, 1 are semnificația fără diviziuni.

În vederea obținerii unei reprezentări grafice, spațiale, se tastează Ctrl + 2. Pe ecran apare:

Poziția marcată se completează cu numele matricei care conține cotele suprafeței zi, j = f (xi, yj) calculate pe o rețea dreptunghiulară de puncte (xi, yj) , cu i între 0 și m, iar j între 0 și n.

Analog, se pot modifica parametri reprezentării conform unui meniu:

size = y, x : defineste dimensiunile reprezentarii; dimensiunea maxima este de 127 linii x 128 de coloane.

Rotation = n : rotatia reprezentarii (in grade); n є [0, 90].

Tilt = n : defineste înalțimea observatorului; o valoare intreaga cuprinsa intre 0 si 90;

Hidden lines =y/n : optiune pentru ascunderea liniilor.

Vertical scale = n : defineste imaginea verticala a suprafetei; n є [0, 100].

VI. G. Comenzi MathCAD

MathCAD este dotat cu o serie de facilități de utilizare prin intermediul unui sistem de comenzi.

O comandă se poate apela în mai multe moduri:

apelarea prin nume. În acest caz se procedează după cum urmează:

se acționează tasta Esc.

Se tastează numele comenzii, urmat eventual de parametri ceruți.

Se acționează tasta Enter.

Apelarea prin meniu: În acest caz se procedează după cum urmează:

Se acționează tasta F10.

Cu ajutorul tastelor săgeți, se alege din meniu tasta dorită.

Se acționează tasta Enter.

Apelarea rapidă:

Unele comenzi sunt accesibile prin taste funcționale.

VI. H. Fișiere MathCAD

Prin comanda save, un document se salvează pe hard-disk ca un fișier cu extensia .mcd. Cu ajutorul comenzii Load, un fișier este lansat în lucru.

Datele numerice (valorile unor variabile scalare, componentele vectorilor și matricelor) se salvează în fișiere cu extensia .dat sau .prn.

Să presupunem că avem un fișier f.prn ce conține o matrice pe care dorim să o introducem în MathCAD. Fișierele de acest fel se citesc cu comanda:

a:= READPRN (f).

Iată lista funcțiilor de acces la fișiere:

READ(“file”): citește o singură valoare dintr-un fișier de date.

READPRN(“file”): citește un tablou de valori dintr-un fișier de date.

WRITE(“file”): scrie o singură valoare într-un fișier de date.

WRITEPRN(“file”): scrie un tablou de valori într-un fișier de date.

APPEND(“file”): adaugă o singură valoare la un fișier de date deja existent.

APPENDPRN(“file”): adaugă un tabel de valori la un fișier de date existent.