TEORIA INFORMA ȚIEI ȘI A COD ĂRII Culegere de probleme Vol.1 Horia BALTA Maria KOVACI Radu LUCACIU 2009 iCuprins Cap.1 Probabilit ăți. Informa ția…. [631328]

TEORIA INFORMA ȚIEI ȘI A COD ĂRII

Culegere de probleme

Vol.1

Horia BALTA Maria KOVACI Radu LUCACIU

2009

iCuprins

Cap.1 Probabilit ăți. Informa ția. ………………….. …………… ………….. …………. …………. ………… ………. 1
Cap.2 Surse de informa ție ………… ………………… …………… ………… …………. …………. ………… ………. 13
Cap.3 Codarea sursei …….. ……………. …………… …………… ………….. …………… …………… …………. ….. 26
Cap.4 Canale de transmisie …………………….. …………… ……………. …………. …………. ………… ……….. 41
Cap.5 Teste grilă ………………………. …………… …………… ……………. …………. …………. ………… ………. 57

ii

1Cap. 1 Probabilit ăți. Informa ția
Dicționar:
– aposteriori (a posteriori) – locu țiune latin ă: “din ceea ce urmeaz ă”, dup ă experien ță, pornind de la datele ei;
– apriori (a priori) – locu țiune latin ă: “din ceea ce precede”, anterior experien ței;
– binar -1.care este constituit din dou ă elemente; 2.a c ărui baz ă este num ărul 2;
– bit/bi ți -1. Unitate de m ăsură a informa ției; 2.simbol binar;
– discret -care este alc ătuit din elemente distincte; care variaz ă în salturi; cuantificat; discontinuu;
– echiprobabil(e ) -de egal ă probabilitate;
– informa ție -necesarul/rezultatul cunoa șterii;
– probabilitate -1.însu șirea de a fi probabil; 2.m ăsură (func ție) definit ă pe un câmp de evenimente, p : Ω→[ 0,1].
Defini ții:
– surs ă de informa ție (sau experiment probabilistic) = un mecanism (un experiment) prin care se selecteaz ă un mesaj
(un eveniment) dintre n posibile dup ă o lege arbitrar ă (sau cel pu țin necunoscut ă);
– mesaj (eveniment) = realizarea produs ă în urma efectu ării experimentului;
– 1 bit = cantitatea de informa ție furnizat ă de o surs ă de informa ție binar ă, fără memorie, echiprobabil ă, printr-un mesaj
al ei;
– eveniment elementar = un eveniment ce nu poate fi definit ca o reuniune de dou ă evenimente distincte între ele și de
primul.
Breviar teoretic:
1. Probabilitate
Determinarea experimental ă a probabilit ății de realizare a unui mesaj (eveniment) A se face dup ă
relația:
2. Probabilitate condi ționat ă
Determinarea experimental ă a probabilit ății de realizare a evenimentului (mesajului) B atunci când
s-a realizat evenimentul (mesajul) A se face dup ă rela ția:
3. Formula fundamental ă a probabilit ăților evenimentelor elementare
Dac ă Ai, i = 1÷n sunt evenimentele elementare ale unui experiment probabilistic (mesajele unei
surse de informa ție) atunci:
()∑
==n
1ii1 Ap (1.3)
4. Rela ția lui Bayes
Dac ă A și B sunt dou ă evenimente atunci:
()( ) ()( ) () A/BpBp B/ApAp BA,p ⋅=⋅= (1.4)
unde p(A, B) = probabilitatea de a se realiza și A și B.
5. Formula probabilit ății totale
Dac ă Ai cu i = 1, n sunt evenimentele elementare ale unui experiment probabilistic și B un
eveniment oarecare pentru acela și experiment atunci:
() ( ) ( )∑
=⋅ =n
1ii i B/Ap Ap Bp (1.5)
6. Evenimente independente
Setul de evenimente A i, i ∈ I, sunt independente dac ă și numai dac ă pentru ∀ J ⊂ I
()()iiiiAp Ap
J J ∈ ∈Π=∩ (1.6)
În particular, A și B sunt dou ă evenimente independente dac ă și numai dac ă:

2()( )( ) ( ) BpAp BAp BA,p ⋅=∩= (1.7)
și utilizând rela ția (1.4)
() ( )
() ( ) B/Ap Bp A/Bp Ap
==(1.8)
7. Informa ția
Cantitatea de informa ție necesar ă ridic ării nedetermin ării asupra evenimentului A este egal ă cu cea
furnizat ă de realizarea evenimentului A și egal ă cu :
()() Ap1log Ai2=[ biți] (1.9)
1.1 Zece mingi sunt puse în trei cutii C 1, C 2, C 3. Care este probabilitatea ca în C 1
să fie 3 mingi?
Rezolvare:
Fiecare minge poate fi a șezat ă în oricare din cele trei cutii; astfel c ă fiecare minge tripleaz ă num ărul
de variante de a șezare a mingilor în cutii. A șadar num ărul de variante de a șezare a mingilor în cutii
este:
N = 3⋅3⋅3 ….. ⋅3 = 310 = 59.049 (1.1.1)
Pentru a avea trei mingi în C 1 trebuie ca celelalte șapte s ă fie a șezate în C 2
și C3. Num ărul de variante cu trei mingi în C 1 va fi:
15.360 128 120 2 C N7 3
10 3C1=⋅=⋅= (1.1.2)
unde 3
10C reprezint ă num ărul de moduri de alegere a 3 mingi din 10 posibile (considerând mingile
distincte); iar 27 reprezint ă num ărul de posibilit ăți de a șezare a șapte mingi în dou ă cutii, C 2 și C 3.
Probabilitatea cerut ă este:
26%32 CP107 3
10
3C1≅⋅= (1.1.3)
1.2. Trei tr ăgători trag simultan asupra aceleia și ținte. Probabilitatea ca fiecare
trăgător s ă nimereasc ă ținta este p 1 = 0,4; p 2 = 0,5; p 1 = 0,7. Notând cu A
evenimentul ca ținta s ă fie lovit ă, B evenimentul ca ținta s ă fie lovit ă exact o dat ă
să se afle:
a) p(A);b) p(B);c) dac ă cele dou ă evenimente A și B sunt independente.

3Rezolvare:
a) Calculând probabilitatea evenimentului contrar lui A:
()() () () 9% p1p1 p1 Ap3 2 1 =−−⋅−= (1.2.1)
rezult ă că:
()()91% Ap1 Ap =−= (1.2.2)
b) Avem c ă:
()( )( )
() () ()
() () () () 36% pp1p1 p1pp1 p1p1p A A Ap A A Ap A A Ap Bp
3 2 1 3 2 13 2 1 3 2 13 2 1 3 2 1
=−−+− −++−−=∩∩++∩∩+∩∩=
(1.2.3)
unde cu A i s-a notat evenimentul ca tr ăgătorul i s ă nimereasc ă ținta.
c) Pentru ca cele dou ă evenimente s ă fie independente este necesar ca:
p(A/B) = p(A) (1.2.4)
dar cum:
p(A/B) = 100% (1.2.5)
rezult ă că cele dou ă evenimente nu sunt independente.
1.3. Fie dou ă urne, U 1 (ce con ține 2 bile albe și 3 bile negre) și U 2 (ce con ține o
bilă alb ă și 5 bile negre). Se extrage o bil ă din U 1 și se introduce în U 2, apoi se
extrage o bil ă din U 2. Care este probabilitatea ca bila transferat ă să fi fost alb ă
dacă bila extras ă din U 2 este: a) alb ă; b) neagr ă?
Rezolvare:
Fie evenimentele A – bila transferat ă este alb ă; B – bila extras ă din U 2 este alb ă;
a) Pentru a calcula p(A/B) aplic ăm formula lui Bayes:
()( ) ()( ) A/BpBp B/ApAp ⋅=⋅ (1.3.1)
Probabilit ățile ()() Ap si Ap se calculeaz ă simplu:
()52Ap= și () 53Ap= (1.3.2)
Probabilitatea condi ționat ă p(B/A) este:
p(B/A) =2/7 (1.3.3)

4iar p(B) se poate calcula cu formula probabilit ății totale:
() () ( ) ()()51
71
53
72
52AB/pAp B/ApAp Bp =⋅+⋅=⋅+⋅= (1.3.4)
Astfel:
()()( )
() 74
5172
52
BpB/ApApA/Bp =⋅
=⋅= (1.3.5)
b) În mod analog
()()()()()()
54
76
53
75
52 A/BpAp /ABpAp Bp;75/ABp
=⋅+⋅==⋅+⋅= =
(1.3.6)
()()()
()()A/Bp72,5
145
5475
52
Bp/ABpApBA/p !==⋅
=⋅= (1.3.7)
Se observ ă, cum era de a șteptat, c ă este mai probabil s ă se fi transferat o bil ă albă dac ă din a
doua urn ă a fost extras ă o bil ă albă.
1.4. La un examen oral studen ții consider ă că din totalul subiectelor m sunt
ușoare și n grele. Preciza ți:
a) Probabilitatea ca primul student s ă extrag ă un subiect u șor;
b) Probabilitatea ca cel de-al doilea student s ă extrag ă un subiect u șor.
Rezolvare:
a) Cu nota țiile: A – evenimentul prin care primul student extrage un subiect u șor;
B – evenimentul prin care cel de-al doilea student extrage un subiect u șor, avem c ă:
() ()nmnAp nmmAp+=+= (1.4.1)
iar
() ()1nmmAB/p 1nm1mB/Ap−+=−+−= (1.4.2)
c) Pentru calcului lui p(B) se utilizeaz ă formula probabilit ății totale, rela ția (1.5). Rezult ă că:
()
()
() ( ) nmm
1mnnm1nmmnmn
1nmm nmm
1nm1mBp
+=−++−+==+⋅−+++⋅−+−=
(1.4.3)

5adic ă p(A) = p(B) cum era de a șteptat.
Obs: – cele dou ă probabilit ăți p(A) și p(B) sunt probabilit ăți apriori (dinainte de producerea
evenimentelor). Înainte ca primul student s ă extrag ă un subiect, to ți studen ții, indiferent de ordinea
lor, au șanse egale la a extrage un subiect u șor.
1.5. Un tetraedru regulat are fe țele colorate, una în ro șu, una în galben, una în
verde, iar cea de-a treia con ține pe toate trei culorile. Se las ă să cad ă tetraedrul
pe una din fe țe. Fie evenimentele:
R – fa ța pe care a c ăzut tetraedrul con ține ro șu; G – fa ța pe care a c ăzut
tetraedrul con ține galben; V – fa ța pe care a c ăzut tetraedrul con ține verde.
a) cât este probabilitatea evenimentului ro șu, p(R)?
b) cât este probabilitatea condi ționat ă p(R/G)?
c) sunt evenimentele R, G și V independente?
Rezolvare:
a) Probabilitatea evenimentului ro șu este:
b) Probabilitatea de a se realiza evenimentului ro șu dac ă s-a realizat galben este:
()21R/Gp= (1.5.2)
deoarece una din dou ă fețe ce con țin galben con ține și roșu.
c) Pentru ca evenimentele R, G și V s ă fie independente trebuie s ă fie îndeplinite rela țiile:
() ( ) ( )
() ( ) ( )() ( ) ( )() ( ) ( ) ( )



⋅⋅=∩∩⋅=∩⋅=∩⋅=∩
VpRpGp VR GpVpGp V GpVpRp VRpGpRp GRp
(1.5.3)
Aplicând rela ția (1.1), g ăsim c ă:
() () () () () ()
()41VR Gp41V Gp VRp GRp 21Vp Gp Rp
=∩∩=∩=∩=∩ ===
(1.5.4)
Cum ultima rela ție din (1.5.3) nu este verificat ă evenimentele R, G și V nu sunt independente.

61.6. Pot fi simultan dou ă evenimente și incompatibile și independente?
Rezolvare:
Fie A și B dou ă evenimente. Incompatibilitatea lor presupune ca:
() 0 BAp =∩ (1.6.1)
iar independen ța:
() ( ) ( ) BpAp BAp ⋅=∩ (1.6.2)
Din cele dou ă rela ții rezult ă că cele dou ă evenimente pot fi independente, fiind incompatibile, doar
dacă unul este de probabilitate nul ă. Altfel spus, dou ă evenimente de probabilit ăți nenule pot fi
independente doar dac ă sunt compatibile.
1.7. O imagine alb negru se compune din 1024 x 256 pixeli. Fiecare pixel poate
avea un nivel de gri dintre 64 posibile. Afla ți informa ția furnizat ă de: a) un
pixel; b) întreaga imagine.
Rezolvare:
a) Considerând egal probabile nivelele de gri, conform defini ției informa ției unui eveniment:
() ( ) 6641log gri nivelplog pixeli2 2 = −= −= biți (1.7.1)
c) Întreaga imagine furnizeaz ă de 1024 x 256 ori mai mult ă informa ție:
() ( ) 101,5 pixeli 256 1024 imaginei6⋅≅⋅⋅= biți (1.7.2)
1.8. a) Care este num ărul de întreb ări minime necesare pentru a afla un num ăr
necunoscut N x cuprins între 1 și 1000? Întreb ările pot fi de genul :
“Num ărul N x este mai mare decât N p (nominalizat)?”
b) Cât este primul prag N p1 și cât este informa ția con ținut ă de r ăspunsul la
întrebarea: “Num ărul N
x este mai mare decât 348?”
Rezolvare:
a) Informa ția necesar ă pentru a afla num ărul N x necunoscut este:
()1000 log1/10001logNp1log i2 2
x2 N = = = biți (1.8.1)
Informa ția ob ținută prin r ăspunsul la o întrebare este:

7()()()()
pp
pp P
N2 N
N2 N NAp1log ApAp1log Ap i ⋅+ ⋅= (1.8.2)
unde A Np este evenimentul prin care num ărul N x este mai mare decât pragul N p. Evident:
()()1 Ap Ap
p p N N =+ (1.8.3)
și putem scrie:
()()
p p N N Ap1 Apx −= = (1.8.4)
de unde
() () []0,1 cu x x11logx1x1xlog xi i2 2 Np∈−−+ == (1.8.5)
Func ția i(x) î și atinge maximul dac ă
21x= (1.8.6)
Valoarea maximului este:
bit 1 im= (1.8.7)
și corespunde unui prag:
499 Npm= (1.8.8)
Așadar, dac ă pragul este ales la jum ătatea intervalului în care se cunoa ște c ă se afl ă Nx
informa ția ob ținută prin r ăspunsul la întrebare (în cazul cel mai defavorabil) este maxim ă și egal ă
cu 1 bit.
Cert, num ărul minim de întreb ări este:
unde [y] sup denot ă num ărul întreg superior lui y.
Obs: num ărul n = 10 găsit cu ra ționamentul anterior este “minim” în cazul general, acest lucru
însemnând c ă indiferent de N x prin 10 întreb ări de tipul celei din enun ț (cu pragurile alese “la
jumătate”) se afl ă valoarea sa. Exist ă cazuri particulare când, pentru anumite valori a lui N x, să fie
suficiente mai pu ține întreb ări (ex: N x = 1 și Np = 1) dar pentru astfel de cazuri intervine “ șansa”!
b) Din rela ția (1.8.8) N p1 = 499;
Dac ă pragul se alege (la prima întrebare) N p1 = 348 avem c ă

8() 0,6521000348 1000Ap =−= și ()0,348 Ap= (1.8.10)
de unde:
() 0,9323481000log 0,3486521000log 0,652 348i2 2 = ⋅+ ⋅= biți (1.8.11)
Rezultatul cuprins în rela ția (1.8.11) arat ă că dac ă pragurile nu vor fi alese “la jum ătate” exist ă
posibilitatea s ă nu fie suficiente 10 întreb ări !
1.9. Câte cânt ăriri sunt minim necesare pentru a preciza o moned ă fals ă din 12
și dac ă moneda este mai grea sau mai u șoară? Moneda fals ă difer ă prin greutate
iar cânt ăririle se fac pe o balan ță cu talere.
Rezolvare:
Informa ția necesar ă pentru a solu ționa problema este:
24log2log 12log i2 2 2 nec =+= biți (1.9.1)
unde log 212 este informa ția necesar ă pentru a afla moneda din 12, iar log 22 este informa ția necesar ă
pentru a afla dac ă moneda este mai grea sau mai u șoară.
Informa ția maxim ă furnizat ă de o cânt ărire este:
3log i2 cm= biți (1.9.2)
și se atinge dac ă cele trei variante rezultat al unei cânt ăriri cu balan ța(A-balan ța se înclin ă spre
dreapta, B-balan ța se înclin ă spre stânga, C-balan ța nu se înclin ă) sunt egal probabile:
() () () Cp Bp Ap == (1.9.3)
Num ărul de cânt ăriri cerut va fi:
n
2 2 cm nec
sup cmnec3log 24logsau in isau iin ≤ ⋅≤ 
= (1.9.4)
cu solu ția:
nmin = 3 (1.9.5)
Obs: – rela ția (1.9.2) este valabil ă doar dac ă cele trei variante rezultat ale cânt ăririi sunt egal
probabile. Astfel dac ă cele 12 monezi se noteaz ă cu M 1, M 2, ….., M 12 prima cânt ărire const ă în a
compara pe M 1+ M 2+ M 3+ M 4 cu M 5+ M 6+ M 7+ M 8. O posibil ă rezolvare a problemei poate fi:
A1 – moneda fals ă este – mai u șoară și este M 1, M 2, M 3, sau M 4.
– mai grea și este M 5, M 6, M 7, sau M 8.
B1 – moneda fals ă este – mai grea și este M 1, M 2, M 3, sau M 4.
-mai u șoară și este M 5, M 6, M 7, sau M 8.
C1 – moneda fals ă este mai grea sau mai u șoară și este M 9, M 10, M 11, sau M 12.

9Dac ă rezultatul primei cânt ăriri este A 1, indicele 1 semnific ă prima cânt ărire, A rezultatul ei,
atunci se compar ă M 1+ M 2+ M 5 cu M 3+ M 4+ M 6
– dac ă la a doua cânt ărire rezult ă A2 atunci fie M 1 sau M2 e mai u șoară fie M 6 e mai grea și
se compar ă în continuare M 1 cu M 2;
– dac ă la a doua cânt ărire rezult ă B2 atunci fie M 3 sau M4 e mai u șoară fie M 5 e mai grea și
se compar ă în continuare M 3 cu M 4;
– iar dac ă la a doua cânt ărire rezult ă C2 atunci fie M 7 e mai grea fie M 8; se compar ă M7 cu
M8.În mod analog pentru B 1 și C 1.
Obs: – rela ția (1.9.4) indic ă că problema ar putea fi rezolvat ă și pentru 13 monezi în locul celor 12:
3 cu 3 log 27 log 26 log2 2 2 = = ≤ nn
În realitate problema cu 13 monezi nu poate fi complet solu ționat ă din 13 cânt ăriri pentru
că nu se poate asigura echiprobabilitatea rezultatelor.
1.10. Cât este informa ția ob ținut ă în diferitele variante de rezolvare a problemei
cu 12 monezi? Dar cu 13 monezi?
Răspuns:
Pentru varianta A 1 A2 A3 (cu 12 monezi):
4,73123log28log82
38log8323logI2 2 2 2 =+
⋅+⋅⋅+= biți
Obs: informa ția ob ținută la a doua cânt ărire este mai pu țină decât cea presupus ă, log 23 biți.
1.11. Un convertor analog-numeric (CAN) converte ște tensiunea de intrare U x
într-un num ăr N x conform rela ției:

=qUNx
x (1.11.1)
unde U x poate lua valori între 0 și U max = 12,8 V; q este cuanta conversiei, q =
50mV; [y] semnific ă partea întreag ă a lui y.
a) Cât ă informa ție furnizeaz ă la ie șirea sa CAN-ul prin fiecare num ăr generat și
câtă informa ție se pierde ?
b) Dac ă CAN-ul folose ște pentru conversie, în mai mul ți pa și succesivi, un
comparator, s ă se stabileasc ă cât ă informa ție furnizeaz ă comparatorul la un pas
și câți pa și sunt necesari pentru efectuarea conversiei ?
c) Care sunt tensiunile de prag ale comparatoarelor utilizate, U pi, în conversia
tensiunii U x = 7,43 V, în cazul în care conversia se face într-un num ăr minim de
pași ?
Răspuns:
a) i = 8 bi ți; în mod ideal U x con ține + ∞ informa ție.

10În realitate m ăsurarea unei tensiuni U x este limitat ă (ca și precizie) fie de rezolu ția aparatelor fie de
nivelul zgomotului.b) i
c = 1 bit; 8 pa și;
c) U p1 = 6,4 V; U p2 = 9,6 V; U p3 = 8 V; U p4 = 7,2 V; U p5 = 7,6 V; U p6 = 7,4 V; U p7 = 7,5 V; U p8 =
7,45 V.
1.12. Un CAN de mare vitez ă utilizeaz ă 128 de comparatoare pentru a face
conversia tensiunilor de intrare din intervalul [-12,8V, +12,8V] la o rezolu ție de
q=100mV. Determina ți “redundan ța” în componente a CAN-ului.
Rezolvare:
Num ărul de “r ăspunsuri” distincte ale CAN –ului pentru o tensiune U x ce variaz ă de la – 12,8 V la
+12,8 V este:
8 min max2 256qU UN ==−= (1.12.1)
Probabilitatea ca o tensiune U x să genereze un r ăspuns din cele N posibile este:
p0 = 1/N = 2-8(1.12.2)
iar informa ția con ținută de un “r ăspuns” este:
8 plog i02 0 =−= biți (1.12.3)
Pentru c ă un comparator “alege” o variant ă din dou ă posibile, informa ția furnizat ă de el este:
bit 121log i2 c =−= (1.12.4)
Așadar în mod ideal, pentru o conversie sunt suficiente:
n = i 0/ic = 8 comparatoare (1.12.5)
de unde rezult ă că redundan ța este de 120 de comparatoare.
Obs: Motiva ția utiliz ării a mai multor comparatoare const ă în faptul c ă, la folosirea doar a 8
comparatoare, sunt necesare tensiuni de prag variabile în func ție de tensiunea U x, lucru ce scade
viteza de conversie.
1.13. La o transmisie numeric ă informa ția util ă se transmite prin secven țe
binare de câte n bi ți, numite cuvinte. Cât ă informa ție este necesar ă pentru a
preciza pozi ția unui bit eronat din cei n? Dar pentru doi bi ți erona ți?
Exemplificare pentru n = 8.

11Rezolvare:
Informa ția cerut ă se calculeaz ă cu formula:
i = log 2 n (bi ți) (1.13.1)
Se consider ă că transmiterea (implicit eronarea) unui bit este independent ă de a celorlal ți. A șadar,
pentru un bit eronat i 1 = 3 bi ți; pentru doi bi ți erona ți 4,8 Clogi2
82 2 ≅ = biți.
1.14. Aceea și întrebare ca și la problema 1.13, cu diferen ța că este o transmisie
ternar ă.
Rezolvare:
În cazul transmisiei ternare corec ția unui simbol (ternar) eronat presupune pe lâng ă aflarea
pozi ției sale (fapt ce necesit ă aceea și informa ție ca și la secven ța binar ă), și valoarea simbolului
inițial, valoare ce poate fi una din dou ă posibile. Cu aceste justific ări, răspunsurile vor fi:
i1 = log 2 n (pentru aflarea pozi ției)
+ log 2 2 (pentru aflarea valorii) = 4 bi ți (1.14.1)
6,8 log2 Clogi2 2
n 2 2 ≅+ = biți (1.14.2)
În rela ția (1.14.2) s-au ad ăugat 2 bi ți de informa ție necesari afl ării valorii “adev ărate” pentru
două simboluri ternare eronate.
1.15. La o transmisie binar ă informa ția util ă este transmis ă prin cuvinte de n=8
biți printr-un canal cu rata erorii p=10-3. Cât ă informa ție, în medie pe un
cuvânt, este necesar ă pentru a face:
a) detec ție de o eroare pe cuvânt?
b) detec ție de una sau dou ă erori pe cuvânt?
Rezolvare:
a) Probabilitatea ca un cuvânt s ă fie eronat într-o pozi ție este:
() () [] =−−⋅⋅≅−⋅⋅=−1np1pC p1pC p1
n1n 1
n 1
3 310 7,944 0,993 108− −⋅=⋅⋅= (1.15.1)
p1 este și probabilitatea ca receptorul s ă detecteze o eroare. Cert 1-p 1 este probabilitatea ca
receptorul s ă ia decizia c ă nu exist ă eroare (incluzând cazurile corecte și false).
Fie a și b ∈ Ν astfel încât:
p1 = a/b și 1- p 1 = (b-a)/b (1.15.2)

12Așadar din b cuvinte transmise a sunt detectate cu eroare. Pentru a detecta un astfel de cuvânt este
necesar ă informa ția:
12 1d plog i−= (1.15.3)
b-a cuvinte din cele b sunt considerate neeronate, pentru un astfel de cuvânt fiind necesar ă
informa ția:
()1 2 1n p1 log i −−= (1.15.4)
Concluzionând pentru b cuvinte recep ționate este necesar ă informa ția:
b ⋅ i1 = a ⋅ i1d + (b-a) ⋅ i1n (1.15.5)
iar pentru un singur cuvânt recep ționat, pentru a face detec ție de o eroare:
=⋅−+⋅=1n 1d 1 ibabibai
()() =−⋅−−⋅−=1 2 1 12 1 p1 logp1 plogp
= 0,0668 bi ți/cuvânt (1.15.6)
b) Și în acest caz informa ția cerut ă are aceea și form ă cu (1.15.6) doar c ă difer ă p1:
()()2 2 1 22 2 2 p1 logp1 plogp i −⋅−−⋅−= (1.15.7)
unde p 2 este probabilitatea ca un cuvânt s ă fie eronat într-o pozi ție sau în dou ă pozi ții:
() ()3 2n 2 2
n1n 1
n 2 10 7,972 p1pC p1pC p− − −⋅=−⋅⋅+−⋅⋅= (1.15.8)
de unde rezult ă pentru i 2 valoarea:
i2 = 0,067 bi ți/cuvânt (1.15.9)
Obs: Detec ția prezen ței erorilor presupune a decide între dou ă variante: exist ă sau nu exist ă erori
în cuvântul în cauz ă. Informa ția furnizat ă de o astfel de decizie (una din dou ă posibile) este, în
medie, subunitar ă, încât problema detec ției din punct de vedere strict al informa ției este solvabil ă
cu 1 bit (de informa ție) pe cuvânt, indiferent de p sau n.

13Cap. 2 Surse de informa ție
Dicționar:
– eficien ță –raportul dintre ansamblul efectelor utile (rezultatelor) ce se ob țin de pe urma unei activit ăți și totalul
eforturilor;
– entropie (limba greac ă “entropie”=întoarcere, schimbare) –m ărime ce indic ă gradul de nedeterminare asupra unui
sistem;
– extensie –dezvoltare, cre ștere, amplificare, extindere;
– graf –cuplu format dintr-o mul țime ale c ărei elemente se numesc vârfuri și dintr-o func ție care asociaz ă, la orice
pereche ordonat ă de vârfuri (primul numit surs ă iar al doilea adres ă), un element, numit s ăgeat ă, al unei alte
mul țimi.
– redundan ță (redondan ță) –1.abunden ță (inutil ă) de cuvinte, de figuri retorice, de imagini pentru exprimarea unei
idei; 2.excesul de informa ție fa ță de strictul necesar;
– stare –1.situa ție în care se afl ă ceva sau cineva; 2.ansamblul valorilor instantanee a parametrilor ce caracterizeaz ă
complet un sistem dat;
– staționar –care r ămâne în aceea și stare;
Defini ții:
– Surs ă de informa ție text = sursa de informa ție, de regul ă considerat ă fără memorie, având drept simboluri caracterele
distincte din textul dat (op țional se pot include semne de punctua ție, pauzele dintre cuvinte, cifrele, etc)..
Probabilit ățile diferitelor simboluri vor fi ponderile lor în text.
– Extensia unei surse = fiind dat ă o SDFM, S cu N simboluri, se define ște extensia de ordin n a sursei, notat ă Sn, sursa
având un num ăr de Nn simboluri ob ținute din toate combina țiile posibile de mesaje compuse din n simboluri
ale sursei S.
– Surs ă cu memorie (Markov) de m pa și = sursa de informa ție cu N simboluri pentru care emisia celui de-al m+1-lea
simbol depinde de cele m simboluri anterior emise.
– Starea sursei Markov de m pa și = setul ultimelor m simboluri emise. Dac ă sursa poate emite M simboluri și este cu
memorie de m pa și atunci admite Mm stări.
– Probabilitate de trecere p(S j/Si) = probabilitatea ca sursa Markov s ă treac ă în starea S j = s km-1 skm-2 ….. s k0 (prin
emiterea simbolului s k0), dac ă se afl ă în starea S i = s km-2 skm-1 ….. s k1.
– Matricea de tranzi ție,T = o matrice p ătrată de ordin Mm ce con ține toate probabilit ățile de trecere;
– Graful sursei cu memorie = graful ale c ărui noduri reprezint ă stările sursei, iar coardele (s ăgețile) ce leag ă nodurile
probabilit ățile de trecere.
– Surs ă Markov sta ționar ă = probabilit ățile de trecere în n pa și converg c ătre limite independente de starea ini țială
când n → ∞.
– Stare de sta ționaritate (a unei surse Markov sta ționare) = un vector, P* de dimensiune M ce con ține
probabilit ățile *
jp, j = 1, M ce verific ă sistemul:

==⋅
∑
=M
1j*
j* *
1 pPTP
(2.1)
Probabilitatea *
jp reprezint ă șansa ca sursa Markov, dup ă n pa și cu n → ∞ să se g ăseasc ă în starea S j.
Nota ții:
S –surs ă de informa ție;
N –num ărul de simboluri;
Si, i = 1÷÷÷÷ N –simbolurile sursei;
pi, i = 1÷÷÷÷N –probabilit ățile de emisie a simbolurilor S i;
Sm –extensia de ordin m a sursei SDFM, S;
Sj, j = 1÷÷÷÷ Nm –st ările sursei cu memorie, S;
T –matricea de tranzi ție;
ppm –părți per milion (1ppm=10-6).
Abrevieri:
SDFM –Surs ă Discret ă Fără Memorie.

14Breviar teoretic:
1. Mărimi ce caracterizeaz ă sursa de informa ție:
–entropia SDFM:
()
i2N
1iip1logp SH∑
== (2.2.a)
–entropia sursei cu memorie:
() ()()j i2 j iN
1jN
1i*
j/SSp1log/SSpp SH∑∑
=== (2.2.b)
-entropia maxim ă:
() NlogS H2 max= (2.3)
–eficien ța:
() () S /HSHmax =sη (2.4)
–redundan ța:
R(S) = H max(S) – H(S) (2.5)
–redundan ța relativ ă:
() () S /HSRmax =sρ (2.6)
2. Formul ă pentru schimbarea bazei logaritmului:
ln2lnxxlog2= (2.7)
3. Condi ția de existen ță a st ării de sta ționaritate pentru surs ă cu memorie:
∃ n0∈Ν astfel încât Tn0 să fie o matrice regulat ă (are toate elementele strict pozitive)
2.1. O surs ă de informa ție discret ă are entropia egal ă cu 4,8 bi ți/simbol și
redundan ța relativ ă 9,8%. Câte simboluri are sursa?
Rezolvare:
Din rela țiile de defini ție a entropiei maxime și a redundan ței relative pentru o surs ă discret ă fără
memorie:
Nlog H2 max= (2.1.1)
()
maxHSH1−=ρ (2.1.2)
unde: H(s)-entropia sursei; H max-entropia maxim ă, ρ-redundan ța relativ ă, N-nr. de simboluri a
sursei, g ăsim c ă:
() 2,901008,4
1SHHmax⋅=−=ρ(2.1.3)
și:
40 2NmaxH== (2.1.4)

152.2. Fie sursa de informa ție S:




=
161 41 161 21 81S S S S S
S5 4 3 2 1
Se cere s ă se calculeze:
a) informa ția medie pe simbol, H(s);
b) valoarea maxim ă a entropiei sursei H max;
c) eficien ța sursei ηηηηs;
d) redundan ța sursei R;
e) redundan ța relativ ă ρρρρ.
Rezolvare:
a) Informa ția medie pe simbol sau entropia sursei H(S) se calculeaz ă cu formula:
() ()()∑
==N
1i i2 isp1logsp SH (2.2.1)
unde: N – num ărul de simboluri a sursei S;
si, N1,i= , – simbolurile sau mesajele sursei S;
p(si) – probabilitatea ca sursa s ă emit ă simbolul s i.
Înlocuind rezult ă că:
() 16log1614log4116log1612log218log81SH2 2 2 2 2 + + + + =
817
824443
164
42
84
21
83=++++=++++=
= 2,125 bi ți/simbol (2.2.2)
b) Entropia maxim ă este:
323,25logNlog H2 2 max ≅== biți/simbol (2.2.3)
c) Eficien ța sursei este:
()91,5% HSH
max==sη (2.2.4)
d) Redundan ța sursei R este diferen ța dintre entropia maxim ă și entropia sursei date:
R = H max – H(S) = 0,197 bi ți/simbol (2.2.5)
e) Redundan ța relativ ă, cu formula de calcul (2.6), are valoarea:
ρ = 8,5% (2.2.6)

162.3. Sursa de informa ție discret ă și fără memorie S are drept simboluri
caracterele distincte din urm ătoarea propozi ție (surs ă text):
NU UITA NICI PAUZELE DINTRE CUVINTE .
Probabilit ățile simbolurilor (caracterelor distincte) sunt ponderile lor din text.
Se cere:
a) tabloul simboluri -probabilit ăți pentru sursa S;
b) entropia H(S), redundan ța R și eficien ța ηηηηs sursei S;
c) probabilitatea ca sursa s ă emit ă mesajul “AUR”.
Rezolvare:
a) tabloul simboluri-probabilit ăți este:




=
361 365 361 361 364
363 361 361 364 361
365 364 361 362 362. _ ZV UT R P N L I E D CA
S (2.3.1)
b) Conform rela ției de defini ție entropia sursei este:
() ()()∑
==N
1i i2 isp1logsp SH
∑ ∑∑
= ==− = =N
1ii2iN
1iN
1i2i
i2iklog36k36log36k
k36log36k(2.3.2)
unde: – N = 15 num ărul de simboluri a sursei S;
– 1,15,i ,36kpi
i = = – probabilit ățile simbolurilor.
Înlocuind în (2.3.2) valorile ob ținute pentru k i din tabloul (2.3.1) g ăsim:
() ( +⋅+⋅⋅+⋅⋅− = 3log31log172log2236136logSH2 2 2 2
)=⋅⋅+⋅⋅+ 5log524log422 2
()
= − +==⋅++⋅+−⋅+=
5log36103log3669
36525log10163log343613log22
2 22 2 2
= 3,8373 bi ți/simbol (2.3.3)
Redundan ța și eficien ța sursei se ob țin cu rela țiile:
() () SHNlogSH HR2 max −=−=
()() NlogSH
HSH
2 max==sη (2.3.4)
Cunoscând N = 15 și cu H(S) dat de (2.3.3) g ăsim:

17R = 0,06958 bi ți/simbol
ηs = 98,22% (2.3.5)
c) Sursa S fiind f ără memorie probabilitatea cerut ă va fi:
() ( ) ( ) ( )410 1,715361
364
362RpUpAp AURp−⋅=⋅⋅=⋅⋅= (2.3.6)
2.4. Fie sursa de informa ție discret ă și fără memorie:




=
10025
1008
1002 1005 10030 10020 10010 S S S S S S S
S7 6 5 4 3 2 1
Să se calculeze pentru sursa S:
a) entropia H(S);b) valoarea maxim ă a entropiei sursei H
max;
c) eficien ța sursei ηηηηs;
d) redundan ța sursei R;
e) redundan ța relativ ă ρρρρ.
Răspuns:
a) H(S) = 2,44 bi ți/simbol
b) Hmax = 2,8 bi ți/simbol
c) ηs = 86,85%
d) R = 3,7 bi ți/simbol
e) ρ = 13,15%
2.5. Fie sursa text:
STUDENTUL *** REZOLVA O PROBLEMA DE TTI .
a) înlocui ți *** cu numele și prenumele dumneavoastr ă și construi ți în acest caz
tabloul sursei;b) calcula ți entropia și eficien ța sursei de la punctul a);
c) cât este probabilitatea ca sursa de la a) s ă emit ă mesajul “MAR”.
Răspuns:
pentru *** = POP ION
a)




=
441
447
441
441 442 444 441 442
443 445 442 441 443
442 444 442 441 442. _ ZV UT S R P O N M L I E D BA
S

18b)() () =⋅+⋅++⋅+⋅− = 7log75log5 163log62644144logSH2 2 2 2 3,896 bi ți/simbol
%44,93
18log896,3
2= =sη
c)() ppm 47
444
3== MARp
2.6. O surs ă de informa ție binar ă cu memorie de doi pa și are graful
corespunz ător în figur ă. Să se afle:
a) probabilit ățile de trecere nefigurate;
b) ce șanse sunt ca dup ă transmiterea mesajului “00 110” s ă se transmit ă mesajul
“11”.
c) matricea de tranzi ție și o eventual ă stare de sta ționaritate;
d) entropia sursei date.
Rezolvare:
a) Probabilit ățile cerute sunt:
() ()
() ()
() ()
() ()41/SSp1 /SSp53/SSp1 /SSp21/SSp1 /SSp72/SSp1 /SSp
3 1 3 24 4 4 32 4 2 31 1 1 2
= −== −== −== −=
(2.6.1)
b) Deoarece sursa are memorie de doi pa și, din mesajul transmis “00110” sunt relevan ți, pentru
definirea st ării actuale, doar ultimii doi bi ți transmi și “10”. A șadar starea actual ă este S 3. Din S 3
șansele ca sursa s ă emit ă “1” și, ca atare, s ă treac ă în starea S 2 sunt de 25% (p(S 2/S3)). Prin
generarea înc ă a unui “1” sursa va trece din starea S 2 în starea S 4. Probabilitatea acestei tranzi ții este
de 50%. Concluzionând probabilitatea ce “înso țește”acest traseu S 3→ S2→ S4 este:
() 12,5%81
21
41S S Sp4 2 3 ==⋅=→→ (2.6.2)

19c) Matricea de tranzi ție este:
() () () ()
() () () ()
() () () ()
() () () ()




=




=
52 53 0 0 0 0 41 4321 21 0 0 0 0 74 73
/SSp /SSp /SSp /SSp/SSp /SSp /SSp /SSp/SSp /SSp /SSp /SSp/SSp /SSp /SSp /SSp
T4 4 4 3 4 2 4 13 4 3 3 3 2 3 12 4 2 3 2 2 2 11 4 1 3 1 2 1 1
(2.6.3)
O eventual ă stare de sta ționaritate ar con ține probabilit ățile *
ip , ca sursa s ă s e a f l e î n t r – o
anumit ă stare S i :
[]*
4*
3*
2*
1*p p p p P= (2.6.4)
cu *P îndeplinind condi ția:
* *PTP= (2.6.5)
Înlocuind în (2.6.5) pe T și *P date de (2.6.3) și (2.6.4) rezult ă:
[] 0
1-52 53 0 0 0 1- 41 4321 21 1- 0 0 0 74 1-73
p p p p*
4*
3*
2*
1 =




(2.6.6)
Sistemul de ecua ții dat de (2.6.6) este compatibil nedeterminat fapt ce necesit ă înc ă o rela ție între
probabilit ățile *
ip, r e l a ție care este:
[ ]1 p p p p*
4*
3*
2*
1 =+++ (2.6.7)
Solu ția sistemului ob ținut din (2.6.6) și (2.6.7) este:

=19940 19948 19948 19963p*(2.6.8)
d) Entropia sursei cu memorie se calculeaz ă cu formula:
() ( ) () ()i j 2 i j2
1i2
1ji M /Saplog /SapSp SH2
⋅⋅ =∑∑
==(2.6.9)

20unde S i, cu i = 1÷4, sunt cele 4 st ări posibile ale sursei iar a j, cu j = 0 ÷1, sunt mesajele posibil a fi
emise din fiecare stare.
Pentru u șurin ța calculului entropiei, elementele cerute de suma dubl ă din (2.6.9) sunt date în
tabelul urm ător :
Si aj ()*
i ip Sp= ()i j/Sap
S1 = 00 0
119963 3/7
4/7
S2 = 01 0
119948 1/2
1/2
S3 = 10 0
119948 3/4
1/4
S4 = 11 0
119940 3/5
2/5
Tabelul 2.1
Înlocuind în (2.6.9) elementele din tabelul 2.1 rezult ă :
() 

+ +

+ =12log21
12log21
19948
47log74
37log73
19963SH2 2 2 2 M


+ +

+ +25log52
35log53
19940
14log41
34log43
19948
2 2 2 2
= 0,944 bi ți/simbol (2.6.11)
2.7. O surs ă de informa ție binar ă cu memorie de doi pa și are graful
corespunz ător în figur ă. Dac ă în prezent sursa se afl ă în starea S i cât este
probabilitatea ca dup ă trei simboluri sursa s ă se reg ăseasc ă tot în starea S i?
Răspuns:
() ()
%37,2452
31
73
74S S S Sp S S S Sp
31 3 2 1 1 1 1 1
=⋅⋅+

==→→→+→→→

212.8. O surs ă de informa ție binar ă cu memorie de un pas are probabilit ățile de
trecere: p(0/0) = 5/7 și p(0/ 1) =3/4.
a) construi ți graful sursei date;
b) calcula ți starea de sta ționaritate;
c) determina ți entropia sursei;
d) determina ți entropia unei surse f ără memorie având acelea și simboluri și
probabilit ățile simbolurilor cele con ținute în starea sta ționar ă.
Rezolvare:
a) Pentru a putea construi graful sursei cu memorie afl ăm probabilit ățile de trecere ce nu sunt date
în enun țul problemei:
p(1/0) = 1 – p(0/0) = 2/7
p(1/1) = 1 – p(0/1) = 1/4 (2.8.1)
În acest fel graful este:
b) Matricea de tranzi ție este:




=
43 41 72 75
T (2.8.2)
iar starea sta ționar ă se afl ă rezolvând sistemul:[] []

=+=⋅
1 p pp p Tp p
*
1*
0*
1*
0*
1*
0(2.8.3)
Rezult ă:



==
158p157p
*
1*
0
(2.8.4)
c) Entropia sursei cu memorie este dat ă de rela ția:
() ( ) () ()i j 2 i j1
0i1
0ji M /Saplog /SapSp SH ⋅⋅ =∑∑
==(2.8.5)
unde S 0 = 0; S 1 = 1; a 0 = 0; a 1 = 1

22() ()158p Sp 157p Sp*
1 1*
0 0 == ==
iar probabilit ățile p(a j/Si) sunt cele indicate de graf.
Înlocuind în (2.8.5) rezult ă:
() 

+ +

+ =34log43
14log41
158
27log72
57log75
157SH2 2 2 2 M
= 0,8355 bi ți/simbol (2.8.6)
d) O surs ă fără memorie conform ă cu cerin țele problemei are tabloul:




=
158 157S S
S2 1
(2.8.7)
iar entropia:
() = + =815log158
715log157SH2 2 0,9968 bi ți/simbol (2.8.8)
Comparând cele dou ă entropii g ăsite H M(S) și H(S) se observ ă că ultima este mai mare.
2.9. O surs ă de informa ție binar ă cu memorie de trei pa și are graful
corespunz ător în figur ă. Să se afle:
a) matricea de tranzi ție;
b) entropia sursei;
c) probabilitatea ca sursa, aflat ă în starea S 2, dup ă emiterea a trei simboluri s ă
ajung ă în starea S 3.
Răspuns:

23a)




=
74 73 0 0 0 0 0 0 0 0 74 73 0 0 0 0 0 0 0 0 52 53 0 00 0 0 0 0 0 31 32 21 21 0 0 0 0 0 0 0 0 53 52 0 0 0 0 0 0 0 0 43 41 0 00 0 0 0 0 0 21 21
T
b)
=959147 959126 959135 95996 959126 959105 95996 959128p*
() 0,961454SHM= biți/simbol
c)() 9%1009S S S Sp3 6 3 2 ==→→→
2.10. Fie sursa de informa ție f ără memorie având tabloul simboluri-
probabilit ăți:



= x0,1 0,4 0,2d c b aS
Se cere:
a) valoarea lui x;
b) entropia și eficien ța sursei S;
c) tabloul sursei de informa ție S2(extensia de ordin a lui S);
d) entropia și eficien ța sursei S2.
Rezolvare:
a) Deoarece:
∑
==N
1ii1p r e z u l t ă x = 0,3 (2.10.1)
b) ()∑
== =N
1i i2 i 846,1p1logp SHb i ți/simbol – entropia (2.10.2)

24()()92,32%NlogSH
HSH
2 maxs ===η – eficien ța (2.10.3)
b) Extensia unei surse S se ob ține asociind câte dou ă mesaje ale sursei S. Astfel:




=
1009 1003 10012 1006 1003 1001 1004 1002 10012 1004 10016 1008 1006 1002 1008 1004dd dc db da cd cc cb ca bd bc bb ba ad ac ab aa
S2
(2.10.4)
c) ()() l 3,692SH2 SH2=⋅= biți/simbol (2.10.5)
()
()()
S 2
22
max2
SNlogSH2
S HSH
2 η η =⋅= = (2.10.6)
Obs: Entropia extensiei de ordinul doi a sursei S este dublul entropiei sursei date, eficien ța
păstrându-se. Prin generalizare se poate ar ăta că:
()()
S Sm
mSHm SH
ηη=⋅=(2.10.7)
unde Sm este extensia de ordin m a sursei S .
2.11. O surs ă ternar ă cu memorie de un pas are graful din figur ă
a) să se afle cele trei probabilit ăți de trecere necunoscute;
b) calcula ți starea de sta ționaritate;
c) calcula ți entropia sursei date;
d) pentru ce valori ale probabilit ăților de trecere sursa este practic f ără
memorie?
Răspuns:
a)() () ()31/SSp 21/SSp 51/SSp1 3 3 2 2 1 = = =

25b)4912p 4925p 4912p*
3*
2*
1 = = =
c)
Starea
actual ăStarea
viitoareProbabilitatea
stării sta ționareProbabilitatea de
trecere
S1S1
S2
S312/491/3
1/31/3
S2S1
S2
S325/491/5
3/51/5
S3S1
S2
S312/491/4
2/41/4
Tabelul 2.2
() 1,3325SHM= biți/simbol
d)()()() 1,2,3j /SSp /SSp /SSpj i j i j i =∀= = = γ β α
1 R ,, cu =++ ∈+ γβα γβα
2.12. O SDFM are N = 32 simboluri și eficien ța de 75%. Cât sunt entropia,
redundan ța și redundan ța relativ ă a sursei date?
Răspuns:
H(S) = 3,75 bi ți/simbol R = 1,25 bi ți/simbol ρ = 25%

26Cap. 3 Codarea sursei
Dicținoar:
– cod (limba latin ă "codex"- culegere) – 1.ansamblul unor reguli; 2.culegere de legi; 3.sistem de semnale sau semne
conven ționale cu semnifica ții bine precizate, ale c ăror combina ții sunt folosite pentru transmiterea unor
mesaje;
– compresie – reducere a volumului.
Defini ții:
– codare = procesul de atribuire a unor succesiuni (secven țe) de simboluri elementare mesajelor (simbolurilor) unei
surse de informa ție;
– alfabetul cod ării = totalitatea simbolurilor elementare cu ajutorul c ărora se pot construi succesiunile (secven țele);
– cuvânt de cod = o secven ță (succesiune) atribuit ă prin procesul de codare a unui mesaj al sursei de informa ție;
– cod = totalitatea cuvintelor de cod;
– cod – binar = alfabetul este binar: {0, 1};
– bloc = cuvintele au aceea și lungime;
– unic decodabil = fiec ărei succesiuni de cuvinte de cod îi corespunde o unic ă succesiune de simboluri a sursei;
– instantaneu = nici un cuvânt de cod nu este prefixul altui cuvânt;
– graful de codare (graful codului) = un arbore ce cre ște, dintr-un punct ini țial (numit surs ă), prin m ramuri la fiecare
nod (m – num ărul de simboluri elementare din alfabet) și are la finele oric ărei ramuri (numit ă frunz ă) câte
un simbol (mesaj al sursei). Fiecare din cele m ramuri ce pleac ă dintr-un nod este notat ă cu unul dintre
simbolurile elementare ale afabetului codului. Secven ța ob ținut ă prin asocierea simbolurilor elementare ata șate
unei c ăi, ce pleac ă de la surs ă și ajunge la o frunz ă, este cuvântul de cod ce codeaz ă simbolul (mesajul) sursei
atașat acelei frunze;
– eficien ța cod ării = raportul între lungimea medie minim ă a cuvintelor unui cod ce ar putea coda sursa dat ă și
lungimea medie a cuvintelor codului dat;
– compresia = procedeul de recodare a unei surse cu scopul de a ob ține o eficien ță superioar ă primului cod;
– factor de compresie = raportul eficien țelor codurilor, comprimat și ini țial.
Nota ții:
L – lungimea medie a cuvintelor codului;
ηηηηc – eficien ța cod ării;
F – factor de compresie.
Abrevieri:
LZ -77 – algoritmul de compresie Lempel -Ziv '77.
Breviar teoretic:
1. Teorema I-a a lui Shannon: pentru orice surs ă de informa ție S, printr-o codare pe grupe
de n simboluri, poate fi f ăcută o codare absolut optimal ă dac ă n→∞;
2. Lungimea medie a cuvintelor codului:
∑
==N
1iiilp L (3.1)
unde: l i – lungimea cuvântului ata șat simbolului sursei;
s i=num ărul de simboluri elementare din componen ța câmpului respectiv;
3. Eficien ța cod ării se poate calcula dup ă formula:
()
LSH
c=η (3.2)

273.1. Fie sursa de informa ție discret ă și fără memorie:
și trei coduri binare pentru sursa S:
a) Ce secven ță binar ă corespunde, pentru fiecare cod în parte, mesajului sursei:
"abacdab"?;b) Ar ătați că decodarea secven ței construite la punctul a) este unic ă doar pentru
CII și CIII, nu și pentru CI;
c) Calcula ți entropia sursei și eficien ța acesteia;
d) Calcula ți lungimea medie a cuvintelor fiec ărui cod, precum și eficien ța
codării.
Rezolvare:
a) Secven țele binare cerute se ob țin prin simpla substitu ție a literelor cu secven țele binare
(cuvintelor) corespunz ătoare lor:
Sv1=1101100110 110
Sv2=1011001000 101 (3.1.1)
Sv3=0001001011 0001
b) Decodând secven ța Sv1 prin I g ăsim cel pu țin dou ă variante de decodare:
abacdab, dacdd, abacabab, etc…fapt ce nu se poate întâmpla cu Sv2 și Sv3 prin CII, respectiv CIII.
c) Conform formulei de defini ție, entropia sursei este:
() 9,1p1logp SHN
1i i2 i= =∑
= biți/simbol (3.1.2)
Pentru calculul eficien ței este necesar ă în prealabil entropia maxim ă:
2N log H2 max = = biți/simbol (3.1.3)
Rezult ă eficien ța sursei:
()%95HSH
maxs ==η (3.1.4)


=15,02,0 25,04,0d c b aS
11d 000d 110d10c 001c 100c01b 01 b 10b00a III C 1 aII C 1 aI C

28d) Lungimea medie a cuvintelor unui cod se calculeaz ă cu formula:
∑
==N
1iiilp L (3.1.5)
unde l i este lungimea cuvântului de cod num ărul i.
Deoarece CI și CII au acelea și lungimi pentru cuvinte și lungimea medie va rezulta aceea și:
95,1315,032,0225,014,0 L L2 1 =⋅+⋅+⋅+⋅== biți/simbol (3.1.6)
iar:
L3=2 bi ți/simbol (3.1.7)
fiind un cod bloc.Eficien țele cod ărilor rezult ă:
.%95 %6,97
s 3c 2c 1c =η=η =η=η (3.1.8)
Obs.: – De și CIII are lungimi ale cuvintelor de cod mai mici decât CI și CII, totu și acestea "codeaz ă
mai eficient" sursa dat ă, deoarece atribuie cuvânt de cod scurt (lungime 1) simbolului cel mai
frecvent (a).- Codurile CII și CIII sunt coduri unic decodabile prin faptul c ă decodarea unei secven țe codate
decurge într-un unic fel. În plus sunt și coduri instantanee. Un exemplu de cod unic decodabil, dar
nu și instantaneu, este:
CIV a 1
b 10
c 100
d 000
– Cu toate c ă realizeaz ă biunivocit ăți între mul țimea mesajelor sursei S și mul țimea cuvintelor de
cod, codul CI nu poate fi utilizat deoarece informa ția transmis ă printr-un astfel de cod poate fi
deformat ă la decodare.
3.2. O SDFM cu 20 simboluri echiprobabile se codeaz ă cu un cod bloc (toate
cuvintele au acee și lungime).
a) Cât sunt entropia și eficien ța sursei date?
b) Cât este lungimea medie m a cuvintelor codului, minim necesar ă ?
c) Calcula ți eficien ța cod ării.
Rezolvare:
a) Sursa fiind echiprobabil ă:
H(S)=H max=log 220=4,32 bi ți/simbol (3.2.1)

29și, ca atare:
ηs=100% (3.2.2)
b) Pentru a putea atribui N secven țe binare, de lungime m, celor N mesaje ale sursei este necesar ca
să existe cel pu țin N secven țe distincte. Cum num ărul de secven țe binare de lungime m este 2m
rezult ă că 2m ≥ N, unde N este num ărul de simboluri al sursei, N=20. În plus, conform cerin țelor
problemei vom alege pe cel mai mic m ce verific ă inegalitatea, astfel încât:
m 1m2N 2 <<−(3.2.3)
Pentru cazul concret (N=20) rezult ă:
m=5 (3.2.4)
c) Lungimea medie a cuvintelor codului bloc este:
∑∑
= == ==20
1iiN
1iii m mp lp L (3.2.5)
rela ție ce este adev ărată indifirent de valorile probabilit ăților p i.
Eficien ța cod ării va fi:
()%44,86520 log
LSH2c = ==η (3.2.5)
3.3. a) Coda ți prin algoritmul Huffman static sursa de informa ție discret ă și fără
memorie:
b) Coda ți cu ajutorul aceluia și algoritm Huffman static extensia de ordin 2 a
sursei date;c) Calcula ți și compara ți în cele dou ă cazuri eficien țele celor dou ă coduri
obținute.
Rezolvare:
a) Desf ășurarea algoritmului Huffman static este prezentat ă în figura de mai jos:
Figura 3.1.


=15,0 25,02,04,0d c b aS
0,4 0
0,35 11
0,25 100,6 10,4 00,4 0
0,25 1 00,2 111
0,15 110a
bc
d

30Codul ob ținut are lungimea:
95,1lp L4
1iii 1 ==∑
=biți/simbol (3.3.1)
b) Tabloul sursei S2 (extensia de ordin I2 a sursei date) este:
Algoritmul de codare Huffman static pentru sursa S2 este ar ătat în figura urm ătoare:
Figura 3.2.
În desf ășurarea algoritmului probabilit ățile sunt înmul țite cu 100 pentru u șurin ța scrierii. Lungimea
medie a cuvintelor codului ob ținut este:



=
10025,2
10075,3
1003
1006
10075,3
10025,6
1005
10010
1003
1005
1004
1008
1006
10010
1008
10016dd dc db da cd cc cb ca bd bc bb ba ad ac ab aa
S2
16 16 16 20 21,25 26,75 32 41,25 58,75 1
12,25 14,5 16 16 20 21,25 26,75 32 11 41,25 0 11,25 12,25 14,5 16 16 20 21,25 01 26,75 10 10 11,25 12,25 14,5 16 16 111 20 00 10 10 11,25 12,25 14,5 101 16 110 10 10 10 11,25 011 12,25 100 8 10 10 001 10 010 8 8 1101 10 000 7,75 1011 8 1100 6,75 1010aa 111 16 16 16 16 16ac 010 10 10 10 10 10ca 001 10 10 10 10 10ab 1101 8 8 8 8 10ba 1100 8 8 8 8 8cc 1001 6,25 6,25 6,75 7,75 8ad 1000 6 6 6,25 6,75 7,75da 0111 6 6 6 6,25 6,75bc 0001 5 5,25 6 6 6,25cb 0000 5 5 5,25 6 6bb 10111 4 5 5 5,25 6 0111cd 10110 3,75 4 5 5 0001 5,25 0110dc 10101 3,75 3,75 4 10111 5 0000bd 10100 3 3,75 10101 3,75 10110db 01101 3 01101 3 10100
dd 01100 2,25 01100 16
11,25 10 10 10 8 8 7,756,756,25 1001 6 1000

31() ()
() =+++++++++++++++ =
25,233 75,3 75,341005 5566 25,68810041010161003L2
…… 8375,310075,98 177 108=++= biți/simbol (3.3.2)
Cunoscând c ă entropia extensiei de ordin 2 este dublul entropiei sursei date (vezi problema 2.10)
găsim c ă:
H(S)=1,9bi ți/simbol
()() 8,3 SH2 SH2== biți/simbol (3.3.3)
De unde:
()%63,97LSH
11c ==η (3.3.4)
()()%22,99LL2
LL2
LSH
LSH
211c
21
1 22
2c =⋅η=⋅==η (3.3.5)
Cum 2L 1>L2 ⇒ ηc1 > ηc2
3.4. Fie sursa de informa ție text (inclusiv pauzele):
"TEORIA TRANSMITERII INFORMATIEI ."
a) Să se afle tabloul sursei;
b) Să se codeze cu un cod optimal prin algoritmul Huffman;
c) Să se calculeze eficien ța cod ării și factorul de compresie fa ță de o codare bloc;
d) Să se construiasc ă graful de codare.
Răspuns:
a)
b)
A 000 0 1001E 1111 R 110F 11100 S 111011I 01 T 101M 0011 _ 1000N 0010 . 111010
c)
%925,98
c=η F=1,185



=
321
322
324
321
324
322
322
322
327
321
323
323. _ T S R O N MI F E A
S

32d)
3.5. O surs ă de informa ție discret ă și fără memorie, având redundan ța relativ ă
ρρρρ, a fost codat ă cu un cod binar cu eficien țe ηηηηc.
Știind c ă:
ηηηηc+ρρρρ=1
și cunoscând lungimea medie a cuvintelor codului bloc L=5 bi ți/simbol afla ți
num ărul de simboluri ale sursei.
Răspuns: N=32
3.6. Sursa de informa ție, fără memorie, constituit ă din simbolurile A, C, D, E, I,
N, R, cu p(A)=0,28, p(C)=0, 14, p(D)=0,05, p(E)=0, 18, p(I)=0, 16, p(N)=0,06 se
codeaz ă cu un cod binar prin algoritmul Huffman static. Care este lungimea
secven ței binare ata șate mesajului "CRIN" ?
Răspuns: 13 bi ți
3.7. O surs ă de informa ție echiprobabil ă cu 50 simboluri se codeaz ă cu un cod
binar bloc de eficien ță maxim posibil ă (codare pe simbol). Cât este eficien ța
codării?
Răspuns: %67,98 50 log28650
2 c =⋅=η0
A00
1
111
0
0
01
1 1
10
0
01
1E
.FR
0T
O _ M NI
S

333.8. Sursa text (f ără pauze):
VINE EA SI VACANTA
ordonat ă alfabetic, se codeaz ă cu un cod binar (cod binar natural). Considerând
ieșirea codorului drept o surs ă binar ă secundar ă, cu cât este egal ă entropia
acestei surse secundare (considerat ă și ea f ără memorie)?
Rezolvare:
Tabloul simboluri probabilit ăți este:




=
152
151
151
152
152
152
151
154V T S NI E C A
S (3.8.1)
iar codul binar bloc cerut:
A 000
C 001E 010I 011N 100 (3.8.2)S 101T 110V 111
Probabilitatea ca sursa secundar ă să emit ă un zero se calculeaz ă cu rela ția:
()∑
=⋅=N
1ii0i Emmp 0p (3.8.3)
unde: N=8 – num ărul de simboluri al sursei primare;
1.Ni pi= -probabilit ățile simbolurilor sursei primare;
m=3 lungimea cuvintelor codului;
m 0i – num ărul de zerouri din componen ța cuvântului i.
În mod analog:
() () ∑
=⋅=−=N
1ii1i E Emmp 0p1 1p (3.8.4)
Efectuând calculele, g ăsim c ă:
()()4526111122212212434510pE =⋅+⋅+⋅+⋅+⋅+⋅+⋅=
()()4519231212212221114511pE =⋅+⋅+⋅+⋅+⋅+⋅+⋅= (3.8.5)
astfel tabloul sursei secundare este:

34


=45/1945/261 0S'(3.8.6)
iar entropia:
() 9825,01945log4519
2645log4526SH2 2'= + = biți/simbol (3.8.6)
3.9. Folosind algoritmul LZ-77 g ăsiți:
a) rezultatul compresiei mesajului: aaabcbaabcc…;
b) mesajul ini țial, dac ă rezultatul compresiei a fost 00c00b73c72b640;
Lungimile blocurilor Lempel respectiv Ziv sunt 8 și 4.
Rezolvare:
a) Diagrama de mai jos prezint ă iterat codarea LZ 77 asupra mesajului dat:
123 45 67891 0 1 1 1 2 SL A
aaa b 0 0 a
aa a b c 8 2 b
aa ab c b a a 0 0 c
aaa b c b a a b 7 1 a
aaa b c b aa b c c 43c
Rezultatul comprim ării este 00a82b00c71a43c…
b) Decodarea mesajului comprimat se poate urm ări cu ajutorul diagramei:
123 45 67891 0 1 1 1 2 SL A
c0 0 c
cb 0 0 b
cbc b c c 7 3 c
cb c bccc c b 7 2 b
bc bccccbc c b c 6 4 0
Așadar, mesajul ini țial este: cbcbccccbccbc… .
3.10. Comprima ți mesajul: aaabcca… utilizând algoritmul Huffman dinamic.
Cât este factorul de compresie?
Rezolvare:
Vom prezenta evolu ția arborelui (grafului) asociat codului în timpul cod ării mesajului dat:

35Obs: Semnifica ția nota țiilor este:
-pentru nod:
– x: num ăr de ordine (cre ște de la stânga c ătre dreapta și de jos în sus pe linii);
– p: ponderea cumulat ă din nodurile aferente.
– pentru frunz ă (nod terminal):
– x: num ăr de ordine;
– p: pondere (num ăr de apari ții ale respectivului simbol);
– y: simbolul.
Frunza goal ă, notat ă cu "0", este de pondere 0.
– pentru ramur ă: – spre stânga ≡ codare cu zero;
– spre dreapta ≡ codare (atribuire) cu unu.0 0 mesaj: –
1 mesaj: a
1 02. S-a codat "a": 3
0 2 1 a0 1codul:simbol cuvânt
de cod
0
a0
11.Arbore ini țial: 1
p x
x y p
3.S-a codat "aa"
mesaj: a1 codul: 0 0
a 1
132
1 0
0 0 22 a4.S-a codat "aaa"
mesaj: a11 codul: 0 0
a 1
133
1 0
0 0 23 a
5.S-a codat "aaab"
mesaj: a110b codul: 0 00 a 1
b 01
1354
1 0
1 43a
1 0
0 021 b
1575
1 0
2 63 a
31 0
1 41 b
1 0
0 0 21 c6.S-a codat "aaabc"
mesaj: a110b00c codul: 0 000 a 1 b 01
c 001
1

36Obs.: la pasul 7 s-a produs un schimb între nodurile 2 și 4 deoarece ponderea primului era mai
mare (2 > 1), conform regulii care spune c ă un nod cu num ăr de ordine mai mic și pondere mai
mare decât un altul va face schimb de pozi ție în arbore cu acesta din urm ă.
Considerând caracterele în mesajul ini țial codate pe 8 bi ți, lungimea acestuia este:
Li=7⋅8=56 bi ți (3.10.1)
Mesajul comprimat (a110b00c0011) are:
L2=8⋅3+9=33 bi ți (3.10.2)
Rezult ă un factor de compresie:7.S-a codat "aaabcc"
mesaj: a110b00c001 codul: 0 000 a 1 b 001
c 01
1576
1 0
3 63 a
31 0
1 42 c
1 0
0 0 21 b 1576
1 0
3 63a
31 0
2 41 b
1 0
0 0 22 cSchimb
între
nodurile
2 și 4
8.S-a codat "aaabcca"
mesaj: a110b00c0011 codul: 0 000 a 1 b 001
c 01
577
1 0
3 64 a
31 0
1 42 c
11 0
0 0 21 b

377,1LLF
21≅= (3.10.3)
3.11. Fie mesajul "aacacabcabdabadabc". S ă se comprime mesajul dat prin
aplicarea algoritmului:a) LZ 77;b) Huffman dinamic;c) Huffman static, presupunând mesajul dat o SDFM text.
d) Calcula ți în fiecare caz factorul de compesie fa ță de o codare bloc pe opt bi ți a
mesajului ini țial.
Rezolvare:
a) Recodarea aferent ă algoritmului LZ77 este prezentat ă în diagrama urm ătoare:
123 45 67891 0 1 1 1 2 SL A
aa c a 0 0 a
aa c a c 8 1 c
aaca c a b 7 3 b
aac a ca b c a b d 63d
ac ab cabda b a d 3 2 a
bc ab dabad a b c 5 3 c
Mesaj comprimat 00a 81c 73b 63d 32a 53c de lungime:
L1=12⋅3+6⋅8=84 bi ți (3.11.1)
b)
1.
2.
mesaj codat: "aa"
mesaj transmis: "a1"cod: 0 0
a 132
0
0 22 01
1amesaj codat: "a"
mesaj transmis: "a"cod: 0 0
a 13 1
0
0 21 01
1a

383.
(4. 5. 6.) 7.
(8. 9. 10.) 11.mesaj codat "aacacab"
mesaj transmis "a10c101100b"cod 0 00 a 1 b 001
c 0177
70
3 84 a1
50
1 62 b1
10
0 41c1
911
70
6 85 a1
50
3 63c1
30
1 42b1
10
0 21d1911
70
5 86 a1
50
3 63c1
30
1 42b1
10
0 21 01
d15 3
0
1 421
3a
0
0 21 01
cmesaj codat: "aac"
mesaj transmis: "a10c"cod: 0 00 a 1
c 01

39(12.) 13.
(14. 15. 16. 17.) 18.mesaj codat: "aacacabcabd"
mesaj transmis: "a10c101100b011001000d"cod: 0 1000 a 0 b 101
c 01
mesaj codat: "aacacabcabd"
mesaj transmis: "a10c101100b011001000d"cod: 0 1100 a 0 b 111 c 10
d 1101913
70
6 87 a1
50
3 64 c1
30
1 43b1
10
0 21 01
d
mesaj codat: "aacacabcabd"
mesaj transmis: "a10c101100b011001000d"cod: 0 1100 a 0 b 10 c 111
d 1101918
70
8 810 a1
50
4 66 b1
30
2 44c1
10
0 22 01
d

40Lungimea rezultat ă a mesajului transmis este:
L2=4⋅8+33=65 bi ți (3.11.2)
c) Pentru a putea coda mesajul transmis prin algoritmul Huffman static definim sursa:
asupra c ăreia putem aplica algoritmul:
Cu ajutorul codului ob ținut mesajul se transmite prin secven ța binar ă:
"001110111010111010"
L3=34 bi ți (3.11.3)
d) Dac ă mesajul ini țial este codat bloc pe 8 bi ți lungimea secven ței binare codate este:
L0=18⋅8=144 bi ți (3.11.4)
Cu rezultatele con ținute în rela țiile (3.11.1, 2, 3 și 4) g ăsim pentru factorii de compresie valorile:
7143,184144F1==
1 2 F3,1 2154,265144F = == (3.11.5)
1 3 F47,2 2353,434144F = ==



=
182
184
184
188d c b a
S
8 0
4 1 04 111
2 1108 0
6 11
4 1010 1 8 0a
bc
d

Canale
41Cap.4 Canale de transmisie
Dicționar:
– canal (de transmisie) – cale (mediu fizic) de transmisie prin care circul ă infporma ția între emi țător (surs ă) și
receptor (utilizator);
– câmp (corp) – o mul țime K de elemente care satisfac urm ătoarele axiome:
1. – pe K sunt definite dou ă opera ții: adunarea și înmul țirea;
2. – în raport cu adunarea K formeaz ă un grup abelian cu elementul nul 0;
3. – K \ {0} formeaz ă grup abelian pentru înmul țire;
4. – înmul țirea este distributiv ă față de adunare;
– echivoc – 1. suspect, îndoielnic; 2. echivoca ție- măsură a efectului perturba țiilor asupra comunica țiilor prin canale;
– capacitate –valoarea maxim ă pe care poate s ă o aib ă un parametru al unui sistem, parametru ce indic ă performan țe de
înmagazinare, transport sau prelucrare.
Defini ții:
1. – transferul informa ției între câmpul de intrare X, cel de ie șire Y și canal C:
2. – Cantitatea de decizie D a unei surse cu m simboluri = maximul entropiei sursei D=H max;
– Debitul de decizie •
D – cantitatea de decizie generat ă în unitatea de timp;
– Debitul de momente •
M – num ărul de momente transmise în unitatea de timp;
– Baud (Bd) – unitatea de m ăsură a debitului de momente;
– Moment – semnal elementar purt ător de informa ție de durat ă TM.
Nota ții:
x0=0E , x1=1E – simbolurile emisibile în canalul binar;
X={x 0 , x 1} – câmpul de la intrare în canal;
y0=0R , y1=1R – simbolurile recep ționabile din canalul binar;
Y={y 0 , y 1} – câmpul de la ie șirea din canal;
p(x i) – probabilitatea de a emite în canal x i;
p(y j) – probabilitatea de a recep ționa din canal y j;
P(Y/X) – matricea de tranzi ție=[p(y j / x i)]2×2;
p(y j /xi) probabilitatea (apriori) de a se recep ționa y j când a fost emis x i;
P(X,Y) =[ p(x i, yj)]2×2; H(X) I(X,Y) H(Y)Câmp
intrare
X CANALH(Y/X)
H(X/Y)Informa ția ce o adaug ă
canalul, în medie,
fiecărui simbol binar
Informa ția, în medie, ce
intră în canal printr-un
simbol binar
Informa ția ce o pierde
în canal, în medie, un
simbol binarInforma ția ce
traverseaz ă
canalul, în medie,
cu un simbol binarInforma ția ce iese,
în medie, din canal
printr-un simbol
binarCâmp
ieșire
Y

Canale
42p(x i, yj) – probabilitatea de a se fi emis x i și a se recep ționa y j;
P(X/Y) =[ p(x i/yj)]2×2;
p(x i/yj) – probabilitatea (aposteriorii) de a se fi emis x i când s-a recep ționat y j;
ξξξξ – raport semnal-zgomot.
Abrevieri:
RSZ (SNR) – Raport Semnal pe Zgomot (Signal to Noise Ratio);
CBS – Canal Binar Simetric;
BER – Bit Error Rate (rata erorii).
Breviar teoretic:
1. Rela ții între matrici
()()
()() 

δγβα= 
= X/YP1p 00 0pY,XP
EE(4.1)
() () δ+β= γ+α= R R 1p 0p (4.2)
() ()()
()



=RR
1p1000p1
Y,XP Y/XP (4.3)
2. Entropii condi ționate
– eroarea medie () ()()ij21
0i1
0jjix/yp1logy,xp X/YH ⋅ =∑∑
==; (4.4)
– echivoca ția () ()()ji21
0i1
0jjiy/xp1logy,xp Y/XH ⋅ =∑∑
== ; (4.5)
– transinforma ția
() ()()
()()
( ) () ( ) () X/YH YH Y/XH XH ypxpy,xp
logy,xp Y,XI
j iji
21
0i1
0jji
−= −=⋅ =∑∑
==(4.6)
3. Capacitatea canalului
– discret ()Y,XImaxC
ip= (biți/simbol) (4.7)
– continuu ()ξ+ = ==• •
1 logB m log M DC2 max2 max max (4.8)
unde: B 2 Mmax=•
– (canal ideal); B45Mmax=•
(canal real) (4.9)
ξ+=1 mmax (4.10)
4. Redundan ța și eficien ța canalului
()Y,XIC RC−= – redundan ța absolut ă (4.11)
()
CY,XI1c−=ρ – redundan ța relativ (4.12)
()
CY,XI
c=η – eficien ța (4.13)

Canale
434.1. Fie secven ța binar ă:
i0=100101011100011100100110( 4 . 1.1)
generat ă de o SDFM echiprobabil ă, X. În vederea transmiterii dibi ții din
secven ța i 0 se codez ă prin:
Se cere:
a) S ă se calculeze entropia și eficien ța sursei X; (H(X), ηηηηX)
b) Debitul de informa ție al sursei X dac ă codarea (4. 1.2) se face în timp real; (•
X)
c) Cantitatea de decizie corespunz ătoare unui moment (moment = un semnal
dintre S 00, S01, S 10 sau S 11); (D)
d) Debitul de momente; (•
M)
e) Ce debit de informa ție (în bi ți/sec) corespunde în acest caz unui Baud? ( 1Bd)
f) Să se reprezinte grafic semnalul S(t): suport al informa ției i 0.
Rezolvare:
a) Probabilit ățile de emisie (generare) a mesjelor binare 0 și 1 fiind egale:
p(0)=p(1)=1/2 (4.1.3)
rezult ă pentru entropie și eficien ța sursei valorile:
H(X)=1 bit/simbol
η=100% (4.1.4)
b) Prin defini ție:
()
xXHXτ=•
(4.1.5)
unde τx este timpul în care se transmite (genereaz ă) un simbol binar de c ătre sursa X. Știind c ă dou ă
simboluri (un dibit) au o durat ă de transmitere, respectiv genereare (în timp real), de T M=250µs
rezult ă pentru τx valoarea:
s 125 T21
M x µ==τ (4.1.6)
și ca atare:
kbiti/sec 8s 125bit/simbol 1X =µ=•
(4.1.7)00 S 00(t)= -3V t ∈∈∈∈[0,T M]
01 S 01(t)= – 1V t∈∈∈∈[0,T M]
10 S 10(t)= 1V t∈∈∈∈[0,T M]
11 S 11(t)= 3V t ∈∈∈∈[0,T M] cu T M=250µµµµs(4.1.2)

Canale
44c) Conform defini ției:
D=log 2m=2 bi ți (4.1.8)
unde m=4 reprezint ă num ărul de nivele de tensiune corespunz ătoare dibi ților (rela ția (4.1.2)).
d) Debitul de momente •
M este num ărul de semnale elementare (S 00, S01, S10 sau S 11) pe unitatea de
timp:
Bd 4000
10 2501
T1M6M=
⋅==−•
(4.1.9)
e) Cum debitul de informa ție este 8000X=•
biți/sec, corespunde la viteza de modula ție (debitul de
momente) Bd 4000 M=•
, rezult ă pentru fiecare Baud câte 2 bi ți de informa ție.
f) Secven ța binar ă dată va avea suport fizic urm ătoarea succesiune de semnale elementare:
1001 10001101 0011010101 10 SSSSSSSSSSSS (4.1.10)
care formeaz ă semnalul:
4.2. Presupunând semnalul ternar din figur ă:
suportul fizic al unei informa ții, să se afle:
a) Viteza de modula ție •
M (debitul de momente);[V] S[t]
3
2 1 0 -1 -2 -3
1 2 3 4 5 6 7 8 9 10 11 12t/TM
[V] S[t]
+1
0 2 4 6 8 10 12 14
-1t/5µs

Canale
45b) Cantitatea de informa ție maxim ă ce se poate transmite printr-un simbol
ternar;c) Debitul de informa ție ce rezult ă dac ă semnalul S(t) a fost ob ținut prin
modularea (codarea) unei secven țe binare echiprobabile, în timp real, utilizând
codul:
d) Debitul maxim de informa ție ce poate fi ob ținut printr-o codare adecvat ă
utilizând : – un semnal ternar;
– un semnal binar;- un semnal cuaternar.
În toate cazurile se va considera aceea și vitez ă de modula ție.
Răspuns:
a) Baud 10 sec ternar / simbol 10T1M5 5
M= ==•
b) D=log 23=1,585 (bi ți)
c)
( ) () ()
()
()() ernar bit/simb.t 12 log214 log412 SH
41Sp21Sp ;411p1p p Sp
2 2 0 =⋅+ ⋅=⇒



===⋅==
−++
() 5 5
MS 10 585,1 MD biti/sec 10TSHD ⋅=⋅< ==•
biți/sec
d)
Semnal D•
X [bi ți / sec]
binar
ternar
cuaternar1 bit inf. / sg. binar
1,585 bi ți informa ție / sg. ternar
2 biți informa ție / sg. cuaternar1/T M
1,585/T M
2/T M
D – cantitatea maxim ă de informa ție ce se poate înmagazina într-un semnal elementar de durat ă TM;
•
X – debitul maxim de informa ție relativ la T M [sec].11 S +(t)= + 1V t∈∈∈∈[0,T M]
0 S 0t)= 0V t ∈∈∈∈[0,T M]
10 S -(t)= – 1V t∈∈∈∈[0,T M](4.2. 1)

Canale
464.3. Sursa de informa ție fără memorie constituit ă din caracterele echiprobabile
A, C, D, E, I, N, R se codeaz ă cu un cod binar bloc (transpunere zecimal binar ă
a num ărului de ordine; f ără cuvântul de pondere zero), apoi se cupleaz ă la un
canal de transmisie binar simetric având rata erorii egal ă cu 0, 1. Calcula ți:
a) entropia și eficien ța sursei; (H(S) ηηηηS)
b) eficien ța cod ării; (ηηηηc)
c) entropia câmpului de la intrarea în canal; (H(X))d) matricea de tranzi ție și eroarea medie; (P(Y/X), H(Y/X))
e) câmpul de la ie șirea din canal și entropia sa; (Y, H(Y))
f) echivoca ția și transinforma ția; (H(X/Y), I(X,Y))
g) capacitatea canalului; (C)h) probabilitatea ca sursa s ă fi emis mesajul DAC atunci când s-a recep ționat
mesajul RAC. (p(DAC
E/RAC R))
Rezolvare:
a) Sursa fiind echiprobabil ă:
() 8,27 log H SH2 max ≅== biți/simbol
ηS=100% (4.3.1)
b) Conform cerin țelor problemei codul binar bloc este:
Și are lungimea medie a cuvintelor de cod:
L=3 bi ți/simbol (4.3.2)
Pentru eficien ță rezult ă valoarea:
()%58,93LSH
c ==η (4.3.3)
c) Câmpul de la intrarea în canal con ține dou ă simboluri binare ce pot fi emise în canal cu
probabilit ățile:
() ( )73
219k211
3kSp 0p7
1ii0i07
1ii E == = = ∑ ∑
= =
() ()74
2112k211
3kSp 1p7
1ii1i17
1ii E == = = ∑ ∑
= =A 001
C 010D 011E 100I 101N 110
R 111
(4.3.4)

Canale
47Astfel, tabloul sursei binare (secundare) ce emite în canal este:



=7/47/31 0XE E(4.3.5)
și are entropia:
() 9852281,047log74
37log73XH2 2 = + = biți/simbol (4.3.6)
Obs.: În fapt, sursa secundar ă X este cu memorie. Pentru a argumenta acest lucru, este suficient s ă
consider ăm sursa X f ără memorie și să calcul ăm probabilitatea de a emite A:
( )( )()()()71
49361p 0p 0p 001p ApE E E E ⋅=⋅⋅= =
care difer ă de p(A)= 1/7, dat de echiprobabilitatea sursei primare.
d) Canalul fiind binar simetric și cunoscând rata erorii p=0,1 matricea de tranzi ție are forma:
()() ()
() ()R R R R 1 0
EE1 0
EE
E R E RE R E R
9,01,01,09,0
10
p1 pp p1
10
1/1p 1/0p0/1p 0/0pX/YP
=

−−=
= (4.3.7)
Eroarea medie este "informa ția" medie, pe simbol binar, ce sose ște la recep ție și nu provine de la
emisie ci din canal:
() ()()ij21
0i1
0jjix/yp1logy,xp X/YH ⋅ =∑∑
==(4.3.8)
unde: – p(y j/xi) = probabilitatea ca la recep ție să soseasc ă yj dac ă la emisie a fost transmis x i;
probabilit ățile de genul p(y j/xi) sunt con ținute în matricea P(Y/X) dat ă de rela ția (7).
– p(x i , yj ) = probabilitatea de a se emite x i și a se recep ționa y j;
Aceste probabilit ăți formeaz ă o matrice de forma P(X,Y) și se calculeaz ă cu ajutorul rela ției lui
Bayes:
p(x i , yj )=p(x i)⋅ p(y j/xi) i,j=0, (4.3.9)
sau:
()()
()()X/YPxp 00 xpY,XP
10
= (4.3.10)
– xi , yj cu i,j=0, 1 sunt nota țiile alternative pentru 0 E, 1E respectiv 0 R, 1R folosite pentru a scrie
relațiile compact:
1 R 0 R E 1 E 0 y 1 y 0 1 x0 x = = = = (4.3.11)
Obs.: Deși atât câmpul de la intrare cât și câmpul de la ie șire con țin acelea și dou ă simboluri
binare 0 și 1, sunt necesare nota ții distincte pentru a putea fi distinse în diferitele rela ții
matematice.

Canale
48Înlocuind rezultatele din (4.3.4) și (4.3.7) în (4.3.10) g ăsim c ă:
()




=
76,3
74,073,0
77,2
Y,XP (4.3.12)
Dispunem acum de toate probabilit ățile cerute de (4.3.8) pentru a putea calcula eroarea medie:
()
binar l biti/simbo 4689955,01,0 log1,09,0 log9,0 9,0 log76,31,0 log74,01,0 log73,09,0 log77,2X/YH
2 22 2 2 2
= − −== − − − −=(4.3.13)
e) Probabilit ățile simbolurilor de la ie șirea din canal, 0 R și 1R se afl ă cu ajutorul formulelor:
() () ( )( ) ( )( )
() () ( ) ( ) ( ) ( )RE RE 11 10 1 RRE RE 01 00 0 R
1,1p 1,0p y,xp y,xp yp 1p0,1p 0,0p y,xp y,xp yp 0p
+ = + ==+ = + ==(4.3.14)
sau compact:
() ()[] [ ] ()
=⋅=79,3
71,3Y,XP11 1p 0pR r (4.3.15)
Sursa binar ă echivalent ă ieșirii canalului este:




=
79,3
71,31 0
YR R
(4.3.16
și are entropia:
() ≅ − −= + = 9,3 log79,31,3 log71,37 log9,37log79,3
1,37log71,3YH2 2 2 2 2
=0,990577bi ți/simbol binar (4.3.17)
f) Echivoca ția, notat ă H(X/Y), este cantitatea medie de informa ție pe un simbol binar ce este
pierdut ă de acesta (simbolul binar) în canal:
() ()()ji21
0i1
0jjiy/xp1logy,xp Y/XH ⋅ =∑∑
==(4.3.18)
Calculând probabilit ățile aposteriori p(x i/yj) cu rela ția:
()() ()
() ()()()
()=




⋅ =
=RR
R E R EE E R E
1p1000p1
Y,XP1/1p 0/1p1/0p 0/0pY/XP

Canale
49



=




⋅




=
1312
314311
3127
9,37001,37
73,6
70,470,3
72,7
(4.3.19)
Se g ăsește valoarea echivoca ției:
()1213log76,3
431log74,013 log73,0
2731log77,2Y/XH2 2 2 2 + + + =
=0,463666 bi ți/simbol binar (4.3.20)
Transinforma ția I(X,Y) se poate afla utilizând egalit ățile:
I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) (4.3.21)
Utilizând (4.3.6) și (4.3.20) g ăsim valoarea:
I(X,Y)=0,521562 bi ți / simbol binar (4.3.22)
Valoare ce se g ăsește și folosind rezultatele din (4.3.13) și (4.3.17).
Obs.: – utilizarea rela țiilor necesare în rezolvarea problemelor de tipul prezentei implic ă calcule
matematice voluminoase. Pentru a ob ține rezultate bune este de preferat s ă nu se fac ă aproxim ări
în calculele intermediare, obtând pentru varianta memor ării lor cu ajutorul unit ății de calcul. O
bună verificare a rezultatelor g ăsite se poate face cu ajutorul rela ției (4.3.2 1).
g) Capacitatea canalului binar simetric se calculeaz ă cu formula:
()() p1 logp1p logp1C2 2 − −+ += (4.3.23)
și, în cazul de fa ță pentru p=0,1, este:
C=0,531004bi ți/simbol (4.3.24)
Obs.: – capacitatea canalului, conform defini ției, este maximul transinforma ției. Rezultatul (4.3.24)
se poate reg ăsi făcând în (4.3.2 1) H(Y)= 1.
h) Probabilitatea de a se fi emis "DAC" atunci când s-a recep ționat "RAC" este identic ă cu
probabilitatea de a se fi emis secven ța binar ă "011 001 010" atunci când s-a recep țiopnat "111 001
010":
()
() () ( )
%2,31312
131
3127 1/1p 1/0p 0/0p ) 111001010/ 011001010(p RAC/ DACp
4 44
RE RE4
R ER E R E
≅

⋅⋅

== ⋅ ⋅ == =
(4.3.25)

Canale
50Obs.: – în ultima rela ție, (4.3.25), s-a f ăcut presupunerea c ă transmisia unui simbol binar este
independent ă de a celorlalte.
4.4. Sursa text (discret ă și fără memorie):
"TEORIA TRANSMISIUNII INFORMATIEI"se codeaz ă binar bloc (ordonare alfabetic ă, pauza la sfâr șit, cod binar natural) și
se cupleaz ă la un canal de transmisie binar. Cunoscând c ă
() 9,0 0/0pE R= și
() 2,0 1/0pE R= să se afle:
a) matricea de tranzi ție a canalului; (P(Y/X))
b) codul binar bloc;c) probabilitatea ca sursa s ă emit ă mesajul METEOR;
d) probabilitatea de a se fi recep ționat TEN dac ă s-a emis TEO;
e) probabilitatea de a se fi emis MAR dac ă s-a recep ționat MAT;
f) entropiile câmpurilor de intrare și ieșire; (H(X), H(Y))
g) eroarea medie și echivoca ția; (H(Y/X), H(X/Y))
h) transinforma ția și capacitatea canalului; (I(X,Y), C)
Răspuns:
a)()R R1 0
EE
8,02,01,09,0
10X/YP
=
b)
c)()7
6E 1034,1
32322322METEORp−⋅=⋅⋅⋅⋅⋅=
d)() ( )
() () () () %435,0 8,01,02,09,0 1/1p 0/1p 1/0p 0/0p 1001 0001 1001/ 0101 0001 1001p TEO/ TENp
4 6 4
E R E R E R6
E RE R E R
=⋅⋅⋅= ⋅ ⋅ ⋅ == =
e)() ()1671p 1690pE E = = ,
în ipoteza c ă sursa secundar ă {0E,1E} este f ără memorie.A 3/32 0000
E 2/32 0001F 1/32 0010I 8/32 0011M 2/32 0100N 3/32 0101O 2/32 0110R 3/32 0111S 2/32 1000T 3/32 1001U 1/32 1010_ 2/32 1011

Canale
51()R R1 0
EE
166,5
164,1169,0
161,8
10Y,XP




=
() ()165,61p 165,90pR R = =
()R R1 0
EE
6556
9514659
9581
10Y/XP




=
( ) () () () ()
33 2 73
RE2
R E RE7
R E R E
1063,06556
9514
659
95811/1p 0/1p 1/0p 0/0p MAT/ MARp
−⋅=

⋅

⋅⋅

== ⋅ ⋅ ⋅ =
f) H(X)=0,988699408 bi ți/simbol binar
H(Y)= 0,974489403 bi ți /Simbol binar
g) H(Y/X)=0,579653563 bi ți/simbol binar
H(X/Y)= 0,593863568 bi ți /Simbol binar
h) I(X,Y)=0,39483584 bi ți/simbol binar
C= 0,420346437 bi ți/simbol binar
4.5. Sursa text ANTENA RECEPTOARE codat ă binar bloc (ordonare alfabetic ă
+CBN) se cupleaz ă la un canal de transmisiune binar având matricea de
tranzi ție:

=8,02,01,09,0P
a) S ă se afle tabloul sursei primare S;
b) S ă se afle tabloul sursei secundare X, ce emite în canal, considerându-se c ă
este SDFM;
c) Considerând c ă S' este sursa având acelea și simboluri ca și S dar cu
probabilit ăți cele de recep ționare a mesajelor, s ă se afle tabloul sursei S;
d) Cât sunt probabilit ățile:
p(CAP E) – de a se emite mesajul CAP;
p(CAP R) – de a se recep ționa mesajul CAP;
p(CAP R /CAP E) – de a se recep ționa mesajul CAP dac ă acesta a fost
emis;
p(CAP E /CAP R) – de a se fi emis mesajul CAP dac ă acesta a fost
recep ționat?

Canale
52Rezolvare:
a) Tabloul sursei primare S este:




=
162
162
161
161
162
164
161
163T R P O N E C A
SE E E E E E E E
(4.5.1)
Obs.: Indicele "E" se refer ă la emisie.
Codul bloc este:
b) Utilizând rela țiile (4.3.4) afl ăm că:
() ()24111p 24130pE E = = 4.5.3)
c) Pentru a afla probabilit ățile simbolurilor recep ționabile se utilizeaz ă formula probabilit ății totale
(1.5). De exemplu, pentru calculul probabilit ății de a recep ționa A, se folose ște rela ția:
()() ( )() ( )
()( )E R EE R E E R E R
T/Ap Tp V/Ap Cp A/Ap Ap Ap
⋅++ ⋅+ ⋅=
!(4.5.4)
unde:
() ( ) ( )3 3
E R E R E R 9,0 0/0p 000/ 000p A/Ap = = = (4.5.5)
Folosind rela țiile de forma (4.5.4) și (4.5.5) se calculeaz ă probabilit ățile de recep ționare pentru toate
cele 8 simboluri. Aceste calcule sunt indicate în tabelul de mai jos:
Probabilitate
simbol ×16
Simbol3
A1
C4
E2
N1
O1
P2
R2
T÷16.000
A 392 92⋅ 292⋅229⋅ 292⋅229⋅229⋅323355
C192⋅ 892⋅9⋅2⋅19⋅2⋅89⋅2⋅19⋅2⋅8122⋅ 822⋅1485
E192⋅9⋅2⋅1892⋅9⋅8⋅29⋅2⋅1122⋅9⋅8⋅2822⋅3515
N 219⋅9⋅1⋅89⋅8⋅1 289⋅212⋅2⋅1⋅82⋅1⋅82⋅8⋅8 1845
O192⋅9⋅1⋅29⋅1⋅2122⋅ 892⋅9⋅8⋅19⋅8⋅2 228⋅1485
P 219⋅9⋅8⋅1 212⋅8⋅2⋅19⋅8⋅1 289⋅8⋅2⋅1282⋅1075
R 219⋅212⋅9⋅8⋅18⋅2⋅19⋅8⋅18⋅2⋅1 289⋅ 282⋅1845
T 31218⋅218⋅ 182⋅218⋅ 182⋅ 182⋅381395
Tabloul sursei S' va fi:A 000 O 100
C 001 P 101E 010 R 110
N 011 T 111(4.5.2)

Canale
53



=
160001395
160001845
160001075
160001485
160001845
160003515
160001485
16000355.3T R P O N E C A
S'(4.5.6)
Obs.: comparând (4.5. 1) cu (4.5.6) se observ ă că A, C, O și P sunt mai probabile la recep ție decât
la emisie în vreme ce probabilit ățile simbolurilor E, N, R și T au sc ăzut, în probabilitate, la recep ție
față de emisie.
d) Probabilit ățile cerute sunt:
()3
3E 107,0
163CAPp−⋅==
()3
3R 103,1
163558,5CAPp−⋅= =
() ( )3 3 6
E R E R 10 272 8,09,0 001000101/ 001000101p CAP/ CAPp−⋅=⋅= =
() ( )33 6
R E R E 10 23510188
139117001000101/ 001000101p CAP/ CAPp−⋅=

⋅

= =
unde: p(0 E/0R) și p(1 E/1R) s-au calculat cu rela țiile (4.1, 2 și 3):
()




=
248,8
242,2243,1
247,11
Y,XP
() ()241,101p 249,130pR R = =
()




=
10188
1392210113
139117
Y/XP
Obs.: Calculul probabilit ăților p(0R) și p(1R) se poate face și cu rela ții de forma (4.3.4), rezultând
acelea și valori.
4.6. Care este durata transmiterii unei imagini alb-negru format ă din N= 106
pixeli printr-un canal:
a) telefonic cu banda cuprins ă între 300-3400 Hz;
b) video cu banda 12 MHz;
c) optic (fibr ă optic ă) cu banda de 1 GHz;
Intensitatea fiec ărui pixel se cuantizeaz ă p e 128 nivele, iar raportul semnal-
zgomotul se consider ă cel minim necesar.
Rezolvare:

Canale
54Informa ția con ținută într-o imagine, necesar ă a fi transmis ă, este:
6
26
pixel im 107 128log 10 iN I ⋅= ⋅=⋅= biți/imagine (4.6.1)
La 128 de nivele de cuantizare este necesar un raport semnal-zgomot minim:
14 22 )128(=≅ξ (4.6.2)
pentru care rezult ă capacit ățile canalelor:
() 4,43 14 101,3 1 logB C3
2 T T =⋅⋅=ξ+ = kbiți/sec
() 168 14 1012 1 logB C6
2 V V =⋅⋅=ξ+ = Mbi ți/sec
() 14 14 10 1 logB C6
2 O O =⋅=ξ+ = Gbi ți/sec (4.6.3)
Dac ă transmisiile s-ar face la aceste capacit ăți (debite de informa ție) rezult ă timpii de transmisie:
sec 3,161CIt
TimT==
ms 7,41CIt
VimV==
ms 5,0CIt
OimO== (4.6.4)
4.7. La ce raport semnal-zgomot minim s-ar putea transmite, în cele trei cazuri
din problema anterioar ă, imaginile cu viteza necesar ă de 25 imagini/sec?
Rezolvare:
Capacitatea cerut ă fiec ărui canal este:
175 sec 1/ I25I
Cimag
imagimag= ⋅=τ= Mbi ți/sec (4.7.1)
Aceast ă capacitate se poate ob ține la un raport semnal/zgomot:
1 2B/C−=ξ sau (dac ă C>>B): BC3dB⋅=ξ (4.7.2)
Cunoscând în fiecare caz banda disponibil ă avem c ă:
dB 169355
101,310 175336T
dB =
⋅⋅≅ξ

Canale
55dB 75,43
101210 175366V
dB =
⋅⋅≅ξ
dB9 sau 129,01 2O
dB175,0 O−≅ξ =−=ξ (4.7.3)
Obs.: Evident c ă un raport semnal-zgomot de 169355 dB este un r ăspuns non sens pentru practic ă.
4.8. Reprezenta ți secven ța de date prezentat ă î n f i g u r a d e m a i j o s , p e r â n d î n
codurile NRZ, RZ, AMI și HDB3. Calcula ți componenta medie, în fiecare caz,
luând valoarea vârf la vârf a semnalului A.
Răspuns:
Component ă medie: NRZ – 11/25 A RZ – 11/50 A AMI – O HDB3 – 1/50 A
4.9. Desena ți semnalele de linie în cod HDB3 pentru urm ătoarele secven țe de
date:
a) 101001000000000 1111 0;
b) 000 10010000 10000 1001;
c) 10000 1100000 110000 11;
1 1 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1
Tb
RZ
AMI
HDB3
NRZ
A

Canale
564.10. Care va fi semnalul de linie (L) dac ă la intrarea cifratorului din figur ă:
se aduce semnalul:
i=11101000000 110000 111…
Starea ini țială a RDR este




=
001
S0 .
Răspuns: 01010001011010101001.C3 C2 C1
+
+i
L

57Cap.5 Teste gril ă
5.1 Dac ă p(A) este probabilitatea de realizare a mesajului A, atunci informa ția furnizat ă de producerea
sa , i(A), este:
a). lnA; *b). –log 2 p(A); c). p(A) ·log 2)(1
Ap; d). log 2 p(A); e). p(A)·ln p(A).
5.2 Entropia unei surse este:
a). informa ția medie transmis ă de surs ă în unitatea de timp;
b). informa ția instantanee transmis ă de surs ă;
c). egal ă cu raportul dintre entropia maxim ă a sursei și redundan ța sa;
*d). egal ă cu produsul dintre entropia maxim ă și eficien ța sursei;
e). nici o variant ă nu este corect ă.
5.3 Cantitatea de decizie a unei surse este:
a). informa ția medie transmis ă de surs ă printr-un simbol al s ău, dac ă sursa este echiprobabil ă;
*b). egal ă cu entropia maxim ă a sursei;
c). egal ă cu produsul dintre entropia maxim ă și eficien ța sursei;
d). informa ția medie transmis ă de surs ă în unitatea de timp;
e). nici o variant ă nu e corect ă.
5.4 Care dintre scopurile de mai jos nu se realizeaz ă prin codare:
a). adaptarea naturii diferite a sursei la natura canalului;*b). multiplexarea mai multor semnale purt ătoare de informa ție în vederea transmiterii pe
acela și canal;
c). compresia sursei;d). protejarea informa ției împotriva perturba țiilor;
e). protejarea informa ției împotriva receptorilor neautoriza ți (secretizarea).
5.5 Care dintre m ărimile de mai jos reprezint ă criterii de fidelitate:
__________
1). eroarea medie p ătratic ă: ε =[] )()( tytx−2;
________
2). raportul semnal-zgomot: ξ = y(t)2/u(t)2;
3). echivoca ția;
a). doar 1).; b) 1). și 3).; c) 2) și 3).; d) toate trei; *e). 1) și 2)..
5.6 Care dintre m ărimile de mai jos reprezint ă criterii de fidelitate:
1). eroarea medie H(Y/X) = – ∑
=n
i1∑
=m
j1p(x i,yj)·log 2p(y j/ xi);
_______
2). raportul semnal-zgomot: ξ=y(t)2/u(t)2;
3). rata erorii (BER).
a). doar 1).; b). 1). și 3).; *c). 2) și 3).; d). toate trei; e). 1). și 2)..

585.7 O surs ă discret ă S este f ără memorie dac ă:
*a). emisia unui simbol nu depinde de simbolurile anterior emise;b). probabilit ățile diferitelor simboluri nu depind de originea timpului;
c). genereaz ă simboluri la o indica ție exterioar ă;
d). genereaz ă simbolurile cu o vitez ă fixă;
e). nici un r ăspuns nu este corect;
5.8 O surs ă discret ă este cu debit necontrolat dac ă:
a). emisia unui simbol nu depinde de simbolurile anterior emise;b). probabilit ățile diferitelor simboluri nu depind de originea timpului;
c). genereaz ă simboluri la o indica ție exterioar ă;
*d). genereaz ă simbolurile cu o vitez ă fixă;
e). nici un r ăspuns nu este corect;
5.9 O surs ă discret ă S
n este extensia unei surse de ordin n a sursei S dac ă:
a). emisia unui simbol nu depinde de simbolurile anterior emise;b). probabilit ățile diferitelor simboluri nu depind de originea timpului;
c). genereaz ă simboluri la o indica ție exterioar ă;
d). genereaz ă simbolurile cu o vitez ă fixă;
*e). nici un r ăspuns nu este corect;
5.10 Informa ția ob ținut ă în urma realiz ării evenimentului a, a c ărui șanse de realizare sunt 100% este:
*a). zero; b). un bit; c). un bit/simbol; d). strict pozitiv ă; e). nici un r ăspuns nu e corect.
5.11 Rela țiile între unit ățile de m ăsură a informa ției sunt:
a). 1nit<1bit<1dit;b). 1bit<1dit<1nit;c). 1dit<1nit<1bit;d). 1dit<1bit<1nit;*e). 1bit<1nit<1dit.
5.12 Entropia unei surse de informa ție:
a). reprezint ă incertitudinea medie ce exist ă apriori asupra emisiei;
b). reprezint ă informa ția medie purtat ă de un simbol al sursei;
c). se calculeaz ă cu formula:
H(s)=
∑
=N
i1p(si)·i(s i), unde: s i i=1..N, -simbolurile sursei;
N -num ărul de simboluri;
i(s i) -informa ția furnizat ă de
simbolul s i;
p(s i)-probabilitatea de emisie a
lui s i;
*d). se m ăsoar ă în bi ți/secund ă;
e). devine maxim ă dac ă sursa este echiprobabil ă.
Preciza ți răspunsul fals.

595.13 O SDFM , S, cu 32 de simboluri are entropia egal ă cu a unei surse echiprobabil ă cu 26 de
simboluri. Redundan ța sursei S este:
*a). 0,3 bit/simbol;b). 0,3 bit/secund ă;
c). 4,7 bit/simbol;d). 4,7 bit/secund ă;
e). 6%.
5.14 Preciza ți răspunsul fals. Entropia unei SDFM este:
a). dat ă prin formula:
H(S)=
∑
=N
i1p(si)·log 2p(si),unde: s i i=1..N, -simbolurile sursei;
N -num ărul de simboluri;
p(s i) -probabilitatea de
emisie a lui s i;
b). m ăsurat ă în bi ți/simbol;
*c). o func ție continu ă în raport cu fiecare variabil ă si;
d). o func ție simetric ă în raport cu toate variabilele p(s i);
e). aditiv ă.
5.15 O surs ă de informa ție are entropia numeric egal ă cu 3,7 iar redundan ța sursei este 5,3%. Sursa are
un num ăr de simboluri egale cu:
a). 13; *b). 15; c). 16; d). 9; e). 4.
5.16 Semnalele utilizate pentru transportul informa ției numerice sunt compuse din suite de semnale
elementare în timp, numite momente. Num ărul de momente transmise în unitatea de timp este:
1). debitul de momente;2). viteza de modula ție;
3). viteza telegrafic ă.
Răspunsurile corecte sunt:
a). 1); b). 2); c). 3); d). nici unul; *e). toate trei.
5.17 Preciza ți răspunsul fals. Debitul de informa ție al unei surse de informa ție este:
*a). m ăsurat în bi ți/simbol;
b). m ăsurat în bi ți/secund ă;
c). cantitatea medie de informa ție generat ă de surs ă în unitatea de timp;
d). egal cu debitul de decizie, dac ă sursa este echiprobabil ă;
e). mai mic decât capacitatea canalului, la transmisiile în timp real.
5.18 Pentru un canal de transmisie discret, X={x
i}i=1..n si Y={y j}j=1..m reprezint ă câmpurile de la
intrarea, respectiv ie șirea din canal. Matricea de trecere P este o matrice având dimensiunile nxm și
conține probabilit ăți de forma:
a). p(x i)·p(y j); b). p(x i, yj);
c). p(x i/yj); *d). p(y j/xi,);
e). nici un r ăspuns nu e corect.

605.19 Un canal este binar simetric dac ă:
a). p(0 E)=P(1 E);
b). p(0 E/1R)=p(1 E/0R);
*c). p(0 R/1E)=p(1 R/0E);
d). p(0 R)=p(1 R);
e). nici o variant ă nu e corect ă.
5.20 Un canal este binar simetric dac ă:
a). p(0 E,0R)=p(0 E,1R);
b). p(0 E/0R)=p(1 E/1R);
c). p(0 R/1E)=p(1 R/1E);
d). p(0 R)=p(1 R);
*e). nici o variant ă nu e corect ă.
5.21 M ărimea H(y)-H(y/x) pentru un canal binar este:
*a). transinforma ția doar dac ă p(0 R)=p(1 R);
b). capacitatea canalului doar dac ă p(0 R)=p(1 R);
c). subunitar ă;
d). m ăsurat ă în bi ți/simbol binar;
e). egal ă cu H(x)-H(x/y) dac ă p(0 R)=p(1 R);
Preciza ți răspunsul fals.
5.22 M ărimile m ărginite superior de H(x) – entropia câmpului de la intrarea în canal, sunt:
a). numai transinforma ția;
b). eroarea medie și transinforma ția;
c). echivoca ția și eroarea medie;
*d). echivoca ția și transinforma ția;
e). echivoca ția, eroarea medie și transinforma ția.
5.23 M ărimile m ărginite superior de H(Y) – entropia câmpului de la ie șirea din canal, sunt:
a). numai transinforma ția;
*b). eroarea medie și transinforma ția;
c). echivoca ția și eroarea medie;
d). echivoca ția si transinforma ția;
e). echivoca ția, eroarea medie și transinforma ția.
5.24 Capacitatea canalului binar simetric având rata erorii BER=10
-2 este:
*a). 0,9192 bi ți/simbol binar;
b). 0,944 bi ți/simbol binar;
c). 0,944 bi ți/secund ă;
d). 0,9756 bi ți/secund ă;
e). 0,9192 bi ți/secund ă.

615.25 O SDFM având tabelul:
S=



25,0 2,0 4,0d c b a
emite câte un simbol la fiecare milisecund ă. Debitul sursei este:
a). 1,9 kbi ți/simbol;
b). 1,3 kbi ți/secund ă;
c). 573 bi ți/secund ă;
*d). 1,9 kbi ți/secund ă;
e). 1,3 kbi ți/secund ă.
5.26 Care din expresiile de mai jos reprezint ă capacitatea unui canal de transmisiune analogic
(considerat ca un FTJ ideal având l ărgimea de band ă B și raportul semnal-zgomot ξ – zgomot
gaussian).
a) ()B1 log C2+⋅ξ= ;
*b) ()ξ+⋅= 1 logBC2 ;
c) () ξ⋅+= 2log1B C;
d) ()ξ+⋅= 1 logBC22;
e) ()2
21 logBC ξ+⋅= ;
5.27 Fie S o surs ă discret ă cu memorie având graful din figura 1:
Figura.1
Sursa are memorie de:
a) un pas, deoarece orice tranzi ție se face între starea actual ă și starea viitoare;
b) doi pa și, deoarece orice tranzi ție se face între dou ă stări;
*c) doi pa și, deoarece fiecare stare este numit ă prin doi pa și;
d) doi pa și, deoarece din fiecare stare pleac ă dou ă ramuri;
e) patru pa și, deoarece sunt patru st ări.
5.28 Fie S o surs ă discret ă cu memorie având graful din figura 1. Ce șanse sunt ca sursa S s ă emit ă un
zero dac ă secven ța emis ă pân ă în prezent a fost: 10011?
a) 25%; b) 30%; c) 40%; d) 50%; *e) 60%;S2 = 10 S1 = 01S0 = 00
S3 = 113/7
3/4
2/51/2

625.29 Sursa discret ă cu memorie, S, al c ărei graf este prezentat în figura 1, se g ăsește în stare S 2. Care
este probabilitatea ca dup ă emisia a trei simboluri sursa s ă se g ăseasc ă în starea S 1?
a) 3,125%;
b) 42,86%;
c) 18,37%;
*d) 21,5%;
e) 46%;
5.30 Fie Sn extensia sursei discrete și fără memorie, S. Entropia sursei Sn, notat ă H(Sn), se calculeaz ă
func ție de entropia sursei S, notat ă H(S), dup ă rela ția:
*a) H(Sn)=nH(S);
b) H(Sn)=(H(S))n;
c) H(Sn)=H(S);
d) H(Sn)=H(S)⋅log 2n;
e) nici o variant ă nu este corect ă.
5.31 Eficien ța unei surse discrete f ără memorie, având 20 simboluri echiprobabile, ce s-a codat cu un
cod binar bloc, este:
a) ;20 log51
2
*b) 100%;
c) ; 20 log/52
d) ; 20 log/42
e) nici o variant ă nu este corect ă.
5.32 O SFDM având 20 simboluri echiprobabile se codeaz ă binar bloc. Eficien ța cod ării este:
*a) ;20 log51
2
b) 100%;
c) ; 20 log/52
d) ; 20 log/42
e) nici o variant ă nu este corect ă.
5.33 Teorema de existen ță a codurilor instantanee se exprim ă prin inegalitatea:
1 mM
1ini≤∑
=−
(care reprezint ă condi ția necesar ă și suficient ă de existen ță a codurilor instantanee).
În rela ția de mai sus, se reprezint ă num ărul de simboluri:
a) de control;b) de informa ția;
c) ale sursei de informa ție;
*d) ale alfabetului codului;e) nici o variant ă nu este corect ă.

635.34 Teorema de existen ță a codurilor instantanee se exprim ă prin inegalitatea:
1 mM
1ini≤∑
=−
(care reprezint ă condi ția necesar ă și suficient ă de existen ță a codurilor instantanee).
În rela ția de mai sus, M reprezint ă num ărul de simboluri:
a) de control;b) de informa ția;
*c) ale sursei de informa ție;
d) ale alfabetului codului;e) nici o variant ă nu este corect ă.
5.35. Teorema I-a a lui Shannon (teorema cod ării surselor pentru transmitere pe canale f ără perturba ții).
a) afirm ă că poate fi f ăcută o codare absolut optimal ă;
*b) se adreseaz ă doar cod ării surselor cu probabilit ățile simbolurilor de forma:
() N n cu m Spin
ii ∈ =−
c) nu precizeaz ă procedee de codare;
d) are în vedere o codare pe grupe de n simboluri a sursei, cu n →∞.
e) este valabil ă și pentru coduri ternare.
Preciza ți răspunsul fals.
5.36 Un cod absolut optimal:
a) are eficien ță 100%;
b) se poate ob ține pentru surse la care probabilit ățile simbolurilor sunt de forma
() N n cu m Spin
ii ∈ =−;
c) pentru o surs ă oarecare este doar o limit ă teoretic ă;
*d) nu poate fi ob ținut, indiferent de surs ă, printr-o codare simbol cu simbol;
e) are lungimea medie a cuvintelor egal ă cu entropia sursei ce o codeaz ă.
Preciza ți răspunsul fals.
5.37 Un cod optimal:
a) Se poate ob ține prin algoritmul Huffman static?
b) are eficien ța subunitar ă;
c) este un cod bloc dac ă N=2k – num ărul de cuvinte de cod;
d) este un cod bloc dac ă N=2k – num ărul de simboluri ale sursei codate;
*e) este neap ărat un cod binar.
Preciza ți răspunsul fals.
5.38 Algoritmul de codare Huffman static:
*a) conduce la un cod absolut optimal,b) conduce la un cod de eficien ță maxim posibil ă;
c) presupune ordonare descresc ătoare a simbolurilor sursei dup ă probabilit ăți;
d) se poate aplica și surselor echiprobabile;
e) se poate aplica și la coduri nebinare.
Preciza ți răspunsul fals.

645.39 Algoritmii de compresie realizeaz ă mic șorarea:
a) cantit ății de informa ție con ținut ă într-un anumit mesaj;
*b) spa țiului ocupat de un mesaj;
c) debitului de informa ție la o transmisie;
d) vitezei de transmitere a informa ției;
e) nici o variant ă nu este corect ă.
5.40 Algoritmul de compresie Huffman dinamic:
a) realizeaz ă o compresie superioar ă celui static;
b) necesit ă cunoa șterea statisticii a sursei date;
c) presupune modificarea codului dup ă transmiterea fiec ărui simbol;
d) realizeaz ă o codare pe grupe de n simboluri, cu n →∞;
*e) nici o variant ă nu este corect ă.
5.41 Suma cifrelor mesajului VARZA, cifrat cu cifrul lui Polybius este:
a) 20, b) 25; *c) 26; d) 28; e) nici un r ăspuns nu este corect.
5.42 Suma cifrelor mesajului DOVLEAC cifrat cu cifrul lui Polybius este:
a) 26; b) 28; c) 31; *d) 34; e) 39.
5.43 Afla ți răspunsul la întrebare descifrând mesajul EQDVYXLQ:
a) 1°; b) 2°; *c) 3°; d) 4°; e) 5°;
5.44 Afla ți răspunsul la întrebare descifrând mesajul DOGRLOHD:
a) 1°; *b) 2°; c) 3°; d) 4°; e) 5°;
5.45 Afla ți răspunsul la întrebare descifrând mesajul ECWE IK HACKKU:
a) de la 1 la 6; b) de la 7 la 12; c) de la 13 la 18; d)de la 19 la 24; e)de la 25 la 31;
5.46 O surs ă de informa ție discret ă și fără de memorie se codeaz ă cu un cod binar bloc de eficien ță
maxim posibil ă. Cât trebuie s ă fie lungimea cuvintelor codului bloc dac ă sursa are 15 simbolurilor?
a) 3 bi ți; *b) 4 bi ți; c) 15 bi ți; d) 16 bi ți; e) nici o variant ă nu este corect ă.
5.47 Codând prin algoritmul Huffman static o surs ă de informa ție oarecare cu 15 simboluri, lungimea
maxim ă a cuvintelor codului ar putea fi (se are în vedere toate sursele posibile cu 15 simboluri).
a) 4 bi ți; *b) 14 bi ți; c) 15 bi ți; d) 16 bi ți; e) nici o variant ă nu este corect ă.
5.48 Codând prin algoritmul Huffman static o surs ă de informa ție oarecare cu 15 simboluri, lungimea
cea mai mic ă dintre cuvintele codului ar putea fi (se are în vedere toate sursele posibile cu 15
simboluri).
a) 4 bi ți; b) 14 bi ți; c) 3 bi ți; d) 2 bi ți; *e) 1 bit.

655.49 Sursa de informa ție text TEORIA TRANSMITERII INFORMATIEI se codeaz ă binar bloc.
Lungimea medie a cuvintelor codului este:
a) 3,1 bi ți/secund ă;
b) 2,15 bi ți/secund ă;
c) 4 bi ți/secund ă;
d) 10 bi ți/secund ă;
*e) nici o variant ă nu este corect ă.
5.50 Sursa de informa ție text TEORIA TRANSMITERII INFORMATIEI se codeaz ă cu un cod de
eficien ță maxim posibil ă (codare simbol cu simbol ). Lungimea medie a cuvintelor codului este:
*a) 3,1 bi ți/simbol;
b) 2,15 bi ți/simbol;
c) 4 bi ți/simbol;
d) 10 bi ți/simbol;
e) nici o variant ă nu este corect ă.