Tincu Iulia Lorena 341a2 Proiect Diploma [620276]

Departamentul Automatică și Informatică
Industrială
Facultatea de Automatică și Calculatoare
Universitatea POLITEHNICA din București

LUCRARE DE DIPLOMĂ

TEHNICI DE DEEP LEARNING ÎN ANALIZA
SENSIBILITĂȚII LA ANTICORPI A TULPINILOR
VIRALE HIV

Conducător științific Absolvent: [anonimizat]. univ. dr. ing. Cătălin Buiu Tincu Iulia -Lorena

2020

2
Cuprins

CAPITOLUL 1. INTRODUCERE………………………………………………………………………4
1.1. Rezumat…………………………………………………………………………………….4
1.2. Prezentare generală………………………………. ……………………………………4
1.3. Deep Learning în domeniul biomedical…………………………………………..5
1.3.1. Studiul evoluției Deep Learning în biomedicină……………………..5
1.3.2. Obiectivele aplicațiilor Deep Learning în biomedic ină……………..6
1.3.3. Imagistică biomedicală………………………………………………………. 7
1.3.4. Diagnostic medical……………………………………………………………. 8
1.3.5. Date omice………………………………………. ………………………………8
1.3.5.1. Expresia genelor și secvențe genomice………………….9
1.3.5.2. Structura proteinelor și interacțiunea dintre acestea .10
1.3.6. Extragerea relațiilor din texte clinice……………………………………10
1.3.7. Aplicații biome dicale…………………………………………………………11
1.3.8. Anliza datelor longitudinale în cercetarea biomedicală………….12

CAPITOLUL 2. CONCEPTE DE BAZĂ DEEP LEARNING…………………………………13
2.1. Deep Learning VS Machine Learning…………………………………………..13
2.2. Modul de funcționare Deep Learning……………………………………………14
2.3. Structura rețelelor neuronale……………………………………………………….14
2.3.1. Funcțiile de activare…………………………………………………………14
2.3.2. Obiectivul de optimizare……………………………………………………18
2.3.2.1. Funcția de pierdere……………………………………………19
2.3.2.2. Termenul de regularizare……………………………………20
2.4. Arhitecturi Deep Learning…………………………………………………………..22
2.4.1. Rețele neuronale conv oluționale………………………………………..22
2.4.2. Rețele neuronale recurente……………………………………………….23
2.4.3. Rețele neuronale profunde………………………………………………..24
2.4.4. Aplicabilitatea arhitecturil or Deep Learning în biomedicină…….25

CAPITOLUL 3. GENOMUL HIV………………………………………………………………………27
3.1. Prezentare generală a HIV…………………………………………………………27
3.1.1. Ciclul vieț ii HIV………………………………………………………………..27
3.1.2. Progresia HIV în organism………………………………………………..29
3.1.3. Remedii și vaccinuri împotriva HIV……………………………………..32
3.2. Repere structurale ale HIV………………………………………………………….32
3.2.1. Proteine codificate de HIV…………………………………………………33
3.2.2. Structura genomică HIV.. ………………………………………………….35

3
CAPITOLUL 4. REPREZENTAREA CHAOS GAME………………………………………….37

4.1. Prezentare generală CGR…………………………………………………………..37
4.2. Secvențe reprezentate prin CGR…………………………………………………38
4.2.1. Acid dezoxiribonucleic………………………………………………………39
4.2.2. Acid ribonucleic……………………………………………………………….39
4.2.3. Proteină………………………………………………………………………….39
4.3. Modul de generare al CGR și FCGR…………………………………. ………..39
4.4. Setări pentru generarea imaginilor de tip FCGR…………………………….41
4.5. Rolul CGR și FCGR în Deep Learning………………………………………….41

CAPITOLUL 5. DETALII DE IMPLEMENTARE……………………………… …………………42
5.1. Context…………………………………………………………………………………….42
5.2. Instrumente………………………………………………………………………………42
5.2.1. R……………….. ………………………………………………………………….42
5.2.2. Python……………………………………………………………………………43
5.3. Descrierea programului………………………………………………….. ………….44
5.3.1. Obiectivul programului………………………………………………………44
5.3.2. Colectarea datelor……………………………………………………………44
5.3.3. Generarea setului de date pentru rețeaua neuronală………… …45
5.3.4. Implementarea rețelelor neuronale…………………………………….48
5.3.5. Configurarea rețelelor neuronale………………………………………..52
5.3.6. Rezultate…………………………………………………………………….. …53
5.4. Concluzii și implementări ulterioare……………………………………………..55

REFERINȚE………………………………………………………………………………………………..56

4
CAPITOLUL 1. INTRODUCERE
1.1. Rezumat
Deep Learning are un impact major în cercetarea biologică și aplicațiile biomedicale,
fiind o tehnică de învățare automată capabilă să gestioneze volum ul imens de date
furnizat de acest domeniu eterogen – date omice, imagini biomedicale, date clinice –
prin algoritmi complecși meniți să extragă caracteristici, să integreze cunoștințe și să
prezică rezultate cu diferite grade de success.
În sens larg, datele disciplinei biomedicale sunt complexe și adesea greu de
descifrat, însa Deep Learning descrie o tehnică de învățare automată prin
intermediul unor algoritmi capabili să capteze aceste set uri de date sub forma unor
intrări brute și să le prelucreze prin intermediul unor straturi intermediare, oferind
rezultate impresionante și revoluționare acestui domeniu. Mai mult decât atât, deși
există restricții de confidențialitate și cantități limita te de date, progresele recente
indică accelerarea dezvoltării metodelor de Deep Learning în continuare, contribuind
la biologie, medicină și alte domenii actuale de interes major.

1.2. Prezentare generală
Deep Learning este cea mai recentă tehnologie de tip Ma chine Learning. Originea
acestui concept se bazează pe rețelele neuronale artificiale cu straturi multiple [1],
iar utilizarea sa a luat amploare începând cu anul 2006, odată cu apariția primului
algoritm de tip Fast Learning pentru antrenarea unei rețele neuronale convoluționale
[2].
Noțiunea de Machine Learning a fost definită inițial în anul 1959 de către cercetătorul
de inteligență artificială Arthur Samuel [11] ca fiind un domeniu de studiu care oferă
calculatoarelor abilitatea de a învăța fara a fi pr ogramate în mod explicit [5]. Rețelele
neuronale au fost inspirate de procesul biologic studiat de cercetătorii Hubel si
Weisel, în cadrul căruia s -a decoperit că sunt activate două tipuri de celule cortex –
simple si complexe [13] (experimentul a fost rea lizat pe pisici). Ca mod de
funcționare, intrările sunt introduse în stratul de intrare, acesta fiind conectat la o
serie de straturi ascunse, care în cele din urmă se leagă la un strat de ieșire, ce
oferă un rezultat . Fiecare strat generează de fapt const rucția caracteristicilor pentru
straturile anterioare acestuia, ca un lanț. Un strat este alcătuit dintr -un set de noduri
denumite funcții sau unități care constau în variabilele măsurate în setul de date de
interes – de exemplu [13], fiecare nod ar putea defini valoarea de intensitate a unui
pixel specific dintr -o imagine, sau nivelul de expresie al unei gene într -un experiment
transcriptomic.
Recent, îmbunătățirile hardware -ului și seturile de date de instruire imense au permis
acestei tehnici de Machine Learning să depășească alți algoritmi de învățare
automată [36]. În același timp, fiind doar o subramură a domeniului (ML), evident că

5
are câteva limitări clasice pentru tehnicile de acest tip – trebuie să existe o corelație
clară între intrare și ieșire pentru o funcționare bună a clasificatoarelor , iar rezultatele
depind întotdeauna de proiectarea de bază [36]. Totuși, în prezent, Deep Learning
este cea mai populară tehnică Machine Learning, fiind aplicată într -o gamă extrem
de largă de domenii, precum r ecunoașterea și procesarea imaginilor [8], modelarea
acustică pentru recunoașterea de tip audio [9], detectarea și contorizarea obiectelor
[5], procesarea lingvistică automatizată [4] și este încadrată într -o serie de sisteme
industriale cum ar fi AlphaGo dezvoltat de Google DeepMind [12].
Deep Learning presupune o serie de tehnici care au demonstrat câștiguri
substanțiale, iar în ultimii ani acestea au revoluționat numeroase domenii prin
flexibilitate și precizie, fiind utilizate chiar și la scară indust rială.

Figura 1. Comparație între Machine Learning și Deep Learning. Extragerea manuală
a caracteristicilor necesită uneori cunoștințe solide în domeniu și poate fi un process
dificil, însă prin Deep Learning, acesta poate fi automatizat [126].
Pătrunderea Deep Learning -ului în diverse industrii a crescut proportional cu
dezvoltarea acestuia în timp, prin algoritmi si instrumente de învățare propuse în
cadrul rețelelor neuronale cu propagare înapoi (BP ANN). Astfel, rețelele neuronale
profunde sunt utilizate în sens major pentru recunoașterea imaginilor și a vorbirii [14,
15], în timp ce rețelele neuronale convoluționale sunt aplicate semnificativ în
recunoașterea și segmentarea imaginilor [16] si a video -urilor [17], iar rețelele
neuronal e recurente folosesc preponderent la procesarea lingvistică [18] și
recunoașterea caracterelor scrise de mână [19].

1.3. Deep Learning în domeniul biomedical

1.3.1. Studiul evoluției Deep Learning în biomedicină
Deep Learning a alocat domeniului biomedical noi persp ective, datorită
disponibilității unei cantități uriașe de date. În ultimele decenii a fost obținută o serie
masivă de imagini medicale, structure ale proteinelor și secvente genomice [4], iar
Deep Learning a valorificat aceste seturi de date, reprezentând o oportunitate

6
enormă pentru evoluția biomedicinei, prin reducerea riscului de erori medicale și
generarea armoniei dintre diagnoză și prognoză [3]. Numărul de publicații despre
Deep Learning în aplicații biomedicale a crescut considerabil începând cu 201 6
conform cu statisticile Google Scholar cu referință la distribuția acestora [20], fapt
explicat de progresele importante ce fac posibilă majorarea lucrărilor în acest
domeniu. În plus, noile tehnici ce permit aplicabilitatea rețelelor neuronale la seturi
de date mari fac ca Deep Learning să fie extrem de adaptabil și capabil să abordeze
acest domeniu complex al biomedicinei [36].
Statisticile recente [35] sugerează, pe baza unei comparații dintre genomică și social
media, videoclipurile online și alte dis cipline data-intensive , că genomica va egala
sau chiar va depăși în aproximativ zece ani tote celelalte domenii de generarea și
analiza datelor. Volumul și complexitatea datelor biomedicale prezintă noi provocări
pentru Deep Learning, iar algoritmii automatizați au posibilitatea de a schimba modul
de dezvoltare al tratamentelor, de studio al bolilor și afecțiunilor și de clasificare a
pacienților, ținându -se cont de confidențialitate.

1.3.2. Obiectivele aplicațiilor Deep Learning în biomedicină
Obiectivele utilizării Deep Learning în domeniul biomedical pot fi clasificate în trei
orientări majore: diagnosticarea timpurie și eficientă, obținerea unor terapii și
tratamente personalizate și monitorizarea răspândirii bolilor și afecțiunilor în corelaț ie
cu factorii de mediu [3]. Pentru obținerea acestor obiective, biomedicina este
segmentată în cinci subcategorii: omics, bioimagistica, imagistica medicală, interfața
pentru decodarea și analiza creierului și corpului uman și administrarea datelor
public e de sănătate [3], ce vor fi detaliate ulterior.
Resursele preluate ca input de rețelele neuronale sunt de regulă stocate în colecții
de date sub formă de sisteme informatice medicale de administrare. Acestea sunt
actualizate în permanență și oferă un pote ntial semnificativ pentru creșterea
eficienței instituțiilor medicale [22]. Astfel, datele ce conțin informații cu privire la
starea de sănătate a unui individ sau la orice activități medicale organizate sunt
transmise în format digital și utilizate la ant renarea modelului, pentru a se putea
aplica ulterior clasificarea, segmentarea sau detectarea acestora.
Deep Learning demonstrează o flexibilitate net superioară altor abordări de învățare
automata în biologie și medicină, mai ales că pentru a funcționa ef icient are nevoie
de un set mare de antrenament precum și etichete clare, specifice – aceasta este
explicația unui posibil rol potential și mai mare pe care îl poate avea Deep Learning
în cercetările viitoare, având în vederea creșterea continuă a datelor biomedicale
[36].

7
1.3.3. Imagistică biomedicală
Rețelele neuronale îmbunatațesc, în general, identificarea diverselor patologii din
imagini medicale [1] – RMN, Tomografie Computerizată, imagini de tip Ultrasunet,
Tomografie cu Emisie de Pozitroni și imagini de tip Raze -X 2D sau 3D [3]. Acestea
nu numai analizează imaginile medicale, ci are și capacitatea de a le combina cu
rapoarte clinic în scopul unui output cât mai precis.
De exemplu, Deep Learning crește considerabil acuratețea detectării, clasificării și
segmentării tumorilor cerebrale din scanări obținute prin Imagistica de Rezonanță
Magnetică [16]; la fel și în cazul RMN -urilor pentru investigații ortopedice, precizia
segmentarării și a recunoaștererii anumitor cartilaje sau oase evoluează prin
utilizarea Deep Learning [23]. De asemenea, la nivelul imaginilor de tip Raze -X sau
Tomografie Computerizată pentru coloană, torace, pelvis și abdomen, rețelele
neuronale oferă o abordare riguroasă identificării diferitelor afecțiuni în zonele
respective [24]. În pre zent, cele mai frecvente abordări pentru Deep Learning în
imagistica medicală sunt segmentarea leziunilor, detectarea celulelor și citopatologia
gastrointestinală, cea a glandei tiroide, și a sistemului urinar, precum și detecția
limfocitelor [3]. În altă ordine de idei, Deep Learning este un instrument la nivelul
recunoașterii imaginilor biomedicale pentru evaluarea sau chiar diagnosticarea
afecțiunilor [4], iar interpretarea datelor sursă de către rețelele neuronale este
destinată detectării unei anomalii sau leziuni specifice.
De exemplu, în oncologie, abordările actuale în medicină includ [36] histologia și
evaluarea markerilor moleculari (ex. receptorii de la suprafața celulelor, expresia
genelor) care necesită interpretarea experților. Spre exemplu, abordarea PAM50 [36]
în cazul cancerului mamar împarte pacienții cu cancer de sân în patru subtipuri, în
funcție de expresia a 50 de markere genice. Există, desigur, studii pentru clasificarea
pacienților care folosesc Deep Learning, iar rolul rețelelor neuronale convoluționa le
este de a contoriza numărul diviziilor mitotice, doarece acesta este corelat cu output –
ul dat de imaginile histologice [36].
Având în vedere nevoia de a face intervenții mai bune și mai rapide în punctul de
îngrijire, au existat numeroase încercări de a aplica Deep Learning la tratamentul
pacienților, încorporând analiza simptomelor, a diagnosticului și a istoricului vieții
individului [36]. În plus, aplicațiile recente în farmacogenomică arată promisiunea
îmbunățirii răspunsului la tratament a pacientul ui prin utilizarea informațiilor șia
cunoștințelor de bază farmacologice [41]. În prezent, potențialul unui tratament mai
bun poate fi împărțit, în linii mari, în precizia alegerii intervențiilor și dezvoltarea unor
noi intervenții [36].

8
1.3.4. Diagnostic med ical
În medicină, diagnosticarea pacienților se realizează pe baza simptomelor și a
rezultatelor testelor sau analizelor și odată diagnosticat cu o boală, unui individ i se
atribuie o etapă a acestei boli pe baza unui set de reguli predefinite [36]. Deși
aceste reguli au fost perfectionate de -a lungul timpului, procesul este evolutiv și
spontan, fapt ce îngreunează sau chiar împiedică identificarea tratamentului
corespunzator. Astfel, metodele Deep Learning pot oferi o abordare mai clară prin
identificarea unor meanisme biologice ce ar putea fi ascunse din cauza schimbării
sau avansării ad -hoc a bolii [36].

Figura 2. Comparație a performanțelor Deep Learning și a profesioniștilor din
domeniul medical în detectarea bolilor din imagistica medicală – Curbe ROC
ierarhice ale tuturor celor 25 studii incluse în metaanaliză. Au fost extrase date
binare de precizie a diagnosticului pentru a obține rezultatele – sensibilitatea și
specificitatea, prin intermediul unor tabele ce constau în adevărat -pozitiv, fa ls-pozitiv,
adevărat -negativ și fals -negativ. *ROC = caracteristica de funcționare a receptorului
[127] .

1.3.5. Date omice
Studiul structurii celulare și al proceselor biologie de bază au de asemenea un
impact major asupra descifrării bolilor umane. Deep Learnin g oferă noi abordări
pentru integrarea mai multor tipuri de date omice și modelarea proceselor biologice,
care ar putea contribui în cele din urmă la prezicerea modului în care celulele
reacționează la perturbările bolii [42]. Există lucrări care descriu i dentificarea și

9
interpretarea genelor, studiul comunităților microbiene și prezicerea structurii
proteinelor – procedee relevante din punct de vedere clinic [36] în domeniul
biomedical.
Ramura datelor omice este fragmentată în două mari subcategorii [3]: ADN și
Proteine ; în timp ce în cazul acidului dezoxiribonucleic task -urile principale sunt
predicția expresiei genelor, a secvenței genomice și interacțiunea proteină -ADN,
majoritatea cercetărilor proteinel or se concentrează asupra predicției structurii
acestora și a interacțiunii dintre ele [3].

Figura 3. Numărul de articole de Deep Learning versus Deep Learning în studiul
datelor omice. Graficul se bazează pe căutarea cuvintelor cheie deep learning și
deep learning + DNA / RNA / protein [128] .
1.3.5.1. Expresia genelor și secvențe genomice
Interacțiunea chimică ADN -proteină sau ARN -proteină cuprinde inclusive procesele
de transcripție, translație și replicare [24] și are un rol extrem de important în
interpretarea genomului și diverse activități biologic e precum repararea ADN -ului sau
mutații genetice [3].
Deși există în jur de 22.000 gene în cadrul genomului uman, majoritatea expresiilor
specific acestora sunt corelate. Aproximativ 1000 gene sunt considerate gene -reper
și au rol în caracterizarea stării celulare în diferite condiții experimentale, iar restul
(21.000) sunt numite gene -țintă și pot fi deduse pe baza expresiilor deja existente și
a genelor -reper [26].
Expresia genomică se referă la procesul de obținere a unei proteine din informațiile
codate în ADN și este alcătuită din trei pași fundamentali – (1) transcripția, prin care
este creată o copie a ADN -ului în gena respectivă sub formă de moleculă ARN
numită pre -mARN (precursor -mesager), (2) procesarea ARN, care transfigurează
molecula obținută pr in transcripție într -o nouă molecula ARN de tip mesager și (3)
translația, care extrage codul de trei litere din secvența ARN și crează prin
intermediul acestuia o un lanț de amino -acizi [27].

10
1.3.5.2. Structura proteinelor și interacțiunea dintre acestea
La nivelul proteinelor, aplicațiile Deep Learning sunt împărțite în două arii de lucru:
(1) predicția structurii proteinelor și (2) predicția interacțiunii dintre ele [3].
Ambele categorii de aplicații implică o serie de procedee clasice. În primul rand, este
generată matricea PSSM [28], cu rolul de a stoca poziția exactă a proteinelor pentru
a fi ulterior supusă functiei sigmoide. Este necesară respectarea proprietăților
fiziochimice și studierea gradului de accesibilitate al solventului [3] și se calculează
diferența dintre unghiurile de torsiune adevărate și cele prezise [29] rezult ând astfel
probabilitatea erorilor.
Recent a fost propusă [27] o nouă metodă pentru predicția structurii proteinelor.
numită DeepCNF (câmpuri neuronale convolutive profunde), care modelează
structuri secvențiale printr -o arhitectură ierarhică și exploatează interdependența
între structurile adiacente. Performanța generală a câmpurilor neuronale convolutive
profunde este considerate a fi net superioară celorlalte metode de ultimă ge nerație
[27], fiind eficiente în cazul structurilor secundare greu de prezis. DeepCNF -urile
combină avantajele a două module [30]: rețelele condiționale aleatorii (CFR) și
rețelele neuronale convolutive profunde (DCNN) care atunci cand este utilizat un
singur strat ascuns, se transformă în rețele neuronale condiționale (CNF).

1.3.6. Extragerea relațiilor din texte clinice
Domeniul biomedical deține o tehnică -cheie Deep Learning care presupune
extragerea relațiilor din textele clinice (Clinial Relation Extraction): CRE bazează pe
recunoașterea conceptului [7] și se implementează cu ajutorul unui model Deep
Learning de tip CR F (rețele condiționale aleatorii).
De regulă, datele de tip text dintr -un registru medical digital sunt organizate în [7]:
probleme, medicamente prescrise, lista de alergii, lista vizitelor organizate în funcție
de istoric, examinări fizice și sunt stocat e sub forma unei succesiuni de narațiui
scurte. Aceste date folosesc la generarea unor evidențe și la sprijinul deciziilor
clinice.
Extragerea conceptelor clinice din aceste texte medicale este o subcategorie a
extragerii informațiilor în general și este d enumită recunoașterea entității; aceasta
presupune recunoașterea secvențelor și a expresiilor care denotă entități, adică [7]:
boli și afecțiuni, medicamente, analize și teste.
Cele trei tipuri principale de relații clinice definite sunt [34]: problemă me dicală –
tratament, problemă medicală – test și problemă medicală – problemă medicală
(când o problema medicală indică o altă problemă medicală).

11
Relația clinică de tip problem medicală – tratament segmentată în cinci situații
posibile: (1) tratamentul îmbu nătățeste problema medical, (2) o înrăutățește, (3) o
cauzează, (4) este administrat pentru aceasta, sau (5) administrarea tratamentului
nu se datorează problemei medicale. În cazul relației probleme medicale – teste,
există contextul în care testul descop eră problema și cel în care testul este realizat
pentru investigarea problemei [7].
Această aplicație Deep Learning are ca scop determinarea tipului de relație care
există între două concepte clinic, cee ace înseamnă ca modelele sunt implementate
sub formă de clasificatori [7]. Mai exact, aceste modele consider tipul relației un
șablon predefinit, pe care îl prezic ulterior în funcție de caracteristicile respectivelor
concepte, care pentru a putea fi extrase, trebuie, evident, preprocesate printr -un
procede u de normalizare. Rezultatele cele mai bune, testate prin experimente și
comparații, au fost obținute folosind rețele condiționale aleatorii de tip CRF++ [7].

1.3.7. Aplicați biomedicale
Conform statisticilor din ultimii ani [3], cele mai frecvente aplicații De ep Learning de
detectare a anomaliilor și iregularităților au ca țintă disritmia cardiacă. Pentru
evaluarea acesteia a fost dovedit prin compararea rezultatelor obținute că următorul
procedeu este eficient: se utilizează electrogardiograme, iar rețeaua neu ronală
convoluțională profundă are rol de extractor al caracteristicilor clinice, care vor fi
ulterior introduse într -o rețea neuronală cu propagare înapoi pentru realizarea unei
clasificări finale [31].
Aproape la fel de des întâlnite ca aplicațiile în do meniul cardiologiei sunt cele care
au ca scop detectarea și diagnosticarea convulsiilor epileptice [3], a căror cercetare
a început odată cu apariția electroencefalografiei digitale [32]. Aceste aplicații Deep
Learning eficientizează interpretarea EEG, avâ nd ca scop eliminarea necesității unui
exper de revizuire și reducerea costurilor de diagnostic.
Tot un caz de afecțiune mentală se situează pe locul trei în ierarhia prezentată [3] –
diagnosticarea bolii Alzheimer, care a captat atenția cercetătorilor oda tă cu progresul
tehnicilor de neuroimagistică [33] și este urmată de detectarea episoadelor
hipoglicemice în cazul copiilor, monitorizarea depresiei și prezicerea comei post –
anoxice [3].
Diagnosticarea retinopatiei diabetice prin intermediul imaginilor a d evenit un subiect
preferat de cercetatorii Deep Learning începând cu anul 2015 [38], când un set mare
de date a fost pus la dispoziția publicului, în scopul unui concurs organizat de
Kaggle. Câștigătorul competiției a fost Gulshan [39] care, alături de col aboratorii săi,
a reconstruit o arhitectura Inception -v3 cu 48 de straturi, antrenată pe imaginii
naturale. Metoda propusă de aceștia a depășit precizia și sensibilitatea tehnicilor de

12
ultimă generație și a fost utilizată ulterior pentru detectarea melanom ului – forma
mortală a cancerului de piele, prin analiza imaginilor dermoscopice [40].

1.3.8. Analiza datelor longitudinale în cercetarea biomedicală
O abordare extrem de interesantă a rețelelor neuronale în biomedicină este analiza
longitudinală, care presupun e monitorizarea unei populații de -a lungul timpului – fie
de la naștere, fie de la debutul unor afecțiuni particulare [7]. Studiile de acest tip au
dus la descoperiri importante despre dezvoltarea bolilor și factorii care influențează
starea de sănătate a indivizilor. Practicile clasice se referă la selectarea unei imagin i
instantanee și convertirea datelor despre pacienți într -un vector traditional, însă
acestea duc la pierderea informațiilor, pentru că timpul și ordinea cronologică a
evenimentelor oferă p erspectiva asupra bolii și tratamentului unui pacient [36]. Pe de
altă parte, capacitatea de recunoaștere a secvențelor de evenimente dintr -un numar
mare de traiectorii necesită metode flexibile, zonă in care rețelele neuronale
profunde excelează întotdeau na [36].

13
CAPITOLUL 2. CONCEPTE DE BAZĂ DEEP LEARNING
2.1. Deep Learning VS Machine Learning
În timp de Machine Learning folosește concepte mai simple, Deep Learning
funcționează cu rețele neuronale artificiale, care sunt concepute pentru a imita
modul în care oamenii gândesc și învață [45]. Mai ales datorită îmbunătățirii
capacităților și metodol ogiilor computerizate, rețelele neuronale cu propagare înapoi
eficientă au facilitat studii privind recunoașterea modelului – clasificările sunt
procesate inițial după modelul rețelei neuronale artificiale, iar ponderile sunt ulterior
modificate prin evalu area diferneței dintre datele preconizate și cele reale [4].
Propagarea înapoi a ajutat la reducerea erorilor prin coborârea gradientului, însă
părea ca această tehnică să funcționeze doar pentru anumite tipuri de rețele
neuronale artificiale. Au fost pro puse astfel mai multe metode de învățare, precum
impulsul, rata de învățare adaptivă, metoda celor mai mici pătrate, cvasi -metode
Newton și gradient conjugat. (Figura 1)

Figura 4. Cronologia dezvoltării algoritmilor de învățare profundă și de învățare
automată a mașinilor. Dezvoltarea rețelelor Deep Learning și neuronale este
prezentată în panoul superior, iar în cel de jos sunt afiașați mai mulți algoritmi
Machine Learning utilizați frecvent. NN, rețea neuronală; BP, propagare înapoi;
DBN, rețea deep bel ief; SVM, mașină de susținere a vectorului; AE, auto -codificator;
VAE, auto -codificator variațional; GAN, rețea adversativă; WGAN, rețea adversativă
Wasserstein [4].

14
Deep Learning folosește un nivel ierarhic de rețele neuronale pentru a realiza
procesul de învățare, acestea fiind construite precum creierul uman, cu noduri
neuronale conectate între ele ca o pânză [46]. Creierul primeșe stimulul din lumea
exterioară, fac e procesarea la intrare și apoi generează ieșirea, iar pe măsură ce
sarcina se complică, neuronii multipli formează o rețea complexă și transmit
informații între ei. O rețea neuronala artificală încearcă să imite un comportament
similar [49]. Totuși, spre deosebire de un creier biologic în care toți neuronii sunt
interconectați până la o anumită distanță fizică, rețelele neuronale artificiale au
straturi, conexiuni și direcții de propagare a datelor [47].
În sens larg, Deep Learning poate fi gândit ca o mo dalitate de automatizare a
analizelor predictive – în timp ce algoritmii tradiționali de învățare automată sunt
liniari, algoritmii de învățare profundp sunt stivați într -o ierarhie evolutiv complexă și
abstractă [48].

2.2. Modul de funcționare Deep Learning
Deși există o serie largă de ipoteze și teorii, ideea și procesele de bază pentru
structurile rețelelor neuronale profunde sunt similare [4] – rețeaua este activată de o
intrare la primul strat care, răspândind activarea până la stratul final, generează
rezultatele predicției, iar ponderile conexiunilor sunt reglate prin minimizarea
diferenței dintre datele previzionate și cele reale. Fiecare strat din rețeaua neuronală
se bazează practic pe stratul anterior [46], iar fiecare algoritm din ierarhie aplică o
transformare neliniară la intrarea sa și folosește ceea ce învață pentru a crea un
model statistic ca ieșire [48], iterațiile continuând până când producția a atins un
nivel acceptabil de precizie.
Rețelele neuronale implică un proces de tip încercare -eroar e, așa că necesită
cantități masive de date pentru a se antrena – nu este o coincidență faptul că
rețelele neuronale au devenit populare imediat după ce majoritatea domeniilor au
ales analizele de date mari și au acumulat seturi imense de date [48].

2.3. Structura rețelelor neuronale
Din punct de vedere arhitectural, rețelele neuronale presupun câteva concepte de
bază – funcția de activare, obiectivul de optimizare (funcția de pierdere + termenul
de regularizare) și tipuri de arhitecturi de învățare profundă.
2.3.1. Funcți ile de activare
Funcțiile de activare ale rețelelor neuronale sunt o componentă Deep Learning de
bază deoarece determină rezultatul unui model de învățare profundă, exactitatea
acestuia și eficiența computațională a antrenarii unui model [51].

15
Considerăm un neuron: 𝑌=∑(𝑝𝑜𝑛𝑑𝑒𝑟𝑒 ×𝑖𝑛𝑡𝑟𝑎𝑟𝑒 )+𝑏𝑖𝑎𝑠 cu valori variind
între – și + infinit. Pentru a decide dacă neuronul ar trebui să se declanșeze, se
adaugă funcții de activare – pentru a verifica valoarea Y produsă de un neuron și
pentru a decide dacă conexiunile exterioare ar trebui să considere neuron ul
respectiv ca fiind declanșat sau nu [50].
Prin urmare, o selectare corectă a caracteristicilor poate fi îndeplinită prin alegerea
funcțiilor de activare adecvate, deoarece acestea formează straturile neliniare și
simulează transformarea neliniară de la intrare la ieșire [4].
Ca mod de funcționare, într -o rețea neuronală alcătuită din mai multe straturi de
noduri, pentru un nod dat, intrările sunt înmulțite cu ponderile si însumate, iar
această valoare este denumită activarea însumată a nodului, ce este u lterior
transformată printr -o funcție de activare și definește ieșirea specifică, adică activarea
nodului respectiv [59]. Cea mai simplă funcție de activare este denumită activare
liniară și nu aplică nicio transformare – astfel, o rețea care conține numai funcții de
activare liniare, ar fi foarte ușor de instruit însă nu ar putea învăța funcții complexe
de mapare. Deși funcțiile de activare liniară sunt populare în stratul de ieșire pentru
rețelele care prevăd o cantitate (probleme de regresie), cele nelin iare sunt preferate,
deoarece permit nodurilor să învețe structure mai complicate [59].
a. Funcția de activare de tip sigmoid: 𝑠𝑖𝑔(𝑡)= 1
1+𝑒−𝑡 ,
unde t este intrarea; poate fi întâlnită și sub forma: 𝑠𝑖𝑔(𝑡)= 𝑒𝑡
1+𝑒𝑡 .
Acest tip de funcție de activare transformă variabilele în valori cuprinse între 0 și
1, fiind frecvent utilizată pentru a produce o distribuție Bernoulli [4].

Figura 5. Funcția de activare de tip sigmoid [52].
Funcția sigmoidă este o funcție standard î ntr-un neuron artificial și are o primă
derivată care este întotdeauna non -negativă și este reprezentată grafic sub formă
de clopot. fiind folosită în scopul normalizării intrărilor de date după aplicarea
ponderilor [53].

16
Deși are o interpretare bună, s -a dovedit că funcția sigmoidă poate determina
blocarea unei rețele neuronale în timpul antrenamentului – acest lucru se
datorează faptului că, dacă este furnizată o intrare puternic negativă sigmoidului
logistic, acesta produce valori foarte aproape de zero. Din moment ce rețelele
neuronale utilizează activări anterioare pentru a calcula gradienții parametrilor,
acest lucru poate duce la parametri model care sunt actualizați mai puțin regulat
decât ar trebui și sunt astfel blocați în starea lor curentă [55].
b. Tangenta hiperbolică: 𝑡𝑎𝑛ℎ(𝑥)= 𝑒𝑥− 𝑒−𝑥
𝑒𝑥+ 𝑒−𝑥 ,
unde derivata funcției tanh este calculată ca: 𝑡𝑎𝑛ℎ' =1−𝑡𝑎𝑛ℎ2.
Datorită formei derivatei funcției, aceasta este ușor de folosit cu algoritmii de
propagare înapoi [4].

Figura 6. Funcția de activare tangenta hiperbolică [54].
Tangenta hiperbolică este o alternative a funcției de activare de tip sigmoid –
este de aseme nea de tip sigmoidal (în forma de s), diferența fiind că valorile de
ieșire sunt în intervalul ( -1, 1). Astfel, intrările puternic negative al funcției tanh vor
face mapări la rezultate negative și doar intrările cu valoare zero sunt mapate la
ieșiri aproa pe de zero, iar aceste proprietăți fac ca rețeaua să nu se blocheze în
timpul antrenamentului [55].
c. Funcția de activare Softmax: 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 (𝑎)= 𝑒𝑎𝑖
∑𝑒𝑎𝑗𝑗 ,
unde 𝑎𝑛 poate fi considerat o distribuție a probabilităților pe categorii.
Funcția Softmax este adesea utilizată pe ultimul strat al rețelelor neuronale [4] și
transformă ieșirile numerice ale ultimului strat liniar (logit -urile) în probabilități,
luând exponenți i fiecărei ieșiri și normalizează fiecare număr prin suma acelor
exponenți, astfel încât întregul vector de ieșire însumează probabilitațile la
valoarea 1 [57].

17

Figura 7. Funcția de activare Softmax [56].
Pierderea de entropie încrucișată este de obicei chiar funcția de pierdere pentru
o problemă de clasificare cu mai multe clase [57].
d. Funcția ReLU (unitatea liniară rectificată): 𝑟𝑒𝑙𝑢 (𝑎)= max (0,𝑎).
Această funcție de activare prezintă performanțe superioare în multe cazuri și
sunt cea mai popula r funcție de activare în Deep Learning până acum, având
capacitatea de a rezolva problema de difuzie a gradientului [4].

Figura 8. Funcția de activare ReLU [58].
Principalul avantaj al utilizării funcției ReLU față de alte funcții de activare este că
nu declanșează toți neuronii în același timp, ceea ce înseamnă că aceștia vor fi
dezactivați numai dacă ieșirea transformării liniare este mai micp decât zero [49].
De asemenea, folosind unitatea liniară rectificată, antrenarea și rularea modelului
pot du ra mai puțin [58].
Există o serie de funcții de activare provenite din funcția ReLU, precum: (1) ReLU
permeabil (Leaky ReLU) – are o pantă pozitivă mică în zona negativă, deci
permite retropropagarea chiar și pentru valorile de intrare negative, (2) ReLU
parametric – oferă panta z onei negative a funcției ca argument, deci poate
efectua propagarea înapoi, însă poate acționa diferit în funcție de problemă, (3)
funcția Softplus – o aproximare lină a funcției ReLU care este definită matematic
ca ln (1+ 𝑒𝑎) [4, 51].
De asemenea, (4) f uncția ELU (unitatea liniară exponențială) este similar funcției
ReLU, exceptând intrările cu valori negative. Ambele sunt funcții de identitate

18
pentru intrări non -negative, însă ELU devine netedă treptat până când ieșirea
devine egală cu opusul gradientul constant, în timp ce ReLU se netezește brusc
[60].
Funcția de activare Swish are de asemena un nivel similar de eficien ță
computațională cu ReLU, având performanțe mai bune ca acesta. Este o funcție
nouă de activare automată descoperită de cercetătorii de la Google, iar în
experimentele pe ImageNet cu modele identice care rulează ReLU și Swish,
noua funcție a obținut o precizie de clasificare cu 0,6 – 0.9 % mai mare [51].

Figura 9. Ilustrarea ieșirii funcției ELU vs ReLU vs ReLU permeabil [61].
Rectifica rea valorii absolute: 𝑎𝑣𝑟(𝑎)=|𝑎| este de asemenea o generalizare a
unității liniare rectificate și este utilă atunci când stratul de colectare (pooling
layer) ia valoarea medie în rețelele neuronale convoluționale,prevenind astfel
diminuarea caracteristicilor negative și a celor pozitive. [4] Aceasta se folosește
cel mai frecvent la recunoașterea imaginilor, unde se caută caracteristici
invariable la inversarea polarității iluminării de intrare [62].

2.3.2. Obiectivul de optimizare
Obiectivul de opt imizare este compus dintr -o fun cție de pierdere și un termen de
regularizare. Funcția de pierdere este adesea denumită funcția obiectivă a
problemei de optimizare și măsoară discrepanța dintre ieșirea rețelei și rezultatul
așteptat, ținând cont de paramet rii modelului,iar regularizarea este o colecție de
strategii menite să reducă eroarea de testare, aplicând uneori penalități
parametrilor pentru a preveni modelele prea complexe [4]. Relația dintre
optimizare și Deep Learning implică o serie de tehnici car e prin convenție sunt
preocupate de minimizare – odată ce funcția de pierdere este definită, se poate

19
folosi un agloritm de optimizare pentru a se încerca reducerea pierderii la
minimum [63].
2.3.2.1. Funcția de pierdere
Este o metodă de evaluare a performanței alg oritmului specific în modelarea
datelor primate. Dacă predicțiile deviază prea mult de la rezultatele reale, funcția
de pierdere ar avea o valoare foarte mare și treptat, cu ajutorul unor funcții de
optimizare, va învăța să reducă eroarea în predicție [64] .
Nu există nicio funcție de pierdere unică pentru toți algoritmii Deep Learning –
aceasta se selectează conform tipului algoritmului, ușurința calculării derivatelor
și valorile extreme din setul de date [64]. Este important ca func ția de pierdere să
fie direct conectată de funcția de activare utilizată în stratul de ieșire al rețelei
neuronale – configurația stratului de ieșire presupune încadrarea problemei de
predicție, iar alegerea funcției de pierdere este modalitatea de calculare a erorii
pentru înca drarea respectivă a problemei [65]. Acestea pot fi clasificate în două
categorii majore, în funcție de tipul de învățare – pierderi de regresie și pierderi
de clasificare [64].
i. Pierderile de regresie
Problemele de modelare predictive a regresiei implică pr ezicerea unei cantități
reale ce este reprezentată printr -o valoare [66].
Pentru formulele matematice ulterioare, vom nota cu n – numărul exemplelor
antrenate, y – valoarea adevărată pentru exemplu și yp – predicția pentru
exemplu.
‣ Eroarea medie pătrată (MSE) este cea mai frecvent utilizată funcție de
pierdere a regresiei și se calculează matematic ca fiind suma distanțelor pătrate
dintre variabila țintă și valorile preconizate:
𝑀𝑆𝐸 = ∑ (𝑦𝑖−𝑦𝑖𝑝)2 𝑛
𝑖=1
𝑛
MSE este preocupat doar de mărimea medie a erorii, indiferent de direcție, iar
predicțiile foarte îndepărtate de valorile reale sunt penalizate puternic în
comparație cu predicțiile mai puțin deviate. De asemenea, proprietățile
matematice ale MSE facilitează calcularea gradienților [64].
‣ Eroar ea absolută medie (MAE), pe de altă parte, este măsurată ca media
sumei diferențelor absolute între predicții și observații reale. Deși măsoara, la fel
ca MSE, magnitudinea erorii fără a ține cont de direcție, MAE necesită
instrumente mai complexe, precum programarea liniară în scopul calculării
gradienților [64].

20
𝑀𝐴𝐸 = ∑ |𝑦𝑖−𝑦𝑖𝑝|𝑛
𝑖=1
𝑛
‣ Eroarea medie cu prejudec ăți (MBE) este mult mai puțin obișnuită în domeniul
Deep Learning și are un mod de funcționare similar cu MSE, cu diferența ca nu
sunt adunate valorile absolute, deci este nevoie de prudență, pentru că erorile
pozitive și negative s -ar putea anula reciproc [64].
𝑀𝐵𝐸 = ∑ (𝑦𝑖−𝑦𝑖𝑝)𝑛
𝑖=1
𝑛
ii. Pierderile de clasificare
În cazul clasificării, este prezisă ieșirea dintr -un set de valori categorice finite [64],
iar în învățarea automata și în optimizarea matematică, funcțiile de pierdere
pentru clasificare sunt realizabile din punct de vedere computerizabil și reprezintă
prețu l plătit pentru inexactitatea previziunilor în problemele de identificare a cărei
categorii aparține o anumită observație particulară [67].
‣ Pierderea pivotului (SVM) este utilizată pentru clasificarea marjei maxime, în
special pentru mașinile de susținer e vectoriale. SVM este o funcție convexă care
ușurează lucrul cu optimizatoarele convexe ce se folosesc frecvent în domeniul
învățării automate [64] .
𝑆𝑉𝑀 = ∑𝑚𝑎𝑥 (0,𝑠𝑗−𝑠𝑦𝑖+1)𝑛
𝑗≠𝑦𝑖
‣ Pierderea de entropie încrucișată (CEL) este cea mai comună set are pentru
problemele de clasificare. Aceasta crește pe măsură ce probabilitatea prezisă se
abate de la valoarea reală [64] .
𝐶𝐸𝐿 = −(𝑦𝑖log(𝑦𝑖𝑝)+(1−𝑦𝑖)log(1−𝑦𝑖𝑝))
Se poate observa că atunci când valoarea reală este 1, a doua jumătate a funcției
dispar e, în timp ce atunci când valoarea prezisă este 0, prima jumatate este
eliminate. Din acest motiv, un aspect important este faptul că pierderea
încrucișată de entropie penalizează în mare măsură previziunile încrezatoare,
dar greșite [64].

2.3.2.2. Termenul de reg ularizare
Una dintre cele mai des întățnite probleme cu care se confruntă cercetătorii
învățării automate este evitarea supraajustării (overfitting) – se întâmplă situații în
care modelul are o performanță excepțională în ceea ce privește datele de
antrena ment, dar nu este capabil să prezică datele de testare [68].

21

Figura 10a. Subajustare; Ajustare corespunzătoare; Supraajustare [68]

Figura 10b. Subajustare; Ajustare corespunzătoare; Supraajustare [68]
Regularizarea este o tehnică ce aduce modificări la algoritmul de învățare, astfel
încât modelul să se generalizeze mai bine, îmbunătățindu -se astfel performanța
modelului asupra datelor necunoscute [68].
‣ Cele mai frecvente tipuri de regularizare sunt L 1 si L2, care își actualizează
funcția de cost general prin adăugarea unui alt termen, cunoscut sub numele de
termen de regularizare. Astfel, valorile matricelor de ponderi scad deoarece se
presupune că o rețea neuronală cu matrice de ponderi mici duce la modele mai
simple, ceea ce va reduce de asemenea supraajustarea [68].
‣ Tehnica abandonului (Dropout) este cea una dintre cele mai interesante
tehnici de regularizare, producând rezultate foarte bune. Ca mod de funcționare, la
fiecare iterație sunt selecta te aleatoriu unele noduri și eliminate împreună cu toate
conexiunile lor de intrare și ieșire [68]. Metoda abandonului are efectul de a forța
nodurile dintr -un strat să își asume probabilistic mai mult sau mai puțin
responsabilitatea pentru intrări; Aceast ă conceptualizare sugerează că această
tehnică destramă situațiile în care straturile rețelei se co -adaptează pentru corecția
greșelilor din straturile anterioare, făcând modelul mai robust [69].
‣ Augmentarea datelor este cea mai simplă metodă de evitare sau reducere a
supraajustării, prin creșterea mărimii setului de date de antrenament – imaginile, spre
exemplu, pot fi deplasate, decupate sau rotite. Acest procedeu obține de obicei un
salt mare în îmbunătățirea preciziei modelului și poae fi considerat un truc esențial
pentru îmbunătățirea predicțiilor [68]. Practic, pentru a obține mai multe date trebuie
aduse modificări minore setului de date existent, deoarece rețeaua neuronală va
interpreta imaginile ca fiind distincte [70].

22
2.4. Arhitecturi Deep Learning
Arhitecturile de învățare profundă au revoluționat pei sajul analitic pentru datele
mari [71] și avansarea acestora din ultimele două decenii oferă în continuare
oportunități semnificative diverselor domenii de aplicabilitate [72]. Cele mai populare
trei arhitecturi Deep Learning sunt: rețelele neuronale convo luționale, rețelele
neuronale recurente și rețelele neuronale profunde.

2.4.1. CNN (rețele neuronale convoluționale)
Rețelele neuronale convoluționale sunt derivate din procesul neurobiologic al
cortexului vizual [72] și se deosebesc de restul structurilor de în vățare profundă prin
faptul că neuronii artificiali extrag caracteristici din porțiuni mici ale imaginilor de
intrare, numite câmpuri receptive [4]. Există de asemenea două tipuri particulare de
straturi ale rețelelor neuronale convoluționale – stratul con volutiv, unde imaginea
este transformată de diferite filtre convolutive prin deplasarea treptată a câmpurilor
receptive [73] și cel de colectare, care profitând de constanța imaginilor, ia media
aritmetică, maximul și alte caracteristici, reducând astfel v ariația [74].

Figura 11. Ilustrarea unei rețele neuronale convoluționale. A. În stratul de convoluție,
câmpurile (a) se înmulțesc cu matricea convoluțională Kernel (k). B. În stratul de
colectare, rezultatele convoluției sunt însumate. X ij reprezintă numărul situat la linia i
și coloana j în matricea corespunzătoare [4].

23
2.4.2. RNN (rețele neuronale recurente)
Rețelele neuronale recurente reprezintă o clasă care permite ieșirilor enterioare să
fie utilizate ca intrări [75] și este cel mai potrivit al goritm pentru rezolvarea
problemelor de învățare ce implică date secvențiale [73], depășind alte abordări de
învățate profundă în tratarea aplicațiilor de acest tip. Totuși, pe baza proprietăților
datelor secvențiale, parametrii de -a lungul diferitelor eta pe de timp sunt partajați – de
exemplu, vorbirea: unele vocale pot dura mai mult decât altele, iar această diferență
face ca etapele absolute de timp să nu aibă sens și cere ca parametrii modelululi să
fie identici [76].
În afara de distribuirea parametri lor, RNN se diferențiază prin existența unui circuit
care definește o recurență [4]. Rețelele neuronale recurente dețin astfel o memorie
unde sunt amintite toate cunoștințele despre ce a fost măsurat [77].

Figura 12. Ilustrarea unei rețele neuronale recurente. A.Forma desfășurată a
rețelelor neuronale commune (sus) și a schemei (jos). B. Ilustrarea rețelelor
neuronale recurente și a formei lor desfășurate. Pătratul roșu reprezintă o întârziere
cu un pas, iar săgețile sunt seturi de conexiuni ; W și B reprezintă matricea de
greutate și vectorul de părtinire; x și y reprezintă intrarea și ieșirea rețelei; h indică
unitățile ascunse ale rețelei; L constă în cupluri de transformări, cum ar fi straturi
dens conectate sau straturi de abandon; U indi că transformarea dintre două puncte
de timp vecine; t reprezintă punctul de timp [4].

24
Exemplu de ecuație corespunzăroare unei rețele recurente [4]:
ℎ(𝑡)=𝑔(𝑏+𝑈ℎ𝑡−1+𝑊𝑥𝑡)
𝑜(𝑡)=𝑐+𝑉ℎ𝑡
Unde t este timpul, W si V reprezintă ponderile care conectează uni tățile ascunse de
intrări, respective ieșiri, b și c sunt decalajele straturilor vizibile și ascunse, g este
funcția de activare și U reprezintă ponderea care conectează unitățile ascunse de la
timpul t-1 cu unitățile ascunse de la timpul t.

2.4.3. DBN ( rețele neuronale profunde)
Rețeaua neuronală profundă este o arhitectură nesupravegheată clasică ce oferă un
algoritm de antrenament unic; fiind rețele multistrat, DBN -urile conțin multe straturi
ascunse, iar fiecare pereche de straturi conectate este real izată printr -o mașină
Boltzmann restrânsă (RBM) – astfel, pe măsură ce rețeaua conține mai multe
straturi, DBN este reprezentat sub formă de stivă a mai multor RBM [72].

Figura 1 3. Similitudini între rețelele neuronale profunde și mașina Boltzmann
profun dă – modele grafice nesupravegheate, probabilistice și generative, formate din
straturi RBM stivuite [79].
Algoritmul de antrenare supravegheat nu este eficient pentru rețelele neuronale
profunde, motiv pentru care în multe studii a fost propusă o nouă pro cedură de
învățare pentru acestea, alcătuită din două etape – (1) învățarea nesupravegheată
cu abordarea strat după strat, destinată inițializării parametrilor și (2) instruirea
supravegheată pentru a asigura o reglare fină a întregii rețele [78]. Procesul de
antrenare începe cu învățarea unui strat de caracteristici din unitățile vizibile – pentru
aceasta se folosește un algoritm numit divergența constructivă; întregul antrenament
DBN este finalizat odată cu învățarea ultimului strat final [72].

25
2.4.4. Aplicabilitatea arhitecturilor Deep Learning în biomedicină
Următorul tabel ilustrează, conform analizei din articolul [4] a aplicabilității celor trei
arhitecturi Deep Learning detaliate anterior, câteva aplicații de succes din domeniul
biomedical realiza te cu ajutorul rețelelor neuronale.
Arhitectura DL Tema Aplicații biomedicale
CNN Analiza imaginilor medicale • Segmentarea tumorii
cerebrale
• Segmentarea pancreasului
• Segmentarea cartilajelor
genunchilor
• Detectarea nucleelor în
imagini de histologie a
cancerului de colon
• Detectarea leziunilor
mamografice
• Detectarea hemoragiilor
Prezicerea structurii proteinelor • Prezicerea regiunilor proteice
• Prezicerea structurilor
secundare proteice
• Prezicerea proprietăților
structurii proteice, incluzând
structura secundară,
accesibilitatea solveților și
regiunile de tulburare
RNN Analiza imaginilor medicale • Prezicerea crizelor epileptice
• Clasificarea modelelor pentru
predicția convulsiei
Analiza secvenței genomice și a
expresiei genice • Prezicerea precursorului
miRNA și a țintelor miRNA
• Detectarea joncțiunilor lipite la
nivelul ADN
• Prezicerea funcției de
codificare "de novo"
Prezicerea structurii proteinelor • Prezicerea structurii proteice
secundare
DBN Analiza imaginilor medicale • Segmentarea ventriculului
stâng al inimii
• Determinarea bolilor bazate
pe retină
Analiza secvenței genomice și a
expresiei genice • Modelarea preferințelor
structurale de legare și
prezicerea rețelelor de legare a
proteinelor ARN
• Detectarea joncțiunilor lipite la
nivelul ADN
• Adnotarea și interpretarea
genomului necodificator
• Prezicerea efectelor variației

26
de codificare "de novo" din
secvență
Prezicerea structurii proteinelor • Modelarea preferințelor
structurale de legare și
prezicerea rețelelor de legare a
RBP-urilor
• Prezicerea tulburării proteice
• Prezicerea structurilor
secundare, a unghiului coloanei
vertebrale și a suprafeței de
proteine accesibile de către
solvent

27
CAPITOLUL 3. GENOMUL HIV

3.1. Prezentare generală HIV
Ca agent cauzator de SIDA, Virusul imunodeficienței umane (HIV) reprezintă o
amenințare a publicului la nivel monidal [80], fiind un agent patogen din clasa
retirovirusurilor [95] care dacă nu este controlat prin tratament, duce la dezvoltarea
unor boli și infecții grave [96].
HIV alterează sistemul imunitar [82] prin atacarea celulelor imune CD4 [83] – un tip
de limfocite T care ajută la coordonarea răspunsului imunitar prin stimularea altor
cellule imune precum macrophage, limfocite B, limfocite CD8 T, pentru a lupta
împotriva infecțiilor [84]. Virusul se prinde la suprafața unei celule CD4, pătrunde în
interior devenind parte din aceasta, iar când celula moare, sunt eliberate mai multe
copii HIV ca re țintesc și preiau mai multe celule CD4, iar ciclu continuă [85]. Astfel,
în timp, toate limfocitele CD4 sunt ucise, iar capacitatea organismului de a
recunoaște și combate diferite tipuri de bacterii, germeni și infecții scade, și există
posibilitatea d ezvoltării unor boli [87] denumite infecții oportuniste pentru că profită
de sistemul imunitar slăbit [85] al purtătorilor de HIV; practic, aproape orice boală
oate deveni infecție oportunistă, iar în funcție de numărul celulelor CD4 per milimetru
cubic de sânge, unele boli au o probabilitate mai mare să apară [87]: candidoza
bronhiilor, a traheei, esofagului sau plămânilor, cancerul de col uterin invaziv,
coccidioidomicoza, encefalopatia, izosporiazis intestinal cronic, etc.

3.1.1. Ciclul vieții HIV
Odată ce virusul p ătrunde în organism, acesta parcurge 7 faze majore:

1) Legarea (atașarea)
Atunci când virusul atacă o celulă CD4, se atașează de moleculele de pe suprafața
acesteia (receptorul CD4, care semnalează sistemului imunitar prezența unor
antigene și apoi coreceptorul CCR5 sau CXCR4) [89] prin intermediul proteinelor
gp120 [86].
2) Fuziunea
După atașarea de o celulă gazdă, învelișul viral HIV fuzionează cu membrana celulei
CD4 prin proteina gp41 [86]. Virusul eliberează ulterior acid ribonucleic HIV și
enzime HIV [90].
Există o serie de medicamente antiretrovirale pentru a bloca procesul de intrare –
inhibitor CCR5, inhibitor de atașare, inhibitor de fuziune [86], iar proteinele gp41 și

28
gp120 de la suprafața virusului sunt țintele vaccinurilor concepute p entru a produce
răspunsurilor la anticorpi [97].
3) Transcripția inversă
Virusul folosește una dintre enzime, numită transcriptaza inversă, pentru a
transforma materialul său genetic ARN în ADN, în scopul pătrunderii în nucleul
celulelor CD4 și al combinării cu ADN -ul celular [91].
Două tipuri de medicamente antiretrovirale au fost dezvoltate pentru a opri acțiunea
inversă a transcriptazei și crearea de ADN provizoriu: inhibitori nucleozidici și
nucleotidici ai transcriptazei inverse, care blochează virusul pr in introducerea unui
nucleozid sau nucleotid în lanțul ADN [86], distrugând lanțul și inhibitorii non –
nucleozidici [97], care blochează producția HIV prin legarea directă la enzima
transcriptază inversă.
4) Integrarea
Odată ajuns în nucleul celulei gazdă, HIV eliberează o enzimă numită integrază și o
folosește pentru a integra propriul ADN viral în cel al celulei CD4 [92].
Au fost dezvoltați inhibitori de integrază pentru a bloca transferul catenelor ADN HIV
în ADN celulei gazdă [86], iar odată integrat, HIV r ămâne în stare latent, iar cellule
este descrisă drept infectată recent , însă acest lucrun este dificil de detectat chiar și
utilizând cele mai sensibile teste [98].
5) Replicarea
Odată integrat în AND -ul celulei CD4, virusul începe să folosească mecanismul C D4
pentru a crea lanțuri lungi de proteine HIV [93], iar aceste lanțuri proteice încep să
construiască noi viruși [86].
6) Asamblarea
HIV ARN și proteinele HIV produse de celula gazdă se deplasează la suprafața
celulei și construiesc HIV imatur, neinfecțios [ 94].
7) Înmugurirea
Pe măsură ce virusul imatur se desprinde de peretele celular, genomul său se
închide într -o capsidră produsă de proteina gag [86] și eliberează o enzimă numită
protează, care rupe lanțurile proteice din virusul imatur și crează virusul mat ur,
infecțios [94]. Pentru a putea părăsi celula complet și pentru a deveni infecțios,
virusul imatur preia lipide de pe peretele celular pentru a construi glicoproteinele de
suprafață [86].

29
Există inhibitori ai enzimei protează, care blochează activitatea acesteia [99] și
sunt dezvoltați inhibitori pentru maturare, care opresc tăierea proteinei gag, deci
împiedică producerea unui virus matur.

Figura 1 4. Ciclul vie ții virusului imunodeficienței umane odată ce pătrunde în
organism. 1. Legarea. 2. Fuziunea . 3. Transcripția inversă. 4. Integrarea. 5.
Replicarea. 6. Asamblarea. 7. Înmugurirea. [88]

3.1.2. Progresia HIV în organ ism
Odat ă pătruns în organism și fără tratament, infecția HIV avansează în etape și se
înrăutățește în timp, parcurgând trei stadii principale:
• Infecția acută
• Infecția cronică
• Sindromul deficienței umane dobândite (SIDA)

30

Figura 11. Etapele infecției HIV. a. Infecția acută. b. Infecția cronică. c. SIDA
(Sindromul imunodeficienței umane dobândite) [100]
a. Infecția acută
În stadiul în care HIV intră în organism prin infectarea celulele CD4, profilaxia pre –
expunere (PrEP) poate preveni infecția HIV dacă este administrată în combinație
medicamente antiretrovirale [86]. Totuși, dacă este inițiată la mai mult de 72 de ore
de la e xpunere, PrEP devine ineficientă, iar recomandarea internațională este de 36
de ore, deoarece studiile pe animale oferă dovezi puternice ale creșterii ratelor de
eșec de la 48 de ore după expunere [101]. În plus, eficacitatea PrEP poate fi
compormisă dacă sursa este rezistentă la unul din agenții folosiți [103] și se
recomandă adaptarea tratamentului.
Conform articolului [102], frecvența simtpomelor și a descoperirilor asociate cu
infecția acută cu virusul imondeficienței umane poate fi ilustrată astfel:
Simptome Procentajul pacienților
Febră 80 până la 90%
Oboseală 70 până la 90%
Eczemă 40 până la 80%
Durere de cap 32 până la 70%
Limfadenopatie 40 până la 70%
Faringită 50 până la 70%
Mialgie sau artalgie 50 până la 70%
Greață, vărsături sau diaree 30 până la 60%
Ulcer oral 10 până la 20%
Ulcer genital 5 până la 15%
Trombocitopenia 45%
Enzime hepatice 21%

De regulă simptomele se dezvoltă în câteva zile sau chiar săptămâni de la
expunerea la virus și durează maxim 14 zile [104], iar pe perioada infecției acute,

31
nivelul HIV în sânge este extrem de ridicat, ceea ce crește semnificativ riscul de
transmitere [100].
b. Infecția cronică
Această perioadă este asimptomatică și durează câțiva ani (în medie 10 ani), timp în
care infecția HIV nu va provoca afecțiuni suplimentare, însă virusul reduce treptat
numărul de cellule CD4 din organism, cu atât mai rapid cu cât sarcina virală este mai
mare (la peste 100.00 copii / ml, procesul de pierdere al celulelor CD4 devine foarte
rapid) [86].
În timpul infecției cornice, virususl imunodeficienței umane continua să se multiplice
în organism, însă la nivel mult mai mic, dar fără tratament antiretroviral, iar
persoanele care administrează tratamentul antiretroviral pot prelungi această etapă
la câ teva decenii [100]. De asemenea, medicamentele antiretrovirale reduc
transmiterea HIV prin scăderea concentrației de HIV din tractul genital [105] cu până
la 96.4%.

Figura 1 5. Numărul oamenilor care trăiesc cu HIV și au acces la tratament împotriva
acest uia (global). *Un procent de 61% din totalul oamenilor purtători de virusul
imunodeficienței umane la nivel mondial se află în zece țări: Africa de Sud, Nigeria,
India, Kenya, Mozambique, Uganda, Tanzania, Zimbabwe, SUA și Zambia [106] .
c. Sindromul imunodefi cienței umane dobândite
SIDA este etapa finală și cea mai severă etapă a infecției HIV și fără tratament,
pacienții supraviețuiesc aproximativ 3 ani [100]. Aceștia au sistemul imunitar atât de
grav afectat încât organismal nu mai poate combate infecțiile o portuniste, iar
încărcătura lor virală este atât de mare încât sunt capabili să transmit virusul cu
ușurință altor oameni [107].

32
3.1.3. Remedii și vaccinuri împotriva HIV
Deși sunt inițate cercetări de peste 30 de ani, nu există niciun remediu disponibil
pentru i nfecția HIV -1, iar pacienții infectați sunt tratați cu terapie antiretrovirală –
aceasta suprimă replicarea virusului [123], însă nu este capabilă elimine acumulările
virale, deci nu poate elimina complet infecția. Terapia antiretrovirală constă într -o
combinație de minim două din cele șase clase de medicamente [124], care se
diferențiază prin modul de interferență cu ciclul de viață al virusului, iar tratamentul
este inevitabil pe tot parcursul vieții oricărui purtător HIV, cu eventuale schimbări din
cauza rezistenței la medicamente sau efecte secundare.
Cea mai recent investigat ă opțiune de tratament este transferul pasiv al unei
combinații de anticorpi de neutralizare la pacienții cu HIV -1, care dă speranțe unei
posibile combateri a virusului. Potența unui anticorp este definită drept concentrația
de anticorp necesară pentru a inhiba infecția cu HIV -1 cu un procent de 50% (IC50)
sau 80% (IC80) [125].
Până în prezent au fost vindicate două persoane – primul pacient vindecat a primit
un transplant de mătu vă pentru limfom, iar donatorul era purtătorul unei mutații care
a împiedicat capacitatea virusului de a intra în celule [108], iar cel de -al doilea,
primind și un diagnostic de leucemie mieloidă acută, a necesitat un transplant de
celule stem, care venind de la un donator cu o mutație genetică similar celui din
primul caz, au vindecat atât cancerul, cât si infecția HIV [109].
Totuși, p andemia virusului imunodeficienței umane se caracterizează printr -o
variabilitate genetică extinsă, care a împiedicat dezvo ltarea medicamentelor și
vaccinurilor împotriva infectării [80]. Din acest motiv, fiind un agent cauzator al
sindromului imunodeficienței umane dobândite, HIV reprezintă o amenințare la nivel
mondial, iar cu aproximativ 2.1 milioane de cazuri noi anual [122], infecțiile continuă
să fie o problemă majoră de sănătate pentru public.

3.2. Repere structurale ale HIV
Genomul HIV este format din două molecule de ARN monocatenare identice,
încapsulate în miezul particulei de virus [81], iar pe baza caracteristicilor g enetice și
a diferențelor dintre antigenele virale, virusul imunodeficienței umane este clasificat
în tipurile 1 (HIV -1) și 2 (HIV -2) [81], care desi au efecte similare, nu toate testele și
tratamentele funcționează pentru ambele tipuri și modul de transmi tere este diferit
[110]. De fapt, HIV -2 se aseamană cu anumite tipuri ale virusului imunodeficienței
simiene (SIV), purtând o genă suplimentară ce lipsește din HIV -1, care codifică
proteina virala X – comparând proteinele virale HIV -2 și SIV, există doar d iferențe
subtile în dimensiunile moleculare [111]. În plus, HIV -1 este mai patogen decât tipul
2 [112], prin simplul motiv că odată integrat în celulă, este mai rapid în producerea
de noi particule de virus.

33
3.2.1. Proteinele codificate de HIV -1
Forma integrată a HIV -1, cunoscută sub denumiea de provirus, are o lungime de
aproximativ 9.8 kilobaze, iar genele HIV sunt localizate în regiunea centrală a AND –
ului provizoriu și codifică 9 până la 15 proteine, împărțite în trei clase – (1) proteinele
structurale majore (Gag, Pol, Env), (2) proteinele regulatoare (Tat, Rev) și (3)
proteinele accesorii (Vpu, Vpr, Vif, Nef) [113].

GENA PROTEINA – dim. proteinelor p sau
a glicoproteinelor g în 1000 da. ROL
GAG Pr55Gag

Proteina capsidă (CA) – p24

Proteina matrice (MA) – p17

Nucleoproteina (NC) – p7

p6 Precursor al proteinele structural
interioare

Formațiune a capsidei conice

Proteină miristoilată ce formează
stratul membranei interioare

Formațiune a
nucleoproteinei/complexul ARN

Implicat în eliberarea particulelor de
virus

POL
Pr160GagPol

Proteaza (PR) – p10

Transcriptaza inversă (TR) – p51

Ribonucleaza H – p15

Integraza (IN) – p32
Precursor al enzimelor virale

Lansează protein structurale și enzime
virale

Transcripția ARN -ului HIV în ADN -ul
proviral

Degradarea ARN -ului viral în replicarea
ARN/ADN -ului viral

Integrarea ADN -ului proviral in
genomul gazdă

ENV
PrGp160

Glicopr. de suprafață (SU) – gp120
Figura 13
Proteina transmembrană (TM) – gp41
Figura 13
Precursor al proteinelor învelitoare SU
și TM

Atașează virusul de celula țintă

Are rol în ancorarea SU și fuzinea
membranei virale și celulare

34
TAT Proteina transactivator – p14 Activează transcripția genelor virale

REV
Regulator de despicare ARN – p19
Regulează transmiterea ARN -ului
mesager viral care nu este despicat
sau este partial despicat

NEF
Factorul de reglare negative – p27
Influențează replicarea HIV și
îmbunătățirea infectivității particulelor
virale

VIF
Proteina de infectivitate virală – p23
Este critică pentru producerea de viruși
infecțioși

VPR
Proteina R – p15
Este o component a particulelor de
virus, are rol în interacțiunea cu p6 și
facilitează infecarea cu virus

VPU
Proteina unică – p16
Are rol în eliberarea eficientă a
particulelor de virus, în controlul
degradării CD4 și modulează traficul
intracelular

VPX
Proteina X – p15
Interacționează cu p6 și este implicată
în etapele timpurii ale replicării virusului
HIV de tip 2

TEV
Proteina tat/tev – p26
Este o protein de fuziune Tat -Env-Rev
și reglează activitatea Tat și Rev în
nucleu

Tabel conform articolului [81]: Prezentare generală a proteinelor HIV -1

35

Figura 1 6. Când gp160 este sintetizată în celulă, enzimele celulare adaugă
carbohidrați complecși și este transformată din protein în glicoproteină. Aceasta
traversează suprafața celulei, unde enzimele celulare o impart în două părți – gp120
și gp41 localizate pe parțile opuse ale membranei virusului [99].

3.2.2. Struct ura genomică HIV
La nivel genomic structural, elementele componente ale virusului imunodeficienței
umane sunt prezentate și descrise pe larg în următorul tabel :

ELEMENT
COMPONENT

FUNCȚIA / ROLUL SĂU
LTR
• Secvența ADN care înconjoară genomul provirșilor integrați ți
își are originile în regiunile unice U5 și U3 și în regiunile R ale
genomului ARN monocatenar;
• Conține regiuni importante de reglare, precum inițierea
transcripției, poliadenilarea ARN și codificarea proteinei
accesoriu Nef în am bele tipuri HIV;
• Capetele LTR -urilor participă la integrarea provirusului în
genomul gazdă;

TAR
• Secvență țintă pentru transactivarea virală;
constă în primele 45 nucleotide ale ARNm -urilor virale din HIV –
1 sau în primele 100 nucleotide ale HIV-2 și SIV.
• Locul de fixare pentru proteina Tat și proteinele celulare;

36
RRE • Element ARN codificat în regiunea env a tipului 1, alcătuit din
200 nucleotide ale HIV -1;
• Acoperă pozițiile 7710 – 8061 (granița dintre gp120 și gp41);
• Necesar pentr u funcția Rev – proteina virală Rev se leagă de
RRE și facilitează transportul de ARN mesager la citoplasmă;
• Inreracțiunea dintre Rev și RRE este esențială, iar inhibarea
acesteia perturbă ciclul vieții virale;

PE
• Elementele PE Psi sunt un set de 4 structuri care se suprapun
codonului Gag de început;
• PE sunt recunoscute de cutie de hististeină cisteina (secvența
canonică CysX2CysX4HisX4Cys) prezentă în proteina Gag p7
NC.
• Psi sunt prezente în transcrierile genomice nedespicate, dar
absente în AR N-urile mesagere virale despicate;

SLIP
• O regiune alunecoasă de tip TTTTTT;
• Responsabil pentru reglarea schimbării cadrelor ribozomale -1
din Gag în Pol;

CRS
• Secvențe represive cu acțiune Cis care inhibă expresia
proteinelor structurale în absența Rev;
• Localizare în regiunea Pol a HIV -1;

INS
• Secvențe inhibitoare/instabile de ARN din genele structurale
ale HIV -1 și ale altor retrovirusuri complexe;
• Există mai multe elemente INS, insă pot acționa independent;
• Cel mai bine definit element acoperă nucleotidele 414 -632 din
regiunea Gag a tipului 1 de HIV;
• Mutația elementelor ARN duce la inactivarea INS.

Tabel conform articolelor [117, 118, 119, 120]

Genomul provirusului HIV este cunoscut sub denumirea de ADN provizoriu și este
format din 9,200 – 9,600 nucleotide [81], organizate astfel:

Figura 1 7. Structura și organizarea genomului HIV -1 [121] .

37
CAPITOLUL 4. REPREZENTAREA CHAOS GAME

4.1. Prezentare generală CGR și FCGR
Reprezentarea jocului haosului este o tehnică de mapare iterativă care procesează
secvențele din unități, precum nucleotide din secvența ADN sau aminoacizi din
proteină [138] . CGR a fost propusă de H.J. Jeffrey în 199 0 [135] ca o reprezentare la
scară a se cvențelor genomice , în scopul analizei și comparării acestora, având
performanțe promițătoare și oferind sub forma unor imagini fractale, o abordare utilă
pentru tratarea unui set imens de date [134].
Algoritmul de reprezentare a jocului haosului presupune repetarea sistemului iterativ
pentru crearea fragmentelor din secvențe de simboluri {s1, …, sn} . Astfel, pentru n =
3, deci 3 simboluri, fractalele vor fi triunghiuri din ce în ce mai mici cu fiecare colt
corespunzând unui simbol sau cuvânt, as emenea triunghiului Serpinski, iar pentru n
= 4, deci 4 simboluri, acestea vor fi pătrate [138] . În acest sens, în cazul proteinelor,
al căror alfabet este compus din 20 simboluri, figura rezultat va avea forma unui fulg
cu 20 de colțuri (figura 18) .
Matri cea nivelurilor de gri redă practic frecvența relativă a cuvântului specific în
nucleotidă, dinucleotidă, proteină, etc. prin nuanțele culorii gri ale pixelilor
corespondenți – cu cât este mai întunecat pixelul, cu atât frecvența este mai mare.

Figura 18. Transcriptaza inversă HIV -1 [138] .

Comparațiile de secvențe genomice pot fi realizate folosind două aspect ale
reprezentării CG – prin coordonatele punctelor CGR ale celor două secvențe
comparate sau prin matricile de frecvență. Majoritatea aplicațiilor se bazează pe
numărul de puncta calculate la diverse rezoluții FCGR, în timp ce comparațiile CGR
simple au fost lăsate în mare parte neexplorate [132].

38
4.2. Secvențe reprezentate prin CGR
Cele trei tipuri de secvențe analizate și stud iate sub forma FCGR în bioinformatică
sunt ADN, ARN și proteină , respectându -se dogma centrală a biologiei moleculare
(Figura 19).

Figura 19. Dogma centrală a biologiei moleculare [145] .
Informațiile din gene se transmit în proteină prin procesul de decodificare
ADN→ARN→proteină , care este considerat dogma centrală a biologiei moleculare
[144]. În faza de transcripție, o secvență ADN este rescrisă în alfabetul ARN, iar în
translație, secvența ARN -mesager este decodificată pentru a reda secvența de
aminoacizi specific a unui polipeptid [142]. Într-o celulă procariotă, transcripția și
translația sunt cuplate, adică traducerea începe în timp ce ARNm este sintetizat, iar
într-o celulă eucariotă, transcripția are loc în nucleu, iar translația în citoplasmă
[144]. Uneori, copierea informațiilor genetice de către cellule provoacă mutații, iar
acestea pot fi irelevante sau pot afecta modul în care proteinele și genele sunt
create [142].

39
4.2.1. ADN (acid dezoxiribonucleic)
ADN are celebra structură cu heli x dublu [140] și este alcătuit patru baze de
nucleotide – A (Adenină), G (Guanină), T (Timină) și C (Citozină). Fiecare bază are o
bază complementară – A este complementar pentru T și C este complementar
pentru G [141].
Este descompus în bucăți și prins s trâns în cromozomi – ființele umane dețin 23 de
perechi, care conțin în jur de 70,000 gene, fiecare cu propria funcție [140].
Exemplu de secvență ADN: ATGATTGACATTGAGGATCCAT.
4.2.2. ARN (acid ribonucleic)
ARN este similar ADN -ului, cu diferențele [140] :
– ARN este monocatenar, iar AND bicatenar;
– ARN conține Uracil (U) în locul Timinei (T) – A, C, G, U;
– ARN folosește informațiile codificatoare de proteine ce sunt menținute de
ADN, pentru a permite celulei să sintetizeze proteina respectivă.

4.2.3. Proteină
La nivelul proteinelor, există 20 de caractere pentru amino acizi [143] – A, C, D, E,
F, G, H, I, K, L, M, N, P, Q, R, S, T, V, W, Y plus alte 4 caractere:
X*. – orice amino acid (A, C, D, E, F, G, H, I, K, L, M, N, P, Q, R, S, T, V, W, Y),
unde ' * ' reprezintă un codon terminal, iar ' . ' simbolizează un spațiu;
B – asparagină sau acid aspartic (D, N);
Z – glutamină sau acid glutamic (E, Q);
J – leucină sau izoleucină (I, L).

4.3. Modul de generare al CGR și FCGR
CGR pentru o secvență AD N este practic o tabelă de probabilitate Markov
generalizată, fiind generată printr -un algoritm simplu.

40

Figura 20a. Reprezentarea CG. Se pornește de la poziția (0,0) . Cele patru
nucleotide (A, C, G, T) sunt localizate în cele patru colțuri ale pătratului – A (-1, 1)
partea din stâ nga sus; C ( -1, -1) partea din stânga jos; G (1, 1) partea din dreapta
sus; T (1, -1) partea din dreapta jos. Pentru fiecare nucleotide, noul punct va fi
localizat la jumătatea distanței dintre locația curentă și nucleotide. Ordinea va fi
inversă (T, G, C, A) pentru a se potrivi cu tabel ul k-mer.

Figura 20b. Tabelul k -mer sau FCGR (Matricea frecvențelor) este o extensie a
reprezentării jocului haosului. Cele patru cedrane sunt corespondente celor 4 litere și
sunt subdivizate continuu în mod recurs . Prin urmare, ACGT se află în pătratul
galben din figură, respectând regula . [136, 137]

41

4.4. Setări pentru generarea imaginilor de tip FCGR
Pentru producerea imaginilor FCGR este necesară stabilirea setărilor pentru
rezoluție și factorul de scalare.
Rezoluția este cuprinsă în general în intervalul (10, 200) și de cele mai multe ori este
aleasă experimental [138].

Factorul de scalare, pe de altă parte, se calculează cu formula:
𝑠𝑓=1−𝑟 , unde r este raportul de contracție dintre poligonul exterior și interior.
𝑟= sin (𝜋
𝑛)
sin(𝜋
𝑛)+ sin (𝜋
𝑛+2𝜋𝑚
𝑛) , pentru 𝑚= 𝑛
4 .

Figura 2 1. Graficele indică jocul haosului pentru 10,000 puncte, pentru raportul de
contracție dintre poligonul exterior și interior r = 0.25, 0.4, 0.5, 0.6, 0.75, 0.9 [139] .

4.5. Rolul CGR și FCGR în Deep Learning
Clasificarea și studiul secvențelor este printre zonele cheie de cercetare în
bioinformatică, iar instrument ul clasic pentru acest tip de analiză este alinierea
secvenț ei – aceasta presupune un mod de aranjare a secvențelor ADN, ARN sau
proteină [146] . Totuși, datorită performanței deosebite a rețelelor neuronale profunde
(DNN) la recunoașterea imaginilor, utilizarea matricei de frecvență a jocului haosului
pentru codifi carea secvențelor a început să ia amploare [138].

42
CAPITOLUL 5. DETALII DE IMPLEMENTARE

5.1. Context
În prezent, persoanele purtăroare de HIV pot mențime suprimarea virală prin
administrarea de medicamente (terapie antiretrovirală) după cum au fost prescris, iar
riscul de a transmite virusul este redus aproape de 0. În plus, persoanele care
prezintă un risc ridicat de infecție au acces la profilaxia pre -expunere, pentru a
preveni dobândirea HIV. Cu toate acestea, toate încercările de a dezvolta un va ccin
pentru virusul imunodeficienței umane nu au avut success [147] .
Pe de altă parte, există pacienți infectați de o perioadă lungă de timp care dezvoltă
anticorpi neutralizanți, ceea ce dă speranțe realizării unui posibil vaccin universal
împotriva virus ului imunodeficienței umane . Eficacitatea acestuia se poate m ăsura în
funcție de puterea de neutralizare a anticorpilor generați și experimental, reprezintă
concentratia la care virtulenta tulpinii respecti ve scade la jumatate – IC50 [148].

5.2. Instrumente

5.2.1. R
R este un mediu și un limbaj de prog ramare folosit frecvent în calculul statisti,
analiza datelor și cercetarea științifică, iar datorită sintaxei sale volatile și a interfeței
ușor de utilizat, popularitatea sa a crescut major în ultimii ani [149].
Este similar cu limbajul S , iar majoritatea funcțiilor statistice programate pentru S vor
funcționa și pentru cod R și invers, însă există o serie de diferențe [150] :
▪ S (S-Plus) oferă o interfață grafică foarte dezvoltată comparativ
cu R, care conține o interfață grafică minimală, de bază;
▪ fișierele de date pentru S nu sunt compatibile cu cele pentru R,
însă există modalități de transfer de date;
▪ rezultatele de tip grafic diferă;
Din punct de vedere structural, R este o grupare integrată de facilități software,
calcul matematic și afișare grafică, ce include: stocarea și manipularea datelor,
operatori, matrici, instrumente intermediare pentru analiza datelor, facilități grafice,
condiționări, bucle, funcții recursive, etc. [151]

43
5.2.2. Python
Python este un limbaj de programare lansat în 1991 și utilizat pentru partea de
server a dezvoltării web, dezvoltare software, calcul matematic și scripturi de sistem.
A fost proiectat pentru a fi ușor de înțeles și se spre deosebire de alte limbaje, se
bazează pe indentare (nu punct și virgulă, paranteze, etc) și folosește spațiul alb în
locul acoladelor, pentru delimitarea buclelor, funcțiilor sau a claselor [152].
Principalul avantaj al limbajului Python este aplicabilitatea largă de care dispune,
fiind utilizat pe scară largă de cercetători, ingineri și matematicieni pentru prototipare
și diverse experimente din multe domenii. Are o performanță extrem de bună în
domeniul învățării automate [153] , datorită librăriilor sale de bază care facilitează
aplica țiile de acest tip.
Conform sondajelor și statisticilor KDnuggets (Figura 22), Python este cel mai
popular limbaj de programare pentru Machine Learning și Data Science începând
din 2015, în primul rând datorită librăriilor sale de bază care oferă facilităț i imense:
NumPy, SciPy, Scikit -learn, Theano, TensorFlow, Keras, PyTorch și Pandas [155].

Figura 22. Topul limbajelor de programare folosite pentru aplicații Deep Learning
între anii 2015 – 2017 [154] .

Există de asemenea, o comunitate activă Python, unde developerii creează biblioteci
pentru propriile scopuri și ulterior le fac publice [155].

44
5.3. Descrierea programului

5.3.1. Obiectivul programului
Programul are ca obiectiv studiul receptivității a tulpinilor virale HIV la anticorpi prin
calculul concentratiei la care virtulenta tulpinii respecti ve scade la jumatate (IC50) al
proteinelor pentru 6 anticorpi HIV -1.
Concentrația inhibitoare este calculată pentru fiecare anticorp printr -o rețea
neuronală a cărui set de date îl reprezintă o serie de proteine ale căror secvențe
sunt transformate în imagini de tip FCGR.

5.3.2. Colectarea datelor
Setul de date este descărcat din baza de date CATNAP [156], ce conține
instrumente proiectate pen tru a facilita analiza anticorpilor neutralizan ți și pune la
dispoziție secvențe HIV ENV aliniate și valorile IC50 și IC80 corespunzătoare.
Au fost selectate peste 600 tulpini HIV -1 și 6 anticorpi, organizate ca în eșantionul
următor de date:

TULPIN Ă HIV -1 2F5 VRC01 NIH45 -46 3BNC117 PG9 PG16

CAAN.A2
11.6
1.06
.205
0.673
13
7.43

PVO.04
50
0.386
0.148
0.074
6.24
19.8

QH0692.42
2.22
1.16
0.991
0.275
50
50

WITO.33
2.29
0.112
0.037
0.03
0.023
0.023

0077_V1_C16
50
1.04
0.308
50
0.091
0.023

YU2.DG
50
0.055
0.031
0.029
3.69
0.041

BR025.9
50
0.271
0.067
50
0.044
0.009

Practic, fiecare tulpină presupune trei informații importante: denumirea, secvența
(Figura SS1) și concentratia la care virtulenta tulpinii respecti ve scade la jumatate
IC50 pentru fiecare din cei 6 anticorpi.
Toate secvențele glicoproteinelor au fost descărcate în format aliniat din baza de
date CATNAP.

45

Figura 23. Structura secvenței uneia dintre tulpinile HIV -1 (CAAN.A2) .

5.3.3. Generarea setului de date pentru rețeaua neuronală
Fiecărei tulpini HIV -1 din setul de date, îi este atribuită o imagine de tip FCGR
generat ă pe baza secvenței specifice.
Codul pentru generarea imaginilor este scris în R și folosește următoarele biblioteci :
# Librării
library("kaos")
library("Biostrings" )
library("pracma" )

Matricea frecvențelor jocului haosului presupune o serie de setări a hiperparametrilor
rezoluție și factor de scalare, conform formulelor matematice de la 4.4.
# Hyperparametrii
fcgr_res = 50
fcgr_sf = 0.5 # Calculat cu formula raportului de contracție

Generarea imaginilor de tip FCGR este realizată cu ajutorul unei funcții, unde inițial
are loc preprocesarea datelor – deliniarizarea secvențelor, prin eliminarea cratimelor
(Figura SS2).

46
# Citirea setului de date
a = readDNAStringSet (fasta_file )

# Generarea FCGR
generate_fcgr <- function (a_, i_, sn) {
seq <- head(strsplit (gsub(‘-
‘, ‘’, paste(a_[i_][[1]], “”)), “”)[[1]],-1)
cgr_obj <-
kaos::cgr(seq, seq.base =”AMINO”, sf=fcgr_sf, res=fcgr_res )
png(paste(output_dir , sn, “.png”, sep=””))
print({
kaos::cgr.plot (cgr_obj, “matrix”)
})
dev.off()
}

Notația a_[i_][[1]] este secvența din lista a_ de la indexul i_ iar prin funcția paste() ,
interpretorul R face automat conversia în string .
Funcția strsplit convertește element ul de tip string în listă, iar funcția head( , -1)
elimină ultimul element din listă, acest fiind întotdeauna gol.
Ultimele 4 linii de cod ale funcției generate_fcgr au rolul de a salva rezultatul în
format PNG.

Figura 2 4. Secven ța deliniarizată a unei tulpinii virale (după eliminar ea cratimelor).

47
Ulterior, într -o buclă while , programul parcurge setul de date alcătuit din denumirile
glicoproteinelor și le utilizează în scopul obținerii secvențelor corespunzătoare din
setul de date alcătuit din secvențe, pe care le folosește pentru generarea imaginilor
FCGR. Acestea sunt salvate sub denumirea tulpinii virale respective, cu extensia
.png.
Inițial, se citește câte o linie din fișierul workload.txt care conține denumirile
glicoproteinelor, până când fișierul se termină (linia citită este nulă).
con = file("data/workload.txt" , "r")

while (TRUE){
# Citesc linie workload
line = readLines (con, n=1)
if(length(line) == 0){
break
}
print(line)

Următorul pas este să caut în setul de date a al secvențelor. Este afișat treptat
progresul căutării – programul semnalează atunci când au fost parcurse un multiplu
de 1000 de secvențe și cea dorită nu a fost găsită.
Numele secvenței de la indexul i al setului de date a este atribuit variabilei n, iar
funcția grepl() are rolul de a decide dacă numele din workload.txt coincide secvenței
specifice. Am ales sa folosesc grepl() în locul funcției strcmp() deoarece pot exista
mici discrepanțe între numele secvenței din setul de date a și cele din workload.t xt,
iar funcția grepl() caută un fragment de tip string în interiorul altui string .
Ulterior, programul afișează că acea proteină a fost găsită și generează imaginea
FCGR pentru aceasta, prin apelarea funcției generate_fcgr descrisă mai sus.
for(i in 1:length(a)){
#Afisez progres
if (mod(i, 1000) == 0){
print(i)
}
n = names(a[i])
if (grepl(line, n, fixed=TRUE)){
# Generez FCGR
print(paste("FOUND", line))
generate_fcgr (a, i, line)
break
}
}
} # Sfarsitul buclei while

48
Programul scris în R generează o serie de imagini de tip FCGR cu extensia .png și
denumirea tulpinii virale HIV -1 ca nume – acest set de date va fi folosit pentru
antrenarea, validarea și testarea rețelelor neuronale.

398_F1_F6_20.png 3016.V5.C45.png 89.6.DG.png

928-28.png 3168.V4.C10.png 96ZM651.02.png

Figura 25. Imagini FCGR generate pentru tulpini virale HIV -1.

5.3.4. Implementarea rețelelor neuronale
Codul celor șase rețele neuronale (pentru fiecare anticorp în parte) este scris în
Python. Inițial a fost construită o singură rețea neuronala convoluțională – pentru
anticorpul 2F5 – ce a fost utilizată ulterior ca referință pentru toate celelalte rețele
neuronale convoluționale.
Astfel, prima r ețea neuronală a fost supusă unei serii de experimente și a presupus
construirea a două rețele diferite – small și big, pentru compararea performanțelor și
alegerea variantei cu rezultatele cele mai bune (Figura SS4).

49

Figura 26. Cele două rețele convoluționale construite – SMALL și BIG – diferă prin
tipul și numărul straturilor utilizate în antrenare, deci automat și prin numărul
neuronilor (acesta este mult mai mare în cazul rețelei BIG, prin prezența un număr
mai mare de straturi convoluționale și straturi ascunse).
Cele 11 variante experimentate sunt prezentate în următorul tabel , fiind precizate
următoarele caracteristici: factorul de scalare, funcțiile de activare de pe stratu rile
convolutional e, dens e și ultimul strat, numărul de epoch -uri, d imensiunea lotului,
pierderea și optimizatorul utilizat.
TIPUL
REȚELEI SF F.A.
STRAT
CONV .
F.A.
STRAT
DENSE
F.A.
ULT.
STRAT NR.
EPC BATCH
SIZE LOSS OPT.
SMALL
0.864 RELU LINEAR LINEAR 5 20 41.9 –
SMALL
0.50 RELU LINEAR LINEAR 5 20 29.5 –
SMALL
0.50 RELU LINEAR LINEAR 5 5 46.3 –
SMALL
0.50 RELU LINEAR LINEAR 10 20 31.3 –
SMALL
0.50 RELU LINEAR LINEAR 10 5 251 –
SMALL
0.50 RELU LINEAR LINEAR 10 5 16 SGD
SMALL
0.50 RELU LINEAR RELU 10 5 24 SGD
SMALL 0.50 RELU LINEAR RELU 10 5 30 ADAM

50

SMALL
0.50 RELU LINEAR RELU 10 5 10.8 ADAM
BIG
0.50 RELU LINEAR LINEAR 5 5 1123 ADAM
BIG
0.50 RELU LINEAR LINEAR 200 5 10 ADAM

În urma experimentelor efectuate, ultima rețea neuronală redată în tabelul anterior
furnizează rezultate mult mai bune comparativ cu toate celelalte, iar pentru
implementarea acesteia am folosit următoarele biblioteci Python :
import keras
from keras.models import Sequential
from keras.layers import Conv2D, Dense, Flatten, Dropout, LeakyReLU,
MaxPooling2D, BatchNormalization
from keras import backend as k
import pandas as pd
import cv2
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

În primul rând, imaginile de tip FCGR au fost incărcate în setul de date și a fost
selectată doar coloana corespunzoare anticorpului 2F5 .
dataset = pd.read_csv( "../data/assay.csv" )

# Incarc FCGR-urile in dataset
x = []
dataset.insert( 2, "FCGR", "")

# Folosesc doar 2F5
dataset = dataset[dataset.Antibody == "2F5"]
dataset = dataset.reset_index( drop=True)

Ulterior, sunt parcuse toate numele tulpinilor virale și sunt citite imaginile FCGR din
folder -ul generat de programul în R. Acestea sunt transpuse în matrici de
dimensiune 480×480 de tip intiger cu valori între 0 și 255, care semnifică intensitatea
nuanțelor de gri a fiecărui pixel.
Se formează astfel două liste: lista matricilor, ce va desemna intrarea rețelei
neuronale (x) și lista valorilor IC50 – ieșirea rețelei (y).

51
loaded = []
for i in range(len(dataset)):
try:
if dataset.Virus[i] not in loaded:
if pd.isnull(dataset.IC50[i]):
raise Exception ("IC50 null")
x.append(cv2.resize(cv2.imread( "../data/FCGR_50_05/ {}.pn
g".format( ".{}.".format(dataset.at[i, "Virus"])), 0), (480,480)))
image = cv2.resize(cv2.imread( "../data/FCGR_50_05/ {}.png
".format( ".{}.".format(dataset.at[i, "Virus"])), 0), (480,480))
dataset.at[i, "FCGR"] = image
loaded.append(dataset.Virus[i])
else:
raise Exception ("FCGR already loaded")
except Exception as e:
print("Skipped {} {}".format(i, str(e)))
dataset = dataset.drop(i)
dataset = dataset.reset_index( drop=True)

Mai departe, se verifică dacă cele două liste sunt încărcate corect , adică aliniate.
assert len(x) == len(dataset)
for i in range(len(dataset)):
assert dataset.FCGR[i].all() == x[i].all()

În setul de date inițial, unele valori ale concentrației neutralizante au valoarea notată
“>50” sau “<50”, așa că pentru sim plificare am eliminat cele două simboluri “>” și “<”
prin următoarea secvență de cod:
y = np.array(dataset[ "IC50"])
for i in range(len(y)):
print("Before: {}".format(y[i]))
y[i] = float(str(y[i]).replace( ">", "").replace( "<", ""))
print("After: {}".format(y[i]))

Matricelor li se adaugă o nouă dimensiune (480x480x1) cu ajutorul funcției
expand_dims() din biblioteca Numpy , pentru a respecta structura intrării preluate de
rețeaua neuronală convoluțională , iar setu rile de date de intrare, respectiv ieșire,
sunt împărțit e în date de antrenament (90% din total) și date de test (10%).
x = np.expand_dims(np.array(x), axis=3)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size =
0.1, random_state =2)

52
5.3.5. Configurarea rețelelo r neuronale
Rețeaua neuronală corespunzătoare anticorpului 2F5 este configurată prin stabilirea
unor setări (hiperparametrii ):
– batch_size – dimensiunea lotului de date de antrenament
– epoch_number – numărul de parcurgeri a setului de antrenament
batch_size = 5
epoch_number = 20
Sunt de asemenea declarate f uncțiile de activare utilizate :
– funcție de activare RELU pe stratu rile convolutional e
– funcți e de activare liniare pe stratu rile dens e
– funcție de activare liniară pe ultimul strat
activation_fun_conv = "relu"
activation_fun_dense = 'linear'
activation_fun_final = 'linear'

Deoarece rețeaua neuronală este convoluțională, modelul este sevnețial, adică are
forma unei stive liniare de straturi (Figura 26) .

Figura 26. Structura generalizată a unui model secvențial [157].

Straturile folosite au ca proprietăți : dimensiunea (număr de neuroni/nuclee) , funcția
de activare corespunzătoare (declarată anterior) , dimensiunea nucleului și sunt
definite astfel:
model.add(Conv2D( 16, activation =activation_fun_conv, kernel_size =(11
, 11), input_shape =(480,480,1)))
model.add(MaxPooling2D(( 2,2)))
model.add(Conv2D( 32, activation =activation_fun_conv, kernel_size =(11
, 11)))
model.add(MaxPooling2D(( 2,2)))

53
model.add(Conv2D( 64, activation =activation_fun_conv, kernel_size =(11
, 11)))
model.add(MaxPooling2D(( 2,2)))
model.add(Conv2D( 128, activation =activation_fun_conv, kernel_size =(1
1, 11)))
model.add(MaxPooling2D(( 2,2)))
model.add(Conv2D( 128, activation =activation_fun_conv, kernel_size =(1
1, 11)))
model.add(Flatten())
model.add(Dense( 12000, activation =activation_fun_dense))
model.add(Dense( 8192, activation =activation_fun_dense))
model.add(Dense( 4096, activation =activation_fun_dense))
model.add (Dense(2048, activation =activation_fun_dense))
model.add(Dense( 1024, activation =activation_fun_dense))
model.add(BatchNormalization())
model.add(Dense( 512, activation =activation_fun_dense))
model.add(Dense( 256, activation =activation_fun_dense))
model.add(Dense( 128, activation =activation_fun_dense))
model.add(Dense( 64, activation =activation_fun_dense))
model.add(Dense( 8, activation =activation_fun_dense))
model.add(Dense( 1, activation =activation_fun_final))

A fost utilizat u n număr de 2 2 de straturi pentru construirea rețelei neuronale
convoluționale, organizate astfel:
– 11 straturi dense
– 5 straturi convoluționale
– 4 straturi de tip max pooling (controlează și reglează supraajustarea)
– 1 strat de aplatizare
– 1 strat de normalizarea loturilor

Optimizatorul folosit este estimarea momentului adaptive (Adam) , un înlocuitor al
procedurii clasice de descendență a gradientului [158 , 133], iar funcția de pierdere
aleasă este eroarea absolute medie .

5.3.6. Rezultate
Fiecare din cele 6 rețele neuronale convoluționale, corespunzătoare câte unui
anticorp au fost construite respectând pașii de mai sus, iar rezultatele brute, inițiale,
oferite de acestea au fost salvate din Terminal prin generarea unor fișiere de tip . csv
cu două coloane ce afișează datele prezise și cele reale (actuale).
De asemenea, pentru fiecare anticorp a fost generat câte un fișier de tip .txt care
conține eroarea absolută medie calculată.

54
În scopul prelucrării (optimizării) rezultatelor prezise , fiecare fiș ier devine intrarea
unui program Python ce folosește biblioteca Pandas și înlocuiește valorile mai mari
ca 35 ale concentrației cu 50, iar pe cele mai mici sau egale cu 1 le substituie cu 0 –
aceste praguri au fost stabilite în urma cercetării prezicerii realizate de rețelele
neuronale convoluționale și au fost implementate printr -o funcție ce are ca parametru
câte un rezultat brut prezis (la poziția i). Astfel, în funcție de fișierul ales, programul
optimizează după regulile precizare valorile IC50 prezise pentru anticorpul
corespunzător, generează un alt fișier de tip . csv cu două coloane (datele actuale și
datele prezise) și recalculează eroarea absolute medie, care este suprascrisă în
mod automat în fișierul .txt generat inițial (exemplu – Figura 27).

Figura 27. Fișierele CSV înainte, respectiv după optimizare și eroarea absolută
medie pentru anticorpul NIH45 -46.
Eroarea absolut ă medie finală (după prelucrare ) a prezicerii valori lor concentrație i
IC50 obținută de rețelele neuronale implemen tate este prezentată în tabelul de mai
jos, pentru fiecare anticorp:
ANTICORP
EROAREA ABSOLUTĂ MED IE FINALĂ
2F5
7.0471903666666655
3BNC117
2.959930888888889
NIH45 -46
4.081685
PG9
2.0593891129032262
PG16
2.7093183023255816
VRC01 2.6576347499999993

55

Se poate observa că performanța rețelelor este mai bună ( valoarea EAM finală este
mai mic ă) atunci când majoritatea valoril or reale ale concentrației la care virtulenta
tulpinii respecti ve scade la jumatate sunt mici – spre exemplu, valorile IC50
corespunzătoare anticorpului PG9 sunt de cele mai m ulte ori în intervalul (0,2),
având doar două concentrații maxime.

5.4. Concluzii și implementări ulterioare

Utilitatea disponibilității unor rețele convoluționale de acest tip reprezintă practic
furnizarea oricărei secvențe noi ENV ca intrare, în scopul prezicerii datelor de
neutralizare pentru cei șase anticorpi modelați (2F5, 3BNC117, NIH45 -46, PG9,
PG16, VRC01).
Deși rețelele neuronale implementate au depistat corelația dint re imaginile de tip
FCGR și valorile IC50, prezicerea rezultatelor ar putea fi îmbunătățită în primul rând
prin utilizarea unui set de date de antrenament mai mare decât cel avut la dispoziție
în cazul de față.
Pentru rezultate mai bune, există de asemenea posibilitatea unor implementări
ulterioare:
– construirea unei funcții de activare personalizate și utilizarea acesteia pe
ultimul ui strat al rețelei ;
– implementarea unei interfețe web care presupune selectarea de către
utilizator a unei tulpini virale HIV -1 dintr -o listă afișată sau introducerea
manuală a acesteia (sau a secvenței) și afișare a imaginii de tip FCGR
adecvată tulpinii respective, precum și a valorii concentrației IC50
corespunzătoare interacțiunii sale cu un anticorp ales .

56
REFERINȚE
[1] Wang, Y. (2016). iMedPub Journals Application of Deep Learning to Biomedical
Informatics . 3–5. DOI: 10.21767/2349 -7238.100048
[2] Hinton, G. E., & Osindero, S. (2006). A fast learning algorithm for deep belief nets
∗ 500 units 500 units . https://www.cs.toronto.edu/~hinton/absps/fastnc.pdf
[3] Zemouri, R., Zerhouni, N., & Racoceanu, D. (2019). applied sciences Deep
Learning in the Biomedical Applications : Recent and Future Sta tus. 1–40. DOI:
10.3390/app9081526
[4] Cao, C., Liu, F., Tan, H., Song, D., Shu, W., Li, W., Zhou, Y., Bo, X., & Xie, Z.
(2018). Deep Learning and Its Applications in Biomedicine. Genomics,
Proteomics & Bioinformatics , 16(1), 17 –32. doi: 10.1016/j.gpb.2017.07.003
[5] Park, C., Cheong, C., & Seong, T. J. (2018). Machine learning in biomedical
engineering. Biomedical Engineering Letters , 8(1), 1 –3. doi: 10.1007/s13534 –
018-0058 -3
[6] Pawar, R. S., & Patravale, V. B. (2018). Biomedical Field , Chapter I.
[7] Lv, X., Guan, Y., Yang, J., & Wu, J. (2016). Clinical Relation Extraction with Deep
Learnin g. 9(7), 237 –248. http://dx.doi.org/10.14257/ijhit.2016.9.7.22
[8] Rizwan, I., Haque, I., & Neubert, J. (2020). Informatics in Medicine Unlocked
Deep learning approaches to biomedical image segmentation. Informatics in
Medicine Unlocked , 18, 100297.
[9] Hinton, G., Deng, L., Yu, D., Dahl, G., Mohamed, A., Jaitly, N., Vanhoucke, V.,
Nguyen, P., Sainath, T., & Kingsbury, B. (n.d.). Deep Neural Networks for
Acoustic Modeling in Speech Recognition . 1–27.
[10] Tompson, J., Jain, A., Lecun, Y., & Bregler, C. (n. d.). Joint Training of a
Convolutional Network and a Graphical Model for Human Pose Estimation
arXiv : 1406 . 2984v2 [ cs . CV ] 17 Sep 2014 . 1–9.
[11] Mining, D., Algorithm, L., Net -, N., & Bhavsar, P. (2017). Machine Learning in
Transportation Data Analytics . Ml. DOI: 10.1016/B97 8-0-12-809715 -1.00012 -2
[12] Tian, Y. -D. (2016). A simple analysis of AlphaGo. 42. 671 -675.
10.16383/j.aas.2016.y000001.
[13] Complex receptive fields in primary visual cortex. Neuroscientist . 2003;9(5):317 ‐
331. doi:10.1177/1073858403252732
[14] Zhou, Shusen & Chen, Qingcai & Wang, Xiaolong. (2010). Discriminative Deep
Belief Networks for image classification. 1561 -1564.
10.1109/ICIP.2010.5649922.

57
[15] Mining, D., Algorithm, L., Net -, N., & Bhavsar, P. (2017). Machine Learning in
Transportation Data Analytics . Ml.
[16] Wang, G., Li, W., Ourselin, S., & Vercauteren, T. (2019). Automatic Brain
Tumor Segmentation Based on Cascaded Convolutional Neural Netw orks With
Uncertainty Estimation . 13(August), 1 –13.
https://doi.org/10.3389/fncom.2019.00056
[17] Hajizadeh, M., Mohsen, S., Mohammad, F., & Mahmood, S. (n.d.). Semantic
Video Segmentation : A Review on Recent Approaches .
[18] Young, T., Hazarika, D., Poria, S., & Cambria, E. (n.d.). Recent Trends in Deep
Learning Based Natural Language Processing . 1–32.
[19] Shkarupa, Yaroslav & Mencis, Roberts & Sabatelli, Matthia. (2016). Offline
Handwriting Recognition Using LSTM Recurr ent Neural Networks. THE 28TH
BENELUX CONFERENCE ON ARTIFICIAL INTELLIGENCE November 10 -11,
2016, Amsterdam (NL). 1. 88.
[20] Deep Learning in the Biomedical Applications: Recent and Future Status –
Scientific Figure on ResearchGate. Available from:
https: //www.researchgate.net/figure/Distribution -of-published -papers -involving –
deep -learning -in-biomedical -applications -The_fig1_332391435 [accessed 25
May, 2020]
[21] Perez -riverol, Y., Zorin, A., Dass, G., Vu, M., Xu, P., Glont, M., Vizcaíno, J. A.,
Jarnuczak, A. F., Petryszak, R., Ping, P., & Hermjakob, H. (2016). Quantifying
the impact of public omics data. Nature Communications , 2019 .
https://doi.org/10.1038/s41467 -019-11461 -w
[22] Cresswell, K. M., Sheikh, A., & Informatics, C. (2017). Linking Genomic and
Clinical Data for Discovery and Personalized Care Global Health Informatics —
An Overview .
[23] Nicholas Bien *, Pranav Rajpurkar *, Robyn L. Ball, Jeremy Irvin, Allison Park,
Erik Jones, Michael Bereket, Bhavik N. Patel, Kristen W. Yeom, Katie
Shpanskaya, Safwan Halabi, Evan Zucker, Gary Fanton, Derek F. Amanatullah,
Christopher F. Beaulieu, Geoffrey M. Riley, Russell J. Stewart, Francis G.
Blankenberg, David B. Larson, Ricky H. Jones, Curtis P. Langlotz, Andrew Y.
MRNet: Deep -learning -assisted diagnosis fo r knee magnetic resonance
imaginging †
[24] Dave Steiner, MD, Research Scientist and Shravya Shetty, Technical Lead,
Google Health. Developing Deep Learning Models for Chest X -Rays with
Adjudicated Image Labels
[25] Dao, F., Lv , H., Wang, F., & Ding, H. (2018). Recent Advances on the Machine
Learning Methods in Identifying DNA Replication Origins in Eukaryotic
Genomics . 9(December), 1 –11. https://doi.org/10.3389/fgene.2018.00613

58
[26] Yifei Chen, Yi Li, Rajiv Narayan, Aravind Sub ramanian, Xiaohui Xie, Gene
expression inference with deep learning, Bioinformatics , Volume 32, Issue 12,
15 June 2016, Pages 1832 –1839
[27] Leung, M. K. K., Delong, A., Alipanahi, B., & Frey, B. J. (2016). Machine
Learning in Genomic Medicine : A Review o f Computational Problems and Data
Sets. Proceedings of the IEEE , 104(1), 176 –197.
[28] Wang, S., Peng, J., Ma, J., & Xu, J. (2016). Protein Secondary Structure
Prediction Using Deep Convolutional Neural Fields. Nature Publishing Group ,
January , 1–11.
[29] Li, H., Hou, J., Adhikari, B. et al. Deep learning methods for protein torsion angle
prediction. BMC Bioinformatics 18, 417 (2017)
[30] Wang, S., Weng, S., Ma, J., & Tang, Q. (2015). DeepCNF -D : Predicting Protein
Order / Disorder Regions by Weighted Deep Convolutional Neural Fields .
17315 –17330.
[31] Isin, A., & Ozdalili, S. (2018). Scien ceDirect ScienceDirect Cardiac arrhythmia
detection using deep learning. Procedia Computer Science , 120, 268 –275.
[32] Balu Krishnan, PhD, Andreas Alexpoulos, MD, MPH, Cleveland Clinic. Deep
Learning Models for Automatic Seizure Detection in Epilepsy .
[33] Isin, A., & Ozdalili, S. (2018). ScienceDirect ScienceDirect Cardiac arrhythmia
detection using deep learning. Procedia Computer Science , 120, 268 –275.
[34] O. Uzuner, J. Mailoa, R. Ryan and T. Sibanda, “Semantic relations for problem –
oriented medica l records.,” Artif. Intell. Med., vol. 50, no. 2, (2010), pp. 63 –73.
[35] Stephens ZD et al. 2015 Big data: astronomical or genomical? PLoS Biol. 13,
e1002195.
[36] Ching, T., Himmelstein, D. S., Beaulieu -jones, B. K., Kalinin, A. A., Do, B. T.,
Way, G. P., Fe rrero, E., Agapow, P., Zietz, M., Hoffman, M. M., Xie, W., Rosen,
G. L., Lengerich, B. J., Israeli, J., Lanchantin, J., Woloszynek, S., Carpenter, A.
E., Shrikumar, A., Xu, J., … Greene, C. S. (2018). Opportunities and obstacles
for deep learning in biolog y and medicine .
[37] Parker JS et al. 2009 Supervised risk predictor of breast cancer based on intrinsic
subtypes . J. Clin. Oncol. 27, 1160 –1167.
[38] Pratt H, Coenen F, Broadbent DM, Harding SP, Zheng Y . 2016 Convolutional
neural networks for diabetic retino pathy . Procedia Comp. Sci. 90, 200 –205.
[39] Gulshan V et al. 2016 Development and validation of a deep learning algorithm for
detection of diabetic retinopathy in retinal fundus photographs . JAMA 316, 2402.

59
[40] Codella N, Nguyen Q -B, Pankanti S, Gutman D, Helba B, Halpern A, Smith
JR. 2016 Deep learning ensembles for melanoma recognition in dermoscopy
images. arXiv , 1610.04662
[41] Kalinin AA, Higgins GA, Reamaroon N, Reza Soroushmehr SM, Allyn -Feuer A,
Dinov ID, Najarian K, Athey BD . 2018 Deep learning in pharmacogenomics: from
gene regulation to patient stratification. arXiv, 1801.08570
[42] Kim M, Rai N, Zorraquino V, Tagkopoulos I. 2016 Multi -omics integration
accurately predicts cellular state in unexplored conditions for Escherichia coli. N at.
Commun. 7, 13090
[44] Dinesh Kumawat, 7 Types of Activtion Functions in Neural Network, 2019,
Analytic Steps. https://www.analyticssteps.com/blogs/7 -types -activation –
functions -neural -network
[45] What is Deep Learning and How Does Deep Learning Work
https://www.simpl ilearn.com/tutorials/deep -learning -tutorial/what -is-deep –
learning
[46] What is Deep Learning, Investopedia
https://www.investopedia.com/terms/d/deep –
learning.asp#:~:text=Deep%20learning%20is%20a%20subset,learning%20or%
20deep%20neural%20network.
[47] What is the Difference Between Artificial Intelligence, M achine Learning and
Deep Learning? https://blogs.nvidia.com/blog/2016/07/29/whats -difference –
artificial -intelligence -machine -learning -deep -learning -ai/
[48] https://searchenterpriseai.techtarget.com/definition/deep -learning -deep -neural –
network
[49] Fundamentals of Deep Learni ng – Activation and When to Use Them?
https://www.analyticsvidhya.com/blog/2020/01/fundamentals -deep -learning –
activation -functions -when-to-use-them/
[50] Understanding Activation Functions in Neural Networks https://med ium.com/the –
theory -of-everything/understanding -activation -functions -in-neural -networks –
9491262884e0
[51] 7 Types of Neural Network Activation Fcuntions: How to Choose?
https://missinglink.ai/guides/neural -network -concepts/7 -types -neural -network –
activation -functions -right/
[52] https://commons.wikimedia.org/wiki /File:Sigmoid -function -2.svg
[53] https://ailephant.com/glossary/sigmoid -function/
[54] https://commons.wikimedia.org/wiki/File:Hyperbolic_Tangent.svg

60
[55] https://theclevermachine.wordpress.co m/tag/tanh -function/
[56] Explain Softmax Activation Function and difference between Sigmoid and
Softmaz Function https://w ww.i2tutorials.com/explain -softmax -activation –
function -and-difference -between -sigmoid -and-softmax -function/
[57] https://medium.com/data -scienc e-bootcamp/understand -the-softmax -function -in-
minutes -f3a59641e86d
[58] https://medium.com/@sonish.sivarajkumar/relu -most -popular -activation –
function -for-deep -neural -networks -10160af37dda
[59] Rectified linear activation function for Deep Learning
https://m achinelearningmastery.com/rectified -linear -activation -function -for-deep –
learning -neural -networks/
[60] https://ml -cheatsheet.readthedocs.io/en/latest/activation_functions.html#elu
[61] https://www.researchgate.net/figure/Illustration -of-output -of-ELU-vs-ReLU -vs-
Leaky -ReLU -function -with-varying -input -values_fig8_334389306
[62] Goodfellow, Ian and Bengio, Yoshua an d Courville, Aaron (2016). Deep
Learning .
[63] Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2020). Dive into Deep Learning .
[64] https://towardsdatascience.com/common -loss-functions -in-machine -learning –
46af0ffc4d23#:~:text=Sep%202%2C%202018%20%C2%B7%205%20min,up%
20a%20very%20large%20number.
[65] https://machinelearningmastery.com/loss -and-loss-functions -for-training -deep –
learning -neural -networks/
[66] https://machinelearningmastery.com/how -to-choose -loss-functions -when-
training -deep -learning -neural -networks/
[67] Rosasco, L.; De Vito, E. D.; Caponnetto, A.; Piana, M.; Verri, A. (2004). "Are
Loss Functions All the Same?" (PDF) . Neural Computation. 16 (5): 1063 –
1076. CiteSeerX 10.1.1.109.6786 . doi:10.1162 /089976604773135104 . PMID 15
070510 .
[68] https://www.analyticsvidhya.com/blog/2018/04/fundamentals -deep -learning –
regularization –
techniques/#:~:text=Regularization% 20is%20a%20technique%20which,the%20
unseen%20data%20as%20well.
[69] https://machinelearningmastery.com/dropout -for-regularizing -deep -neural –
networks/

61
[70] https://nanonets.com/blog/data -augmentation -how-to-use-deep -learning -when –
you-have -limited -data-part-2/
[71] https://link.springer. com/chapter/10.1007/978 -3-030-31756 -0_1
[72] Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2020). Dive into Deep Learning .
[73] Y. Lecun, L. Bottou, Y. Bengio, P. HaffnerGradient -based learning applied to
document recognition
Proc IEEE, 86 (1998), pp. 2278 -2324

[74] http://deeplearning.net/tutorial/lenet.html

[75] https://stanford.edu/~shervine /teaching/cs -230/cheatsheet -recurrent -neural –
networks

[76] I. Goodfellow, Y. Bengio, A. CourvilleModern practical deep networks
I. Goodfellow, Y. Bengio, A. Courville (Eds.), Deep learning, MIT
Press, Cambridge (2015), pp. 162-481

[77] https://medium.com/datadriveninvestor/recurrent -neural -networks -in-deep –
learning -part-1-df3c8c9198ba
[78] https://link.springer.com/chapter/10.1007/978 -3-319-08201 -1_13
[79] https://mc.ai/deep -learning%E2%80%8A -%E2%80%8Adeep -boltzmann –
machine -dbm/
[80] Li, G., Piampongsant, S., Faria, N. R., & Voet, A. (2015). An integrated map of
HIV geno me-wide variation from a population perspective An integrated map of
HIV genome -wide variation from a population perspective.
https://doi.org/10.1186/s12977 -015-0148 -6
[81] Advisory, G., Blood, C., Blut, A., & Assessment, S. (2016). Human
Immunodeficiency Virus ( HIV ) . 203 –222. https://doi.org/10.1159/000445852
[82] https://www.healthline.com/health/hiv -aids#TOC_TITLE_HDR_1
[83] https://www.medicalnewstoday.com/articles/17131#what -is-hiv
[84] https://aidsinfo.nih.gov/understanding -hiv-aids/glossary/113/cd4 -t-lymphocyte
[85] https://www.webmd.com/hiv -aids/cd4 -count -what -does -it-mean
[86] Points, K. (n.d.). The science of HIV and AIDS – overview .
[87] https://www.cdc.gov/hiv/basics/livingwithhiv/opportunisticinfections.html

62
[88] https://aidsinfo.nih.gov/understanding -hiv-aids/fact -sheets/19/73/the -hiv-life-
cycle#:~:text=The%20seven%20stages%20of%20the%20HIV%20life%20cycle
%20are%3A%201,imagine%20what%20HIV%20looks%20like.
[89] https://aidsinfo.nih.gov/understanding -hiv-aids/glossary/4597/binding/
[90] https://aidsinfo.nih.gov/understanding -hiv-aids/glossary/3320/fusion/
[91] https://aidsinfo.nih.gov/understanding -hiv-aids/glossary/3321/reverse –
transcrip tion/
[92] https://aidsinfo.nih.gov/understanding -hiv-aids/glossary/381/integration/
[93] https://aidsinfo.nih.gov/understanding -hiv-aids/glossary/1648/replication/
[94] https://aidsinfo.nih.gov/understanding -hiv-aids/glossary/4593/assembly/
[95] German Advisory Committee Blood (Arbeitskreis Blut) (2016) ‘Human
Immunodeficiency Virus (HIV)’ Transfusion medicine and hemotherapy:
offizielles Organ der Deutschen Gesellschaft fur Transfusionsmedizin und
Immunhamatologie, vol 43, issue 3, 203 –222.
[96] http://www.aidsmap.com/about -hiv/hiv -lifecycle
[97] http://pdb101.rcsb.org/motm/33 Reverse Transcriptease – Protein Data Bank
[98] https://pdb101.rcsb.org/motm/135 Integrease – Protein Data Bank
[99] http://i -base.info/guides/ art-in-pictures/the -hiv-lifecycle -in-detail
[100] https://aidsinfo.nih.gov/understanding -hiv-aids/fact -sheets/19/46/the -stages -of-
hiv-
infection#:~:text=Without%20treatment%20with%20HIV%20medicines,acquired
%20immunodeficiency%20syndrome%20(AIDS).
[101] Sultan, B., Benn, P., & Waters, L. (2014). Current perspectives in HIV post –
exposure prophylaxis . 147 –158.
[102] BARBARA LEE PERLMUTTER, M.D., PH.D., JORDAN B. GLASER, M.D., and
SAMWEL O. OYUGI, M.D., Staten Island University Hospital, Staten Island, New
York
Am Fam Physician. 1999 Aug 1;60(2):535 -542. How to Recognize and Treat
Acute HIV Syndrome https://www.aafp.org/afp/1999/0801/p535.html
[103] Jochimsen EM, Luo CC, Beltrami JF, Respess RA, Schable CA, Cardo DM.
Investigations of possible failures of postexposure prophylaxis following
occupational exposures to human immunodeficiency virus. Arch Intern Med.
1999;159(19):2361 –2363. 50. UK Collaborative Group on HIV Drug

63
[104] Kahn JO, Walker BD. Acute human immunodefi ciency virus type 1
infection. N Engl J Med . 1998;339:33 –9.
[105] Sultan, B., Benn, P., & Waters, L. (2014). Current perspectives in HIV post –
exposure prophylaxis . 147 –158.
[106] HIV treatment programmes overview How does antiretroviral treatment work ?
(2017).
[107] https://www.cdc.gov/hiv/basics/whatishiv.html
[108] https:// www.medicalnewstoday.com/articles/2nd -person -cured -of-hiv-thanks -to-
stem -cell-transplant
[109] https://www.nytimes.com/2020/03/09/health/hiv -aids-london -patie nt-
castillejo.html
[110] https://www.medicalnewstoday.com/articles/323893
[111] Lower human immunodeficiency virus (HIV) type 2 viral load reflects the
difference in pathogenicity of HIV -1 and HIV -2 Popper SJ, Sarr AD, Travers KU,
Gueye -Ndiaye A, Mboup S, Essex ME, Kanki PJ, Journal of Infectious
Diseases , 180 (4): 1116 -1121 OCT 1999
[112] Reeves, J. D., & Doms, R. W. (2002). Human immunodeficiency virus type 2 .
1253 –1265.
[113] http://hivinsite.ucsf.edu/InSite?page=kb -02-01-02
[114] Toro-ascuy, D., Garc, F., Rojas -fuentes, C., Pereira -montecinos, C., Gaete –
argel, A., Valiente -echeverr, F., Soto -rifo, R., Lyon, D., & F-, L. (2018). A Rev –
CBP80 – eIF4AI complex drives Gag synthesis from the HIV -1 unspliced mRNA .
46(21), 11539 –11552. https://doi.org/10.1093/nar/gky851
[115] Bryant M, Ratner L.
Myristoylation -dependen t replication and assembly of human immunodeficiency
virus 1. Proc Natl Acad Sci U S A. 1990 Jan;87(2):523 -7
[116] Gallay P, Swingler S, Song J, Bushman F, Trono D.
HIV nuclear import is governed by the phosphotyrosine -mediated binding of
matrix to th e core domain of integrase. Cell. 1995 Nov;83(4):569 -76
[117] https://www.hiv.lanl.gov/content/sequence/HIV/MAP/landmark.html
[118] Manuscript, A., & Determinants, S. (2012). NIH Public Access . 410(4), 609 –
633. https://doi.org/10.1016/j.jmb.2011.04.029.Structural
[119] Mishra SH, Shelley CM, Barrow DJ Jr, Darby MK, Germann MW. Solution
structures and characterization of human immunodeficiency viru s Rev

64
responsive element IIB RNA targeting zinc finger proteins. Biopolymers .
2006;83(4):352 ‐364. doi:10.1002/bip.20565
[120] Krebs, F. C., Hogan, T. H., Quiterio, S., Gartner, S., & Wigdahl, B. (n.d.).
Lentiviral LTR -directed Expression , Sequence Variation , and Disease
Pathogenesis . i, 29–70.
[121] Hiener, B., Horsburgh, B. A., Eden, J., Deeks, S. G., Hecht, F. M., Hiener, B.,
Horsburgh, B. A., Eden, J., Barton, K., Schlub, T. E., Lee, E., Chomont, N.,
Deeks, S. G., & Hecht, F. M. (2017). Identifi cation of Genetically Intact HIV -1
Proviruses in Specific CD4 + T Cells from Effectively Treated Resource
Identification of Genetically Intact HIV -1 Proviruses in Specific CD4 + T Cells
from Effectively Treated Participants . 813 –822.
https://doi.org/10.1016/j.celrep.2017.09.081
[122] Aids, G. (2016). UN Joint Programme on HIV/AIDS (UNAIDS). Global AIDS
Update —2016;
[123] https://www.webmd.com/hiv -aids/understanding -aids-hiv-treatment
[124] https://www.medscape.com/answers/965086 -160407/what -are-the-6-classes –
of-antiretroviral -drugs -ards-for-pediatric -hiv-infection
[125] Webb, N. E., Montefiori, D. C., & Lee, B. (2015). neutralizing antibodies. Nature
Communications , 1–10. https://doi.org/10.1038/ncomms9443
[126] https://www.analyticsvidhya.com/blog/2020/02/cnn -vs-rnn-vs-mlp-analyzing -3-
types -of-neural -networks -in-deep -learning/
[127] Liu, X., Faes, L., Kale, A. U., Wagner, S. K., Fu, D. J., Bruynseels, A.,
Mahendiran, T., & Moraes, G. (2019). Articles A comparison of deep learning
performance against health -care professionals in detecting diseases from
medical imaging : a systematic review and meta -analysis. The Lancet Digital
Health , 1(6), e271 –e297. https://doi.org/10.1016/S2589 -7500(19)30123 -2
[128] Zhang, Z., Zhao, Y., Liao, X., Shi, W., Li, K., & Zou, Q. (2018). Deep learning in
omics : a survey and guideline Deep learning in omics : a survey and guideline .
September . https://doi.org/10.1093/bfgp/ ely030
[129] Goldman, N. (1993). Nucleotide , dinucleotide and trinucleotide frequencies
explain patterns observed in chaos game representations of DNA sequences .
21(10), 2487 –2491.
[130] Noble, P. A., & Fletcher, M. (2001). Representation . 17(5), 429 –437.
[131] Jeffrey, H. J. (1990). Chaos game representation of structure . 18(8), 2163 –
2170. https://doi.org/10.1093/nar/18.8.2163

65
[132] Joseph, J., & Sasikumar, R. (2006). Chaos game representation for
comparison of whole genomes . 10, 1–10. https://doi.org/10.1186/1471 -2105 -7-
243
[133] Adam Latest Trends in Deep Learning Optimization, Towards Data Science
https://towardsdatascience.com/adam -latest -trends -in-deep -learning –
optimizat ion-6be9a291375c
[134] Deschavanne, P. J., Giron, A., Vilain, J., Fagot, G., & Fertil, B. (n.d.). Genomic
Signature : Characterization and Classification of Species Assessed by Chaos
Game Representation of Sequences . 1391 –1399.
[135] H. J. Jeffrey. (1990) Chaos game representation of gene structure [J], Nucleic
AcidsRes., 18, 2163 –2170. https://doi.org/10.1093/nar/18.8.2163
[136] A Web Server for Zoomable Chaos Game Representations http://www.g –
language.org/wiki/cgr
[137] Arakawa, K., Oshita, K., & Tomita, M. (2009). Source Code for Biology and
Medicine A web server for interactive and zoomable Chaos Game
Representation images . 5, 1–5. https://doi.org/10.1186/1751 -0473 -4-6
[138] Eger, D., & Heider, D. (2019). Deep Learning on Chaos Game Representation
for Proteins . 1–10.
[139] Chaos Game, Wolfram MathWorld
https://mathworld.wolfram.com/ChaosGame.html
[140] The DNA, RNA and Proteins, Bionformatics Tutorial
https://www.bioinformatics.org/tutorial/1 –
1.html#:~:text=An%20intermediate%20language%2C%20encoded%20in,protein
%20that%20determines%20the%20trait.&text=Notes%3A%20Genes%20are%2
0DNA%20sequences,which%20in%20turn%20determine%20traits.
[141] IUPAC Degeneracies, H arvard Edu
http://arep.med.harvard.edu/labgc/adnan/projects/Utilities/revcomp.html
[142] RNA and protein synthesis review, Khan Academy
https://www.khanacademy.org/science/high -school -biology/hs -molecular –
genetics/hs -rna-and-protein -synthesis/a/hs -rna-and-protein -synthesis -review
[143] Standard Alphabets, The Meme Suite http://meme –
suite.org/doc/alphabets.html#:~:text=The%20protein%20a lphabet%20contains
%20twenty,Z'%20and%20'J'.
[144] Concept 1: Overview: The Central Dogma
http://www.phschool.com/science/biology_place/biocoach/transcription/overview
.html#:~:text=The%20central%20dogma%20of%20molecular,of%20a%20segm
ent%20of%20DNA.

66
[145] What is the central dogma? https://www.yourgenome.org/facts/what -is-the-
central -dogma
[146] Sequence alignment, Wikipedia
https://en.wikipedia.or g/wiki/Sequence_alignment
[147] HIV vaccines https://ww w.hiv.gov/hiv -basics/hiv -prevention/potential -future –
options/hiv –
vaccines#:~:text=There%20is%20currently%20no%20vaccine,and%20effective
%20preventive%20HIV%20vaccine.
[148] Id, S. C., & Karplus, M. (2019). Estimation of the breadth of CD4bs targeting
HIV an tibodies by molecular modeling and machine learning . 1–22.
https://doi.org/10.1371/journal.pcbi.1006954
[149] The impressive growth of R, Stack Overflow
https://stackoverflow.blog/2017/10/10/impressive -growth -r/
[150] Differences between R and S
http://www.unige.ch/ses/sococ/cl/r/srdiff.e.html#:~:text=S%20is%20a%2 0progra
mming%20language,R%20are%20implementations%20of%20S.&text=In%20ad
dition%20to%20typing%20in,a%20minimal%20graphical%20user%20interface.
[151] Introduction to R https://www.r -project.org/about.html
[152] Python Introduction https://www.w3schools.com/python/python_intro.asp
[153] Advantages and disadvantages of Python programming language
https://webcase.studio/blog/advantages -and-disadvantages -python –
programming –
language/#:~:text=The%20language%20has%20a%20lot,advantages%20and%
20disadvantages%20of%20Python.
[154] The Most Popular Language for Machine Learning and Data Science is …,
https://www.kdnuggets.com/2017/01/most -popular -language -machine -learning –
data-science.html
[155] Top Python libraries for Machine Learning https://www.upgrad.com/blog/top –
python -libraries -for-machine -learning/
[156] CATNAP HIV Sequence Database
https://www.hiv.lanl.gov/components/sequence/HIV/neutralization/index.html
[157] A simple 2D CNN for MNIST digit recognition, Towards Data Science
https://towardsdatascience.com/a -simple -2d-cnn-for-mnist -digit-recognition –
a998dbc1e79a
[158] Adam Optimization algorithm for Deep Learning, Machine Learning Mastery
https://machinelearningmastery.com/adam -optimization -algorithm -for-deep –
learning/