AlexNet on konvolutsiooniline närvivõrk, millel on olnud suur mõju masinõppe, eriti arvuti nägemisalgoritmide arengule. Võrk võitis ImageNet LSVRC-2012 pildituvastuskonkursi 2012. aastal suure ülekaaluga (15,3% vigadega ja 26,2% teisel kohal).

AlexNeti arhitektuur sarnaneb Yann LeCumi LeNeti arhitektuuriga. Kuid AlexNetil on kihi kohta rohkem filtreid ja konstrueeritud kihte. Võrk sisaldab keerdumisi, maksimaalset koondamist, väljalangemist, andmete suurendamist, ReLU aktiveerimist ja stohhastilist gradiendi laskumist.

AlexNeti funktsioonid

1. Aktiveerimisfunktsioonina kasutatakse mudeli mittelineaarsuse lisamiseks arktangenti asemel Relu. Tänu sellele muutub meetodi sama täpsusega kiirus 6 korda kiiremaks.
2. Väljalangemise kasutamine regulatsiooni asemel lahendab ülekoormamise probleemi. Treeninguaeg on aga kahekordistunud, väljalangevus 0,5.
3. Kattuvad ühendused tehakse võrgu suuruse vähendamiseks. Tänu sellele vähendatakse esimese ja viienda taseme vigade taset vastavalt 0,4% ja 0,3% -ni.

ImageNeti andmekogum

ImageNet on 15 miljonit kõrge eraldusvõimega märgistatud pilti, mis on jagatud 22 000 kategooriasse. Pildid koguti veebis ja märgistati käsitsi, kasutades Amazoni mehaanilise tüki ühisallikat. Alates 2010. aastast toimub Pascal Visual Object Challenge raames iga-aastane ImageNeti laiaulatuslik visuaalse äratundmise väljakutse (ILSVRC). Väljakutse kasutab osa ImageNeti andmestikust, milles on 1000 pilti igas 1000 kategoorias. Kokku saadakse koolituseks 1,2 miljonit pilti, valideerimiseks 50 000 pilti ja testimiseks 150 000 pilti. ImageNet koosneb erineva eraldusvõimega piltidest. Seetõttu on need võistluse jaoks skaleeritud fikseeritud eraldusvõimele 256 × 256. Kui algne pilt oli ristkülikukujuline, kärbitakse see pildi keskel oleva ruuduna.

Arhitektuur

Pilt 1

Võrguarhitektuur on näidatud joonisel 1. AlexNet sisaldab kaheksat kaalutud kihti. Esimesed viis neist on konvolutsioonilised ja ülejäänud kolm on täielikult ühendatud. Väljund edastatakse läbi softmax kadumisfunktsiooni, mis genereerib 1000 klassi siltide jaotuse. Võrk maksimeerib mitmerealist logistilist regressiooni, mis on samaväärne kõigi koolitusjuhtumite keskmise maksimeerimisega, kui logaritm on õige märgistamise tõenäosus üle ootuste jaotuse. Teise, neljanda ja viienda konvolutsioonilise kihi tuumad on seotud ainult nende eelmise kihi kernelikaartidega, mis asuvad samal GPU -l. Kolmanda konvolutsioonikihi tuumad on seotud kõigi teise kihi tuumade kaartidega. Täielikult ühendatud kihtide neuronid on ühendatud kõigi eelmise kihi neuronitega.

Seega sisaldab AlexNet 5 keerdkihti ja 3 täielikult ühendatud kihti. Relu kantakse peale iga keerdunud ja täielikult ühendatud kihti. Väljalangemine rakendatakse enne esimest ja teist täielikult ühendatud kihti. Võrk sisaldab 62,3 miljonit parameetrit ja nõuab edasipääsul 1,1 miljardit arvutust. Konvolutsioonilised kihid, mis moodustavad 6% kõigist parameetritest, teevad 95% arvutustest.

Haridus

AlexNet läbib 90 ajastut. Koolitus kestab 6 päeva korraga kahel Nvidia Geforce GTX 580 GPU -l, mistõttu on võrk kaheks jagatud. Stohhastilist gradiendi laskumist kasutatakse õppimiskiirusega 0,01, impulsiga 0,9 ja kaalu vähenemisega 0,0005. Õppimiskiirus jagub pärast täpsuse küllastumist 10 -ga ja väheneb treeningu käigus 3 korda. Kaalukoefitsiendi ajakohastamisskeem w paistab nagu:

kus i- iteratsiooni number, v Kas impulss on muutuv ja epsilon- õppimise määr. Kogu koolitusetapi jooksul valiti õppimiskiirus kõigi kihtide jaoks võrdseks ja reguleeriti käsitsi. Järgnev heuristika oli jagada õppimismäär 10 -ga, kui valideerimisvigade arv ei vähenenud.

Kasutamise ja rakendamise näited

Tulemused näitavad, et suur, sügav konvolutsiooniline närvivõrk on võimeline saavutama rekordilisi tulemusi väga keeruliste andmekogumite puhul, kasutades ainult juhendatud õppimist. Aasta pärast AlexNeti avaldamist hakkasid kõik ImageNeti võistlejad klassifitseerimisprobleemi lahendamiseks kasutama konvolutsioonilisi närvivõrke. AlexNet oli esimene konvolutsiooniliste närvivõrkude rakendamine ja alustas uut uurimisaega. Nüüd on AlexNeti rakendamine muutunud lihtsamaks, kasutades süvaõppe teeke: PyTorch, TensorFlow, Keras.

Tulemus

Võrk saavutab järgmised esimese ja viienda tasandi vead: vastavalt 37,5% ja 17,0%. Parim tulemus, mis saavutati konkursil ILSVRC-2010, oli 47, 1% ja 28, 2%, kasutades lähenemisviisi, mis keskmiselt ennustab kuut hõredat kodeerimismudelit, mis on koolitatud erinevatel funktsioonivektoritel. Sellest ajast alates on saavutatud tulemusi: 45,7% ja 25,7%, kasutades lähenemisviisi, mis keskmistab kahe Fisheri vektoritel treenitud klassifikaatori ennustused. ILSVRC-2010 tulemused on toodud tabelis 1.

Vasakul: kaheksa ILSVRC-2010 testpilti ja viis silti, mida mudel peab kõige tõenäolisemaks. Iga pildi alla on kirjutatud õige silt ja tõenäosust näidatakse punase ribaga, kui see on viie parima hulgas. Paremal: esimeses veerus viis ILSVRC-2010 testpilti. Ülejäänud veerud näitavad kuut koolituspilti. 1

Närvivõrk on matemaatiline mudel ja selle rakendamine tarkvara või riistvaratarkvara kujul, mis põhineb bioloogiliste närvivõrkude, mis on bioloogilise organismi neuronite võrgustikud, aktiivsuse modelleerimisel. Teaduslik huvi selle struktuuri vastu tekkis seetõttu, et selle mudeli uurimine võimaldab saada teavet teatud süsteemi kohta. See tähendab, et sellist mudelit saab praktiliselt rakendada paljudes kaasaegse teaduse ja tehnoloogia valdkondades. Artiklis käsitletakse küsimusi, mis on seotud närvivõrkude kasutamisega turvasüsteemides laialdaselt kasutatavate pildituvastussüsteemide ehitamiseks. Pildituvastuse algoritmi ja selle rakendamisega seotud küsimusi uuritakse üksikasjalikult. Annab lühidalt teavet närvivõrkude koolitamise metoodika kohta.

närvivõrgud

närvivõrkudega õppimine

pildi äratundmine

kohaliku taju paradigma

turvasüsteemid

1. Yann LeCun, J.S. Denker, S. Solla, R.E. Howard ja L. D. Jackel: Optimaalne ajukahjustus, ajakirjas Touretzky, David (Eds), Neural Information Processing Systems 2 (NIPS * 89). - 2000 .-- 100 lk.

2. Zhigalov K.Yu. Laservahemiku andmete fotorealistliku vektoriseerimise meetod GIS -is edasiseks kasutamiseks // Izvestiya vysshikh uchebnykh zavod. Geodeesia ja aerofotograafia. - 2007. - nr 6. - Lk 285–287.

3. Ranzato Marc'Aurelio, Christopher Poultney, Sumit Chopra ja Yann LeCun: Hõredate esituste tõhus õppimine energiapõhise mudeliga, J. Platt jt. (Toim), Neural Information Processing Systems (NIPS 2006) edusammud. - 2010 .-- 400 lk.

4. Zhigalov K.Yu. Seadmete ettevalmistamine teedeehituse automatiseeritud juhtimissüsteemides kasutamiseks // Loodus- ja tehnikateadused. - M., 2014. - nr 1 (69). - S. 285–287.

5. Y. LeCun ja Y. Bengio: Convolutional Networks for Images, Speech and Time-Series, väljaandes Arbib, M. A. (toim) // Aju teooria ja närvivõrkude käsiraamat. - 2005 .-- 150 lk.

6. Y. LeCun, L. Bottou, G. Orr ja K. Muller: Efficient BackProp, in Orr, G. and K. Muller (Eds) // Neural Networks: Tricks of the trade. - 2008.- 200 lk.

Täna hõlmab tehnoloogia ja teadusuuringute areng kõiki uusi horisonte, mis arenevad kiiresti. Üks neist on ümbritseva loodusmaailma modelleerimine matemaatiliste algoritmide abil. Selles aspektis on näiteks triviaalseid, näiteks merevibratsiooni modelleerivaid ja äärmiselt keerukaid, mitte triviaalseid, mitmekomponentseid ülesandeid, näiteks inimese aju toimimise modelleerimine. Selle küsimuse uurimise käigus tuvastati eraldi mõiste - närvivõrk. Närvivõrk on matemaatiline mudel ja selle rakendamine tarkvara või riistvaratarkvara kujul, mis põhineb bioloogiliste närvivõrkude, mis on bioloogilise organismi neuronite võrgustikud, aktiivsuse modelleerimisel. Teaduslik huvi selle struktuuri vastu tekkis seetõttu, et selle mudeli uurimine võimaldab saada teavet teatud süsteemi kohta. See tähendab, et sellist mudelit saab praktiliselt rakendada paljudes kaasaegse teaduse ja tehnoloogia valdkondades.

Närvivõrkude arengu lühiajalugu

Tuleb märkida, et esialgu pärineb mõiste "närvivõrk" Ameerika matemaatikute, neurolingvistide ja neuropsühholoogide W. McCullochi ja W. Pittsi (1943) tööst, kus autorid seda esmakordselt mainivad, määratlevad ja teevad esimese katse. ehitada närvivõrgu mudel. Juba 1949. aastal pakkus D. Hebb välja esimese õppimisalgoritmi. Siis tehti mitmeid uuringuid närviõppe valdkonnas ja esimesed töötavad prototüübid ilmusid umbes aastatel 1990-1991. eelmisel sajandil. Sellegipoolest ei piisanud tolleaegsete seadmete arvutusvõimsusest närvivõrkude piisavalt kiireks toimimiseks. Aastaks 2010 on GPU videokaartide võimsus oluliselt suurenenud ja ilmus otse videokaartidele programmeerimise kontseptsioon, mis suurendas oluliselt (3-4 korda) arvutite jõudlust. 2012. aastal võitsid närvivõrgud esmakordselt ImageNeti meistrivõistlused, mis tähistas nende edasist kiiret arengut ja süvaõppe mõiste tekkimist.

Kaasaegses maailmas on närvivõrkudel tohutu ulatus, teadlased peavad neurovõrkude käitumisomaduste ja olekute uurimise valdkonnas tehtud uuringuid äärmiselt paljutõotavaks. Nende piirkondade loend, kus närvivõrgud on rakendust leidnud, on tohutu. See hõlmab mustrite äratundmist ja klassifitseerimist ning prognoosimist ja lähendamisprobleemide lahendamist ning mõningaid andmete kokkusurumise aspekte, andmete analüüsi ja loomulikult rakendamist erinevat laadi turvasüsteemides.

Närvivõrkude uurimine toimub aktiivselt erinevate riikide teadusringkondades. Sellise kaalutluse korral esitatakse see mitmete mustrituvastusmeetodite, diskrimineeriva analüüsi ja klastrite koostamise meetodite erijuhuna.

Samuti tuleb märkida, et viimase aasta jooksul on piltide tuvastamise süsteemide valdkonnas alustavatele ettevõtetele eraldatud rahalisi vahendeid rohkem kui eelneva 5 aasta jooksul, mis näitab üsna suurt nõudlust seda tüüpi arendustegevuse järele lõppturul.

Närvivõrkude kasutamine piltide tuvastamiseks

Mõelge närvivõrkude lahendatud standardsetele ülesannetele piltidele rakendamisel:

● objektide tuvastamine;

● esemete osade (näiteks näod, käed, jalad jne) äratundmine;

● objektide piiride semantiline määratlus (võimaldab pildile jätta ainult objektide piirid);

● semantiline segmenteerimine (võimaldab pilti jagada erinevateks objektideks);

● pinnanormaalide valik (võimaldab teisendada kahemõõtmelisi pilte kolmemõõtmelisteks);

● tähelepanu objektide esiletõstmine (võimaldab määrata, millele inimene antud pildil tähelepanu pööraks).

Tuleb märkida, et pildituvastuse probleemil on silmatorkav iseloom, selle probleemi lahendus on keeruline ja erakordne protsess. Tuvastamisel võib objektiks olla inimese nägu, käsitsi kirjutatud number, aga ka paljud muud objektid, mida iseloomustavad mitmed unikaalsed omadused, mis raskendab tuvastamisprotsessi oluliselt.

Selles uuringus kaalutakse närvivõrgu käsitsi kirjutatud sümbolite loomise ja ära tundmise algoritmi. Kujutist loeb üks närvivõrgu sisenditest ja üht väljundit kasutatakse tulemuse väljastamiseks.

Selles etapis on vaja lühidalt peatuda närvivõrkude klassifikatsioonil. Täna on kolm peamist tüüpi:

● konvolutsioonilised närvivõrgud (CNN);

● korduvad võrgustikud (sügav õppimine);

● tugevdusõpe.

Üks levinumaid näiteid närvivõrgu ehitamisest on klassikaline närvivõrgu topoloogia. Sellist närvivõrku saab kujutada täielikult ühendatud graafikuna, selle iseloomulik tunnus on teabe edasiliikumine ja vigade signaali edastamine tagasi. Sellel tehnoloogial pole rekursiivseid omadusi. Klassikalise topoloogiaga illustreerivat närvivõrku saab kujutada joonisel fig. 1.

Riis. 1. Lihtsaima topoloogiaga närvivõrk

Riis. 2. Närvivõrk 4 kihi peidetud neuronitega

Selle võrgu topoloogia üks selgelt olulisi puudusi on koondamine. Seoses ülekandega andmete sisestamisel näiteks kahemõõtmelise maatriksi kujul on võimalik saada ühemõõtmeline vektor. Niisiis, käsitsi kirjutatud ladina tähe kujutise jaoks, mida on kirjeldatud 34x34 maatriksi abil, on vaja 1156 sisendit. See viitab sellele, et selle algoritmi tarkvara- ja riistvaralahenduse rakendamiseks kuluv arvutusvõimsus on liiga suur.

Probleemi lahendas Ameerika teadlane Ian Le Koon, kes analüüsis Nobeli meditsiinipreemia laureaatide T. Wteseli ja D. Hubeli tööd. Uuringu osana oli uuringu objektiks kassi aju visuaalne ajukoor. Tulemuste analüüs näitas, et ajukoor sisaldab mitmeid lihtsaid rakke, aga ka mitmeid keerulisi rakke. Lihtsad rakud reageerisid visuaalsetelt retseptoritelt saadud sirgjoonte kujutisele ja keerukad rakud translatsioonilisele liikumisele ühes suunas. Selle tulemusena töötati välja närvivõrkude ehitamise põhimõte, mida nimetatakse konvolutsiooniliseks. Selle põhimõtte idee seisnes selles, et närvivõrgu toimimiseks rakendatakse konvolutsiooniliste kihtide vaheldumist, mida tavaliselt tähistatakse kui C - kihid, alamproovivõtu kihid S - kihid ja täielikult ühendatud kihid F - kihid. kasutatakse närvivõrku.

Seda tüüpi võrgustiku loomise keskmes on kolm paradigmat - kohaliku taju paradigma, jagatud kaalude paradigma ja alamproovide võtmise paradigma.

Kohaliku taju paradigma olemus seisneb selles, et igale sisendneuronile ei söödeta kogu pildimaatriksit, vaid selle osa. Ülejäänud osad söödetakse teistele sisendneuronitele. Sel juhul saate jälgida paralleelsuse mehhanismi, selle meetodi abil saate salvestada pildi topoloogia kihtide vahel, töödeldes seda mitmemõõtmeliselt, see tähendab, et töötlemise ajal saab kasutada mitmeid närvivõrke.

Jagatud kaalude paradigma näitab, et väikest kaalu saab kasutada mitme suhte jaoks. Neid komplekte nimetatakse ka "südamikeks". Pilditöötluse lõpptulemuse kohta võime öelda, et jagatud kaalud avaldavad positiivset mõju närvivõrgu omadustele, mille käitumise uurimine suurendab võimalust leida piltidel invariante ja filtreerida mürakomponente ilma neid töötlemata.

Ülaltoodu põhjal võime järeldada, et kui rakendada kujutise voltimisprotseduuri tuuma alusel, ilmub väljundpilt, mille elemendid on filtrile vastavuse astme põhiomadused, st funktsioonikaart luuakse. See algoritm on näidatud joonisel fig. 3.

Riis. 3. Algoritm funktsioonikaardi genereerimiseks

Alamvalimi paradigma seisneb selles, et sisendpilti vähendatakse, vähendades selle matemaatilise ekvivalendi - n -mõõtmelise maatriksi - ruumilist mõõdet. Alamproovide võtmise vajadust väljendatakse muutumatult algse pildi skaalal. Kihtide vaheldumistehnika rakendamisel on võimalik olemasolevatest luua uusi tunnuskaarte, see tähendab, et selle meetodi praktiline rakendamine seisneb selles, et võime mitmemõõtmelist maatriksit muuta vektori maatriksiks ja seejärel täielikult omandatakse skalaarne väärtus.

Närvivõrgu koolituse rakendamine

Olemasolevad võrgud on õppimise osas jagatud kolmeks arhitektuuriklassiks:

● juhendatud õppimine (arusaam);

● järelevalveta õppimine (adaptiivse resonantsi võrgustikud);

● segaõpe (radiaalpõhiste funktsioonide võrgustikud).

Üks olulisemaid kriteeriume närvivõrgu jõudluse hindamiseks pildituvastuse puhul on pildituvastuse kvaliteet. Tuleb märkida, et pildituvastuse kvaliteedi kvantitatiivseks hindamiseks, kasutades närvivõrgu toimimist, kasutatakse kõige sagedamini keskmise ruudu vea algoritmi:

(1)

Selles sõltuvuses on Ep neuronite paari p-äratundmisviga,

Dp on närvivõrgu eeldatav väljund (tavaliselt peaks võrk püüdlema 100% äratundmise poole, kuid praktikas seda ei juhtu) ning konstruktsioon O (Ip, W) 2 on võrguväljundi ruut, mis sõltub p-sisend ja seatud kaalukoefitsiendid W. See konstruktsioon sisaldab nii konvolutsioonituuma kui ka kõigi kihtide kaalukoefitsiente. Veaarvestus seisneb kõigi neuronipaaride aritmeetilise keskmise väärtuse arvutamises.

Analüüsi tulemusena saadi korrapärasus, et kaalu nimiväärtust, kui veaväärtus on minimaalne, saab arvutada seose põhjal (2):

(2)

Sellest sõltuvusest võime öelda, et optimaalse kaalu arvutamise probleemiks on esimese astme veafunktsiooni tuletise aritmeetiline erinevus kaalu suhtes, jagatuna teise järgu veafunktsiooni tuletisega.

Antud sõltuvused võimaldavad triviaalselt arvutada vea, mis on väljundkihis. Vigade arvutamist neuronite peidetud kihtides saab rakendada vea tagasipöördumismeetodi abil. Meetodi põhiidee on levitada teavet veast teatamise vormis väljundneuronitest sisendneuronitesse, see tähendab signaalide levimisele vastupidises suunas närvivõrgu kaudu.

Samuti väärib märkimist, et võrgustiku väljaõpe viiakse läbi spetsiaalselt ettevalmistatud andmebaasides, mis on klassifitseeritud arvukateks klassideks, ja see võtab üsna kaua aega.
Täna on suurim andmebaas ImageNet (www.image_net.org). Sellel on tasuta juurdepääs akadeemilistele asutustele.

Järeldus

Eeltoodust tulenevalt tuleb märkida, et nende toimimise põhimõttel rakendatud närvivõrgud ja algoritmid võivad leida rakenduse siseasjade organite sõrmejälgede kaardituvastussüsteemides. Sageli ei lahenda talle pandud ülesandeid täielikult tarkvara- ja riistvarakompleksi tarkvarakomponent, mille eesmärk on tuvastada selline ainulaadne komplekspilt joonisena. Närvivõrgul põhinevatel algoritmidel põhinev programm on palju tõhusam.

Kokkuvõtteks võime kokku võtta järgmise:

● närvivõrgud leiavad rakendust nii piltide kui tekstide tuvastamise küsimuses;

● see teooria võimaldab rääkida uue paljulubava mudeliklassi loomisest, nimelt intelligentsel modelleerimisel põhinevatest mudelitest;

● närvivõrgud on õppimisvõimelised, mis näitab võimalust optimeerida protsessi toimimisest. See võimalus on äärmiselt oluline võimalus algoritmi praktiliseks rakendamiseks;

● Mustrituvastusalgoritmi hindamisel närvivõrgu uuringu abil võib olla vastavalt kvantitatiivne väärtus, on olemas mehhanismid parameetrite nõutavale väärtusele kohandamiseks, arvutades nõutavad kaalukoefitsiendid.

Täna näib närvivõrkude edasine uurimine olevat paljutõotav uurimisvaldkond, mida hakatakse edukalt rakendama veelgi enamates teadus- ja tehnoloogiavaldkondades ning ka inimtegevuses. Kaasaegsete äratundmissüsteemide väljatöötamisel on põhirõhk kolinud 3D -kujutiste semantilise segmenteerimise valdkonda geodeesias, meditsiinis, prototüüpimisel ja muudes inimtegevuse valdkondades - need on üsna keerulised algoritmid ja selle põhjuseks on:

● viitepiltide andmebaaside puudumine;

● süsteemi esmase koolituse jaoks piisava arvu vabade ekspertide puudumine;

● pilte ei salvestata pikslites, mis nõuab nii arvutilt kui ka arendajatelt täiendavaid ressursse.

Samuti tuleb märkida, et tänapäeval on närvivõrkude ehitamiseks olemas suur hulk standardarhitektuure, mis hõlbustab oluliselt ülesannet ehitada närvivõrk nullist üles ja taandab selle konkreetse ülesande jaoks sobiva võrgustruktuuri valimiseks.

Praegu on turul üsna suur hulk uuenduslikke ettevõtteid, kes tegelevad pildituvastusega, kasutades süsteemi jaoks närvivõrgu õppetehnoloogiaid. Kindlasti on teada, et nad saavutasid pildi tuvastamise täpsuse 95% ulatuses, kasutades 10 000 pildiga andmebaasi. Sellegipoolest on kõik saavutused seotud staatiliste piltidega, praegu on videojärjestustega kõik palju keerulisem.

Bibliograafiline viide

Markova S.V., Žigalov K.Yu. NÄRGIVÕRGU KOHALDAMINE PILDITUNNISTUSSÜSTEEMI LOOMISEKS // Alusuuringud. - 2017. - nr 8-1. - S. 60-64;
URL: http://fundamental-research.ru/ru/article/view?id=41621 (juurdepääsu kuupäev: 03.24. Juhime teie tähelepanu loodusteaduste akadeemia välja antud ajakirjadele

Sõbrad, jätkame eelmisel korral alustatud lugu närvivõrkudest ja sellest.

Mis on närvivõrk

Lihtsamal juhul on närvivõrk matemaatiline mudel, mis koosneb mitmest kihist elemente, mis teostavad paralleelseid arvutusi. Esialgu loodi selline arhitektuur analoogia põhjal inimese aju väikseimate arvutuslike elementidega - neuronitega. Kunstliku närvivõrgu väikseimaid arvutuselemente nimetatakse ka neuroniteks. Närvivõrgud koosnevad tavaliselt kolmest või enamast kihist: sisendkiht, peidetud kiht (või kihid) ja väljundkiht (joonis 1), mõnel juhul ei võeta arvesse sisend- ja väljundkihte ning seejärel võrgu kihte loetakse peidetud kihtide arvu järgi. Seda tüüpi närvivõrku nimetatakse perceptroniks.

Riis. 1. Lihtsaim perceptron

Närvivõrgu oluline tunnus on võime õppida eeskuju järgi, seda nimetatakse juhendatud õppimiseks. Närvivõrku treenitakse suure hulga näidete põhjal, mis koosnevad sisend-väljundpaaridest (sisend ja väljund vastavad üksteisele). Objektide tuvastamise probleemide korral on selline paar sisendpilt ja vastav silt - objekti nimi. Närvivõrgu koolitus on korduv protsess, mis vähendab võrgu väljundi kõrvalekaldeid antud “õpetaja vastusest” - antud pildile vastav silt (joonis 2). See protsess koosneb sammudest, mida nimetatakse õppimise ajastuteks (need on tavaliselt tuhandetes), millest igaühe puhul kohandatakse närvivõrgu "kaalu" - võrgu peidetud kihtide parameetreid. Pärast koolitusprotsessi lõppu on närvivõrgu kvaliteet tavaliselt piisavalt hea, et täita ülesannet, mille jaoks see oli koolitatud, kuigi optimaalset parameetrite kogumit, mis täiuslikult kõiki pilte ära tunneb, on sageli võimatu leida.

Riis. 2. Närvivõrgu koolitamine

Mis on sügavad närvivõrgud

Sügavad või sügavad närvivõrgud on närvivõrgud, mis koosnevad mitmest peidetud kihist (joonis 3). See joonis kujutab sügavat närvivõrku, andes lugejale üldise ettekujutuse närvivõrgu väljanägemisest. Kuid sügavate närvivõrkude tegelik arhitektuur on palju keerulisem.

Riis. 3. Paljude peidetud kihtidega närvivõrk

Konvolutsiooniliste närvivõrkude loojaid inspireerisid esialgu muidugi visuaalse süsteemi bioloogilised struktuurid. Esimesed primaatide visuaalse voo hierarhilise korralduse kontseptsioonil põhinevad arvutusmudelid on tuntud kui Fukushima neokognitron (joonis 4). Kaasaegne arusaam visuaalse süsteemi füsioloogiast on sarnane teabe töötlemise tüübiga konvolutsioonilistes võrkudes, vähemalt objekti kiireks tuvastamiseks.

Riis. 4. Diagramm, mis näitab kihtidevahelisi seoseid Neocognitron mudelis.

Hiljem rakendas seda kontseptsiooni Kanada teadlane Ian LeCune oma konvolutsioonilises närvivõrgus, mille ta lõi käsitsi kirjutatud tegelaste äratundmiseks. See närvivõrk koosnes kahte tüüpi kihtidest: konvolutsioonikihtidest ja alamproovide võtmise kihtidest (või kogumiskihtidest). Selles on igal kihil topograafiline struktuur, see tähendab, et iga neuron on seotud algse pildi fikseeritud punktiga, aga ka vastuvõtva väljaga (sisendpildi ala, mida see neuron töötleb). Iga kihi igas kohas on mitmeid erinevaid neuroneid, millest igaühel on oma sisendkaalude komplekt, mis on seotud eelmise kihi ristkülikukujulise viilu neuronitega. Erinevad sama kaalukomplektiga sisestatud ristkülikukujulised fragmendid on seotud erinevate asukohtade neuronitega.

Sügava närvivõrgu üldine arhitektuur mustrite tuvastamiseks on näidatud joonisel 5. Sisendkujutis on kujutatud pikslite või pildi väikeste alade komplektina (näiteks 5 x 5 pikslit)

Riis. 5. Konvolutsiooniline närvivõrgu skeem

Reeglina on sügavaid närvivõrke kujutatud lihtsustatud kujul: töötlemisetappidena, mida mõnikord nimetatakse filtriteks. Iga etapp erineb teisest mitmete omaduste poolest, nagu vastuvõtva välja suurus, tunnuste tüüp, mida võrk õpib teatud kihis ära tundma, ja igal etapil tehtud arvutuste tüüp.

Sügavate närvivõrkude, sealhulgas konvolutsioonivõrkude rakendusvaldkonnad ei piirdu näotuvastusega. Neid kasutatakse laialdaselt kõne- ja helisignaali tuvastamiseks, erinevat tüüpi andurite näitude töötlemiseks või keeruliste mitmekihiliste kujutiste (näiteks satelliitkaardid) või meditsiiniliste kujutiste (röntgenpildid, fMRI -pildid - vt) segmenteerimiseks.

Närvivõrgud biomeetrias ja näotuvastus

Kõrge tuvastustäpsuse saavutamiseks on närvivõrk eelnevalt koolitatud suurele pildimassiivile, näiteks andmebaasi MegaFace See on näotuvastuse peamine koolitusmeetod.

Riis. 6. MegaFace andmebaas sisaldab 1 miljonit pilti rohkem kui 690 tuhandest inimesest

Kui võrk on koolitatud nägusid ära tundma, saab näotuvastust kirjeldada järgmiselt (joonis 7). Esiteks töödeldakse pilti näotuvastuse abil: algoritm, mis tuvastab kujutisega ristkülikukujulise lõigu. See fragment on normaliseeritud, et seda oleks lihtsam närvivõrguga töödelda: parim tulemus saavutatakse, kui kõik sisendpildid on sama suuruse, värviga jne. Normaliseeritud pilt suunatakse töötlemiseks närvivõrgu sisendisse algoritmi järgi. See algoritm on tavaliselt ettevõtte ainulaadne arendus tunnustamise kvaliteedi parandamiseks, kuid sellele probleemile on olemas ka "standardseid" lahendusi. Närvivõrk ehitab ainulaadse tunnusevektori, mis seejärel kantakse andmebaasi. Otsingumootor võrdleb seda kõigi andmebaasi salvestatud funktsioonide vektoritega ja annab otsingutulemuse teatud arvu nimede või sarnaste näojoontega kasutajaprofiilide kujul, millest igaühele on määratud teatud number. See number tähistab meie omadusvektori sarnasust andmebaasis leiduvaga.

Riis. 7. Näotuvastuse protsess

Algoritmi kvaliteedi määramine

Täpsus

Kui valime algoritmi, mida objekti või näotuvastuse probleemile rakendada, peab meil olema vahendeid erinevate algoritmide tõhususe võrdlemiseks. Selles osas kirjeldame tööriistu, millega seda tehakse.

Näotuvastussüsteemi kvaliteeti hinnatakse meetrikakomplekti abil, mis vastab tüüpilistele stsenaariumidele biomeetria abil autentimise süsteemi kasutamisel.

Reeglina saab iga närvivõrgu jõudlust mõõta täpsuse järgi: pärast parameetrite seadistamist ja koolitusprotsessi lõpuleviimist testitakse võrku testikomplektiga, mille kohta meil on õpetaja vastus, kuid mis on eraldi treeningkomplekt. Tavaliselt on see parameeter kvantitatiivne näitaja: arv (sageli protsentides), mis näitab, kui hästi süsteem suudab uusi objekte ära tunda. Teine levinud näitaja on viga (seda saab väljendada protsentides või numbrilise ekvivalendina). Siiski on biomeetria jaoks täpsemaid mõõtmisi.

Biomeetrias üldiselt ja eriti näotuvastuse biomeetrias on kahte tüüpi rakendusi: kontrollimine ja tuvastamine. Kontrollimine on teatud identiteedi kinnitamise protsess, võrreldes indiviidi kujutist (näojoonte vektorit või muud tunnuste vektorit, näiteks võrkkesta või sõrmejälgi) ühe või mitme varem salvestatud malliga. Identifitseerimine on üksikisiku identiteedi kindlaksmääramise protsess. Biomeetrilised proovid kogutakse ja võrreldakse kõigi andmebaasi mallidega. Suletud funktsioonide kogumis on identifitseerimine, kui eeldatakse, et isik on andmebaasis olemas. Seega ühendab äratundmine ühe või mõlemad terminid - kontrollimine ja tuvastamine.

Sageli tuleb lisaks otsesele võrdlustulemusele hinnata ka süsteemi "usalduse" taset oma otsuses. Seda väärtust nimetatakse "sarnasuse skooriks" (või sarnasuse skooriks). Kõrgem sarnasuse skoor näitab, et kaks võrreldud biomeetrilist proovi on sarnasemad.

Süsteemi kvaliteedi hindamiseks (nii kontrollimiseks kui ka tuvastamiseks) on mitmeid meetodeid. Neist räägime järgmine kord. Ja jääge meiega ja ärge kartke kommenteerida ja küsimusi esitada.

MÄRKUSED

1. Fukushima (1980) "Neokognitron: iseorganiseeruv närvivõrgu mudel mustrite tuvastamise mehhanismi jaoks, mida positsiooni muutus ei mõjuta", Biological Cybernetics.
2. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Howard, W. Hubbard ja L.D. Jackel (1989) "Backpropagation Applied to Handwritten Zip Code Recognition", Neural Computation, kd. 1, lk 541-551.
3. Jiaxuan You, Xiaocheng Li, Melvin Low, David Lobell, Stefano Ermon Deep Gaussi protsess saagikoristuse prognoosimiseks kaugseireandmete põhjal.
4. Ian Goodfellow, Yoshua Bengio, Aaron Courville (2016) Deep Learning. MIT ajakirjandus.
5. Poh, C-H. Chan, J. Kittler, Julian Fierrez (UAM) ja Javier Galbally (UAM) (2012) Biomeetrilise jõudluse hindamise mõõdikute kirjeldus.