AlexNet- ը կոնվոլյուցիոն նյարդային ցանց է, որը մեծ ազդեցություն է ունեցել մեքենայական ուսուցման, հատկապես համակարգչային տեսողության ալգորիթմների զարգացման վրա: Networkանցը 2012 թվականին մեծ տարբերությամբ հաղթեց ImageNet LSVRC-2012 պատկերի ճանաչման մրցույթում (15.3% սխալներով ՝ երկրորդ տեղում 26.2% -ի դիմաց):

AlexNet- ի ճարտարապետությունը նման է Յան Լեկումի LeNet- ին: Այնուամենայնիվ, AlexNet- ն ունի ավելի շատ զտիչներ մեկ շերտում և ներկառուցված կոնվոլյուցիոն շերտերով: Theանցը ներառում է պտույտներ, առավելագույն համախմբում, հեռացում, տվյալների ավելացում, ReLU ակտիվացման գործառույթներ և ստոխաստիկ գրադիենտի իջեցում:

AlexNet- ի առանձնահատկությունները

1. Որպես ակտիվացման գործառույթ, Relu- ն օգտագործվում է arctangent- ի փոխարեն `մոդելին ոչ գծայինություն ավելացնելու համար: Դրա շնորհիվ մեթոդի նույն ճշգրտությամբ արագությունը դառնում է 6 անգամ ավելի մեծ:
2. Լեգուլյացիայի փոխարեն թողած ուսուցման օգտագործումը լուծում է գերհագեցման խնդիրը: Այնուամենայնիվ, ուսուցման ժամանակը կրկնապատկվում է `թողնելով 0.5 -ը:
3. Համընկնող միացումները կատարվում են ցանցի չափը նվազեցնելու համար: Դրա շնորհիվ առաջին և հինգերորդ մակարդակների սխալների մակարդակը նվազեցվում է `համապատասխանաբար 0.4% և 0.3%:

ImageNet տվյալների հավաքածու

ImageNet- ը 15 միլիոն բարձրորակ պիտակավորված պատկերների հավաքածու է ՝ բաժանված 22,000 կատեգորիայի: Պատկերները հավաքվել են առցանց և ձեռքով պիտակվել ՝ օգտագործելով Amazon- ի Mechanical Turk կրաուդսորսինգը: 2010 թվականից ի վեր ImageNet Large-Scale Visual Recognition Challenge (ILSVRC)-ն անցկացվում է Պասկալի տեսողական օբյեկտի մարտահրավերի շրջանակներում: Մարտահրավերն օգտագործում է ImageNet տվյալների բազայի մի մասը ՝ 1000 պատկերներից յուրաքանչյուրում 1000 պատկերներով: Ընդհանուր առմամբ ստացվում է 1,2 միլիոն պատկեր վերապատրաստման, 50,000 պատկեր վավերացման և 150,000 պատկեր փորձարկման համար: ImageNet- ը բաղկացած է տարբեր թույլտվությունների պատկերներից: Հետևաբար, մրցույթի համար դրանք չափված են 256 × 256 ֆիքսված լուծաչափով: Եթե սկզբնական պատկերը ուղղանկյուն էր, ապա այն կտրված է պատկերի կենտրոնում գտնվող քառակուսի:

Ճարտարապետություն

Նկար 1

Networkանցի ճարտարապետությունը ներկայացված է Նկար 1 -ում: AlexNet- ը պարունակում է ութ կշռված շերտ: Դրանցից առաջին հինգը կոնվոլացիոն են, իսկ մյուս երեքը լիովին կապված են: Արդյունքը փոխանցվում է softmax կորստի գործառույթով, որը առաջացնում է 1000 դասի պիտակների բաշխում: Theանցը առավելագույնի է հասցնում բազմալեզու լոգիստիկ ռեգրեսիան, ինչը համարժեք է լոգարիթմի վերապատրաստման բոլոր դեպքերի միջին մակարդակի բարձրացմանը `ակնկալիքների բաշխման նկատմամբ ճիշտ պիտակավորման հավանականության վրա: Երկրորդ, չորրորդ և հինգերորդ կոնվոլյացիոն շերտերի միջուկները կապված են միայն նախորդ շերտի միջուկային քարտեզների հետ, որոնք գտնվում են նույն GPU- ում: Երրորդ կոնվոլացիոն շերտի միջուկները կապված են երկրորդ շերտի միջուկների բոլոր քարտեզների հետ: Լիովին կապված շերտերի նեյրոնները կապված են նախորդ շերտի բոլոր նեյրոնների հետ:

Այսպիսով, AlexNet- ը պարունակում է 5 կոնվոլյուցիոն շերտ և 3 լիովին կապված շերտ: Relu- ն կիրառվում է յուրաքանչյուր կոնվոլյուցիոն և լիովին կապված շերտից հետո: Բաց թողնելը կիրառվում է առաջին և երկրորդ լիովին կապված շերտերից առաջ: Theանցը պարունակում է 62.3 միլիոն պարամետր և պահանջում է 1.1 միլիարդ հաշվարկ առաջ փոխանցման համար: Կոնվոլյուցիոն շերտերը, որոնք կազմում են բոլոր պարամետրերի 6% -ը, կատարում են հաշվարկների 95% -ը:

Կրթություն

AlexNet- ն անցնում է 90 դարաշրջան: Դասընթացը տևում է միաժամանակ 6 օր Nvidia Geforce GTX 580 երկու GPU- ով, ինչը պատճառ է հանդիսանում, որ ցանցը բաժանվի երկու մասի: Ստոխաստիկ գրադիենտի ծագումն օգտագործվում է ուսուցման 0.01 արագությամբ, 0.9 իմպուլսով և 0.0005 կշիռների քայքայմամբ: Ուսուցման մակարդակը բաժանվում է 10 -ի ՝ ճշգրտության հագեցումից հետո, և նվազում է 3 անգամ վերապատրաստման ընթացքում: Քաշի գործակիցի թարմացման սխեմա wնման է:

որտեղ ես- կրկնության համարը, vԻմպուլսը փոփոխական է, և էպսիլոն- ուսման մակարդակը: Ուսուցման ամբողջ փուլի ընթացքում ուսուցման մակարդակը ընտրվել է հավասար բոլոր շերտերի համար և ճշգրտվել ձեռքով: Հետագա հեվրիստիկան ուսուցման մակարդակը բաժանել էր 10 -ի, երբ վավերացման սխալների թիվը դադարում էր նվազել:

Օգտագործման և իրականացման օրինակներ

Արդյունքները ցույց են տալիս, որ մեծ, խոր կոնվոլյուցիոն նյարդային ցանցը ունակ է հասնել ռեկորդային արդյունքների շատ բարդ տվյալների հավաքածուների միջոցով ՝ միայն վերահսկվող ուսուցման միջոցով: AlexNet- ի հրապարակումից մեկ տարի անց ImageNet- ի բոլոր մասնակիցները սկսեցին օգտագործել կոնվոլյուցիոն նյարդային ցանցեր `դասակարգման խնդիրը լուծելու համար: AlexNet- ը հեղափոխական նյարդային ցանցերի առաջին ներդրումն էր և սկիզբ դրեց հետազոտությունների նոր դարաշրջանին: Այժմ ավելի հեշտ է դարձել AlexNet- ի ներդրումը `օգտագործելով խորը ուսուցման գրադարաններ` PyTorch, TensorFlow, Keras:

Արդյունք

Theանցը հասնում է առաջին և հինգերորդ մակարդակների սխալների հետևյալ մակարդակներին ՝ համապատասխանաբար 37.5% և 17.0%: ILSVRC-2010 մրցույթում ձեռք բերված լավագույն արդյունքը եղել է 47,1% և 28,2% `օգտագործելով մոտեցում, որը միջինում կանխատեսում է վեց նոսր կոդավորման մոդելների կանխատեսումները, որոնք պատրաստված են տարբեր հատկությունների վեկտորների վրա: Այդ ժամանակվանից ի վեր արդյունքները ձեռք են բերվել. 45,7% և 25,7% ՝ օգտագործելով մոտեցում, որը միջինացնում է Ֆիշերի վեկտորների վրա պատրաստված երկու դասակարգիչների կանխատեսումները: ILSVRC-2010- ի արդյունքները ներկայացված են Աղյուսակ 1-ում:

Ձախ ՝ ութ ILSVRC-2010 թեստային պատկեր և հինգ պիտակ, որոնք մոդելը ամենահավանականն է համարում: Յուրաքանչյուր նկարի տակ գրված է ճիշտ պիտակը, և հավանականությունը ցույց է տրվում կարմիր գծով, եթե այն գտնվում է առաջին հնգյակում: Աջ. ILSVRC-2010 թեստի հինգ պատկեր առաջին սյունակում: Մնացած սյուները ցույց են տալիս ուսուցման վեց պատկեր: 1

Նյարդային ցանցը մաթեմատիկական մոդել է և դրա իրականացումը ծրագրային ապահովման կամ ապարատային-ծրագրային ապահովման տեսքով, որը հիմնված է կենսաբանական նյարդային ցանցերի գործունեության մոդելավորման վրա, որոնք կենսաբանական օրգանիզմում նեյրոնների ցանցեր են: Այս կառույցի նկատմամբ գիտական ​​հետաքրքրությունը ծագեց, քանի որ դրա մոդելի ուսումնասիրությունը թույլ է տալիս տեղեկատվություն ստանալ որոշակի համակարգի մասին: Այսինքն, նման մոդելը կարող է գործնական կիրառություն ունենալ ժամանակակից գիտության և տեխնիկայի մի շարք ճյուղերում: Հոդվածում քննարկվում են անվտանգության համակարգերում լայնորեն կիրառվող պատկերների նույնականացման համակարգերի կառուցման համար նյարդային ցանցերի օգտագործման հետ կապված հարցեր: Պատկերի ճանաչման ալգորիթմի թեմային և դրա կիրառմանը վերաբերող խնդիրները մանրամասն ուսումնասիրվում են: Հակիրճ տեղեկատվություն է տրամադրում նյարդային ցանցերի ուսուցման մեթոդաբանության վերաբերյալ:

նյարդային ցանցեր

սովորել նյարդային ցանցերով

պատկերի ճանաչում

Տեղական ընկալման հարացույց

անվտանգության համակարգեր

1. Յան Լեկուն, S.. Denker, S. Solla, R.E. Հովարդ և Լ. - 2000 .-- 100 էջ

2. igիգալով Կ.Յու. Լազերային ընդգրկման տվյալների ֆոտոռեալիստական ​​վեկտորացման մեթոդ GIS- ում հետագա օգտագործման համար // Izvestiya vysshikh uchebnykh zavod: Գեոդեզիա և օդային լուսանկարչություն: - 2007. - No 6. - P. 285–287:

3. Ranzato Marc'Aurelio, Christopher Poultney, Sumit Chopra and Yann LeCun. Early Learning of Sparse ներկայացուցչություններ էներգիայի վրա հիմնված մոդելով, J. Platt et al. (Խմբ.), Նյարդային տեղեկատվության մշակման համակարգերի առաջընթաց (NIPS 2006): - 2010 .-- 400 էջ

4. igիգալով Կ.Յու. Roadանապարհաշինության ավտոմատ կառավարման համակարգերում օգտագործվող սարքավորումների պատրաստում // Բնական և տեխնիկական գիտություններ: - Մ., 2014. - No 1 (69): - S. 285–287:

5. Y. LeCun և Y. Bengio. Convolutional Networks for Images, Speech, and Time-Series, in Arbib, M. A. (Eds) // The Handbook of Brain Theory and Neural Networks. - 2005 թ .-- 150 էջ

6. Y. LeCun, L. Bottou, G. Orr and K. Muller: Efficient BackProp, Orr, G. and K. Muller (Eds) // Neural Networks: Tricks of the trade: - 2008 .-- 200 էջ

Այսօր տեխնոլոգիական և հետազոտական ​​առաջընթացն ընդգրկում է բոլոր նոր հորիզոնները ՝ արագ զարգանալով: Դրանցից մեկը մաթեմատիկական ալգորիթմների միջոցով շրջակա բնական աշխարհի մոդելավորումն է: Այս առումով կան չնչին, օրինակ ՝ ծովային թրթռումների մոդելավորում, և չափազանց բարդ, ոչ աննշան, բազմակողմանի առաջադրանքներ, օրինակ ՝ մարդու ուղեղի աշխատանքի մոդելավորում: Այս հարցի ուսումնասիրման գործընթացում առանձնացվել է առանձին հասկացություն `նյարդային ցանց: Նյարդային ցանցը մաթեմատիկական մոդել է և դրա իրականացումը ծրագրային ապահովման կամ ապարատային-ծրագրային ապահովման տեսքով, որը հիմնված է կենսաբանական նյարդային ցանցերի գործունեության մոդելավորման վրա, որոնք կենսաբանական օրգանիզմում նեյրոնների ցանցեր են: Այս կառույցի նկատմամբ գիտական ​​հետաքրքրությունը ծագեց, քանի որ դրա մոդելի ուսումնասիրությունը թույլ է տալիս տեղեկատվություն ստանալ որոշակի համակարգի մասին: Այսինքն, նման մոդելը կարող է գործնական կիրառություն ունենալ ժամանակակից գիտության և տեխնիկայի մի շարք ճյուղերում:

Նյարդային ցանցերի զարգացման համառոտ պատմություն

Պետք է նշել, որ սկզբում «նյարդային ցանց» հասկացությունը ծագում է ամերիկացի մաթեմատիկոսների, նյարդալեզվաբանների և նյարդահոգեբանների ՝ Վ. Մակկուլոչի և Վ. Պիտսի (1943) աշխատության մեջ, որտեղ հեղինակներն առաջին անգամ նշում են այն, սահմանում այն ​​և առաջին փորձն անում կառուցել մոդելային նյարդային ցանց: Արդեն 1949 թվականին D. Hebb- ն առաջարկեց ուսուցման առաջին ալգորիթմը: Հետո մի շարք ուսումնասիրություններ եղան նյարդային ուսուցման ոլորտում, և առաջին աշխատող նախատիպերը հայտնվեցին 1990-1991 թվականներին: անցյալ դար: Այնուամենայնիվ, այն ժամանակվա սարքավորումների հաշվիչ հզորությունը բավարար չէր նյարդային ցանցերի բավականաչափ արագ աշխատանքի համար: Մինչև 2010 թվականը GPU վիդեո քարտերի հզորությունը մեծապես աճել էր, և հայտնվել էր անմիջապես վիդեո քարտերի վրա ծրագրավորման հայեցակարգը, ինչը զգալիորեն (3-4 անգամ) բարձրացրել էր համակարգիչների աշխատանքը: 2012 թվականին նյարդային ցանցերն առաջին անգամ հաղթեցին ImageNet առաջնությունում, ինչը նշանավորեց նրանց հետագա արագ զարգացումը և խորը ուսուցում տերմինի ի հայտ գալը:

Worldամանակակից աշխարհում նյարդային ցանցերն ունեն հսկայական ծածկույթ, գիտնականները չափազանց խոստումնալից են համարում նյարդային ցանցերի վարքային բնութագրերի և վիճակների ուսումնասիրման ոլորտում կատարված հետազոտությունները: Այն տարածքների ցանկը, որտեղ նյարդային ցանցերը կիրառություն են գտել, հսկայական է: Սա ներառում է պատկերների ճանաչում և դասակարգում, կանխատեսում, մոտարկման խնդիրների լուծում, տվյալների սեղմման, տվյալների վերլուծության և, իհարկե, այլ բնույթի անվտանգության համակարգերում կիրառման որոշ ասպեկտներ:

Նյարդային ցանցերի ուսումնասիրությունը ակտիվորեն տեղի է ունենում տարբեր երկրների գիտական ​​համայնքներում: Նման նկատառումով այն ներկայացվում է որպես օրինակի ճանաչման մի շարք մեթոդների, խտրական վերլուծության և խմբավորման մեթոդների հատուկ դեպք:

Հարկ է նաև նշել, որ վերջին մեկ տարվա ընթացքում պատկերի ճանաչման համակարգերի ոլորտում սկսնակ ընկերություններին հատկացվել է ֆինանսավորում ավելի քան նախորդ 5 տարիների ընթացքում, ինչը վկայում է վերջնական շուկայում այս տիպի զարգացման բավականին մեծ պահանջարկի մասին:

Նյարդային ցանցերի կիրառումը պատկերի ճանաչման համար

Մտածեք պատկերների վրա կիրառվելիս նյարդային ցանցերի կողմից լուծված ստանդարտ առաջադրանքները.

Objects օբյեկտների նույնականացում;

Objects առարկաների մասերի ճանաչում (օրինակ ՝ դեմքեր, ձեռքեր, ոտքեր և այլն);

Objects օբյեկտների սահմանների իմաստաբանական սահմանում (թույլ է տալիս նկարում թողնել միայն օբյեկտների սահմանները);

● իմաստաբանական բաժանում (թույլ է տալիս պատկերը բաժանել տարբեր առանձին օբյեկտների);

Surface մակերեսային նորմալների ընտրություն (թույլ է տալիս փոխակերպել երկչափ պատկերները եռաչափ պատկերների);

● ուշադրության առարկաների ընդգծում (թույլ է տալիս որոշել, թե ինչի վրա մարդը ուշադրություն կդարձներ տվյալ պատկերում):

Պետք է նշել, որ պատկերի ճանաչման խնդիրը ունի վառ բնույթ, այս խնդրի լուծումը բարդ և արտառոց գործընթաց է: Recognitionանաչում կատարելիս օբյեկտը կարող է լինել մարդու դեմքը, ձեռագիր թվանշանը, ինչպես նաև բազմաթիվ այլ առարկաներ, որոնք բնութագրվում են մի շարք եզակի հատկանիշներով, ինչը զգալիորեն բարդացնում է նույնականացման գործընթացը:

Այս ուսումնասիրության ընթացքում հաշվի կառնվի նյարդային ցանցի ձեռագիր խորհրդանիշների ստեղծման և ճանաչման ալգորիթմը: Պատկերը կկարդա նյարդային ցանցի մուտքերից մեկը, իսկ ելքերից մեկը կօգտագործի արդյունքը թողնելու համար:

Այս փուլում անհրաժեշտ է հակիրճ անդրադառնալ նյարդային ցանցերի դասակարգմանը: Այսօր կան երեք հիմնական տեսակներ.

● կոնվոլյուցիոն նյարդային ցանցեր (CNN);

● կրկնվող ցանցեր (խորը ուսուցում);

Ամրապնդող ուսուցում.

Նյարդային ցանցի կառուցման ամենատարածված օրինակներից մեկը դասական նյարդաբանական ցանցի տոպոլոգիան է: Նման նյարդային ցանցը կարող է ներկայացվել որպես լիովին կապված գրաֆիկ, որի բնորոշ առանձնահատկությունը տեղեկատվության առաջ տարածումն է և սխալ ազդանշանի հետադարձ տարածումը: Այս տեխնոլոգիան չունի ռեկուրսիվ հատկություններ: Դասական տեղագրությամբ պատկերազարդ նյարդային ցանցը կարող է պատկերվել Նկ. 1.

Բրինձ 1. Նեյրոնային ցանց `ամենապարզ տոպոլոգիայով

Բրինձ 2. Նյարդային ցանց ՝ թաքնված նեյրոնների 4 շերտով

Այս ցանցի տոպոլոգիայի ակնհայտ նշանակալի թերություններից է ավելորդությունը: Ավելորդության պատճառով, երբ տվյալները մուտքագրվում են, օրինակ, մուտքի երկչափ մատրիցայի տեսքով, կարելի է ձեռք բերել միաչափ վեկտոր: Այսպիսով, 34x34 մատրիցով նկարագրված ձեռագիր լատինական տառի պատկերի համար անհրաժեշտ է 1156 մուտքագրում: Սա ենթադրում է, որ այս ալգորիթմի ծրագրային և ապարատային լուծման իրականացման վրա ծախսվող հաշվողական հզորությունը չափազանց մեծ կլինի:

Խնդիրը լուծեց ամերիկացի գիտնական Յան Լե Կունը, ով վերլուծեց բժշկության ոլորտում Նոբելյան մրցանակի դափնեկիրներ Թ.Վթեսելի և Դ.Հուբելի աշխատանքը: Նրանց ուսումնասիրության շրջանակներում ուսումնասիրության օբյեկտը կատվի ուղեղի տեսողական կեղևն էր: Արդյունքների վերլուծությունը ցույց տվեց, որ կեղևը պարունակում է մի շարք պարզ բջիջներ, ինչպես նաև մի շարք բարդ բջիջներ: Պարզ բջիջներն արձագանքել են տեսողական ընկալիչներից ստացված ուղիղ գծերի պատկերին, իսկ բարդ բջիջները `մեկ ուղղությամբ թարգմանչական շարժմանը: Արդյունքում, մշակվեց նյարդային ցանցերի կառուցման սկզբունքը, որը կոչվում է կոնվոլյուցիոն: Այս սկզբունքի գաղափարն այն էր, որ նյարդային ցանցի գործառույթն իրականացնելու համար ելքային կոնվոլյուցիոն շերտերի փոխարինումը, որոնք սովորաբար նշվում են որպես C - շերտեր, ենթաընտրանքային շերտեր S - շերտեր և լիովին կապված շերտեր F - շերտեր: օգտագործվում են նյարդային ցանցերը:

Այս տեսակի ցանց կառուցելու հիմքում երեք պարադիգմ է `տեղական ընկալման պարադիգմա, ընդհանուր կշիռների պարադիգմա և ենթանմուշառման պարադիգմա:

Տեղական ընկալման հարացույցի էությունն այն է, որ ոչ թե պատկերի ամբողջ մատրիցան է սնվում յուրաքանչյուր մուտքային նեյրոնին, այլ դրա մի մասը: Մնացած մասերը սնվում են այլ մուտքային նեյրոններով: Այս դեպքում կարող եք դիտել զուգահեռացման մեխանիզմը ՝ օգտագործելով այս մեթոդը, կարող եք պահպանել պատկերի տեղաբաշխումը շերտից շերտ, բազմաչափ մշակելով այն, այսինքն ՝ մշակման ընթացքում կարող են օգտագործվել մի շարք նյարդային ցանցեր:

Կշիռների ընդհանուր պարադիգմը ենթադրում է, որ կշիռների փոքր փաթեթը կարող է օգտագործվել բազմակի հարաբերությունների համար: Այս հավաքածուները կոչվում են նաև «միջուկներ»: Պատկերի մշակման վերջնական արդյունքի համար կարող ենք ասել, որ ընդհանուր կշիռները դրականորեն ազդում են նյարդային ցանցի հատկությունների վրա, որոնց վարքի ուսումնասիրությունը մեծացնում է պատկերներում անփոփոխներ գտնելու և աղմուկի բաղադրիչները զտելու ունակությունը `առանց դրանք մշակելու:

Ելնելով վերոգրյալից ՝ մենք կարող ենք եզրակացնել, որ միջուկի հիման վրա պատկերի ծալման ընթացակարգը կիրառելիս կհայտնվի ելքային պատկեր, որի տարրերը կլինեն ֆիլտրին համապատասխանության աստիճանի հիմնական բնութագիրը, այսինքն ՝ կստեղծվի առանձնահատկությունների քարտեզ: Այս ալգորիթմը ներկայացված է Նկ. 3

Բրինձ 3. Առանձնահատկությունների քարտեզ ստեղծելու ալգորիթմ

Ենթանմուշառման պարադիգմն այն է, որ մուտքային պատկերը կրճատվում է `նվազեցնելով մաթեմատիկական համարժեքի` n- ծավալային մատրիցայի տարածական հարթությունը: Ենթանմուշառման անհրաժեշտությունը արտահայտվում է սկզբնական պատկերի մասշտաբի անփոփոխությամբ: Այլընտրանքային շերտերի տեխնիկան կիրառելիս հնարավոր է դառնում գոյություն ունեցողներից ստեղծել նոր առանձնահատկությունների քարտեզներ, այսինքն ՝ այս մեթոդի գործնական կիրառումն այն է, որ բազմաչափ մատրիցան վեկտորային մատրիցի վերածելու ունակությունը, այնուհետև ամբողջությամբ սանդղային արժեքը: ձեռք կբերվի:

Նյարդային ցանցերի ուսուցման իրականացում

Գոյություն ունեցող ցանցերը ուսման առումով բաժանված են ճարտարապետության 3 դասի.

● վերահսկվող ուսուցում (percepton);

● չվերահսկվող ուսուցում (հարմարվողական ռեզոնանսային ցանցեր);

● խառը ուսուցում (ճառագայթային հիմքի գործառույթների ցանցեր):

Պատկերի ճանաչման դեպքում նյարդային ցանցի աշխատանքը գնահատելու ամենակարևոր չափանիշներից մեկը պատկերի ճանաչման որակն է: Պետք է նշել, որ նյարդային ցանցի աշխատանքի միջոցով պատկերի ճանաչման որակի քանակական գնահատման համար առավել հաճախ օգտագործվում է արմատային միջին քառակուսի սխալի ալգորիթմը.

(1)

Այս կախվածության մեջ Ep- ը զույգ նեյրոնների p-th ճանաչման սխալն է,

Dp- ն նյարդային ցանցի ակնկալվող արդյունքն է (սովորաբար ցանցը պետք է ձգտի 100% ճանաչման, բայց դա գործնականում տեղի չի ունենում), իսկ O (Ip, W) 2 կառուցվածքը ցանցի ելքի քառակուսին է, որը կախված է p-th մուտքի և հավաքածուի վրա քաշի գործակիցներ W. Այս կառուցվածքը ներառում է ինչպես կոնվոլյացիայի միջուկները, այնպես էլ բոլոր շերտերի քաշի գործակիցները: Սխալների հաշվարկը բաղկացած է բոլոր զույգ նեյրոնների միջին թվաբանական արժեքի հաշվարկում:

Վերլուծության արդյունքում ստացվեց օրինաչափություն, որ քաշի անվանական արժեքը, երբ սխալի արժեքը նվազագույն է, կարող է հաշվարկվել կախվածությունից (2).

(2)

Այս կախվածությունից կարող ենք ասել, որ օպտիմալ քաշի հաշվարկման խնդիրը քաշի նկատմամբ առաջին կարգի սխալի ֆունկցիայի ածանցյալի թվաբանական տարբերությունն է, որը բաժանված է երկրորդ կարգի սխալի ֆունկցիայի ածանցյալին:

Տրված կախվածությունները հնարավորություն են տալիս չնչին հաշվարկել ելքային շերտում գտնվող սխալը: Նեյրոնների թաքնված շերտերում սխալի հաշվարկը կարող է իրականացվել սխալի հետադարձ տարածման մեթոդով: Մեթոդի հիմնական գաղափարը տեղեկատվության տարածումն է `սխալի ազդանշանային տեսքով, ելքային նեյրոններից մինչև մուտքային նեյրոններ, այսինքն` նյարդային ցանցի միջոցով ազդանշանների տարածմանը հակառակ ուղղությամբ:

Հարկ է նաև նշել, որ ցանցի ուսուցումն իրականացվում է մեծ թվով դասերի դասակարգված պատկերների հատուկ պատրաստված տվյալների շտեմարանների վրա, և դա բավականին երկար ժամանակ է պահանջում:
Այսօր ամենամեծ տվյալների բազան ImageNet- ն է (www.image_net.org): Այն անվճար մուտք ունի ակադեմիական հաստատություններ:

Եզրակացություն

Վերոնշյալի արդյունքում պետք է նշել, որ նյարդային ցանցերն ու ալգորիթմները, որոնք կիրառվում են դրանց գործունեության սկզբունքով, կարող են օգտագործվել ներքին գործերի մարմինների համար մատնահետքի քարտի ճանաչման համակարգերում: Հաճախ դա ծրագրային և ապարատային համալիրի ծրագրային բաղադրիչն է, որն ուղղված է այնպիսի եզակի բարդ պատկերի ՝ որպես գծագրի ճանաչմանը, որը նույնականացման տվյալ է, որը լիովին չի լուծում իրեն վերապահված խնդիրները: Նյարդային ցանցի վրա հիմնված ալգորիթմների վրա հիմնված ծրագիրը շատ ավելի արդյունավետ կլինի:

Ամփոփելու համար մենք կարող ենք ամփոփել հետևյալը.

● նյարդային ցանցերը կարող են կիրառություն գտնել ինչպես պատկերների, այնպես էլ տեքստերի ճանաչման հարցում.

Theory այս տեսությունը հնարավորություն է տալիս խոսել մոդելների նոր խոստումնալից դասի ստեղծման մասին, այն է ՝ խելացի մոդելավորման վրա հիմնված մոդելների.

● նյարդային ցանցերն ունակ են սովորելու, ինչը ցույց է տալիս գործընթացի գործառույթից օպտիմալացման հնարավորությունը: Այս հնարավորությունը չափազանց կարևոր տարբերակ է ալգորիթմի գործնական իրականացման համար.

The Նմուշների ճանաչման ալգորիթմի գնահատումը նյարդային ցանցի ուսումնասիրության միջոցով կարող է ունենալ քանակական արժեք, համապատասխանաբար, կան մեխանիզմներ `պարամետրերը պահանջվող արժեքին հարմարեցնելու համար` անհրաժեշտ քաշի գործակիցները հաշվարկելով:

Այսօր նյարդային ցանցերի հետագա հետազոտությունները, կարծես, խոստումնալից հետազոտությունների ոլորտ են, որոնք հաջողությամբ կկիրառվեն գիտության և տեխնիկայի նույնիսկ ավելի շատ ճյուղերում, ինչպես նաև մարդկային գործունեության մեջ: Recognitionամանակակից ճանաչման համակարգերի զարգացման հիմնական շեշտադրումն այժմ անցնում է գեոդեզիայի, բժշկության, նախատիպերի և մարդկային գործունեության այլ ոլորտներում 3D պատկերների իմաստային հատվածավորման ոլորտին, դրանք բավականին բարդ ալգորիթմներ են, և դա պայմանավորված է.

Reference տեղեկատու պատկերների բավարար քանակի շտեմարանների բացակայություն.

The համակարգի նախնական ուսուցման համար բավարար թվով անվճար փորձագետների բացակայություն.

● պատկերները չեն պահվում պիքսելներով, ինչը պահանջում է լրացուցիչ ռեսուրսներ ինչպես համակարգչից, այնպես էլ մշակողներից:

Պետք է նաև նշել, որ այսօր գոյություն ունեն մեծ թվով ստանդարտ ճարտարապետություններ նյարդային ցանցերի կառուցման համար, ինչը մեծապես հեշտացնում է զրոյից նյարդային ցանց կառուցելու խնդիրը և այն հասցնում է որոշակի առաջադրանքի համար հարմար ցանցային կառույցի ընտրության:

Ներկայումս շուկայում կան բավականին մեծ թվով նորարարական ընկերություններ, որոնք զբաղվում են պատկերի ճանաչմամբ `օգտագործելով համակարգի համար նյարդային ցանցերի ուսուցման տեխնոլոգիաները: Հաստատ հայտնի է, որ նրանք պատկերի ճանաչման ճշգրտության են հասել 95% տարածաշրջանում ՝ օգտագործելով 10,000 պատկերների տվյալների շտեմարան: Այնուամենայնիվ, բոլոր ձեռքբերումները վերաբերում են ստատիկ պատկերներին, այս պահին տեսանյութերի հաջորդականությամբ ամեն ինչ շատ ավելի բարդ է:

Մատենագիտական ​​տեղեկանք

Մարկովա Ս.Վ., igիգալով Կ.Յու. ՆԿԱՐԻ RԱՆԱՉՄԱՆ ՀԱՄԱԿԱՐԳԻ ԱՐՏԱԴՐՈԹՅԱՆ ՆՅՈURAL NԱՆԻ ԿԻՐԱՌՈ //Մ // Հիմնարար հետազոտություն: - 2017. - Թիվ 8-1: - Ս. 60-64;
URL: http://fundamental-research.ru/ru/article/view?id=41621 (մուտքի ամսաթիվ ՝ 03.24. Ձեր ուշադրությանն ենք ներկայացնում «Բնական գիտությունների ակադեմիայի» հրատարակած ամսագրերը

Ընկերներ, մենք շարունակում ենք նյարդային ցանցերի մասին պատմությունը, որը մենք սկսել էինք նախորդ անգամ և դրա մասին:

Ինչ է նյարդային ցանցը

Ամենապարզ դեպքում նյարդային ցանցը մաթեմատիկական մոդել է, որը բաղկացած է տարրերի մի քանի շերտերից, որոնք կատարում են զուգահեռ հաշվարկներ: Սկզբում նման ճարտարապետությունը ստեղծվել էր անալոգիայի միջոցով `մարդու ուղեղի ամենափոքր հաշվիչ տարրերի` նեյրոնների հետ: Արհեստական ​​նյարդային ցանցի ամենափոքր հաշվարկային տարրերը կոչվում են նաև նեյրոններ: Սովորաբար նյարդային ցանցերը բաղկացած են երեք կամ ավելի շերտերից ՝ մուտքային շերտ, թաքնված շերտ (կամ շերտեր) և ելքային շերտ (նկ. 1), որոշ դեպքերում մուտքային և ելքային շերտերը հաշվի չեն առնվում, իսկ հետո դրանց թիվը ցանցի շերտերը հաշվարկվում են թաքնված շերտերի քանակով: Այս տեսակի նյարդային ցանցը կոչվում է perceptron:

Բրինձ 1. Ամենապարզ պերցեպտրոնը

Նյարդային ցանցի կարևոր առանձնահատկությունը օրինակով սովորելու ունակությունն է, որը կոչվում է վերահսկվող ուսուցում: Նյարդային ցանցը վերապատրաստվում է մեծ թվով օրինակների վրա, որոնք բաղկացած են մուտքային-ելքային զույգերից (մուտքի և ելքի համապատասխանությունը միմյանց): Օբյեկտի ճանաչման խնդիրներում նման զույգը կլինի մուտքային պատկերը և համապատասխան պիտակը `օբյեկտի անունը: Նյարդային ցանցի ուսուցումը կրկնվող գործընթաց է, որը նվազեցնում է ցանցի ելքի շեղումը տվյալ «ուսուցչի պատասխանից» `տվյալ պատկերին համապատասխան պիտակ (նկ. 2): Այս գործընթացը բաղկացած է քայլերից, որոնք կոչվում են ուսուցման դարաշրջաններ (դրանք սովորաբար լինում են հազարավոր), որոնցից յուրաքանչյուրում ճշգրտվում են նյարդային ցանցի «կշիռները» ՝ ցանցի թաքնված շերտերի պարամետրերը: Ուսումնական գործընթացի ավարտից հետո նյարդային ցանցի որակը սովորաբար այնքան լավն է, որ կատարի այն խնդիրը, որի համար այն պատրաստվել է, չնայած պարամետրերի օպտիմալ փաթեթը, որը իդեալականորեն ճանաչում է բոլոր պատկերները, հաճախ անհնար է գտնել:

Բրինձ 2. Նյարդային ցանցի ուսուցում

Ինչ են խորը նյարդային ցանցերը

Խորը կամ խորը նյարդային ցանցերը նյարդային ցանցեր են, որոնք բաղկացած են մի քանի թաքնված շերտերից (նկ. 3): Այս պատկերը խորը նյարդային ցանցի պատկեր է, որը ընթերցողին տալիս է ընդհանուր պատկերացում, թե ինչպիսին է նյարդային ցանցը: Այնուամենայնիվ, խորը նյարդային ցանցերի իրական ճարտարապետությունը շատ ավելի բարդ է:

Բրինձ 3. Նյարդային ցանց `բազմաթիվ թաքնված շերտերով

Համակողմանի նյարդային ցանցերի ստեղծողներն, իհարկե, սկզբում ոգեշնչված էին տեսողական համակարգի կենսաբանական կառուցվածքներից: Պրիմերի հիերարխիկ տեսողական հոսքի հայեցակարգի վրա հիմնված առաջին հաշվարկային մոդելները հայտնի են որպես Ֆուկուսիմա նեոկոգնիտրոն (Նկար 4): Տեսողական համակարգի ֆիզիոլոգիայի ժամանակակից ըմբռնումը նման է կոնվոլյուցիոն ցանցերում տեղեկատվության մշակման տեսակին, գոնե օբյեկտի արագ ճանաչման համար:

Բրինձ 4. Դիագրամ, որը ցույց է տալիս Neocognitron մոդելի շերտերի միջև կապերը:

Հետագայում այս հայեցակարգը կյանքի կոչեց կանադացի գիտաշխատող Յան Լեկունը իր կոնվոլյուցիոն նյարդային ցանցում, որը նա ստեղծեց ձեռագիր կերպարների ճանաչման համար: Այս նյարդային ցանցը բաղկացած էր երկու տեսակի շերտերից `կոնվոլյուցիոն շերտեր և ենթանմուշառման շերտեր (կամ շերտերի համախմբում): Դրա մեջ յուրաքանչյուր շերտ ունի տեղագրական կառուցվածք, այսինքն ՝ յուրաքանչյուր նեյրոն կապված է սկզբնական պատկերի ֆիքսված կետի, ինչպես նաև ընկալունակ դաշտի հետ (մուտքի պատկերի տարածք, որը մշակվում է այս նեյրոնի կողմից): Յուրաքանչյուր շերտի յուրաքանչյուր վայրում կան մի շարք տարբեր նեյրոններ, որոնցից յուրաքանչյուրն ունի իր սեփական մուտքային կշիռները ՝ կապված նախորդ շերտի ուղղանկյուն հատվածի նեյրոնների հետ: Տարբեր մուտքային ուղղանկյուն բեկորներ `նույն կշիռներով, կապված են տարբեր վայրերի նեյրոնների հետ:

Նախշերի ճանաչման համար խորը նյարդային ցանցի ընդհանուր ճարտարապետությունը ներկայացված է Նկար 5-ում: Մուտքային պատկերը ներկայացված է որպես պատկերի պիքսելների կամ փոքր տարածքների հավաքածու (օրինակ ՝ 5-ից -5 պիքսել)

Բրինձ 5. Կոնվոլյուցիոն նյարդային ցանցի դիագրամ

Որպես կանոն, խորը նյարդային ցանցերը պատկերված են պարզեցված ձևով ՝ որպես մշակման փուլեր, որոնք երբեմն կոչվում են զտիչներ: Յուրաքանչյուր փուլ տարբերվում է մյուսից մի շարք բնութագրերով, ինչպիսիք են ընկալունակ դաշտի չափը, առանձնահատկությունները, որոնք ցանցը սովորում է ճանաչել տվյալ շերտում և յուրաքանչյուր փուլում կատարվող հաշվարկի տեսակը:

Խորը նյարդային ցանցերի կիրառման ոլորտները, ներառյալ կոնվոլյուցիոն ցանցերը, չեն սահմանափակվում միայն դեմքի ճանաչմամբ: Դրանք լայնորեն օգտագործվում են խոսքի և ձայնային ազդանշանների ճանաչման, տարբեր տեսակի սենսորների ընթերցումների մշակման կամ բարդ բազմաշերտ պատկերների (օրինակ ՝ արբանյակային քարտեզներ) կամ բժշկական պատկերների (ռենտգենյան պատկերներ, fMRI պատկերներ-տես) հատվածների բաժանման համար:

Կենսաչափության և դեմքի ճանաչման նյարդային ցանցերը

Recognitionանաչման բարձր ճշգրտության հասնելու համար նյարդային ցանցը նախապես վարժեցվում է պատկերների մեծ զանգվածի վրա, օրինակ, օրինակ ՝ MegaFace տվյալների բազայում: Սա դեմքի ճանաչման հիմնական ուսուցման մեթոդն է:

Բրինձ 6. MegaFace- ի տվյալների բազան պարունակում է ավելի քան 690 հազար մարդու 1 մլն պատկեր

Այն բանից հետո, երբ ցանցը մարզվել է դեմքեր ճանաչելու համար, դեմքի ճանաչման գործընթացը կարելի է նկարագրել հետևյալ կերպ (Նկար 7): Նախ, պատկերը մշակվում է դեմքի դետեկտորի միջոցով. Ալգորիթմ, որը դեմքով հայտնաբերում է պատկերի ուղղանկյուն հատվածը: Այս հատվածը նորմալացված է, որպեսզի ավելի հեշտ մշակվի նյարդային ցանցի միջոցով. Լավագույն արդյունքը կհասնի, եթե բոլոր մուտքային պատկերները լինեն նույն չափի, գույնի և այլն: Նորմալացված պատկերը մշակվում է նյարդային ցանցի մուտքագրման համար: ըստ ալգորիթմի: Այս ալգորիթմը սովորաբար ընկերության յուրահատուկ զարգացումն է `ճանաչման որակը բարելավելու համար, սակայն կան նաև այս խնդրի« ստանդարտ »լուծումներ: Նեյրոնային ցանցը կառուցում է յուրահատուկ հատկությունների վեկտոր, որը հետագայում փոխանցվում է տվյալների բազա: Որոնման համակարգը այն համեմատում է տվյալների բազայում պահվող հատկությունների բոլոր վեկտորների հետ և որոնման արդյունքը տալիս է որոշակի թվով անունների կամ օգտագործողի պրոֆիլների տեսքով ՝ դեմքի նմանատիպ հատկանիշներով, որոնցից յուրաքանչյուրին տրվում է որոշակի թիվ: Այս թիվը ներկայացնում է մեր առանձնահատկությունների վեկտորի նմանությունը աստիճանի տվյալների բազայում:

Բրինձ 7. Դեմքի ճանաչման գործընթաց

Ալգորիթմի որակի որոշում

Ճշգրտություն

Երբ ընտրում ենք, թե որ ալգորիթմը կիրառել օբյեկտի կամ դեմքի ճանաչման խնդրի վրա, մենք պետք է ունենանք տարբեր ալգորիթմների արդյունավետությունը համեմատելու միջոց: Այս մասում մենք նկարագրելու ենք այն գործիքները, որոնցով դա արվում է:

Դեմքի ճանաչման համակարգի որակը գնահատվում է մի շարք չափանիշների հիման վրա, որոնք համապատասխանում են կենսաչափության միջոցով համակարգը նույնականացնելու համակարգի բնորոշ սցենարներին:

Որպես կանոն, ցանկացած նյարդային ցանցի աշխատանքը կարող է չափվել ճշգրտությամբ. Պարամետրերը սահմանելուց և ուսուցման գործընթացը ավարտելուց հետո ցանցը փորձարկվում է թեստային հավաքածուի վրա, որի համար մենք ունենք ուսուցչի պատասխանը, բայց որը առանձին է վերապատրաստման հավաքածու: Սովորաբար, այս պարամետրը քանակական միջոց է `մի թիվ (հաճախ տոկոսային հարաբերությամբ), որը ցույց է տալիս, թե որքան լավ է համակարգը կարողանում ճանաչել նոր օբյեկտները: Մեկ այլ տարածված միջոց է սխալը (այն կարող է արտահայտվել որպես տոկոս կամ թվային համարժեքով): Այնուամենայնիվ, կան ավելի ճշգրիտ միջոցներ կենսաչափության համար:

Ընդհանուր առմամբ կենսաչափության և մասնավորապես դեմքի ճանաչման կենսաչափության մեջ կիրառման երկու տեսակ կա ՝ ստուգում և նույնականացում: Հաստատումը որոշակի ինքնություն հաստատելու գործընթաց է `անհատի պատկերի (դեմքի դիմագծերի կամ հատկությունների այլ վեկտորի, օրինակ ՝ ցանցաթաղանթի կամ մատնահետքերի) համեմատման միջոցով` նախկինում պահված մեկ կամ մի քանի կաղապարների հետ: Նույնականացումը անհատի ինքնությունը որոշելու գործընթաց է: Կենսաչափական նմուշները հավաքվում և համեմատվում են տվյալների բազայի բոլոր կաղապարների հետ: Առանձնահատկությունների փակ փաթեթում առկա է նույնականացում, եթե ենթադրվում է, որ տվյալների շտեմարանում անձ կա: Այսպիսով, ճանաչումը համատեղում է տերմիններից մեկը կամ երկուսը `ստուգում և նույնականացում:

Հաճախ, համեմատության ուղղակի արդյունքից բացի, պահանջվում է գնահատել համակարգի որոշման «վստահության» մակարդակը: Այս արժեքը կոչվում է «նմանության գնահատական» (կամ նմանության գնահատական): Նմանության ավելի բարձր միավորը ցույց է տալիս, որ համեմատված երկու կենսաչափական նմուշներն ավելի նման են:

Գոյություն ունեն համակարգի որակը գնահատելու մի շարք մեթոդներ (ինչպես ստուգման, այնպես էլ նույնականացման խնդիրներով): Նրանց մասին կխոսենք հաջորդ անգամ: Եվ դուք մնացեք մեզ հետ և մի հապաղեք մեկնաբանություններ թողնել և հարցեր տալ:

ՆՇՈՄՆԵՐ

1. Ֆուկուսիմա (1980) «Նեոկոգնիտրոն. Ինքնակազմակերպվող նյարդային ցանցի մոդել ՝ օրինակի ճանաչման մեխանիզմի համար, որը չի ազդում դիրքի փոփոխության վրա», Կենսաբանական կիբերնետիկա:
2. LeCun, B. Boser, J.S. Denker, D. Henderson, R.E. Հովարդ, Վ. Հաբարդ և Լ. Դ. Jackel (1989) «Backpropagation Applied Handwritten Zip Code Recognition», Neural Computation, vol. 1, էջ, 541-551:
3. Jiaxuan You, Xiaocheng Li, Melvin Low, David Lobell, Stefano Ermon Deep Gaussian գործընթացը բերքի եկամտաբերության կանխատեսման համար ՝ հիմնված հեռահար զգայարանների տվյալների վրա:
4. Յան Գուդֆելոու, Յոշուա Բենգիո, Ահարոն Կուրվիլ (2016) Deep Learning. MIT մամուլ:
5. Poh, C-H: Chan, J. Kittler, Julian Fierrez (UAM), and Javier Galbally (UAM) (2012) Metrics Description For Evaluation of Biometric Performance.