07 Recurrent Neural Networks

Warning

🚧 Երկու դասախոսության սլայդերը պատրաստ են (L20, L21)։ Տեսանյութերը դեռ չեն ձայնագրվել, տնային աշխատանք այս գլխում դեռ չկա։

Note

Այս գլխի մի մասը հենվում է LMU I2DL (slds-lmu/lecture_i2dl) նյութի վրա, CC BY 4.0։

🎲 Random

TBD

📚 Նյութը

Երկու դասախոսություն (սլայդերը ml/ch7_rnn/ պանակում)։ Գլուխը կամուրջն է CNN-ից attention․ L16-L19 (CNN) → L20/L21 (RNN) → L24 (attention)։

• L20 — RNN Foundations: ինչու՞ է տեքստը հրաժարվում տեղավորվել fixed-size input-ի մեջ։ Shuffle test-ը ցույց է տալիս, թե ինչ է կորչում, երբ հերթականությունն անտեսվում է, իսկ «shoehorn» հնարքները ցույց են տալիս, թե ինչու կիսատ լուծումները չեն աշխատում։ Հետո՝ մեկ նոր սլաք (hidden state-ը վերադառնում է իր վրա), մեկ RNN քայլի անատոմիան, ամբողջական forward pass իրական թվերով, ինչու՞ tanh, unrolling, parameter sharing, և bidirectional RNN-ները։ Երկրորդ կեսը backprop through time-ն է և ճակատագրական թերությունը․ predict-first frame՝ մարող թվի մասին, ապա ամբողջական արտածում մինչև սեփական արժեքները, ինչու՞ է exploding-ը հեշտ կեսը, և empirical ապացույց, որ գրադիենտն իրոք մարում է։ PDF
• L21 — The Road to Attention: LSTM-ը որպես գումարման (ոչ բազմապատկման) ուղղում — cell state-ը, մեկ քայլի անատոմիան, չորս հավասարումները, և «աշխատու՞մ է» հարցի պատասխանը՝ ապացույց plus գին։ Հետո տեքստը դառնում է թվեր․ tokenization-ի եռաժանիքը, subword-երը իրական tokenizer-ի վրա, և հայերենի հարկը (նույն նախադասությունը հայերեն զգալիորեն ավելի շատ token է արժենում)։ One-hot-ի աղքատությունը → embeddings։ Ապա language modeling-ը քայլ առ քայլ և դեմո․ char-LSTM-ը սովորում է հայերեն գրել։ Վերջում՝ seq2seq, bottleneck-ը, և cliffhanger-ը, որը բացվում է L24-ում։ PDF

TipԵրկու դասի կարմիր թելը

L20-ը ախտորոշում է հիվանդությունը (գրադիենտը մարում է, ուստի երկար կապերը չեն սովորվում), L21-ը տալիս է երկու դեղամիջոց՝ LSTM-ը, որը մեղմացնում է այն, և encoder-decoder-ի bottleneck-ը, որը նոր խնդիր է ստեղծում։ Հենց այդ երկրորդ խնդիրն է, որ attention-ը լուծում է — այնպես որ L24-ը պատահական հաջորդ քայլ չէ, այլ պատասխան կոնկրետ հարցի, որը դրվում է այստեղ։

📝 Թեմայի վերաբերյալ հարցաշար (Google Form): TBD

🏡 Տնային

TBD