06 Feature Engineering
🚧 Երկու դասախոսության սլայդերը պատրաստ են (26, 27)։ Տեսանյութերը դեռ չեն ձայնագրվել, տնային աշխատանքը դեռ չի գրվել։
🎲 Random
TBD
📚 Նյութը
Երկու դասախոսություն (սլայդերը ml/06_feature_engineering/ պանակում)։ Առաջինը features ստեղծում է, երկրորդը՝ ջնջում։
- [26] Feature Engineering — գլուխը սկսվում է անհարմար փաստից․ bike-sharing-ի 11 features-ից, որոնց վրա արդեն երեք դաս աշխատել եք, ուղիղ մեկն է չմշակված։ Հետո՝ երեք աղբյուր նոր feature-ի համար․ նույն տողից (հարաբերություններ, տարբերություններ, interactions, binning), շատ տողերից (group-by aggregations, lags, rolling windows) և տվյալներից դուրս (joins, գեոտվյալներ, high-cardinality crosses, տեքստ)։ Կենտրոնական դրվագը՝ target encoding-ի leak-ը, որը թաքնված է նախորդ սլայդի աղյուսակում, և out-of-fold encoding-ը որպես ուղղում — plus ինչու է
Pipeline-ը միակ տեղը, որտեղ դա իսկապես չի արտահոսում։ Վերջում՝ ավտոմատ feature engineering-ի գրադարանները, հինգ թակարդ և feature store-երը։ PDF - [27] Feature Selection — հակառակ ուղղությունը։ Հինգ պատճառ feature ջնջելու, և երբ չարժե ընդհանրապես։ Կարևոր վերաշարադրում․ [23]-ի interpretability-ի գործիքները (PFI, LOCO, SAGE) արդեն selection-ի ալգորիթմներ են, ուստի կեսը գիտեք։ Հետո երեք ընտանիք — filter (variance threshold, univariate, և independence trap-ը), wrapper (RFE, sequential selection, Boruta) և stability selection։ Boruta-ն bike-ի վրա տալիս է ուղիղ հակասություն նախորդ մեթոդների հետ, և դա սլայդում է, ոչ թե թաքցված։ Ամենակարևոր կանոնը վերջում է․ selection-ը loop-ից դուրս անելը նույն սխալն է, ինչ [06]-ի leakage-ը։ PDF
Երկուսն էլ նույն հարցն են տալիս տարբեր կողմերից՝ ո՞ր սյուներն է մոդելը պետք է տեսնի։ Եվ երկուսում էլ նույն թակարդն է․ եթե որոշումը (encoding-ը կամ selection-ը) կայացվում է cross-validation-ի ցիկլից դուրս, ապա գնահատականը լավատեսական է, և դուք դա երբեք չեք նկատի test-ի վրա։
📝 Թեմայի վերաբերյալ հարցաշար (Google Form): TBD
🏡 Տնային
TBD
Այս գլխի չափումը՝ feature engineering-ը արժե +81.5 MAE Ridge-ին և −4.3 forest-ին, և եզրակացությունը՝ «feature engineering is not dead — it moved»։
Գլուխ 14-ը (Tabular Foundation Models) նույն ուղղությամբ ավելի հեռու է գնում՝ մոդել, որը կլանում է դրանից էլ ավելին։ Բայց այն չի դիպչում այն մասին, որ այս գլուխն ասաց, թե դեռ արժե՝ join-երը, դոմենային գիտելիքը, և այն հատկանիշները, որոնց տեղեկությունը պարզապես աղյուսակում չկա։