14 Tabular Foundation Models
🚧 Դասախոսության սլայդերը պատրաստ են (L37)։ Տեսանյութը դեռ չի ձայնագրվել, տնային աշխատանք դեռ չկա։
Այս գլուխը վիճարկում է այն, ինչ սովորեցինք 1–8 գլուխներում։ Մնացած վերջին գլուխները (diffusion, RL, VLM, audio) ավելացնում էին նոր հնարավորություն։ Սա փոխարենը սահման է դնում մի պնդման վրա, որ դասընթացն արդեն արել է․ ch04-ի եզրափակիչ տողը՝ «Trees + ensembles dominate tabular data»։
🎲 Random
TBD
📚 Նյութը
Մեկ դասախոսություն (սլայդերը ml/ch14_tabular_fm/ պանակում)։
- L37 — Tabular Foundation Models — մոդել, որը երբեք չի տեսել ձեր տվյալները, և ոչ էլ որևէ մեկի իրական տվյալները։ Prior-data fitted network-ի գաղափարը, սինթետիկ prior-ը (structural causal models + Bayesian neural networks), երկկողմանի attention-ը (որը միաժամանակ տալիս է կարգից անկախությունը և դարձնում հաշվարկը հնարավոր), ապա՝ ամենակարևորը՝ որտեղ է այս ամենը դադարում աշխատել։ PDF
Hollmann et al., Nature 637 (9 հունվարի 2025)․
«TabPFN … outperforms all previous methods on datasets with up to 10,000 samples by a wide margin … In 2.8 s, TabPFN outperforms an ensemble of the strongest baselines tuned for 4 h.»
2.8 վայրկյան ընդդեմ 4 ժամ tuning-ի — բայց մինչև ~10,000 տող։ Այդ երկու փաստն էլ պետք է հիշել միասին։ Դասախոսությունը հենց այդ սահմանի մասին է։
Ուշադրություն մի նրբության վրա․ 10,000-ը այն է, որտեղ մոդելը հաղթում է։ Նույն հոդվածը առանձին հայտնում է, որ մոդելը կարող է աշխատել մինչև 50 միլիոն բջիջ (օրինակ՝ 5 մլն տող × 10 հատկանիշ) մեկ H100-ի վրա։ Հզորությունը և գերազանցությունը տարբեր պնդումներ են։
Nature-ի 10,000 տողը 2025-ի հունվարի ցուցանիշն է։ 2026-ի TabPFN-3-ը (ընթացիկ default-ը) հայտարարում է, որ գերազանցում է 8 ժամ tuning արած gradient boosting-ին մինչև 1,000,000 տող × 200 հատկանիշ։ Այսինքն՝ առաստաղը բարձրացել է մոտ 100 անգամ 18 ամսում։
Բայց երկու թիվը նույն որակի ապացույց չեն․ 10,000-ը գրախոսված Nature հոդվածից է, 1,000,000-ը՝ արտադրողի սեփական benchmark-ներից։ Երկուսն էլ կարող են ճիշտ լինել, բայց դրանք տարբեր տեսակի ապացույցներ են։ Դասախոսությունը հենց դա էլ սովորեցնում է։
TabPFN-2.5-ի կշիռները թույլատրում են միայն հետազոտություն և ներքին գնահատում․ առևտրային և production օգտագործումը բացառված է, ներառյալ մոդելի արդյունքները (outputs)։ Այսինքն՝ դրանով feature գեներացնելը կամ տվյալ պիտակավորելը նույնպես ընկնում է սահմանափակման տակ։
Հենց դա է պատճառը, որ TabICLv2-ի բաց լինելը իրական ինժեներական որոշում է, ոչ թե ծանոթագրություն։ «Հաղթում է gradient boosting-ին» և «չի կարող գնալ ձեր product-ի մեջ» պետք է լինեն նույն սլայդի վրա։
🏡 Տնային
TBD