16 JEPA և աշխարհի մոդելներ

Warning

🚧 Երկու դասախոսության սլայդերը պատրաստ են (L39, L40)։ Տեսանյութը դեռ չի ձայնագրվել, տնային աշխատանք դեռ չկա։

Note

Հենվում է ch12-ի (CLIP), ch11-ի (RL, պլանավորում) և ch15-ի (VLA) վրա։ Առանց CLIP-ի առաջին դասախոսության կեսը կկորչի, իսկ առանց ch15-ի՝ երկրորդի ամբողջ վեճը։

🎲 Random

TBD

📚 Նյութը

Երկու դասախոսություն (սլայդերը ml/ch16_jepa/ պանակում)։

• L39 — Predicting the Wrong Thing — ամբողջ գլխի հարցը՝ ի՞նչ պետք է մոդելին խնդրենք կանխատեսել։ Ինչու է պիքսելների կանխատեսումը փչացնում մոդելը, ի՞նչ է joint-embedding ճարտարապետությունը և ինչու է այն միայնակ անբավարար, ի՞նչ է փլուզումը (collapse) և ինչ գնով է այն կանխվում, ապա՝ I-JEPA-ի մեխանիզմը և արդյունքների ազնիվ ընթերցումը։ PDF
• L40 — Working Up the Alternative Stack — նույն գաղափարը՝ վիդեոյի, գործողությունների և պլանավորման վրա։ Հիմնական կառուցվածքը՝ այլընտրանքային շերտակույտ․ vision encoder → vision-language մոդել → ռոբոտ, և JEPA-ն ունի թեկնածու երեք շերտի համար էլ։ Վերջում՝ LeCun-ի միլիարդանոց խաղադրույքը և թե ինչ են ասում չափումները։ PDF

ImportantԳլխի ամենակարևոր թիվը — նույն մոդելը, միայն թիրախն է փոխվում

Նույն ճարտարապետություն, նույն masking, նույն տվյալներ։ Մոդելը սովորեցվում է երկու անգամ, և միակ տարբերությունը՝ ինչ է կանխատեսում.

Թիրախը	Դարաշրջաններ	1% ImageNet top-1
ներկայացում (target encoder-ի ելքը)	500	66.9
պիքսելներ	800	40.7

26.2 միավոր տարբերություն — ընդ որում պարտվող տարբերակը ստացել է 60%-ով ավելի շատ ուսուցում։

Պատճառը մեկ նախադասությամբ․ պիքսելային կորուստը ստիպում է մոդելին վճարել անկանխատեսելի մանրուքի համար։ LeCun-ի օրինակը՝ dashcam-ի վիդեո կանխատեսող մոդելը իր հզորության մեծ մասը ծախսում է ճանապարհեզրի տերևների շարժման վրա — դրանք ըստ էության անկանխատեսելի են, բայց շատ պիքսել են։

Սա նույն փաստարկն է, որ դուք արդեն տեսել եք ch15-ում (երկու ճիշտ հետագծի միջինը երրորդ՝ սխալ հետագիծն է) և ch10-ում։ Այս գլխում այն հայտնվում է չորս անգամ։

WarningԵրեք բան, որ փոխում են, թե ինչպես եք կարդում ցանկացած JEPA-ի պնդում

1. I-JEPA-ն չի հաղթել** DINO-ին։** Իր կատեգորիայում (առանց ձեռքով պատրաստված augmentation-ների) այն հստակ առաջատար է՝ 79.3 ընդդեմ MAE-ի 77.2-ի, և 4–5 անգամ ավելի քիչ դարաշրջանով։ Բայց DINO-ն 80.1 է, iBOT-ը՝ 81.0։ Հոդվածն ինքն է գրում՝ «decreases the gap»։ 2026-ին կանխադրված image encoder-ը DINOv2/v3-ն է — այսինքն հենց այն ընտանիքը, որի դեմ I-JEPA-ն դիրքավորվել էր։

2. «Աշխարհի մոդելը» դեռ չի սովորել ֆիզիկա։ Meta-ն V-JEPA 2-ի հետ հրապարակեց երեք նոր benchmark (IntPhys 2, MVPBench, CausalVQA)։ Մարդիկ՝ առաստաղին մոտ։ Մոդելները, ներառյալ իրենցը, պատահականության մակարդակին։ Այսինքն՝ մոդելը, որը գործողությունների կանխատեսման մեջ state of the art է, չի կարողանում ասել՝ տեսարանը ֆիզիկապես հնարավո՞ր է։

3. Երկրորդական աղբյուրները ուռճացնում են։ Լայն տարածում գտած ամփոփումը գրում է՝ I-JEPA 72.4 ընդդեմ MAE-ի 59.8-ի։ Հոդվածի Աղյուսակ 2-ը՝ 73.3 ընդդեմ 71.5-ի։ 12.6 միավոր հայտարարված տարբերությունը իրականում 1.8 է։ Իսկ իրական պատմությունը ավելի լավն է՝ I-JEPA-ն դա արել է 300 դարաշրջանում 1600-ի փոխարեն։

Երկու դասախոսությունն էլ գրված են այնպես, որ կողմ չբռնեն․ վերջին սլայդը հենց դա է ասում։

TipԵրկու գաղափար, որ արժե հիշել նույնիսկ եթե JEPA-ն երբեք չօգտագործեք

• Կորուստը միշտ չէ, որ ասում է՝ մոդելն աշխատում է։ Այստեղ փլուզված լուծման կորուստը ճիշտ զրո է՝ հնարավոր լավագույն արժեքը։ Ուստի ընկնող կորստի կորագիծը ապացույց չէ, և մոդել ընտրելու համար պետք է downstream probe։
• Benchmark-ը կարելի է կառուցել այնպես, որ կարճ ճանապարհները չաշխատեն։ MVPBench-ը վերցնում է նվազագույնով տարբերվող վիդեո զույգեր՝ տարբեր ճիշտ պատասխաններով։ Մոդելը, որը հենվում է caption-ի prior-ի կամ մեկ կադրի վրա, կառուցվածքով ստանում է պատահականության արդյունք։

🏡 Տնային

TBD