01 Tokenization

Warning

🚧 Տեսանյութը դեռ չկա։

🎲 Random

TBD

📚 Նյութը

• LLM-1 — Tokenization: ինչպես է տեքստը դառնում թվերի հաջորդականություն։ Դասը սկսվում է խնդիրներից. ինչու՞ մոդելը չի կարողանում հաշվել strawberry-ի r-երը, ինչու՞ է թվաբանությունը դժվար (ստորակետերը GPT-4-ի ճշտությունը 84%-ից հասցնում են 99%-ի)։ Հետո՝ Unicode և UTF-8 (ինչու՞ է 256 բայթը բավական), BPE-ն ձեռքով, WordPiece-ը (ինչու՞ ##), Unigram-ը և SentencePiece-ը։ Վերջում՝ glitch token-ներ (SolidGoldMagikarp), ամենաերկար token-ները, «հայկական հարկը» (նույն նախադասությունը՝ 102 token GPT-4-ում, 19՝ GPT-4o-ում) և թե ում tokenizer-ն է բաց։ PDF · PDF (նշումներով)

• 02 — Գործնական՝ հայերենը tokenizer-ի աչքով: երեք մաս։ (1) BPE tokenizer զրոյից՝ հայերեն Վիքիպեդիայի վրա. նրա առաջին merge-ը «ա» տառն է՝ հավաքված իր երկու բայթից։ (2) Նույն հայերեն տեքստը 14 իրական tokenizer-ով (2018-2026)՝ ինչքան թանկ է հայերենը (նույն իմաստը՝ GPT-4-ում ×9.16, GPT-4o-ում ×1.73 անգամ ավելի շատ token, քան անգլերենում)։ (3) Glitch token-ների որս GPT-4o-ի բառարանում և ուղիղ փորձ՝ կարո՞ղ են մոդելներն այդ token-ները կրկնել։ Լուծումը՝ 02_armenian_tokens_solution.ipynb (download) · view on GitHub

TipԼրացուցիչ

• 📺 Խիստ խորհուրդ է տրվում՝ Andrej Karpathy, Let’s build the GPT Tokenizer
• 🧪 Փորձարկեք ինքներդ՝ tiktokenizer.vercel.app. մուտքագրեք տեքստ և տեսեք յուրաքանչյուր token-ը և դրա ID-ն։

🏡 Տնային

TBD