03 Decoding

Warning

🚧 Տեսանյութը դեռ չկա։

🎲 Random

TBD

📚 Նյութը

• LLM-2 — Decoding: մոդելը վերադարձնում է հավանականություններ՝ ինչպե՞ս դրանցից ստանալ տեքստ։ Greedy և beam search (և ինչու մեծ beam-ը վատացնում է արդյունքը), log-probability-ներ, temperature (ծայրահեղ դեպքերով), top-k / top-p / min-p, repetition penalty, stop string-եր, structured output, ինչու temperature 0-ն էլ միշտ նույն պատասխանը չի տալիս։ Վերջում՝ speculative decoding (Medusa, EAGLE, DeepSeek-V3-ի MTP) և prompt caching։ PDF · PDF (նշումներով)

TipԼրացուցիչ

• 📖 Patrick von Platen, How to generate text: using different decoding methods for language generation with Transformers
• 📺 3Blue1Brown, Transformers, the tech behind LLMs | Deep Learning Chapter 5 (22:22-ից՝ softmax և temperature)

🏡 Տնային

TBD