07 Classic Methods

Warning

🚧 Դասախոսության սլայդերը պատրաստ են։ Տեսանյութը դեռ չի ձայնագրվել, տնայինի notebook-ը դեռ չի գրվել (առաջադրանքը նկարագրված է սլայդի վերջում)։

Note

SVM-ի արտածումը, dual-ը, soft margin-ը և kernel trick-ը հենվում են LMU SL (slds-lmu/lecture_sl) նյութի վրա, CC BY 4.0։

🎲 Random

TBD

📚 Նյութը

Մեկ դասախոսություն (սլայդերը ml/07_classic_methods/ պանակում)․

  • [12b] SVM and classic methods — հինգ դասական գաղափար, որոնք արժե իմանալ, թեև ոչ մեկը այսօր SOTA չէ․
    • KNN — «ծույլ» սովորում առանց training-ի, k-ն որպես bias-variance-ի բռնակ, երեք թակարդ, և որտեղ գաղափարը դեռ հաղթում է։
    • Naive Bayes — «միամիտ» ենթադրությունը և ինչու է այն աշխատում, չնայած ակնհայտ սխալ լինելուն։ Generative vs discriminative տարբերությունը այստեղ է դրվում։
    • LDA / QDA — գաուսյան բլթակներ + Bayes, ինչու է ընդհանուր \(\Sigma\)-ն սահմանը դարձնում գծային, և LDA-ն որպես վերահսկվող dimensionality reduction (համեմատեք [13b]-ի PCA-ի հետ)։
    • SVM — «ամենալայն փողոցից» մինչև quadratic program, support vector-ների նոսրությունը, soft margin-ը որպես hinge-ERM, dual-ը, և kernel trick-ը՝ RBF-ը ձեռքով հաշված որպես նմանության թիվ։
    • Gaussian processes — բաշխում ֆունկցիաների վրա, մեկ բանաձև (պայմանավորում մեծ գաուսյանի վրա), և որտեղ դա իսկապես օգնում է։
    PDF
TipԻնչու է այս դասը կա

Դասը չի ավարտվում «օգտագործեք SVM»-ով։ Վերջին բաժինը նույն տվյալները կտրում է հինգ եղանակով և հարցնում՝ ո՞րին կդիմեիք և երբ։ Իսկական նպատակը փոխանցելի գաղափարներն են՝ margin, kernel, generative vs discriminative, և ֆունկցիաների վրա բաշխում — սրանք վերադառնում են ամբողջ դասընթացի ընթացքում։

📝 Թեմայի վերաբերյալ հարցաշար (Google Form): TBD

🏡 Տնային

Run the classics, compare the ideas 🧀🧀

Notebook-ը դեռ չկա, բայց առաջադրանքը սահմանված է սլայդի վերջին frame-ում․

  1. Fit արեք KNeighborsClassifier, GaussianNB, LinearDiscriminantAnalysis / QuadraticDiscriminantAnalysis, և SVC (linear vs rbf) cheese / Titanic տվյալների վրա։ Համեմատեք ձեր ծառերի և logistic regression-ի baseline-ների հետ։
  2. Գծեք decision boundary-ները․ KNN k=1 vs k=50, ապա linear vs RBF SVM moons/circles-ի վրա։ Նախ scale արեք features-ը և ցույց տվեք, որ դա կարևոր է KNN-ի և SVM-ի համար։
  3. Գրեք 2-3 նախադասություն․ ո՞ր գաղափարն ամենաշատը զարմացրեց ձեզ։
  • Bonus 🎁 — sweep արեք SVM-ի C-ն և gamma-ն ու հետևեք սահմանին, GaussianProcessRegressor 1-D վարձակալության խաղալիքի վրա (գծեք անորոշության գոտին), MultinomialNB spam-ի mini-set-ի վրա, և LDA-ն որպես 2-D պրոյեկցիա PCA-ի դիմաց։

Flag Counter