Алгоритмы ML: от регрессии до бустинга
Классическое машинное обучение — то, что решает на ноутбуке за минуты: классификация тикетов, детекция аномалий, прогнозы на табличных данных. Пока вокруг шумят про LLM, бустинг остаётся королём табличных задач — дешёвле, точнее и предсказуемее любой генеративной модели.
Как устроен курс. Тот же принцип, что и во всём треке: каждый алгоритм появляется как ответ на конкретную задачу, а не как формула. Ключевые идеи закрепляются сниппетами в песочнице (чистый Python, детерминированные, можно ломать): градиентный спуск на линии, дерево решений с печатью вопросов, лес из бутстрапов, toy-бустинг с residuals, ROC-кривая на скорах.
Пять блоков:
- Основы обучения (модули 1–3) — таксономия задач, kNN, линейная регрессия и градиентный спуск, логистическая регрессия и порог решения.
- Деревья и ансамбли (4–6) — деревья решений, баггинг и случайный лес, градиентный бустинг (XGBoost/LightGBM/CatBoost).
- Метрики и данные (7–8) — от confusion matrix до ROC-AUC; фичи, кодирование, пропуски и target leakage.
- Без учителя и подбор модели (9–11) — кластеризация k-means, аномалии (мостик к дежурству SRE), кросс-валидация и выбор модели.
- Практика и мостик к LLM (12–13) — капстоун на табличных данных (sklearn) и честное сравнение «ML или LLM под задачу».
Что нужно. Python на уровне «прочитать чужой скрипт» — песочница покроет всю теорию; для капстоуна (модуль 12) пригодится локальный python3 со sklearn. Аккаунты и GPU не нужны: классический ML учится на вашем ноутбуке.
Связь с курсом «Дообучение LLM». Курсы независимы, но усиливают друг друга: переобучение и градиентный спуск из М7, метрики из М8 llm-курса здесь углубляются; финальный модуль 13 сводит оба курса в одну карту решений. Рекомендуемый порядок — сначала этот курс, затем llm-finetuning.
Темп: ~20 часов (модули 1–3 — по 1.5 ч, деревья и ансамбли 4–6 — по 1.5 ч, метрики и данные 7–8 — по 2 ч, без учителя и подбор 9–11 — по 1.5 ч) плюс уик-энд на капстоун (модуль 12).
Маршрут
| Модуль | Тема | Что отрабатываем |
|---|---|---|
| 1. Что такое ML и когда он нужен | таксономия задач | регрессия / классификация / кластеризация, kNN |
| 2. Линейная регрессия и градиентный спуск | первый обучаемый алгоритм | MSE, GD, learning rate |
| 3. Логистическая регрессия | классификация с вероятностями | сигмоида, log loss, порог |
| 4. Деревья решений | вопросы и выигрыш | энтропия/Джини, глубина, обрезка |
| 5. Баггинг и случайный лес | ансамбль параллельно | bootstrap, голосование, OOB |
| 6. Градиентный бустинг | ансамбль последовательно | residuals, XGBoost/LightGBM |
| 7. Метрики классификации | чем мерить | precision/recall/F1, ROC-AUC |
| 8. Фичи и утечка данных | сырьё модели | one-hot, пропуски, target leakage |
| 9. Кластеризация | без учителя | k-means, elbow, масштабирование |
| 10. Аномалии | выбросы | z-score, IQR, isolation forest |
| 11. Кросс-валидация и выбор модели | честная оценка | k-fold, grid search, «какая модель когда» |
| 12. Капстоун на табличных данных | полный цикл | baseline → бустинг → метрики |
| 13. ML или LLM | выбор под задачу | маршрутизация, гибриды, стоимость |
Результат курса: вы смотрите на табличную задачу и за минуты выбираете семейство моделей, готовите данные без утечек, обучаете бустинг, меряете честными метриками — и знаете, когда задачу лучше отдать LLM (модуль 13 — мостик ко второму курсу трека).