Дообучение LLM: от токена до своей модели
Курс для тех, кто умеет в бэкенд, но имеет пробел в ML: большие языковые модели — с нуля и до своей дообученной модели в проде. Без матана и вывода формул: каждый механизм появляется как ответ на конкретную задачу, ключевые идеи закрепляются в песочнице сайта (чистый Python, всё запускается и ломается прямо на странице), а настоящая практика идёт в Yandex Cloud.
Как устроен курс. Модули 1–3 разбирают, что происходит внутри LLM: токены и эмбеддинги, attention и предсказание следующего токена, декодирование и контекст. Дальше — инженерия: когда дообучение вообще нужно (а когда промпт или RAG дешевле), как готовить датасет, что LoRA делает с весами и почему QLoRA лезет в 16 ГБ, как читать кривые обучения и как оценить качество до выката. Модули 9–11 — практика в облаке: карта AI-стека Yandex Cloud, полный цикл тюнинга YandexGPT Lite через AI Studio SDK и QLoRA-дообучение open-weights модели в DataSphere. Финал — эксплуатация (версии, A/B, fallback, сбор фидбека) и капстоун: сквозной доменный ассистент с критериями приёмки.
Пять блоков:
- Как устроена LLM (модули 1–3) — токены, эмбеддинги, attention, декодирование, контекст и chat template.
- Решение и данные (4–5) — лестница «промпт → RAG → fine-tuning», форматы датасетов и гигиена данных.
- Механика дообучения (6–8) — LoRA/QLoRA и VRAM-бюджеты, гиперпараметры и переобучение, оценка качества и regression suite.
- Практика на Yandex Cloud (9–11) — карта сервисов и деньги, тюнинг YandexGPT Lite через AI Studio SDK, QLoRA в DataSphere.
- Эксплуатация и капстоун (12–13) — версии и fallback, фидбек-петля; доменный ассистент за уик-энд.
Что нужно. Python на уровне «прочитать чужой скрипт» (песочница поможет), аккаунт Yandex Cloud со стартовым грантом для практики модулей 9–11 и капстоуна; GPU на своём компьютере не нужен. Для практики — ещё curl и привычка читать чужие ноутбуки.
Темп: ~22 часа чистого времени до капстоуна (основы 1–3 — по 1–1.5 ч, решение и данные 4–5 — по 1.5–2 ч, механика 6–8 — по 1.5–2 ч, облако 9–11 — по 2–2.5 ч плюс ожидание обучения, эксплуатация 12 — 2–2.5 ч) и уик-энд (10–12 ч) на капстоун.
Маршрут
| Модуль | Тема | Что отрабатываем |
|---|---|---|
| 1. Токены и эмбеддинги | текст как числа | BPE, косинусная близость |
| 2. Трансформер без магии | attention на игрушке | Q·K, softmax, взвешенная сумма |
| 3. Инференс и декодирование | температура, top-p, контекст | управление генерацией |
| 4. Промпт, RAG или fine-tuning | лестница решений | выбор ступени под задачу |
| 5. Датасет — 80% результата | форматы и гигиена | JSONL, дедуп, train/val/test |
| 6. LoRA и QLoRA | что происходит с весами | низкоранговые дельты, VRAM-бюджет |
| 7. Гиперпараметры | epochs, LR, переобучение | чтение кривых train/val |
| 8. Оценка качества | golden set, LLM-as-judge | regression suite до выката |
| 9. AI-стек Yandex Cloud | карта сервисов и деньги | AI Studio, DataSphere, квоты |
| 10. Тюнинг YandexGPT Lite | AI Studio SDK | полный цикл до своей модели |
| 11. Open-weights в DataSphere | QLoRA на своей GPU-конфигурации | ноутбук, чекпойнты, OOM |
| 12. Модель в бою | версии, A/B, fallback | деградация без падения фичи |
| 13. Капстоун | доменный ассистент | датасет → тюнинг → eval → прод |
Результат курса: вы понимаете, что LLM делает с текстом на каждом шаге, осознанно выбираете между промптом, RAG и дообучением, сами собираете и чистите датасет, запускаете тюнинг в Yandex Cloud (и знаете, сколько это стоит), оцениваете качество до выката и выкатываете так, что модель можно откатить, а фидбек — собрать и превратить в следующую итерацию датасета.