ЛентаСтатьиЗаметкиКурсы
Рецепты

Искусственный интеллект и ML/LLM

Практический трек про машинное обучение и большие языковые модели: классический ML на табличных данных, устройство и дообучение LLM до своего доменного ассистента на Yandex Cloud.

с нуля в ML, бэкенд-опыт желателен~50 ч

Состав трека

  1. 1
    Дообучение LLM: от токена до своей модели

    Как устроены большие языковые модели и как их дообучать под свою задачу: токены и attention, выбор между промптингом, RAG и fine-tuning, датасеты и гигиена данных, LoRA/QLoRA и VRAM-бюджеты, оценка качества, полный цикл тюнинга YandexGPT Lite через AI Studio SDK и QLoRA на open-weights модели в DataSphere, эксплуатация с версиями и fallback — и капстоун: доменный ассистент за уик-энд.

  2. 2
    Алгоритмы ML: от регрессии до бустинга

    Классический ML для инженера: регрессии и градиентный спуск, деревья решений и ансамбли (лес, бустинг), метрики от confusion matrix до ROC-AUC, фичи и утечка данных, кластеризация и аномалии, кросс-валидация — и выбор «ML или LLM под задачу». Каждый алгоритм через задачу, сниппеты в песочнице на чистом Python.

О треке

Трек про ML и ИИ для инженеров без ML-базы: сначала классическое машинное обучение — регрессии, деревья, ансамбли, метрики — на интуициях и сниппетах в песочнице; затем большие языковые модели — от токенов и attention до рабочего конвейера дообучения и эксплуатации на Yandex Cloud (AI Studio, DataSphere, Object Storage).

Философия та же, что во всех треках платформы: каждый механизм появляется как ответ на конкретную задачу, а не как абстракция сама по себе. «Что такое эмбеддинг» — потому что нужен поиск похожих тикетов; «что такое бустинг» — потому что классификатор тикетов дешевле и точнее любого генеративного решения; «что такое LoRA» — потому что полное дообучение не лезет в память GPU; «что такое golden set» — потому что «на глаз стало лучше» однажды окажется ошибкой на проде.

Карта направлений

НаправлениеГде разобрано
Таксономия задач ML: регрессия / классификация / кластеризация«Алгоритмы ML», модуль 1
Градиентный спуск и переобучение«Алгоритмы ML», модули 2, 4, 6; «Дообучение LLM», модуль 7
Деревья и ансамбли: лес, бустинг«Алгоритмы ML», модули 4–6
Метрики качества: precision/recall, ROC-AUC«Алгоритмы ML», модуль 7; «Дообучение LLM», модуль 8
Данные, фичи, утечка«Алгоритмы ML», модули 5, 8; «Дообучение LLM», модуль 5
Устройство LLM: токены, attention, декодирование«Дообучение LLM», модули 1–3
LoRA/QLoRA и VRAM-бюджеты«Дообучение LLM», модуль 6
Yandex Cloud: AI Studio, DataSphere, деньги и квоты«Дообучение LLM», модули 9–11
Эксплуатация: версии, A/B, fallback, фидбек«Дообучение LLM», модуль 12
Выбор «ML или LLM под задачу»«Алгоритмы ML», модуль 13

Маршрут

  1. «Алгоритмы ML: от регрессии до бустинга» — фундамент классического ML: таксономия задач и kNN (1), градиентный спуск (2–3), деревья и ансамбли (4–6), метрики и фичи с утечкой (7–8), кластеризация, аномалии и кросс-валидация (9–11), капстоун на табличных данных и карта «ML или LLM» (12–13).
  2. «Дообучение LLM: от токена до своей модели» — ядро LLM-части: как LLM устроена (модули 1–3), когда дообучать, а когда промптить или делать RAG (модуль 4), данные (5), механика LoRA/QLoRA и гиперпараметры (6–7), оценка качества (8), практика в Yandex Cloud — тюнинг YandexGPT Lite через AI Studio SDK и QLoRA на open-weights модели в DataSphere (9–11), эксплуатация (12) и капстоун — доменный ассистент за уик-энд (13).

На подходе (кандидаты на следующие курсы, следите за треком): RAG-системы (поисковая база, эмбеддинги, реранкинг, гибрид с дообучением) и LLM-агенты (tool use, планирование, guardrails). Полезные соседи уже сейчас: наблюдаемость и SLO — «Архитектурный полигон» модуль 6; Kafka-пайплайны для логов фидбека — трек «Брокеры сообщений».