Программа курса
Темы по неделям, оценивание и правила курса
Цель курса
Курс связывает математические основы с современной практикой машинного обучения. Студенты учатся ставить задачи, анализировать результаты экспериментов и обоснованность выводов, сравнивать модели и объяснять ограничения анализа.
Результаты обучения
К концу курса студенты должны уметь:
- различать цели предсказания, оценивания и принятия решений;
- обосновывать процедуры обучения, валидации и тестирования;
- объяснять предположения основных методов обучения с учителем;
- выявлять переобучение, утечки данных, неверные предположения модели и вводящие в заблуждение метрики;
- проектировать воспроизводимые эксперименты и интерпретировать результаты в контексте задачи.
Темы по неделям
Лекции развивают фундаментальные идеи; практические занятия связывают их с вычислениями, экспериментами и историями. По ссылкам указаны темы для чтения: изучать книги целиком не требуется. Необязательные темы отмечены как дополнительные. Хендбук Яндекса — на русском; большинство других книг и учебных материалов — на английском.
Лекции, практикумы, учебник и лабораторные доступны в соответствующих разделах. Сроки сдачи и инструкции к заданиям публикуются отдельно. Для учебника и лабораторных используются только уже существующие переводы; англоязычные материалы обозначены явно.
| Неделя | Лекция | Практическое занятие | Лабораторная |
|---|---|---|---|
| 1 | Машинное обучение на примере простой модели: от постановки задачи до оценки результата Парадигмы ML; определение обучения Митчелла через опыт, задачу и меру качества; признаки, целевые значения, предсказания, параметры и гиперпараметры; этапы ML-проекта; обучающая, валидационная и тестовая выборки; линейная регрессия в матричной форме; MSE; градиентный спуск на численных примерах. Параметры подбираются по обучающим данным, а гиперпараметры и представления — по результатам на валидационной выборке. Различие между обучением, выбором модели и итоговой оценкой. Границы темы: MSE вводится как целевая функция; вывод MSE из гауссовского правдоподобия рассматривается на неделе 07. Литература: Bishop, PRML: линейная регрессия и метод наименьших квадратов; Хендбук Яндекса: линейные модели. Изучайте целевую функцию; вероятностный вывод — на неделе 07. |
История цифр 3 и 7 От распознавания по среднему изображению и признакам, заданным вручную, к признакам предобученной CNN с фиксированными весами и совместным эмбеддингам изображений и текста; сравнение kNN-решений и PCA-визуализаций. Как смена представления меняет возможности простого классификатора. Расчёт предсказаний регрессии, остатков и одного шага градиентного спуска с одновременным обновлением параметров; почему снижения обучающей ошибки недостаточно. Материалы: лекции — EN, практикумы — EN; учебник. |
Линейная регрессия с нуля Страница лабораторной 1 — EN |
| 2 | Классификация: логистическая регрессия, SVM и ядра Разведочный анализ данных (EDA) на обучающей выборке; масштабирование, кодирование номинальных и порядковых признаков; логиты, сигмоида и логарифм шансов; обучаемые границы решений и полиномиальные признаки; BCE как функция потерь; пороги, матрица ошибок, точность (precision), полнота (recall), F1 и компромиссы на кривых ROC/PR; one-vs-rest, softmax и многоклассовая кросс-энтропия. Различие между значением решающей функции, вероятностью и решением. Границы темы: BCE/CE вводятся и интерпретируются здесь; вывод из правдоподобия Бернулли/категориального распределения и теория информации — на неделе 07. Самостоятельно — SVM и ядра: отступ и опорные векторы; мягкий отступ, шарнирная функция потерь (hinge loss) и параметр C; линейное, полиномиальное и RBF-ядра как неявные отображения признаков; масштабирование, gamma и выбор по валидации. Значение решающей функции не является калиброванной вероятностью. Двойственная задача и условия KKT — дополнительный материал. Литература: Bishop, PRML: линейные модели классификации; Prince, Understanding Deep Learning: обучение с учителем и функции потерь. Основное: логиты, предсказания и применение функций потерь; правдоподобие — на неделе 07. Bishop, PRML: ядерные методы и разреженные ядерные модели. |
Рисуем границу: от данных к решениям Наборы данных «Две луны» и Iris: разведочный анализ, масштабирование, кодирование, линейные и полиномиальные границы решений, значения решающей функции, вероятности и пороги. Изменение порога без переобучения; ошибки классификации и метрики на валидационной выборке. Численная устойчивость и требования к входам BCEWithLogitsLoss/CrossEntropyLoss. Разделы существующего ноутбука о правдоподобии, энтропии и KL относятся к неделе 07.Мост к SVM: сравнение логистической границы с линейным/RBF SVM; масштабирование, C и gamma. Руководство SVM — самостоятельная практика перед лабораторной недели 03. Материалы: лекции — EN, практикумы — EN; учебник. |
EDA и логистическая регрессия Страница лабораторной 2 — EN; ноутбук — RU |
| 3 | Решающие деревья CART для классификации и регрессии; рекурсивное разбиение и путь предсказания; взвешенные критерии разделения, индекс Джини и энтропия; жадный рост, обрезка, ограничения глубины/размера листа и переобучение. Компромисс смещения и разброса как мотивация объединения моделей; построение ансамблей развивается на практическом занятии. Литература: Хендбук Яндекса: решающие деревья; Хендбук Яндекса: ансамбли. |
От неустойчивого дерева к полезному ансамблю Компромисс смещения и разброса, бутстреп и бэггинг, оценка по объектам вне бутстреп-выборки (out-of-bag), случайный лес и разнообразие ансамбля; аддитивные модели, пошаговая/функциональная оптимизация, градиентный бустинг, остатки и уменьшение вклада каждого шага (shrinkage). XGBoost, LightGBM и CatBoost, включая работу с пропусками и категориальными признаками. Кросс-валидация, случайный/байесовский поиск гиперпараметров, защита от утечек и подгонки под таблицу результатов соревнования. TabPFN/TabICL — дополнительное сравнение. Связь с SVM недели 02: сравнение SVM с разными ядрами на масштабированных данных и решающих деревьев в лабораторной. По наблюдению преподавателя, SVM показали лучшие результаты в этой группе; исследуем объяснение для конкретной задачи. Материалы: презентация лекции — RU, презентация практикума — RU; учебник. |
Закрытое соревнование на табличных данных Hidden Pairs — EN |
| 4 | Обучение нелинейных представлений с помощью полносвязных нейронных сетей Обучаемые представления; искусственный нейрон как аффинное преобразование с активацией; почему многослойной сети нужны нелинейные активации; слои, формы тензоров и прямой проход MLP; выбор выходного слоя в зависимости от задачи, логиты, softmax и кросс-энтропия; скалярные вычислительные графы и цепное правило; матричное обратное распространение и PyTorch autograd; цикл обучения, мини-батчи, скорость обучения, состояние оптимизатора, инициализация, валидация, регуляризация и обобщение. Литература: Prince: неглубокие и глубокие сети, обучение моделей и градиенты; Goodfellow et al., Deep Learning: главы 6–8: сети прямого распространения, регуляризация и оптимизация. |
Ода Autograd Изломы ReLU и обученная сеть \(1\to4\to1\); XOR как обучение скрытого представления; пошаговый численный разбор прямого прохода; локальные производные вычислительного графа, суммирование градиентов из разных ветвей и прохождение градиента через ReLU; проверка градиента центральными разностями; батчи по строкам и ручное матричное обратное распространение; сверка с PyTorch autograd; листовые и нелистовые тензоры (leaf/non-leaf), retain_grad(), накопление градиентов, detach() и различие между обратным распространением ошибки и шагом оптимизатора.История: от излома ReLU к XOR — какое скрытое представление упрощает выходную задачу? Разделяем вычисление градиента и обновление параметров, оптимизацию и обобщение. Материалы: лекции — EN, практикумы — EN; учебник. |
— |
| 5 | Визуальные представления и свёрточные нейронные сети Изображения как структурированные данные; свёртка; локальность и разделяемые параметры; дополнение границ (padding), шаг свёртки (stride), пулинг и рецептивное поле; иерархия признаков; остаточные связи; аугментация; перенос обучения и дообучение; сравнение CNN с MLP. Нормализация и предположения об инвариантности; различие между архитектурой, процедурой обучения и результатами оценки качества. Литература: Prince: свёрточные и остаточные сети; Goodfellow et al.: глава 9: свёрточные сети; Хендбук Яндекса: свёрточные сети. |
Свёртка, остаточное обучение и перенос Свёртка с нуля; расчёт выходных размеров; остаточные блоки; пакетная нормализация (batch normalization); аугментация как предположение об инвариантности; предобученный экстрактор признаков (backbone) и обучение с нуля; стратегии дообучения; анализ ошибок; связь с одномерными свёрточными сетями (1D CNN). История: создаём детектор локального паттерна, применяем его в разных позициях и сравниваем MLP с Conv1d на MNIST-1D перед работой со спутниковыми изображениями. Локальные отклики, суммирование градиентов для общих весов и оси нормализации; контролируемое сравнение архитектур. Материалы: лекции — EN, практикумы — EN; учебник. |
Соревнование по классификации изображений Спутниковые изображения — EN |
| 6 | Представления последовательностей: RNN и Transformer Последовательности измерений, слов и патчей изображения; авторегрессия; RNN; интуиция LSTM и GRU; скрытые состояния и затухание градиента; внимание и самовнимание; энкодеры Transformer; токены, эмбеддинги, позиционная информация и маскирование. Обратное распространение во времени; масштабирование внимания, блоки энкодера и выходные головы; каузальный и двунаправленный режимы обработки информации. Литература: Prince: Transformers; Goodfellow et al.: глава 10: моделирование последовательностей. |
Анатомия Transformer и оценка моделей последовательностей Небольшая RNN; обратное распространение во времени; расчёт внимания; каузальное и двунаправленное моделирование; временное разбиение и утечки; выбранные фрагменты Attention Is All You Need; разбор энкодера; связь с Vision Transformer и сравнение CNN/ViT после введения внимания и токенов-патчей. История: робот должен вспомнить отложенную команду; прослеживаем информацию через рекуррентную память, механизмы управления памятью и внимание. Один рекуррентный градиент и одна строка внимания, качество на отложенных данных при разных инициализациях, информация, доступная модели в момент предсказания. Прогнозирование непрерывной волны ведёт к неделе 09. Материалы: лекции — EN, практикумы — EN; существующая русская глава. |
— |
| 7 | Частотный и байесовский подходы; введение в модели со скрытыми переменными Вероятность, условные модели и правдоподобие; MLE, MAP, априорное распределение, маргинальное правдоподобие, апостериорное и предиктивное распределения; частотная и байесовская интерпретации; гауссовская модель → MSE, Бернулли → BCE, категориальная модель → CE; энтропия, кросс-энтропия и KL, их разложение и связь MAP с регуляризацией. Интерпретация через максимум энтропии — дополнительная тема. Идея VAE и теорема Байеса: различие между порождающей моделью и выводом о скрытых причинах наблюдаемого изображения. Априорное распределение, правдоподобие, маргинальное правдоподобие и апостериорное распределение скрытой переменной; энкодер как приближение байесовского вывода, декодер как порождающее направление. Реконструкция, интерполяция и генерация на уровне идеи. Потери VAE, ELBO, математика репараметризации и оптимизация изучаются на неделе 10. Литература: Bishop, PRML: вероятность, байесовская линейная регрессия и приближённый вывод; Goodfellow et al.: глава 3: вероятность и теория информации. |
Обучение по данным: что породило изображение? От зашумлённых измерений и подбора прямой — к апостериорному распределению параметров и распределению предсказаний; роли априорного распределения, правдоподобия и маргинального правдоподобия; сравнение точечной оценки с выводами на основе апостериорного распределения. Затем реконструкции, интерполяции и генерация VAE связывают вывод о скрытых переменных с теоремой Байеса. VAE рассматривается концептуально; расчёт потерь и ELBO — на неделе 10. Разделы существующих материалов о более поздних методах можно читать с опережением. Материалы: лекции — EN, практикумы — EN; учебник. |
Оценка неопределённости — CIFAR-10N |
| 8 | Промежуточный экзамен — 90 минут Содержание: темы недель 01–07 этой программы, включая самостоятельное изучение SVM/ядер на неделе 02 и концептуальное введение в VAE. Потери VAE и соответствующая математика относятся к неделе 10. Опубликованный образец задаёт структуру экзамена и содержит тренировочные вопросы с ответами. Подготовка: рекомендованные книги из недель 01–07, наши лекции, учебник и практические занятия. |
Нет практического занятия | Нет лабораторной |
| 9 | Обработка сигналов и машинное обучение Дискретные сигналы, частота дискретизации и алиасинг; временные статистики, фильтрация и нормализация; окна, дискретное преобразование Фурье, спектры мощности и спектрограммы на основе оконного преобразования Фурье; разрешение по времени и частоте. Вейвлеты как локализованные многомасштабные представления: масштаб и сдвиг, скалограммы непрерывного преобразования и идея дискретного преобразования и банков фильтров. Устойчивые частотные компоненты и кратковременные события. Обучение на сигналах: временные, спектральные и вейвлет-признаки, 1D CNN, рекуррентные модели и Transformer; связь с самоконтролируемым обучением представлений на неделе 11 и оценкой неопределённости предсказаний на неделе 12. Углублённая теория вейвлетов — дополнительно. Литература: Downey, Think DSP: сигналы, спектры, фильтрация и дискретизация; см. наш учебник, глава 06 о последовательностях. PyWavelets — справочник по вейвлетам. Опубликованные материалы: две лекции по 90 минут — интерактивный HTML и PDF на английском, включая EEGNet и подробный разбор Chronos-2. |
Один насос, несколько методов обработки Отдельная 90-минутная лабораторная на SKAB: сравнение робастных статистик, PCA, Isolation Forest на текущих измерениях и причинных оконных признаках, объединения откалиброванных оценок и готовых прогнозов Chronos-2 с сопоставимым прогнозом persistence. Выделяем весь период неисправной работы; момент начала сбоя оцениваем отдельно. Разбиваем целые прогоны, обучаем предобработку только на нормальных обучающих данных, калибруем оценки на отдельной нормальной выборке и выбираем порог по валидации. Фиксируем решение до открытия отложенных прогонов; различаем качество ранжирования, покрытие неисправного состояния и ложные тревоги. Студенческие тетради — EN/RU. |
SKAB · детекция периода неисправной работы Инструкции и студенческие тетради — EN/RU |
| 10 | Обучение без учителя, скрытые переменные и порождающие представления PCA как проекция, сохранение дисперсии и оптимизация реконструкции; целевая функция k-means и предположения кластеризации; интуиция смесей распределений и EM; автоэнкодеры, сжатое скрытое представление и функции потерь реконструкции. Различия между кластеризацией, моделированием плотности, реконструкцией и полезностью для последующей задачи. Нелинейная визуализация: t-SNE как способ визуализации соседств в многомерных данных; сравнение с PCA и различие между исследовательской визуализацией, кластеризацией и предиктивным представлением. UMAP — дополнительное сравнение. Математика VAE: порождающая модель со скрытой переменной и приближённое апостериорное распределение; маргинальное правдоподобие и ELBO; слагаемые реконструкции и KL; параметризация распределения скрытой переменной с помощью гауссовского распределения и трюк репараметризации; генерация, оптимизация и влияние веса KL. Развитие идеи недели 07. Полный вывод EM для смесей — дополнительный материал. Литература: Goodfellow et al.: главы 13–14: линейные факторные модели и автоэнкодеры; Bishop, PRML: смеси распределений, EM и непрерывные скрытые переменные; Хендбук Яндекса: кластеризация. Полный вывод EM — дополнительно. Для VAE: Prince, Understanding Deep Learning: вариационные автоэнкодеры и Goodfellow et al.: главы 19–20: приближённый вывод и глубокие порождающие модели. |
Сжатие изображения и понимание его структуры Сравнение исходных признаков, PCA и автоэнкодера на одних данных; реконструкция, соседства и кластеры при заранее определённом протоколе оценки в последующей задаче. Сравнение PCA/t-SNE, изменение параметра perplexity и инициализации, устойчивость соседств. Почему размеры видимых кластеров и расстояния между группами могут вводить в заблуждение и почему визуализация сама по себе не подтверждает качество кластеризации. Затем VAE недели 07: параметры распределения энкодера, репараметризованные выборки, выход декодера; слагаемые реконструкции и KL и связь с ELBO. Размерность сжатого скрытого представления и вес KL: качество реконструкции и генерации. Коллапс апостериорного распределения и различие между хорошей реконструкцией и полезной структурой классов. Материалы: PCA, кластеризация, t-SNE; VAE в главе 07 на английском и существующем практикуме. |
— |
| 11 | Самоконтролируемое и мультимодальное обучение представлений Обучающий сигнал из разных представлений одних данных; метрическое обучение, положительные/отрицательные пары и InfoNCE; SimCLR, температура, предположения аугментаций и коллапс представлений; подходы учитель–ученик, BYOL и семейство самоконтролируемых DINO; маскированное моделирование и MAE. CLIP и контрастивное согласование изображений и текста; различие между обучением на изображениях без меток и использованием текстовых описаний как обучающего сигнала. Оценка: линейный классификатор на фиксированных признаках (linear probe) и дообучение, перенос с малым числом меток, поиск, явное указание данных предобучения и сопоставимый вычислительный бюджет. Подробные сравнения BYOL/DINO/MAE дополняют центральные примеры SimCLR/CLIP. Литература: Goodfellow et al.: глава 15: обучение представлений; Хендбук Яндекса: обучение представлений; SimCLR: целевая функция и аугментации; CLIP: обучение на парах и перенос. |
Узнать объект в двух видах, затем найти его словами Расчёт InfoNCE на небольшом примере, изменение аугментации/температуры, диагностика коллапса представлений и использования моделью случайных подсказок (shortcut learning). Распознавание лиц/ArcFace как пример метрического обучения; от поиска изображений к текстовым запросам CLIP. Линейный классификатор на фиксированных признаках, дообучение с малым числом меток и поиск при одинаковых правилах работы с данными и сопоставимых вычислительных затратах. Применение PCA/t-SNE недели 10 к эмбеддингам, UMAP — дополнительно; оценка последующей задачи наряду с визуальной структурой. Выбранные решения SimCLR, DINO/BYOL и MAE: откуда берётся обучающий сигнал; явное указание данных предобучения и протокола оценки. |
Полезные представления при малом числе меток |
| 12 | Попиксельное предсказание, детекция объектов и визуальные запросы Сегментация: класс для каждого пикселя; семантическая, экземплярная и паноптическая сегментация; энкодер–декодер, U-Net и связи между соответствующими слоями энкодера и декодера (skip connections); попиксельные BCE/CE, функция потерь Dice, IoU, дисбаланс классов и перенос обучения. Детекция: классификация с локализацией, рамки и IoU; одностадийное семейство YOLO и двухстадийная детекция; уверенность, NMS, precision–recall и AP; DETR, предсказание множества объектов и сопоставление венгерским алгоритмом. Визуальные предсказания и неопределённость: уверенность и правильность, шум разметки, калибровка и предиктивная неопределённость при сдвиге распределения и на данных вне обучающего распределения (OOD). Алеаторическая и эпистемическая неопределённость на примере классификации изображений. Глубокие ансамбли, MC dropout, доверительные/байесовские интервалы и предпосылки гарантий покрытия в конформном предсказании — дополнительные материалы для чтения. Связь с фундаментальными моделями (foundation models): от CLIP к детекции с открытым словарём и сопоставлению текстового запроса с областью изображения (grounding); различие между самоконтролируемыми признаками DINO, детектором DINO и Grounding DINO. Семейство SAM: сегментация изображений/видео по запросам; сочетание языковых и визуальных моделей для перехода от текста к рамкам и маскам. Подробно разбираем U-Net и типичные модели семейств YOLO/DETR; обзор остальных семейств — сравнение по заранее заданным критериям. Литература: наш учебник, глава 05 — EN; статья об U-Net; документация семейства YOLO; статья о DETR; статья о паноптической сегментации. Дополнительно: DINOv2, Grounding DINO, SAM 2, семейство SAM: концептуальные запросы. Неопределённость: калибровка и температурное масштабирование; дополнительно конформное предсказание. |
От метки изображения к запросу «найди объект и обведи его» Формы тензоров и связи между энкодером и декодером U-Net (skip connections), частичная реализация; BCE/CE и Dice на несбалансированной маске; IoU/Dice и ошибки границ. Предсказание YOLO: рамки, оценки и NMS; сопоставление DETR и дубликаты; пропущенные объекты, ложные срабатывания и precision–recall/AP. От CLIP к локализации по текстовому запросу: от текстового запроса переходим к рамкам Grounding DINO и маскам SAM; сравнение экстрактора признаков DINO, детектора и модели сегментации по запросу. Один пример сегментации изображения и один конвейер детекции по текстовому запросу; более широкие сравнения используют готовые модели. SAM 2 для изображений/видео и языковые/концептуальные запросы современных SAM — расширение. Дополнительно: DETR для работы в реальном времени, открытый словарь YOLOE и оценка глубины как связь с 3D. Модель уверена, но ошибается: небольшой пример классификации изображений, диаграмма калибровки (reliability diagram) и ECE, температурное масштабирование по отрицательному логарифму правдоподобия (NLL) на валидационной выборке, ошибки и уверенность при шуме разметки и сдвиге распределения. Расхождение предсказаний моделей ансамбля и dropout — дополнительно. Различаем калибровку классификации, оценки детектора и качество маски. |
— |
| 13 | Машинное обучение с физическими ограничениями и научные приложения Scientific ML, суррогатные модели, симуляторы и дифференцируемые модели; априорные знания о физике и уравнения как источник обучающего сигнала; прямые и обратные задачи ОДУ/УЧП. PINN и обратные PINN (iPINN): слагаемые функции потерь для данных, невязок уравнений, начальных и граничных условий; автоматическое дифференцирование по входам и неизвестным параметрам; баланс потерь, идентифицируемость, сбои оптимизации и ограничения. Перспектива: подгонка одного решения и обучение оператора для семейства задач; нейронные операторы и фундаментальные модели для УЧП на основе Transformer, например Poseidon. Литература: наш учебник, глава 04: дифференцирование — EN; материалы авторов PINN: прямые и обратные задачи; дополнительно Poseidon: фундаментальная модель для УЧП на основе Transformer. |
Восстановить физический параметр по зашумлённой траектории От решения прямой задачи для осциллятора — к восстановлению неизвестного параметра по редким наблюдениям. Слагаемые функции потерь для данных и невязки физического уравнения, вычисляемые с помощью autograd; начальные/граничные условия, баланс потерь и идентифицируемость. Сравнение сети, обученной только по данным, PINN/iPINN и обычного численного метода: качество на отложенных траекториях и точность восстановления параметра. Небольшой пример УЧП связывает историю ОДУ с нейронными операторами и фундаментальными моделями. |
Соревнование PINN или iPINN |
| 14 | Обучение с подкреплением и предпочтения Обучение через взаимодействие: агент и среда, состояния, действия, награды, марковский процесс принятия решений, политики, дисконтированная суммарная награда и функции ценности; уравнения Беллмана, баланс исследования среды и использования накопленного опыта, табличное Q-обучение. От временных разностей к нейронной аппроксимации и DQN; буфер воспроизведения опыта (replay buffer) и целевая сеть (target network) как механизмы стабилизации. Интуиция градиента политики, выбор награды и ошибки прокси-цели. Переход к предпочтениям: попарные сравнения ответов людьми, модель награды и оптимизация политики с KL-регуляризацией в RLHF. DPO — альтернативная целевая функция предпочтений без явного обучения модели награды и этапа RL-оптимизации. Подробное обучение DQN и алгоритмы оптимизации политик — дополнительно. Литература: Sutton & Barto, Reinforcement Learning: An Introduction (2-е изд.): марковские процессы принятия решений, функции ценности и обучение методом временных разностей; Prince: глубокое обучение с подкреплением; дополнительно DPO: предпочтения и альтернативная целевая функция. |
Две истории: освоить небольшую игру и понять предпочтения человека Расчёт TD-целей и небольшой пример Q-обучения; награда, исследование, оценка при нескольких значениях зерна генератора случайных чисел и переход к DQN с буфером опыта и целевой сетью. Затем небольшой набор данных с предпочтениями: обучение модели награды и KL-регуляризованные шаги политики относительно опорной. Влияние шума в предпочтениях и весов слагаемых целевой функции на поведение; эксплуатация недостатков функции награды (reward hacking). Сравнение с попарной функцией потерь DPO; учебный пример показывает механизм без полного обучения языковой модели. Суммарная награда в среде и соответствие человеческим предпочтениям оцениваются отдельно. |
— |
| 15 | Исследование современной темы по выбору студентов Одна тема выбирается заранее: современное компьютерное зрение и модели «изображение–язык» (vision–language); модели «изображение–язык–действие» (vision–language–action); порождающие модели; другое достижение ML; либо результаты и ограничения исследований на пути к более общему ИИ. Возможные направления внутри выбранной темы: диффузионные/порождающие модели, машинное обучение на графах, продвинутое RL, нейронные операторы, мультимодальные агенты, оптимизация предпочтений и внедрение моделей и сопровождение ML-систем (MLOps). Литература: Prince: порождающие модели, диффузия и этика для порождающих моделей; CLIP для моделей «изображение–язык». Основная статья выбирается вместе со студентами после выбора темы. |
Исследование выбранной темы Разбираем один конкретный вопрос: читаем оригинальную научную статью, проводим небольшую демонстрацию или воспроизводимый эксперимент и критически оцениваем результаты. Связь с представлениями, целями, данными и оценкой из предыдущих недель. Для темы AGI определяем заявленную способность и проверяем её оценку, не предполагая общепринятого определения или траектории развития. |
Короткая финальная лабораторная или мини-проект (до 4 баллов) Инструкции публикуются отдельно. |
В курсе девять лабораторных работ: недели 1, 2, 3, 5, 7, 9, 11, 13 и 15. На неделе 10 лабораторной нет. Работа с CIFAR-10N остаётся на неделе 7; методы оценки неопределённости рассматриваются в лекции и практикуме недели 12 на примерах задач компьютерного зрения. На неделе 12 отдельной лабораторной нет. Обучение с подкреплением также изучается на практическом занятии без отдельной лабораторной.
Работа на лабораторных
Недели 1–2 — структурированные задания в ноутбуках. Использование программирующих агентов начинается с первого соревнования на неделе 3. Студенты отвечают за валидацию, проверку, интерпретацию и воспроизводимость.
Девять оцениваемых работ включают две вводные лабораторные, шесть соревнований и короткую финальную лабораторную или мини-проект на неделе 15. За каждую работу можно получить до 4 баллов, всего до 36. Работа недели 15 входит в эту сумму.
Балльно-рейтинговая система
Правила
Правила курса содержат общие принципы и отмечают решения, ожидающие утверждения. Конкретные условия соревнований публикуются на их страницах, условия экзаменов — в экзаменационных бланках.
Сноски
Несгораемая оценка фиксируется и не понижается независимо от результата итогового экзамена.↩︎