Кружок по
олимпиадному
ИИ

Линейная алгебра для ML

• векторы, матрицы и линейные пространства
• матричные операции и их геометрическая интерпретация
• метрические пространства и связь с kNN
• собственные числа и собственные векторы
• PCA и SVD

Теория вероятностей и статистика

• комбинаторика
• условная вероятность
• формула полной вероятности
• непрерывные, эмпирические и многомерные распределения
• метод максимального правдоподобия
• перебор на Python
• метод Монте-Карло

Неравенства и оптимизация

• неравенства между средними
• неравенство Йенсена
• оценка касательной
• производные
• градиентный спуск

Теория информации

• основы теории информации
• Cross-Entropy
• KL-дивергенция

Теория алгоритмов для понимания работы моделей

Введение в машинное обучение

• основные задачи машинного обучения

Анализ и подготовка данных

• NumPy и pandas
• визуализация данных
• EDA: распределения, зависимости и структура данных
• предобработка табличных данных
• Feature Engineering

Классические модели машинного обучения

• kNN
• линейная и логистическая регрессия
• деревья решений
• метод опорных векторов
• модели на основе наивного Байеса

Машинное обучение на табличных данных

• ансамблирование моделей
• градиентный бустинг

Снижение размерности и кластеризация

• PCA и t-SNE
• k-Means и DBSCAN

Временные ряды

• временные ряды, тренд и сезонность
• авторегрессионные модели и лаговые признаки
• ARIMA
• машинное обучение для прогнозирования временных рядов

Глубокое обучение

• PyTorch
• Multi-Layer Perceptron
• Batch Normalization, Dropout и skip-connections
• дообучение и fine-tuning моделей

Компьютерное зрение

• классификация, детекция и сегментация изображений
• аугментации изображений
• свёрточные нейронные сети (CNN)

Обработка естественного языка

• классификация, поиск и извлечение информации из текстов
• токенизация, векторизация слов и эмбеддинги
• трансформеры

Обучение представлений и генеративные модели

• автоэнкодеры и обучение представлений
• генеративные модели
• GAN