Открыта [Gigaschool] LLM-инженер часть 1 из 5

[asd]

ВНИМАНИЕ: Это первая из пяти складчин на полный курс.

В связи с высокой стоимостью (180 000 руб.) и продолжительностью (5,5 месяцев) курса, для удобства участников принято решение о его разделении на 5 частей. Каждая часть соответствует одному большому разделу программы. Каждая последующая складчина является продолжением предыдущей, и соответственно необходимо оплатить предыдущую.

Это первая часть большого онлайн-курса, на которой вы научитесь создавать, дообучать и оптимизировать собственные большие языковые модели (LLM). Под руководством экспертов вы изучите современные архитектуры, методы дообучения PEFT, выравнивания моделей с помощью RLHF и способы уменьшения их размера для эффективного использования.


Что вы освоите в этой части?

Ключевые навыки:

• Разбираться в архитектурах современных LLM (close vs open models)
• Запускать и адаптировать open-source модели под свои задачи
• Настраивать модели с помощью fine-tuning и PEFT (LoRA / QLoRA)
• Использовать методы RLHF для выравнивания моделей (включая DPO, PPO)
• Снижать ресурсоёмкость моделей через квантизацию и дистилляцию

Основные инструменты:

• Hugging Face Transformers
• TRL (для RLHF)
• LoRA / QLoRA

Программа первой части курса
Раздел 1. Своя LLM

• Лекция: Современные LLM, close vs open models, оценка качества, бенчмарки, что выбрать для своих задач, прайсинг.
• Лекция: Оптимизации инференса в LLM - KV-caching, speculative decoding, MoE.
• Лекция: Проблематика обучения LLM, обзор методов PeFT, нюансы применения.
• Семинар: Сравнение методов файнтюнинга - полный, LP, LP+FT, PEFT.
• Лекция: Что такое RLHF & Alignment, базовая терминология RL и обзор методов: RLHF, PPO, DPO.
• Семинар: TRL, RLHF для чат-модели - PPO или DPO.
• Лекция: Обзор методов уменьшения размеров модели - дистилляция, квантование, прунинг.
• Семинар: Сравнение инструментов и влияние «битности» на качество, Quantization + LoRA и прочие миксы.

Эксперты курса:
Александр Потехин (NLP Lead, X5 Tech), Роман Соломатин (ML Engineer, X5 Tech), Дарья Андреева (ML Engineer, X5 Tech), Кристина Желтова (Директор по разработке моделей, Газпромбанк), Евгений Кокуйкин (CEO, Raft).

Следующие части курса:

• Часть 2. Prerequisites для RAG
• Часть 3. RAG
• Часть 4. Агенты
• Часть 5. Инфраструктура

Цена: 36000 рублей (за первую часть из пяти).

Продажник

Донор

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.