Добро пожаловать на курс Apache Airflow для аналитиков данных
Что вас ждёт:
- Текстовые/видео материалы и Google Colab по основам Airflow
- 5 практических заданий с проверкой преподавателя
- Множество тестов для самопроверки
- Экзамен где нужно обучить модель
Как устроен курс:
- Краткий текстовый материал по теме, я старался писать простыми словами без воды, плюс видеоматериал
- Практика в Google Colab, чтобы попробовать руками то о чём только что прочитал
- Тестовые задания или практическая работа с проверкой преподавателем.
Какие темы затронем:
- Разберем что такое пайплайн и зачем нам DAG
- Изучим основы Airflow и напишем первый скрипт
- Разберемся с архитектурой и интерфейсом
- Установим свой Airflow в Docker
- Погрузимся в best practices по разработке
Что после?
- После курса полученных знаний должно хватить чтобы внедрить этот инструмент у себя на работе, или пройти собеседование на позицию ETL девелопера.
Для кого этот курс
Начинающие аналитики, дата саентисты и ETL девелоперы которые хотят внедрить у себя данный инструмент или пройти собеседование в компанию в которой используют Airflow.
Курс предназначен для новичков+ которые уже умеют писать код на Питоне и готовы разбираться с новыми для себя темами.
Знакомство
1 Знакомство
Подготовительный модуль (в разработке)
1 ООП
2 Генераторы и Пандас
3 Bash и Linux
Введение в ETL: пишем свой пайплайн
1 Введение в ETL. Видео
2 Введение в ETL. Текст и задачи
3 Настройка окружения
Введение в Airflow: переносим пайплайн
1 Решение примера на Airflow. Видео
2 Решение примера на Airflow. Текст и задачи
3 Подробнее про код: хуки, xcom, контексты. Видео
4 Подробнее про код: хуки, xcom, контекст. Текст и задачи
Подробнее про Airflow
1 Архитектура
2 Веб интерфейс
3 Настройка
Разработка: best practices
1 Плагины и нотификация
2 Сенсоры и branch операторы
3 Автогенерация задач
4 Подготовка к экзамену
Финальный проект
1 Пайплайн для модели прогнозирования
Установка Airflow в Docker
1 Ликбез по Docker и WSL
2 Установка Airflow в контейнере
1 Знакомство
Подготовительный модуль (в разработке)
1 ООП
2 Генераторы и Пандас
3 Bash и Linux
Введение в ETL: пишем свой пайплайн
1 Введение в ETL. Видео
2 Введение в ETL. Текст и задачи
3 Настройка окружения
Введение в Airflow: переносим пайплайн
1 Решение примера на Airflow. Видео
2 Решение примера на Airflow. Текст и задачи
3 Подробнее про код: хуки, xcom, контексты. Видео
4 Подробнее про код: хуки, xcom, контекст. Текст и задачи
Подробнее про Airflow
1 Архитектура
2 Веб интерфейс
3 Настройка
Разработка: best practices
1 Плагины и нотификация
2 Сенсоры и branch операторы
3 Автогенерация задач
4 Подготовка к экзамену
Финальный проект
1 Пайплайн для модели прогнозирования
Установка Airflow в Docker
1 Ликбез по Docker и WSL
2 Установка Airflow в контейнере
Продажник
Скрытое содержимое могут видеть только пользователи групп(ы): Зарегистрированный
Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.