711.43K
AI

Обзор инструмента Apache Airflow

1.

ОБЗОР ПЛАТФОРМЫ ОРКЕСТРАЦИИ
Apache Airflow
Программная оркестрация сложных пайплайнов данных и рабочих
процессов
Актуальная ветка 3.x • Workflows as Code

2.

Стандарт индустрии Data Engineering
АКТУАЛЬНЫЙ РЕЛИЗ ПЛАТФОРМЫ
3.4.0
Релиз ноября 2026 года; поддержка ветки 2.x завершена в апреле 2026 года

3.

Оркестрация как программный код
Открытая платформа для разработки, планирования и мониторинга
рабочих процессов.
Workflows as Code: Пайплайны описываются на чистом Python.
Контроль версий: Работа через Git, ревью и CI/CD.
Модульное тестирование: Проверка логики графов до запуска.

4.

РАЗДЕЛ 01
Ключевые концепции
Базовые строительные блоки пайплайнов в Airflow

5.

Фундамент графа задач
01
DAG
Направленный граф без циклов.
02
Tasks
Атомарные шаги выполнения
пайплайна.
03
Dependencies
Строгий порядок запуска задач.

6.

Типы операторов и сенсоров
BashOperator
PythonOperator
Запуск системных скриптов сервера.
Выполнение функций на Python.
SQL и облака
Sensors
Интеграция с облачными DWH.
Ожидание появления внешних событий.

7.

Управление данными и событиями
ДАТА-ОРИЕНТИРОВАННЫЙ ПОДХОД
Assets (ранее Datasets)
МЕЖЗАДАЧНАЯ КОММУНИКАЦИЯ
Механизм XCom
Реактивный запуск: Старт после обновления набора данных.
Лёгкие метаданные: Передача путей к файлам и ID.
Внешние события: Поддержка очередей вроде AWS SQS.
Изоляция объёма: Не предназначен для больших массивов.
Декоратор @asset: Упрощённое описание потоков данных.
Автоматизация: Скрытая связка в TaskFlow API.

8.

Современный синтаксис TaskFlow API
from datetime import datetime from airflow.sdk import dag, task @dag(dag_id="sales_etl",
schedule="@daily", start_date=datetime(2026, 1, 1), catchup=False) def sales_pipeline(): @task() def
schedule="@daily", start_date=datetime(2026, 1, 1), catchup=False) def sales_pipeline(): @task() def
extract() -> list[dict]: return [{"amount": 1200}, {"amount": 850}] @task() def transform(orders:
extract()
return
[{"amount": 1200},
850}]def
@task()
def transform(orders:
list[dict]) ->
-> list[dict]:
int: return
sum(x["amount"]
for x in{"amount":
orders) @task()
load(revenue:
int) -> None:
list[dict])
-> int: return
sum(x["amount"]
x in orders) @task() def load(revenue: int) -> None:
print(f"Выручка
загружена:
{revenue}") for
load(transform(extract()))
print(f"Выручка загружена: {revenue}") load(transform(extract()))
Декораторы Python: Обычные функции
превращаются в задачи через @task.
Неявный XCom: Зависимости строятся при передаче
аргументов.
Чистый код: Минимум шаблонного кода
операторов.

9.

РАЗДЕЛ 02
Архитектура платформы
Распределённые компоненты и модель безопасности Airflow 3

10.

Компоненты продакшен-кластера
ЭТАП 1
ЭТАП 2
ШЛЮЗ 3.X
DAG Processor
Scheduler
API Server
Синхронизация Git и парсинг
кода.
Расписание и постановка в
очередь.
Изолированный Task Execution
API.
ЭТАП 4
Workers & DB
Исполнение и хранение в
PostgreSQL.
Ключевое изменение Airflow 3: Воркеры больше не обращаются к PostgreSQL напрямую — всё идёт через API Server.

11.

Ядро управления в Airflow 3
1. Standalone DAG Processor: Парсинг Python-файлов вынесен в отдельный процесс для
отказоустойчивости.
2. Scheduler: Отслеживает расписания и триггеры, отправляя задачи в исполнители.
3.
Task Execution API: Изолирует базу метаданных от внешнего кода воркеров.
4. Мультиязычные воркеры: Поддержка запуска задач на Python, Go и Java.

12.

Новый интерфейс на React и FastAPI
Современный стек: Интерфейс полностью переписан на React и
FastAPI.
Контроль исполнения: Визуализация графов, логов и перезапуск
задач.
Панель Assets: Наглядная карта зависимостей наборов данных.

13.

Механизмы запуска задач
LocalExecutor
CeleryExecutor
Параллельный запуск внутри сервера.
Распределённая очередь рабочих воркеров.
KubernetesExecutor
EdgeExecutor
Изолированный Pod под задачу.
Запуск на удалённых узлах.

14.

Профили масштабирования Executors

15.

РАЗДЕЛ 03
Новое в Airflow 3.x
Ключевые возможности нового поколения платформы

16.

Три прорыва ветки Airflow 3
1
DAG Versioning
Фиксация кода при запуске.
2
3
Управляемые Backfills
Human-in-the-loop
Перезапуск истории из интерфейса.
Встроенные шаги ручного
согласования.

17.

ПРИНЦИП ПРОЕКТИРОВАНИЯ
«Airflow — это оркестратор, а не вычислительный движок»
Делегируйте тяжёлую обработку внешним системам: Apache Spark, dbt, ClickHouse и Snowflake

18.

Airflow и современные альтернативы
Критерий
Apache Airflow
Prefect
Dagster
Парадигма
Граф задач + Assets
Динамические потоки
Акцент на Assets
Инфраструктура
БД, планировщик, воркеры
Быстрый гибридный старт
Локальная типизация
Экосистема
Сотни готовых провайдеров
Активное развитие
Сильная связка с dbt
Сценарий
Корпоративный ETL/ELT
Python-автоматизация
Data Mesh и качество

19.

Оптимальные сценарии применения
Корпоративный ETL/ELT: Сложные зависимости десятков источников
данных.
Мультиоблачность: Единая оркестрация AWS, GCP и локальных
серверов.
Зрелая экосистема: Готовые операторы под любые СУБД и сервисы.
Аудит и контроль: Прозрачная история запусков и версий графов.

20.

СПАСИБО ЗА ВНИМАНИЕ
Вопросы и обсуждение
Apache Airflow 3.x — надёжный фундамент современной платформы данных

21.

Image Sources
https://www.hanwhadatacenters.com/wp-content/uploads/2025/11/image3-9.png
Source: www.hanwhadatacenters.com
https://media.easy-peasy.ai/093d47e2-a0c3-4ad4-97a4-42fb633daefe/3071075b-7949-4f10-a6ed-e945652b1ad7_medium.webp
Source: easy-peasy.ai
https://media.geeksforgeeks.org/wp-content/uploads/20260918120904225630/frame_3841.webp
Source: www.geeksforgeeks.org
English     Русский Правила