DuckDB как микро‑хранилище: заменяем ETL + Postgres одним файлом

DuckDB позволяет объединить процесс ETL и хранение данных в едином файле‑базе, заменив сложный стек «ETL + Postgres» одним движком. За счёт встроенного колонного формата и поддерживаемых SQL‑операций вы получаете аналитический движок в виде одного .duckdb-файла, который работает как локальная база и как микросервис.

Как заменить традиционный ETL‑pipeline на DuckDB?

Сразу ответ: достаточно написать скрипт, который читает исходные CSV/JSON, трансформирует их с помощью SQL и сохраняет результат в .duckdb-файл. Далее этот файл можно подключать из любой среды — Python, R, Java или напрямую из BI‑инструментов.

• 1️⃣ Установите DuckDB (pip install duckdb) — установка занимает 30 секунд на среднем ноутбуке.
• 2️⃣ Подготовьте скрипт: import duckdb; con = duckdb.connect('data.duckdb').
• 3️⃣ Загрузите исходные файлы: con.execute("CREATE TABLE raw AS SELECT * FROM read_csv_auto('source.csv')").
• 4️⃣ Выполните трансформацию: con.execute("CREATE TABLE clean AS SELECT *, CASE WHEN amount>0 THEN amount ELSE 0 END AS amount_pos FROM raw").
• 5️⃣ Сохраните результат: файл data.duckdb готов к использованию.

Почему DuckDB экономит бюджет в 2026 году?

Ответ: DuckDB — полностью открытый движок, поэтому лицензий не требуется, а экономия на инфраструктуре достигает 40 % по сравнению с облачными PostgreSQL‑кластером.

• Экономия на серверных ресурсах: один виртуальный сервер с 2 CPU и 8 ГБ ОЗУ стоит около 5000 руб. в месяц, вместо 8000 руб. для кластера Postgres.
• Сокращение времени разработки: типичный ETL‑pipeline требует 3–4 чч на настройку, DuckDB — 15 минут.
• Отсутствие расходов на резервное копирование: один файл легко архивировать в S3 за 0,02 USD/ГБ.

Что делать, если требуется масштабировать DuckDB?

Сразу ответ: используйте DuckDB‑Parquet и распределённый файловый слой (например, S3) — каждый запрос будет читаться параллельно, а файл остаётся единственным источником правды.

• Разбейте данные на партиции по дате: SELECT * FROM read_parquet('s3://bucket/data/2026/*.parquet').
• Включите многопоточность: duckdb.connect(threaded=True) — достигается ускорение до 5‑7× на 8‑ядерных CPU.
• Для высоких нагрузок используйте DuckDB‑FlightSQL сервер, который обслуживает запросы через gRPC.

Как интегрировать DuckDB с PDF‑генерацией?

Ответ: результаты запросов можно экспортировать напрямую в PDF‑отчёт через библиотеку pandas + reportlab или pdfkit. Это упрощает создание аналитических PDF‑документов без промежуточных CSV.

• Получите DataFrame: df = con.execute('SELECT * FROM clean').df().
• Сохраните в HTML: df.to_html('report.html').
• Конвертируйте в PDF: pdfkit.from_file('report.html', 'report.pdf') — весь процесс занимает 10 секунд на типичном ноутбуке.

Что делать, если требуется совместная работа над DuckDB‑файлом?

Сразу ответ: разместите .duckdb-файл в облачном хранилище (Google Drive, OneDrive) и используйте блокировку на уровне файловой системы, либо подключайте его через DuckDB‑FS слой.

• Настройте duckdb.connect('gcs://bucket/data.duckdb') для доступа из нескольких машин.
• Для конфликтов используйте optimistic concurrency control — проверяйте хеш файла перед записью.
• Регулярно создавайте бэкапы: скрипт aws s3 cp data.duckdb s3://backup/$(date +%F).duckdb сохраняет версию за 0,01 USD/GB.

Воспользуйтесь бесплатным инструментом DuckDB‑Console на toolbox-online.ru — работает онлайн, без регистрации.