DuckDB: встроенная аналитическая СУБД и архитектура

История и контекст

Ключевые архитектурные элементы

Модель выполнения и хранения

Ниже интерактивный разбор модели DuckDB: встраиваемый режим, векторизованное выполнение, устройство хранения, транзакционность и ограничения конкурентной записи.

import duckdb
con = duckdb.connect('warehouse.duckdb')

Архитектура DuckDB по слоям

Схема показывает общий контур DuckDB: клиентское встраивание, SQL-слой и оптимизатор, конвейер векторизованного выполнения, подсистему хранения и интеграции с экосистемой.

Пути записи и чтения через компоненты

Диаграмма объединяет путь записи и путь чтения: от SQL-команды клиента через оптимизатор и векторизованное выполнение до сохранения данных или возврата аналитического результата.

Когда выбирать DuckDB

Практика: DDL и DML

Ниже примеры SQL-операций в DuckDB: DDL для схемы и индексов, DML для приёма данных, преобразований и аналитических запросов.

CREATE TABLE users (
  user_id BIGINT PRIMARY KEY,
  plan VARCHAR,
  created_at TIMESTAMP
);

CREATE TABLE events (
  event_id BIGINT,
  user_id BIGINT,
  event_type VARCHAR,
  event_ts TIMESTAMP,
  payload JSON,
  FOREIGN KEY (user_id) REFERENCES users(user_id)
);

CREATE INDEX idx_events_user_ts
ON events (user_id, event_ts);

ATTACH 'warehouse.duckdb' AS wh;
USE wh;

CREATE SCHEMA IF NOT EXISTS mart;

CREATE TABLE mart.daily_events AS
SELECT DATE(event_ts) AS dt, event_type, count(*) AS cnt
FROM events
GROUP BY 1, 2;