DuckDB: embedded OLAP база данных и архитектура

История и контекст

Ключевые архитектурные элементы

Execution и storage модель

Ниже интерактивный разбор модели DuckDB: in-process deployment, vectorized engine, storage layout, транзакционность и ограничения по конкурентной записи.

import duckdb
con = duckdb.connect('warehouse.duckdb')

High-Level Architecture

Схема показывает high-level контур DuckDB: клиентский embedding, SQL/optimizer слой, vectorized execution pipeline, storage subsystem и экосистемные интеграции.

Read / Write Path через компоненты

Диаграмма объединяет write и read path: от SQL-команды клиента через optimizer и vectorized execution до записи в storage или возврата аналитического результата.

Когда выбирать DuckDB

Практика: DDL и DML

Ниже примеры SQL-операций в DuckDB: DDL для схемы/индексов и DML для ingest, трансформаций и аналитических запросов.

CREATE TABLE users (
  user_id BIGINT PRIMARY KEY,
  plan VARCHAR,
  created_at TIMESTAMP
);

CREATE TABLE events (
  event_id BIGINT,
  user_id BIGINT,
  event_type VARCHAR,
  event_ts TIMESTAMP,
  payload JSON,
  FOREIGN KEY (user_id) REFERENCES users(user_id)
);

CREATE INDEX idx_events_user_ts
ON events (user_id, event_ts);

ATTACH 'warehouse.duckdb' AS wh;
USE wh;

CREATE SCHEMA IF NOT EXISTS mart;

CREATE TABLE mart.daily_events AS
SELECT DATE(event_ts) AS dt, event_type, count(*) AS cnt
FROM events
GROUP BY 1, 2;