dqlite 分布式 SQLite 教程 / 第 1 章：dqlite 概述与适用场景

第 1 章：dqlite 概述与适用场景

本章介绍 dqlite 的核心理念、技术背景、适用场景，并与 rqlite 进行详细对比，帮助你判断 dqlite 是否适合你的项目。

1.1 什么是 dqlite？

dqlite（发音为 “dee-queue-lite”，即 distributed SQLite）是一个用 C 语言编写的开源库，它将 SQLite 扩展为一个分布式、容错的关系型数据库。

dqlite 的核心设计理念是：

┌─────────────────────────────────────┐
│           Your Application          │
│  ┌───────────┐   ┌──────────────┐   │
│  │  App Logic │──▶│ libdqlite.so │   │
│  └───────────┘   │  ┌────────┐  │   │
│                  │  │SQLite  │  │   │
│                  │  │Engine  │  │   │
│                  │  ├────────┤  │   │
│                  │  │  Raft  │  │   │
│                  │  │Module  │  │   │
│                  │  └────────┘  │   │
│                  └──────────────┘   │
│                        │            │
│                  ┌─────┴─────┐      │
│                  │ Network   │      │
│                  │ Transport │      │
│                  └─────┬─────┘      │
└──────────────────────┬─┴────────────┘
                       │
            ┌──────────┼──────────┐
            ▼          ▼          ▼
        ┌──────┐  ┌──────┐  ┌──────┐
        │Node 2│  │Node 3│  │Node N│
        └──────┘  └──────┘  └──────┘

1.1.1 项目背景

dqlite 由 Canonical 工程师发起，最初是为了解决 LXD（Linux 容器管理器）的高可用需求。LXD 需要一个轻量的、可嵌入的分布式存储来保存集群状态，但不想引入 etcd 或 Consul 这类重量级组件。

“我们需要一个像 SQLite 一样简单，但又能跨多节点复制数据的数据库。” — Stéphane Graber，LXD 项目负责人

1.1.2 技术特点一览

1.2 Raft 共识协议简介

dqlite 使用 Raft 共识协议来保证多节点间数据的一致性。理解 Raft 的基本概念对使用 dqlite 集群至关重要。

1.2.1 Raft 核心概念

Raft 是一种分布式共识算法，其设计目标是易于理解。它将共识问题分解为三个子问题：

  ┌──────────┐     日志复制      ┌──────────┐
  │  Leader  │ ───────────────▶ │ Follower │
  │          │ ───────────────▶ │          │
  └────┬─────┘                  └──────────┘
       │
       │ 写请求                    ┌──────────┐
       │                          │ Follower │
       └─────────────────────── ▶ │          │
                                  └──────────┘

1.2.2 Raft 在 dqlite 中的工作方式

在 dqlite 集群中：

1. 所有写操作 必须经过 Leader 节点
2. Leader 将写操作以日志（Log Entry）形式广播给所有 Follower
3. 当多数节点（Quorum）确认收到日志后，该写操作被提交（Commit）
4. 提交后的日志被应用到本地 SQLite 数据库

Client ──▶ Leader
              │
              ├──▶ Follower 1 (确认 ✓)
              ├──▶ Follower 2 (确认 ✓)
              │
          [多数确认]
              │
              ▼
         提交并应用

注意: 读操作默认也需要经过 Leader 以保证线性一致性。dqlite 支持通过配置允许 Follower 读取（可能返回稍旧的数据）。

1.3 dqlite 与 rqlite 详细对比

如果你同时在评估 dqlite 和 rqlite，以下对比表可以帮助你做出选择：

1.3.1 架构差异

rqlite 架构（客户端-服务器）：

┌──────────┐     HTTP       ┌────────────┐     ┌──────────┐
│  Client  │ ──────────────▶│  rqlite    │────▶│  SQLite  │
│ (curl等) │◀──────────────│  Server    │     └──────────┘
└──────────┘    JSON 响应    │  (Go进程)  │
                             │  + Raft    │
                             └─────┬──────┘
                                   │
                             ┌─────┴──────┐
                             │ Cluster    │
                             │ (Raft)     │
                             └────────────┘

dqlite 架构（嵌入式库）：

┌────────────────────────────────┐
│  Your Application              │
│  ┌──────────────┐              │
│  │  App Logic   │              │
│  └──────┬───────┘              │
│         │ C API / Go 绑定      │
│  ┌──────▼───────┐              │
│  │  libdqlite   │              │
│  │  ┌────────┐  │              │
│  │  │SQLite  │  │              │
│  │  │+ Raft  │  │              │
│  │  └────────┘  │              │
│  └──────┬───────┘              │
└─────────┼──────────────────────┘
          │ 二进制协议
    ┌─────┼─────┐
    ▼     ▼     ▼
  Node2 Node3 NodeN

1.3.2 选择建议

1.4 dqlite 适用场景

1.4.1 适用场景

1.4.2 不适用场景

1.4.3 容量参考

1.5 dqlite 生态系统

dqlite 不仅仅是一个库，它有一套完整的生态系统：

1.5.1 版本历史里程碑

1.6 快速感受：30 秒体验 dqlite

在深入了解之前，先感受一下 dqlite 的使用方式：

使用 Go 绑定启动单节点

package main

import (
    "context"
    "database/sql"
    "fmt"
    "log"

    _ "github.com/canonical/go-dqlite/driver"
)

func main() {
    // 创建 dqlite 节点
    dir := "/tmp/dqlite-data"
    node, err := dqlite.New(1, "127.0.0.1:9001", dir, nil)
    if err != nil {
        log.Fatal(err)
    }
    defer node.Close()

    // 打开数据库连接
    db, err := sql.Open("dqlite", "test.db")
    if err != nil {
        log.Fatal(err)
    }
    defer db.Close()

    // 创建表
    _, err = db.Exec("CREATE TABLE IF NOT EXISTS demo (id INTEGER PRIMARY KEY, name TEXT)")
    if err != nil {
        log.Fatal(err)
    }

    // 插入数据
    _, err = db.Exec("INSERT INTO demo VALUES(1, 'hello dqlite')")
    if err != nil {
        log.Fatal(err)
    }

    // 查询
    var name string
    err = db.QueryRow("SELECT name FROM demo WHERE id = 1").Scan(&name)
    if err != nil {
        log.Fatal(err)
    }

    fmt.Println("Result:", name) // Output: Result: hello dqlite
}

使用 C API 启动单节点

#include <dqlite.h>
#include <stdio.h>
#include <unistd.h>

int main() {
    dqlite_node *node;
    int rc;

    // 创建节点
    rc = dqlite_node_create(1, "/tmp/dqlite-data", "127.0.0.1:9001", &node);
    if (rc != 0) {
        fprintf(stderr, "Error: %s\n", dqlite_node_errmsg(node));
        return 1;
    }

    // 设置日志级别
    dqlite_node_set_bind_address(node, "127.0.0.1:9001");

    // 启动节点
    rc = dqlite_node_start(node);
    if (rc != 0) {
        fprintf(stderr, "Start error: %s\n", dqlite_node_errmsg(node));
        return 1;
    }

    printf("dqlite node running. Press Enter to stop.\n");
    getchar();

    // 停止并释放
    dqlite_node_stop(node);
    dqlite_node_destroy(node);
    return 0;
}

编译并运行：

gcc -o dqlite-demo dqlite-demo.c -ldqlite -lsqlite3 -lraft -lpthread
./dqlite-demo

1.7 核心术语表

在后续章节中会频繁出现以下术语：

本章小结

下一章

→ 第 2 章：安装与编译 — 学习如何在 Linux 上编译和安装 dqlite，以及使用 Docker 快速上手。