C++项目推荐-真正可以媲美redis的kv存储项目-包括性能如何逐步优化

项目目标

• 协议兼容: 支持标准RESP协议，兼容redis-cli工具
• 高性能: 单机QPS达5万+，AOF开启后仍保持高性能
• 完整功能: 数据结构、持久化、过期、主从复制
• 教学导向: 代码清晰，文档详细，适合学习

技术栈

• 语言: C++17
• 网络: epoll事件驱动
• 协议: RESP（Redis Serialization Protocol）
• 数据结构: unordered_map + 跳表
• 持久化: AOF + RDB
• 构建: CMake

第一章：项目架构设计

1.1 整体架构

1.2 请求处理流程

一个完整的请求经历以下阶段：

1. 网络接收: epoll监听客户端连接和数据
2. 协议解析: 解析RESP格式的命令
3. 命令执行: 在KV存储中执行操作
4. 持久化: AOF记录命令，RDB定期快照
5. 主从复制: 同步命令到从节点
6. 响应返回: 将结果序列化为RESP格式返回

1.3 模块划分

模块	文件	职责
网络层	server.cpp	epoll事件循环，TCP连接管理
协议层	resp.hpp/cpp	RESP协议解析和序列化
存储层	kv.hpp/cpp	数据结构实现，过期管理
持久化	aof.hpp/cpp, rdb.hpp/cpp	AOF/RDB持久化
复制	replica_client.hpp/cpp	主从复制
配置	config.hpp, config_loader.cpp	配置解析

第二章：环境准备与项目搭建

2.1 环境要求

代码语言：javascript

AI代码解释

1. # Ubuntu/Debian
2. sudo apt install build-essential cmake pkg-config
3. ​
4. # CentOS/RHEL
5. sudo yum install gcc-c++ cmake make
6. ​
7. # 检查版本
8. g++ --version # 需要支持C++17
9. cmake --version # 建议3.15+

复制代码

2.2 项目结构创建

代码语言：javascript

AI代码解释

1. mkdir mini-redis && cd mini-redis
2. mkdir -p include/mini_redis src docs tools build

复制代码

项目目录结构：

代码语言：javascript

AI代码解释

1. mini-redis/
2. ├── CMakeLists.txt # CMake构建文件
3. ├── include/mini_redis/ # 头文件
4. │ ├── config.hpp # 配置结构体
5. │ ├── resp.hpp # RESP协议
6. │ ├── kv.hpp # KV存储
7. │ ├── aof.hpp # AOF持久化
8. │ ├── rdb.hpp # RDB持久化
9. │ └── replica_client.hpp # 主从复制
10. ├── src/ # 源文件
11. │ ├── main.cpp # 程序入口
12. │ ├── server.cpp # 服务器主逻辑
13. │ ├── resp.cpp # RESP实现
14. │ ├── kv.cpp # KV存储实现
15. │ ├── aof.cpp # AOF实现
16. │ ├── rdb.cpp # RDB实现
17. │ ├── replica_client.cpp # 复制实现
18. │ └── config_loader.cpp # 配置加载
19. ├── docs/ # 文档
20. ├── tools/ # 工具脚本
21. └── build/ # 构建目录

复制代码

2.3 CMake配置文件

创建 CMakeLists.txt：

代码语言：javascript

AI代码解释

1. cmake_minimum_required(VERSION 3.15)
2. project(mini_redis)
3. ​
4. set(CMAKE_CXX_STANDARD 17)
5. set(CMAKE_CXX_STANDARD_REQUIRED ON)
6. ​
7. # 编译选项
8. set(CMAKE_CXX_FLAGS "-Wall -Wextra -g")
9. set(CMAKE_BUILD_TYPE Release)
10. set(CMAKE_CXX_FLAGS_RELEASE "-O3 -march=native")
11. ​
12. # 头文件路径
13. include_directories(include)
14. ​
15. # 源文件
16. set(SOURCES
17. src/main.cpp
18. src/server.cpp
19. src/resp.cpp
20. src/kv.cpp
21. src/aof.cpp
22. src/rdb.cpp
23. src/replica_client.cpp
24. src/config_loader.cpp
25. )
26. ​
27. # 可执行文件
28. add_executable(mini_redis ${SOURCES})
29. ​
30. # 链接库
31. find_package(Threads REQUIRED)
32. target_link_libraries(mini_redis PRIVATE Threads::Threads)

复制代码

2.4 编译和使用

2.4.1 构建项目

代码语言：javascript

AI代码解释

1. cd mini-redis
2. cmake -S . -B build
3. cmake --build build -j

复制代码

2.4.2 单机启动模式

Mini-Redis 支持三种持久化配置模式：

1. 无持久化模式 (none.conf)

适用于：测试、缓存场景，不需要数据持久化

代码语言：javascript

AI代码解释

1. # 启动服务器
2. ./build/mini_redis --config build/none.conf
3. ​
4. # 服务器将在端口 6388 启动，无 AOF 和 RDB

复制代码

2. 每秒同步模式 (everysec.conf)

适用于：生产环境，平衡性能和数据安全

代码语言：javascript

AI代码解释

1. # 启动服务器
2. ./build/mini_redis --config build/everysec.conf
3. ​
4. # 服务器将在端口 6388 启动，AOF 每秒同步一次

复制代码

3. 立即同步模式 (always.conf)

适用于：对数据一致性要求极高的场景

代码语言：javascript

AI代码解释

1. # 启动服务器
2. ./build/mini_redis --config build/always.conf
3. ​
4. # 服务器将在端口 6388 启动，每个写操作立即同步到磁盘

复制代码

配置文件详情

none.conf

代码语言：javascript

AI代码解释

1. port=6388
2. aof.enabled=false
3. rdb.enabled=false

复制代码

everysec.conf

代码语言：javascript

AI代码解释

1. port=6388
2. aof.enabled=true
3. aof.mode=everysec
4. aof.dir=./data
5. aof.filename=appendonly.aof
6. rdb.enabled=false
7. aof.batch_bytes=262144
8. aof.batch_wait_us=2000
9. aof.prealloc_bytes=67108864
10. aof.sync_interval_ms=250

复制代码

always.conf

代码语言：javascript

AI代码解释

1. port=6388
2. aof.enabled=true
3. aof.mode=always
4. aof.dir=./data
5. aof.filename=appendonly.aof
6. rdb.enabled=false

复制代码

2.4.3 主从复制模式

主节点启动

创建主节点配置文件 master.conf：

代码语言：javascript

AI代码解释

1. port=6379
2. bind_address=0.0.0.0
3. ​
4. # AOF 持久化
5. aof.enabled=true
6. aof.mode=everysec
7. aof.dir=./data-master
8. aof.filename=appendonly.aof
9. ​
10. # RDB 快照
11. rdb.enabled=true
12. rdb.dir=./data-master
13. rdb.filename=dump.rdb

复制代码

启动主节点：

代码语言：javascript

AI代码解释

1. ./build/mini_redis --config master.conf

复制代码

从节点启动

创建从节点配置文件 replica.conf：

代码语言：javascript

AI代码解释

1. port=6380
2. bind_address=0.0.0.0
3. ​
4. # RDB 用于接收主节点快照
5. rdb.enabled=true
6. rdb.dir=./data-replica
7. rdb.filename=dump.rdb
8. ​
9. # 从节点一般不开启 AOF
10. aof.enabled=false
11. ​
12. # 复制配置
13. replica.enabled=true
14. replica.master_host=127.0.0.1
15. replica.master_port=6379

复制代码

启动从节点：

代码语言：javascript

AI代码解释

1. ./build/mini_redis --config replica.conf

复制代码

2.4.4 使用 redis-cli 进行测试

连接测试

代码语言：javascript

AI代码解释

1. # 连接到单机模式
2. redis-cli -p 6388
3. ​
4. # 连接到主节点
5. redis-cli -p 6379
6. ​
7. # 连接到从节点
8. redis-cli -p 6380

复制代码

基本命令测试

连接和状态

代码语言：javascript

AI代码解释

1. # 测试连接
2. redis-cli -p 6388 PING
3. ​
4. # 获取服务器信息
5. redis-cli -p 6388 INFO
6. ​
7. # 回显测试
8. redis-cli -p 6388 ECHO "Hello Mini-Redis"

复制代码

String 操作

代码语言：javascript

AI代码解释

1. # 设置键值
2. redis-cli -p 6388 SET mykey "Hello World"
3. ​
4. # 获取值
5. redis-cli -p 6388 GET mykey
6. ​
7. # 删除键
8. redis-cli -p 6388 DEL mykey
9. ​
10. # 设置过期时间（秒）
11. redis-cli -p 6388 SET tempkey "temporary"
12. redis-cli -p 6388 EXPIRE tempkey 60
13. ​
14. # 查看剩余过期时间
15. redis-cli -p 6388 TTL tempkey
16. ​
17. # 检查键是否存在
18. redis-cli -p 6388 EXISTS mykey

复制代码

Hash 操作

代码语言：javascript

AI代码解释

1. # 设置 Hash 字段
2. redis-cli -p 6388 HSET user:1 name "Alice"
3. redis-cli -p 6388 HSET user:1 age "25"
4. redis-cli -p 6388 HSET user:1 city "Beijing"
5. ​
6. # 获取 Hash 字段
7. redis-cli -p 6388 HGET user:1 name
8. ​
9. # 获取所有字段和值
10. redis-cli -p 6388 HGETALL user:1
11. ​
12. # 检查字段是否存在
13. redis-cli -p 6388 HEXISTS user:1 email
14. ​
15. # 删除字段
16. redis-cli -p 6388 HDEL user:1 age
17. ​
18. # 获取字段数量
19. redis-cli -p 6388 HLEN user:1

复制代码

ZSet (有序集合) 操作

代码语言：javascript

AI代码解释

1. # 添加成员和分数
2. redis-cli -p 6388 ZADD leaderboard 100 "player1"
3. redis-cli -p 6388 ZADD leaderboard 85 "player2"
4. redis-cli -p 6388 ZADD leaderboard 92 "player3"
5. ​
6. # 按分数范围查询（默认升序）
7. redis-cli -p 6388 ZRANGE leaderboard 0 -1
8. ​
9. # 按分数范围查询并显示分数
10. redis-cli -p 6388 ZRANGE leaderboard 0 -1 WITHSCORES
11. ​
12. # 获取成员分数
13. redis-cli -p 6388 ZSCORE leaderboard "player2"
14. ​
15. # 删除成员
16. redis-cli -p 6388 ZREM leaderboard "player2"

复制代码

其他操作

代码语言：javascript

AI代码解释

1. # 列出所有键
2. redis-cli -p 6388 KEYS "*"
3. ​
4. # 清空所有数据
5. redis-cli -p 6388 FLUSHALL
6. ​
7. # 触发 RDB 快照保存
8. redis-cli -p 6388 BGSAVE

复制代码

主从复制测试

1. 在主节点写入数据

代码语言：javascript

AI代码解释

1. # 连接主节点并写入
2. redis-cli -p 6379 SET repl:test "master-data"
3. redis-cli -p 6379 HSET repl:hash field1 "value1"
4. redis-cli -p 6379 ZADD repl:zset 90 "item1"

复制代码

2. 在从节点读取数据

代码语言：javascript

AI代码解释

1. # 连接从节点并读取
2. redis-cli -p 6380 GET repl:test
3. redis-cli -p 6380 HGETALL repl:hash
4. redis-cli -p 6380 ZRANGE repl:zset 0 -1 WITHSCORES

复制代码

批量操作测试

使用管道模式

代码语言：javascript

AI代码解释

1. # 创建测试数据文件
2. echo -e "SET key1 value1\nSET key2 value2\nSET key3 value3" > test-commands.txt
3. ​
4. # 通过管道执行
5. redis-cli -p 6388 --pipe < test-commands.txt

复制代码

性能测试

代码语言：javascript

AI代码解释

1. # 基本性能测试
2. redis-benchmark -h 127.0.0.1 -p 6388 -n 10000 -c 50
3. ​
4. # 测试 SET 操作
5. redis-benchmark -h 127.0.0.1 -p 6388 -t set -n 10000 -d 100
6. ​
7. # 测试 GET 操作
8. redis-benchmark -h 127.0.0.1 -p 6388 -t get -n 10000

复制代码

第三章：RESP协议实现

第四章：网络编程与事件循环

第五章：KV存储引擎实现

第六章：持久化实现

第七章：主从复制实现

这几个章节需要搭配源码一起看，详细的学习文档和源码都在这个视频讲解中给出来，大家可以去观看领取

第八章：性能优化与调优

8.1 性能测试基准

使用redis-benchmark进行性能测试，对比优化前后的效果：

代码语言：javascript

AI代码解释

1. # 基准测试命令
2. redis-benchmark -h 127.0.0.1 -p 6379 -n 100000 -c 50 -P 10 -t set,get
3. redis-benchmark -h 127.0.0.1 -p 6379 -n 50000 -c 10 -P 1 -d 1000 -t set,get

复制代码

8.1.1 性能优化对比

优化项	优化前QPS	优化后QPS	提升倍数	备注
基础实现	15k	-	-	阻塞I/O + 同步AOF
非阻塞I/O + epoll	15k	45k	3x	事件驱动
边沿触发(EPOLLET)	45k	52k	1.15x	减少系统调用
writev批量发送	52k	58k	1.12x	减少网络系统调用
AOF异步写入	1.4k	55k	39x	AOF模式下的巨大提升
Group Commit	55k	48k	0.87x	always模式权衡

8.2 关键优化技术

8.2.1 AOF性能优化核心

最关键的优化是AOF的异步写入机制：

代码语言：javascript

AI代码解释

1. // 优化前：同步写入（性能杀手）
2. void appendAOF_slow(const std::string& cmd) {
3. std::ofstream file(aof_path_, std::ios::app);
4. file << cmd;
5. file.flush(); // 立即刷盘，QPS暴跌
6. }
7. ​
8. // 优化后：异步批量写入
9. void appendAOF_fast(const std::string& cmd) {
10. {
11. std::lock_guard<std::mutex> lock(queue_mutex_);
12. aof_queue_.push(cmd);
13. pending_bytes_ += cmd.size();
14. }
15. cv_.notify_one(); // 唤醒后台写入线程
16. }

复制代码

8.2.2 网络I/O优化

代码语言：javascript

AI代码解释

1. // 优化技巧1：TCP_NODELAY避免Nagle算法延迟
2. int opt = 1;
3. setsockopt(client_fd, IPPROTO_TCP, TCP_NODELAY, &opt, sizeof(opt));
4. ​
5. // 优化技巧2：writev批量发送
6. struct iovec iov[64]; // 增大到64个iovec
7. int count = 0;
8. for (const auto& chunk : out_chunks) {
9. iov[count].iov_base = (void*)chunk.data();
10. iov[count].iov_len = chunk.size();
11. if (++count >= 64) break;
12. }
13. writev(fd, iov, count);
14. ​
15. // 优化技巧3：边沿触发一次性读完
16. while (true) {
17. ssize_t n = read(fd, buf, sizeof(buf));
18. if (n <= 0) {
19. if (errno == EAGAIN) break; // 读完了
20. // 处理错误
21. }
22. process_data(buf, n);
23. }

复制代码

8.3 内存与算法优化

8.3.1 ZSet自适应存储

代码语言：javascript

AI代码解释

1. // 小集合用vector，大集合用跳表
2. class ZSetRecord {
3. static constexpr size_t THRESHOLD = 128;
5. std::vector<std::pair<double, std::string>> small_set; // <128元素
6. std::unique_ptr<Skiplist> skiplist; // >=128元素
8. void checkAndConvert() {
9. if (!use_skiplist && small_set.size() >= THRESHOLD) {
10. convertToSkiplist(); // 自动升级
11. }
12. }
13. };

复制代码

8.3.2 预分配和对象复用

代码语言：javascript

AI代码解释

1. // 预分配AOF文件空间，避免频繁扩展
2. void preallocateAOF(int fd, size_t size) {
3. if (posix_fallocate(fd, 0, size) == 0) {
4. printf("Preallocated %zu bytes for AOF\n", size);
5. }
6. }
7. ​
8. // 连接对象复用
9. class ConnectionPool {
10. std::vector<std::unique_ptr<Conn>> free_conns_;
12. std::unique_ptr<Conn> acquire() {
13. if (!free_conns_.empty()) {
14. auto conn = std::move(free_conns_.back());
15. free_conns_.pop_back();
16. conn->reset(); // 重置状态
17. return conn;
18. }
19. return std::make_unique<Conn>();
20. }
21. };

复制代码

结语

技术重点

• 高性能：异步AOF、批量I/O、边沿触发
• 完整架构：网络层、协议层、存储层分离
• 数据结构：跳表、自适应ZSet、Hash表
• 持久化：AOF+RDB双重保障
• 复制：主从同步、部分重同步
• 优化：从1.4k到55k QPS的性能提升（这里是针对SET），如果是GET可以媲美Redis.