第 38 篇：数据存储——MySQL 数据库

当数据量上来（几十万条以上），或者需要按条件查询、统计、关联分析时，文件存储就不够用了。这时候你需要一个数据库。

MySQL 是世界上最流行的开源关系型数据库，几乎每个后端工程师都用过。对爬虫工程师来说，MySQL 也是必修课之一。

本篇我们将系统学习：

• MySQL 的安装与基本概念；
• 用 Python 操作 MySQL（pymysql、mysql-connector）；
• ORM 框架 SQLAlchemy 的使用；
• 爬虫场景下的表设计与优化；
• 批量插入、去重、事务等实战技巧。

---

一、为什么选 MySQL

维度	文件	MySQL	MongoDB	Redis
数据量	万级以下	千万级	亿级	内存决定
查询能力	❌ 全文搜索	✅ SQL	✅ 文档查询	✅ KV 查询