软件系统数据库的分库分表设计

系统读写分离、分库分表技术实现采用MyCat中间件，MyCat 是一款开源（遵循 Apache License 2.0 协议）的大数据库集群中间件，用于搭建数据库的分布式集群，实现分库分表功能，解决数据库中海量数据存储和查询性能的问题。MyCat 还是一个数据库的集群中间件，主要实现 RDBMS 数据库集群的故障转移、负载均衡、读写分离等功能。

 

MyCat 的关键技术是分库分表，它通过将数据库中物理表中的数据切分成多个表分片，并将表分片存储在多个数据库节点上，从而构建分布式存储架构，提升巨表关联、排序、分组聚合等 OLAP 的能力。

 

分库分表的工作原理：拦截客户端提交的SQL语句并进行分析（如：分片分析、路由分析、读写分离分析、缓存分析等），然后将此SQL发往后端的真实数据库，并将返回的结果处理（如：数据合并）后再返回给客户端。如下图：

 

 

分库分表单规则匹配1

 

 

分库分表单规则匹配2

 

MyCat 还是一个位于数据库和客户端之间，主要实现读写分离功能的集群中间件。主要解决在业务系统存在大量的读并发时，通过负载均衡提高查询请求吞吐量，并将多个数据库节点集群化管理，在多主集群中单点数据库故障时候选主节点切换。

 

 

图90MyCat数据库集群

 

MyCat组件适用于的场景如下：

 

1）适用于 MySQL 、Oracle等主流数据库集群的读写分离、候选主节点切换、负载均衡等高可用模式；

 

2）适用于 MySQL 、Oracle等主流数据库集群的分表分库，对于单表数据超过1000 万的物理表进行分片，最大支持1000亿数据的单表分片；

 

3）适用于多租户应用，通过分库分表实现应用数据按照租户划分物理数据库存储。从租户的角度来看，个人应用的数据集约存储在独立的空间，从应用角度看，分布式数据库有利于海量数据的分析和查询；

 

4）适用于海量数据的统计、分析、研判等 OLAP 能力的支撑数据库，分库分表能够快速完成巨表关联、排序、分组聚合等数据计算功能；

 

5） 适用于海量数据的实时查询，如：百亿数据频繁查询的记录需要在3秒内反馈结果，包括主键查询、范围查询或其他属性查询的情况；

 

 

数据库集群部署拓扑图