摘要：
mysql数据库，分表后，怎么进行分页查询？Mysql分库分表方案？Mysql分库分表方案1.为什么要分表：当一张表的数据达到几千万时，你查询一次所花的时间会变多，如果有联合查询的... mysql数据库，分表后，怎么进行分页查询？Mysql分库分表方案？
Mysql分库分表方案
1.为什么要分表：
当一张表的数据达到几千万时，你查询一次所花的时间会变多，如果有联合查询的话，我想有可能会死在那儿了。分表的目的就在于此，减小数据库的负担，缩短查询时间。
mysql中有一种机制是表锁定和行锁定，是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作，必须等我对表操作完才行。行锁定也一样，别的sql必须等我对这条数据操作完了，才能对这条数据进行操作。
2. mysql proxy：amoeba
做mysql集群,利用amoeba。
从上层的java程序来讲，不需要知道主服务器和从服务器的来源，即主从数据库服务器对于上层来讲是透明的。可以通过amoeba来配置。
3.大数据量并且访问频繁的表，将其分为若干个表
比如对于某网站平台的数据库表-公司表，数据量很大，这种能预估出来的大数据量表，我们就事先分出个N个表，这个N是多少，根据实际情况而定。
某网站现在的数据量至多是5000万条，可以设计每张表容纳的数据量是500万条，也就是拆分成10张表，
图片来源：网络
那么如何判断某张表的数据是否容量已满呢?可以在程序段对于要新增数据的表，在插入前先做统计表记录数量的操作，当<500万条数据，就直接插入，当已经到达阀值，可以在程序段新创建数据库表(或者已经事先创建好)，再执行插入操作。
4. 利用merge存储引擎来实现分表
如果要把已有的大数据量表分开比较痛苦，最痛苦的事就是改代码，因为程序里面的sql语句已经写好了。用merge存储引擎来实现分表, 这种方法比较适合.
mysql分库分表如何解决数据倾斜问题？
在MySQL的分库分表架构中，为了解决数据倾斜问题，可以采取以下几种方法：
1. 哈希分片（Hash Sharding）：使用哈希函数对分片键（如用户ID、订单ID）进行哈希计算，将数据分散到不同的库和表中。通过合理选择哈希函数，可以使数据在分片中均匀分布，从而减少数据倾斜。
2. 范围分片（Range Sharding）：根据数据的范围将其分片到不同的库和表中。可以根据业务需求选择合适的范围，如按时间范围分片，将不同时间段的数据存储在不同的库或表中。
3. 垂直拆分（Vertical Partitioning）：将表按照列的关系和使用频率进行拆分，将不同的列分到不同的表中。这样可以减少单个表的数据量，降低数据倾斜的可能性。
4. 水平拆分（Horizontal Partitioning）：将表按照行进行拆分，将不同的行分散到不同的表中。可以根据分片键或其他关键业务字段进行拆分，确保数据在不同分片中均匀分布。
mysql分库分表解决数据倾斜问题
mysql是一种避免避免数据倾斜的手段
允许在map阶段进行join操作，mysql把小表全部读入内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map是进行了join操作，省去了reduce运行的效率也会高很多
在《hive：join遇到问题》有具体操作
在对多个表join连接操作时，将小表放在join的左边，大表放在Jion的右边，
在执行这样的join连接时小表中的数据会被缓存到内存当中,这样可以有效减少发生内存溢出错误的几率
2. 设置参数
hive.map.aggr = true
hive.groupby.skewindata=true 还有其他参数
3.SQL语言调节
比如： group by维度过小时：采用sum() group by的方式来替换count(distinct)完成计算
4.StreamTable
将在reducer中进行join操作时的小table放入内存，而大table通过stream方式读取
