本文作者:kris

MySQL学习笔记之数据定义表约束,分页方法总结-mysql约束分为

kris 2025-01-25 08:36:04 4
MySQL学习笔记之数据定义表约束,分页方法总结-mysql约束分为摘要: mysql数据库,分表后,怎么进行分页查询?Mysql分库分表方案?Mysql分库分表方案1.为什么要分表:当一张表的数据达到几千万时,你查询一次所花的时间会变多,如果有联合查询的...

mysql数据库,分表后,怎么进行分页查询?Mysql分库分表方案?

Mysql分库分表方案

1.为什么要分表:

当一张表的数据达到几千万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。

mysql中有一种机制是表锁定和行锁定,是为了保证数据的完整性。表锁定表示你们都不能对这张表进行操作,必须等我对表操作完才行。行锁定也一样,别的sql必须等我对这条数据操作完了,才能对这条数据进行操作。

2. mysql proxy:amoeba

做mysql集群,利用amoeba。

从上层的java程序来讲,不需要知道主服务器和从服务器的来源,即主从数据库服务器对于上层来讲是透明的。可以通过amoeba来配置。

3.大数据量并且访问频繁的表,将其分为若干个表

比如对于某网站平台的数据库表-公司表,数据量很大,这种能预估出来的大数据量表,我们就事先分出个N个表,这个N是多少,根据实际情况而定。

某网站现在的数据量至多是5000万条,可以设计每张表容纳的数据量是500万条,也就是拆分成10张表,

那么如何判断某张表的数据是否容量已满呢?可以在程序段对于要新增数据的表,在插入前先做统计表记录数量的操作,当<500万条数据,就直接插入,当已经到达阀值,可以在程序段新创建数据库表(或者已经事先创建好),再执行插入操作。

4. 利用merge存储引擎来实现分表

如果要把已有的大数据量表分开比较痛苦,最痛苦的事就是改代码,因为程序里面的sql语句已经写好了。用merge存储引擎来实现分表, 这种方法比较适合.

为什么MySQL在数据库较大的时候分页查询很慢,如何优化?

MySQL学习笔记之数据定义表约束,分页方法总结-mysql约束分为

使用合理的分页方式以提高分页的效率

正如楼主所说,分页查询在我们的实际应用中非常普遍,也是最容易出问题的查询场景。比如对于下面简单的语句,一般想到的办法是在name,age,register_time字段上创建复合索引。这样条件排序都能有效的利用到索引,性能迅速提升。

MySQL学习笔记之数据定义表约束,分页方法总结-mysql约束分为

如上例子,当 LIMIT 子句变成 “LIMIT 100000, 50” 时,此时我们会发现,只取50条语句为何会变慢?

原因很简单,MySQL并不知道第 100000条记录从什么地方开始,即使有索引也需要从头计算一次,因此会感觉非常的慢。

通常,我们在做分页查询时,是可以获取上一页中的某个数据标志来缩小查询范围的,比如时间,可以将上一页的最大值时间作为查询条件的一部分,SQL可以优化为这样:

MySQL学习笔记之数据定义表约束,分页方法总结-mysql约束分为


若对你有所帮助,欢迎点赞、关注支持哦。

题主给的这个sql其实想要的数据也就20条吧(你那个300020应该是打错了,不可能是实际业务一页显示30多万条记录),单纯查三十多万数据其实很快,为什么分页后就很慢?

变慢的原因,一方面是select *,另一方面是数据量较大,还有一个是带有排序操作。本质是分页查询时,会先查询出limit + offset条记录,然后截取后面的offset记录。

MySQL学习笔记之数据定义表约束,分页方法总结-mysql约束分为

Mysql数据库作为一款比较主流的开源关系型数据库,市场上我觉得貌似开发者没有一个没用过吧。

影响MySQL查询性能的因素有很多,比如sql,表结构设计,磁盘io,网卡io,高并发,数据库相关参数配置,还有服务器硬等。

这里面涉及最多也是面试中最常问的就是有关sql的优化。

因为很多性能上的问题来自sql的比较多,mysql数据库在数据量级达到百万以上性能是逐渐下降的。

关于sql优化又有很多优化的方向和手段。比如对表结构的字段类型,默认值,索引等最基础的做一些优化,然后编写的sql最好要能完全命中索引。

当然并不是说建索引就一定命中,不走索引就一定慢。这取决于mysql的执行计划。

还有建索引也并不是越多越好,单表索引最好不要超过6个,毕竟索引也占空间,数据更新的同时,还牵扯到索引文件的维护。

OK说了这么多,到底该怎么对这个分页又排序做优化呢?

我的做法就是合理利用主键索引来处理

select a.* from table a inner join (select id from table

limit 300000,20)

b on a.id=b.id;

然后排序最好放到代码层面上去。

希望我的回答能帮到你

文章版权及转载声明

作者:kris本文地址:https://www.damoyx.com/p/27288.html发布于 2025-01-25 08:36:04
文章转载或复制请以超链接形式并注明出处大漠游侠网

阅读
分享