如何优化Mysql千万级快速分页,limit优化快?
select * from collect where id in (9000,12,50,7000); 竟然 0秒便可以查完!id in (str) 很快,根基还是0秒。若是这样,千万级的数据,mysql应该也很轻易应付。
ASP+mysql海量数据的分页优化?
要把connection设置为使用本地游标定位方式,mysql的server端不支持recordset的recordcount属性。connstr="****
"set conn=server.createibject("ADODB.Connection"
)conn.Open connstrconn.CursorLocation=3 'adUseClient=3,而默认为adUseServer(=2)set rs=server.createobject("ADODB.recordset"
)sql="select ....."rs.open sql,conn,1,1'这时候就可以用recordcount pagecount了rs.pagesize=10rs.absolutepage=cint(strpage)select_count=rs.recordcountselect_pagecount=rs.pagecount
mysql分页怎么越到后面越慢?
因为offset limit是本质上就是服务端的scan啊,查询最后一条就是scan了1000万数据,哪怕scan的是索引也要scan几十万个磁盘块,当然慢
如果是导数据的话考虑下游标
如果是界面上展示的话首先可以考虑优化查询场景,因为很少有1000w条数据分页展示的情况,优化后一般顶天1w页也就是10w左右数据,合理设计和命中索引的情况下offset limit还是很快的
mysqljoin后如何分页?
1. 右键表,打开右键菜单列表,点击设计表,进入到设计表窗口,点击索引,进入到索引窗口完成主键索引的设置,
2. 然后在使用SELECT * FROM test WHERE id > (1*10) LIMIT 30来实现分页,1是页数,30是条数,这个用在数据量比较大的表执行会更快些。
以上是mysqljoin后分页的方法。
为什么MySQL在数据库较大的时候分页查询很慢,如何优化?
题主给的这个sql其实想要的数据也就20条吧(你那个300020应该是打错了,不可能是实际业务一页显示30多万条记录),单纯查三十多万数据其实很快,为什么分页后就很慢?
变慢的原因,一方面是select *,另一方面是数据量较大,还有一个是带有排序操作。本质是分页查询时,会先查询出limit + offset条记录,然后截取后面的offset记录。
Mysql数据库作为一款比较主流的开源关系型数据库,市场上我觉得貌似开发者没有一个没用过吧。
影响MySQL查询性能的因素有很多,比如sql,表结构设计,磁盘io,网卡io,高并发,数据库相关参数配置,还有服务器硬等。
这里面涉及最多也是面试中最常问的就是有关sql的优化。
因为很多性能上的问题来自sql的比较多,mysql数据库在数据量级达到百万以上性能是逐渐下降的。
关于sql优化又有很多优化的方向和手段。比如对表结构的字段类型,默认值,索引等最基础的做一些优化,然后编写的sql最好要能完全命中索引。
当然并不是说建索引就一定命中,不走索引就一定慢。这取决于mysql的执行计划。
还有建索引也并不是越多越好,单表索引最好不要超过6个,毕竟索引也占空间,数据更新的同时,还牵扯到索引文件的维护。
OK说了这么多,到底该怎么对这个分页又排序做优化呢?
我的做法就是合理利用主键索引来处理
select a.* from table a inner join (select id from table
limit 300000,20)
b on a.id=b.id;
然后排序最好放到代码层面上去。
希望我的回答能帮到你
问题
我们有一个 SQL,用于找到没有主键 / 唯一键的表,但是在 MySQL 5.7 上运行特别慢,怎么办?
实验
我们搭建一个 MySQL 5.7 的环境,此处省略搭建步骤。
写个简单的脚本,制造一批带主键和不带主键的表:
执行一下脚本:
现在执行以下 SQL 看看效果:
...
执行了 16.80s,感觉是非常慢了。
现在用一下 DBA 三板斧,看看执行计划:
感觉有点惨,由于 information_schema.columns 是元数据表,没有必要的统计信息。
那我们来 show warnings 看看 MySQL 改写后的 SQL:
我们格式化一下 SQL:
可以看到 MySQL 将
select from A where A.x not in (select x from B) //非关联子查询
转换成了
select from A where not exists (select 1 from B where B.x = a.x) //关联子查询
如果我们自己是 MySQL,在执行非关联子查询时,可以使用很简单的策略:
select from A where A.x not in (select x from B where ...) //非关联子查询:1. 扫描 B 表中的所有记录,找到满足条件的记录,存放在临时表 C 中,建好索引2. 扫描 A 表中的记录,与临时表 C 中的记录进行比对,直接在索引里比对,
而关联子查询就需要循环迭代:
select from A where not exists (select 1 from B where B.x = a.x and ...) //关联子查询扫描 A 表的每一条记录 rA: 扫描 B 表,找到其中的第一条满足 rA 条件的记录。
显然,关联子查询的扫描成本会高于非关联子查询。
我们希望 MySQL 能先"缓存"子查询的结果(缓存这一步叫物化,MATERIALIZATION),但MySQL 认为不缓存更快,我们就需要给予 MySQL 一定指导。
...
可以看到执行时间变成了 0.67s。
整理
我们诊断的关键点如下:
\1. 对于 information_schema 中的元数据表,执行计划不能提供有效信息。
\2. 通过查看 MySQL 改写后的 SQL,我们猜测了优化器发生了误判。
\3. 我们增加了 hint,指导 MySQL 正确进行优化判断。
但目前我们的实验仅限于猜测,猜中了万事大吉,猜不中就无法做出好的诊断。