本文作者:kris

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

kris 2025-01-31 00:06:05 3
一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析摘要: 如何使用phpMyadmin优化MySQL数据库?phpMyadmin仅仅是一个数据库管理工具,与Mysql数据库优化应该是很松耦合的。下面简单谈谈MySql数据库的几个优化点:1...

如何使用phpMyadmin优化MySQL数据库?

phpMyadmin仅仅是一个数据库管理工具,与Mysql数据库优化应该是很松耦合的。下面简单谈谈MySql数据库的几个优化点:

1、优化SQL语句

比如尽量少用"select * from ...",需要什么字段返回什么字段,可以有效节省网络IO,缩短查询时间,还可以增加Mysql服务器的吞吐量。

再比如需要select最近一个月的数据,数据量比较大;拆成10次请求,每次请求select三天的,效果可能会好很多。

再比如使用join做表连接的时候,尽量用小表驱动大表,简单来说就是left join,左表是驱动表;right join 右表是驱动表;inner join mysql会自动做优化

学会使用EXPLAIN关键字辅助优化

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

优化SQL语句是数据库优化的首选;

2、优化表结构

比如字段类型,可以用数字的字段,尽量不要用Text,比如订单Id一般都是数据。

小字段能满足要求的,尽量不要用大字段

根据业务场景,在合适的字段上添加索引,提高搜索速度

适当的做字段冗余和缩减

3、表的拆分

数据库表一般分为纵向拆分和横向拆分,纵向拆分就是将一个表按照列拆分成多个表,通过外键连接。横向拆分就是按照某个字段(比如:时间)做拆分。

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

数据库拆分

对于数据量太大,或者QPS很大的场景,就需要分库处理。比如设置主库和从库,主库用于写数据,从库用于读数据

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

以上优化手段,部分可以借助phpMyadmin实现。

更详细的优化手段欢迎点击我的头像,关注我,查看我之前写的Mysql系列文章。

大家觉得这个回答怎么样呢??

mysql数据库cpu飙升800%,如何故障定位及优化?

mysql数据库cpu飙升800%,基本上就两种原因:

  1. 访问量大,大到你8核cpu都承受不了;

  2. 慢查询,数据库执行sql语句操作(查询数据、修改数据)会产生大量的逻辑读,将读出来的数据维护到临时表中(内存),系统需要消耗较多的cpu来维持内存与磁盘数据的一致性。

大多数情况下都是开发人员对sql的把握质量不够,导致慢sql查询的产生,进而影响数据库的整体运行状况。

大量行锁冲突、行锁等待或后台任务也有可能会导致实例的 CPU 使用率过高,但这些情况出现的概率非常低。

当我们的数据库性能下降的厉害或者cpu飙升时候,可以进行如下操作定位问题:

查询mysql进程列表

show full processlist;

获取到mysql当前使用的进程:

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

如果进程很多,说明请求量很大,需要区分是否正常业务流量,还是代码问题导致的。

查询慢查询日志

show variables like '%slow_query_log%';

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

找到慢查询日志文件/home/mysql/data3085/mysql/

slow_query.log

,即可找到慢查询日志信息,解决这些慢sql,你的cpu一定会降下来。

避免数据库cpu飙升

实际开发过程中,我们对数据库的使用一定要小心,不能等问题发生了再去排查问题解决问题,而是要预防问题的发生,并且在问题可能发生的情况下,提前介入,避免问题扩大化。平时开发过程中需要做好一些准备工作:

  1. 增加CPU使用率告警机制,比如使用率超过80%就短信告警;

  2. 所有的sql语句必须走索引,有DBA则由DBA统一调控,没有的话开发人员先执行explain看sql执行计划,必须走索引,属于强制规则;

  3. 新功能上线必须进行压测;

  4. 日常mysql运行监控,慢查日志查看,将隐患扼杀在摇篮之中。

以上就是一些mysql稳定运行的个人看法,大家还有什么好的建议,欢迎评论去交流讨论,批评指正~

mysql如何定期分析检查与优化表?

1. 对表进行优化 ( 优化表主要作用是消除删除或者更新造成的空间浪费)

2. 对表进行分析(分析关键字的分布, 分析并存储MyISAM和BDB表中键的分布)

3. 对表进行检查(检查表的错误,并且为MyISAM更新键的统计内容)

4. 对表进行修复(修复被破坏的MyISAM表)

分析表

ANALYZE TABLE 表名1 [,表名2…] ;

ANALYZE TABLE分析表的过程中,数据库系统会对表加一个只读锁。在分析期间,只能读取表中的记录,不能更新和插入记录。ANALYZE TABLE语句能够分析InnoDB和MyISAM类型的表。

对表的定期分析可以改善性能,且应该成为常规维护工作的一部分。因为通过更新表的索引信息对表进行分析,可改善数据库性能。

检查表

MySQL中使用CHECK TABLE语句来检查表。CHECK TABLE语句能够检查InnoDB和MyISAM类型的表是否存在错误。还可以检查视图是否存在错误.

check table 表名

优化表

随着MySQL的使用,包括BLOB和VARCHAR字节的表将变得比较繁冗,因为这些字段长度不同,对记录进行插入、更新或删除时,会占有不同大小的空间,记录就会变成碎片,且留下空闲的空间。像具有碎片的磁盘,会降低性能,需要整理,因此要优化。 (个人理解:当删除数据之后,原来的索引文件位置会空出来。等待新文件的插入,optimize命令就是整理索引文件)

针对MyISAM表,直接使用如下命令进行优化

optimize table table1[,table2][,table3]

myisam

innodb

Table does not support optimize, doing recreate + analyze instead。因为Innodb结构下删除了大量的行,此时索引会重组并且会释放相应的空间因此不必优化。

show table status like ‘表名’;

为什么MySQL在数据库较大的时候分页查询很慢,如何优化?

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

使用合理的分页方式以提高分页的效率

正如楼主所说,分页查询在我们的实际应用中非常普遍,也是最容易出问题的查询场景。比如对于下面简单的语句,一般想到的办法是在name,age,register_time字段上创建复合索引。这样条件排序都能有效的利用到索引,性能迅速提升。

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

如上例子,当 LIMIT 子句变成 “LIMIT 100000, 50” 时,此时我们会发现,只取50条语句为何会变慢?

原因很简单,MySQL并不知道第 100000条记录从什么地方开始,即使有索引也需要从头计算一次,因此会感觉非常的慢。

通常,我们在做分页查询时,是可以获取上一页中的某个数据标志来缩小查询范围的,比如时间,可以将上一页的最大值时间作为查询条件的一部分,SQL可以优化为这样:

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析


若对你有所帮助,欢迎点赞、关注支持哦。

题主给的这个sql其实想要的数据也就20条吧(你那个300020应该是打错了,不可能是实际业务一页显示30多万条记录),单纯查三十多万数据其实很快,为什么分页后就很慢?

变慢的原因,一方面是select *,另一方面是数据量较大,还有一个是带有排序操作。本质是分页查询时,会先查询出limit + offset条记录,然后截取后面的offset记录。

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

Mysql数据库作为一款比较主流的开源关系型数据库,市场上我觉得貌似开发者没有一个没用过吧。

影响MySQL查询性能的因素有很多,比如sql,表结构设计,磁盘io,网卡io,高并发,数据库相关参数配置,还有服务器硬等。

这里面涉及最多也是面试中最常问的就是有关sql的优化。

因为很多性能上的问题来自sql的比较多,mysql数据库在数据量级达到百万以上性能是逐渐下降的。

关于sql优化又有很多优化的方向和手段。比如对表结构的字段类型,默认值,索引等最基础的做一些优化,然后编写的sql最好要能完全命中索引。

当然并不是说建索引就一定命中,不走索引就一定慢。这取决于mysql的执行计划。

还有建索引也并不是越多越好,单表索引最好不要超过6个,毕竟索引也占空间,数据更新的同时,还牵扯到索引文件的维护。

OK说了这么多,到底该怎么对这个分页又排序做优化呢?

我的做法就是合理利用主键索引来处理

select a.* from table a inner join (select id from table

limit 300000,20)

b on a.id=b.id;

然后排序最好放到代码层面上去。

希望我的回答能帮到你

问题

我们有一个 SQL,用于找到没有主键 / 唯一键的表,但是在 MySQL 5.7 上运行特别慢,怎么办?

实验

我们搭建一个 MySQL 5.7 的环境,此处省略搭建步骤。

写个简单的脚本,制造一批带主键和不带主键的表:

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

执行一下脚本:

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

现在执行以下 SQL 看看效果:

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

...

执行了 16.80s,感觉是非常慢了。

现在用一下 DBA 三板斧,看看执行计划:

感觉有点惨,由于 information_schema.columns 是元数据表,没有必要的统计信息。

那我们来 show warnings 看看 MySQL 改写后的 SQL:

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

我们格式化一下 SQL:

可以看到 MySQL 将

select from A where A.x not in (select x from B) //非关联子查询

转换成了

select from A where not exists (select 1 from B where B.x = a.x) //关联子查询

如果我们自己是 MySQL,在执行非关联子查询时,可以使用很简单的策略:

select from A where A.x not in (select x from B where ...) //非关联子查询:1. 扫描 B 表中的所有记录,找到满足条件的记录,存放在临时表 C 中,建好索引2. 扫描 A 表中的记录,与临时表 C 中的记录进行比对,直接在索引里比对,

而关联子查询就需要循环迭代:

select from A where not exists (select 1 from B where B.x = a.x and ...) //关联子查询扫描 A 表的每一条记录 rA: 扫描 B 表,找到其中的第一条满足 rA 条件的记录。

显然,关联子查询的扫描成本会高于非关联子查询。

我们希望 MySQL 能先"缓存"子查询的结果(缓存这一步叫物化,MATERIALIZATION),但MySQL 认为不缓存更快,我们就需要给予 MySQL 一定指导。

...

一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

可以看到执行时间变成了 0.67s。

整理

我们诊断的关键点如下:

\1. 对于 information_schema 中的元数据表,执行计划不能提供有效信息。

\2. 通过查看 MySQL 改写后的 SQL,我们猜测了优化器发生了误判。

\3. 我们增加了 hint,指导 MySQL 正确进行优化判断。

但目前我们的实验仅限于猜测,猜中了万事大吉,猜不中就无法做出好的诊断。

这个得明白mysql的存储原理 讲个例子 一个小区有很多栋 一栋有很多层 一层有很多室 你哪个小区哪一栋那一层都不告诉它 它能一下找到吗 虽然它也想快点帮你找到

个人实战经验分享一下,商品表,数据量还是相对较大的,有好几百万。当时最初架构也是遇到这种问题,因为最初设计的时候没想到会有这么大数据量,也就应对10万以内的架构设计。那后来也是通过不断找寻方案,最终采用了一种桥连接表的方案。主表是商品表,几百万或者上千万商品。

第一步,建立桥数据表,一个自增ID,一个商品ID,主要这俩字段,额外排序条件也可以加进去,均int类型,不宜过大。这个表就是存商品ID用的。

第二步,查询分页的时候,先在这个桥表做分页查询,表小,都是索引,速度非常快,然后取出商品ID后,再用已知商品ID对商品表做in查询。查出具体信息。这样速度提升巨大。简单实用,仅需对分页部分做查询修改即可完成。

目前三五百万商品表,都是毫秒级查询,没改造之前需要半分钟。

再说一句是MySQL数据库,有的说什么分表分库,那都没必要,用in条件查询,那是最快的,直接告诉在哪,取数就行了。


一个优化MySQL查询操作的具体案例分析-一个优化mysql查询操作的具体案例分析

文章版权及转载声明

作者:kris本文地址:https://www.damoyx.com/p/29030.html发布于 2025-01-31 00:06:05
文章转载或复制请以超链接形式并注明出处大漠游侠网

阅读
分享