web项目开发中,使用mysql作为数据库,如何进行数据库优化?
web项目里头,对于数据库的优化,跟普通的没有什么大的区别。需要速度上的优化,就得建索引。如果数据量实在太庞大了,就考虑换其他的数据库。例如mango.数据量太大,还可以通过分表,通过将不同的数据,哈希到不同的表来减少,查询的时间。
mysql数据库中,数据量很大的表,有什么优化方案么?
个人的观点,这种大表的优化,不一定上来就要分库分表,因为表一旦被拆分,开发、运维的复杂度会直线上升,而大多数公司是欠缺这种能力的。所以MySQL中几百万甚至小几千万的表,先考虑做单表的优化。
单表优化
单表优化可以从这几个角度出发:
表分区:MySQL在5.1之后才有的,可以看做是水平拆分,分区表需要在建表的需要加上分区参数,用户需要在建表的时候加上分区参数;分区表底层由多个物理子表组成,但是对于代码来说,分区表是透明的;SQL中的条件中最好能带上分区条件的列,这样可以定位到少量的分区上,否则就会扫描全部分区。
读写分离:最常用的优化手段,写主库读从库;
增加缓存:主要的思想就是减少对数据库的访问,缓存可以在整个架构中的很多地方,比如:数据库本身有就缓存,客户端缓存,数据库访问层对SQL语句的缓存,应用程序内的缓存,第三方缓存(如Redis等);
字段设计:单表不要有太多字段;VARCHAR的长度尽量只分配真正需要的空间;尽量使用TIMESTAMP而非DATETIME;避免使用NULL,可以通过设置默认值解决。
索引优化:索引不是越多越好,针对性地建立索引,索引会加速查询,但是对新增、修改、删除会造成一定的影响;值域很少的字段不适合建索引;尽量不用UNIQUE,不要设置外键,由程序保证;
SQL优化:尽量使用索引,也要保证不要因为错误的写法导致索引失效;比如:避免前导模糊查询,避免隐式转换,避免等号左边做函数运算,in中的元素不宜过多等等;
NoSQL:有一些场景,可以抛弃MySQL等关系型数据库,拥抱NoSQL;比如:统计类、日志类、弱结构化的数据;事务要求低的场景。
表拆分
数据量进一步增大的时候,就不得不考虑表拆分的问题了:
垂直拆分:垂直拆分的意思就是把一个字段较多的表,拆分成多个字段较少的表;上文中也说过单表的字段不宜过多,如果初期的表结构设计的就很好,就不会有垂直拆分的问题了;一般来说,MySQL单表的字段最好不要超过二三十个。
水平拆分:就是我们常说的分库分表了;分表,解决了单表数据过大的问题,但是毕竟还在同一台数据库服务器上,所以IO、CPU、网络方面的压力,并不会得到彻底的缓解,这个可以通过分库来解决。水平拆分优点很明显,可以利用多台数据库服务器的资源,提高了系统的负载能力;缺点是逻辑会变得复杂,跨节点的数据关联性能差,维护难度大(特别是扩容的时候)。
希望我的回答,能够帮助到你!我将持续分享Java开发、架构设计、程序员职业发展等方面的见解,希望能得到你的关注。
MySQL数据库是在国内各大公司最常用的数据库之一,MySQL是一种开源的关系型数据库。而对于数据库的优化我认为可以从以下几个方面进行:
1.数据库配置优化在安装MySQL数据库时,可以对于数据库进行优化,增加数据库的连接数,增加访问量,访问量的增加可以提高查询速度。增加缓存等优化数据库,在查询时,可以直接在缓存中查询数据;
2.表结构优化在创建表结构时,一张数据表中不要创建过多的字段,如果一个功能的数据表结构中字段较多,可以尝试将字段分离出来,分别建成两个或多个表。而且对于字段的长度够用即可,不要设置的过长;
3.索引优化可以在数据库中,对于经常使用的表建立索引,索引可以增加查询的速度。但是索引不是越多越好,过多的索引反而会减慢查询的速度。针对性地建立索引会加速查询,但是对新增、修改、删除会造成一定的影响;
4.SQL查询优化在SQL查询时可以通过优化SQL的查询进行优化,通过增加查询的条件优化SQL,在多表关联的查询中,尽量不要使用自关联和全关联的方式进行,而是使用左右关联的方式进行查询。查询语句将字段写出来,不要使用select * from t(表名)的方式进行。
首先分析数据量是否真的太大,分析表的使用方式,统计表的插入查询性能,可以查看mysql的slowlog,再把耗时长的语句拿出来分析,看能否通过优化sql来达到性能提升的目的。
以上的努力都尝试过还是存在性能问题的话,就得做下一步了。
单表数据量发的情况一般建议做分表,一是开发成本低,大多数框架都支持分表配置,其次是数据还在一个库里,对查询的影响比较小。
我是小七,一个平凡简单而不甘于平庸的程序员,欢迎大家关注我,一起交流学习!