本文作者:kris

MySQL5.6主从复制(mysql数据同步配置)-

kris 2025-01-29 15:06:04 16
MySQL5.6主从复制(mysql数据同步配置)-摘要: mysql主从同步会加排他锁吗?MySQL主从同步过程中会加排他锁,这是因为在主库进行数据更新时,需要保证数据的一致性,因此会在更新操作时加排他锁,防止其他会话同时对同一数据进行修...

mysql主从同步会加排他锁吗?

MySQL主从同步过程中会加排他锁,这是因为在主库进行数据更新时,需要保证数据的一致性,因此会在更新操作时加排他锁,防止其他会话同时对同一数据进行修改。

这些操作会被同步到从库,从库也会加排他锁进行数据更新操作,保证主从数据的一致性。由于加锁会影响并发性能,因此需要在设计主从同步架构时合理安排同步时机和策略,避免锁冲突导致性能问题。

mysql主从复制是定时任务吗?

不是。

MySQL主从复制是为了实现数据库冗余备份,将master数据库数据定时同步至slave库中。一旦master数据库宕机,可以将web应用数据库配置快速地切换到slave数据库,确保web应用的。

mysql的主从复制会影响事务吗?

不会的。mysql的主从复制不会影响事务。

因为,主从复制的原理是:

数据库将用户的请求通过工作线程来将数据写入到数据库中然后在写入到 binlog 日志中。

binlog日志详细记录了数据的操作信息。

主数据库会有一个IO线程将binlog日志中的数据同步到从数据库的relay日志中。

从数据库再通过自己数据库内的SQL线程将 relay log 日志中的数据写入到数据库中。

高并发场景下,如何实现数据库主从同步?

数据主从同步的由来

互联网的很多业务,特别是在高并发的场景下,基本都是读远远大于写,如果数据库读和写的压力都同在一台主机上,这显然不太合理。

于是,把一台数据库主机分为单独的一台写主库(主要负责写操作),而把读的数据库压力分配给读的从库,而且读从库可以变为多台,这就是读写分离的典型场景如下:

MySQL5.6主从复制(mysql数据同步配置)-

为了进一步的降低数据库端的压力(高并发的瓶颈),这个时候也会在业务层部署分布式缓存集群(redis、memcached)等,把读的压力转移给应用服务器端,其实与数据主从的设计是遵循同一个原则,降低后端数据库的压力。

问题:

读写分离提高了资源的利用效率的同时也引出了一个问题,就是由于延时(网络传输,操作)而引起的数据库主从不一致的问题,以下会详细谈相关的数据一致性解决方案。

数据同步一致性解决方案

1.半同步复制

办法就是等主从同步完成之后,等主库上的写请求再返回,这就是常说的“半同步复制"。

实现方案

mysql的半同步复制方案,下面我以mysql为例介绍。

MySQL5.6主从复制(mysql数据同步配置)-

MySQL半同步复制

MySQL的Replication默认是一个异步复制的过程,从MySQL5.5开始,MySQL以插件的形式支持半同步复制,我先谈下异步复制,这样可以更好的理解半同步复制。

1)异步复制

MySQL默认的复制是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从库上。

2)半同步复制

对于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。

MySQL5.6主从复制(mysql数据同步配置)-

半同步复制原理:

事务在主库写完binlog后需要从库返回一个已接受,才放回给客户端

mysql5.5版本以后,以插件的形式存在,需要单独安装

确保事务提交后binlog至少传输到一个从库

不保证从库应用完成这个事务的binlog

性能有一定的降低

网络异常或从库宕机,卡主库,直到超时或从库恢复

该方案优点:

利用数据库原生功能,比较简单

该方案缺点:

主库的写请求时延会增长,吞吐量会降低

2.数据库中间件

MySQL5.6主从复制(mysql数据同步配置)-

流程:

1)所有的读写都走数据库中间件,通常情况下,写请求路由到主库,读请求路由到从库

2)记录所有路由到写库的key,在主从同步时间窗口内(假设是500ms),如果有读请求访问中间件,此时有可能从库还是旧数据,就把这个key上的读请求路由到主库。

3)在主从同步时间过完后,对应key的读请求继续路由到从库。

相关的中间件有:

1)canal:是阿里巴巴旗下的一款开源项目,纯Java开发,基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了MySQL。

2)otter:也是阿里开源的一个分布式数据库同步系统,尤其是在跨机房数据库同步方面,有很强大的功能。它是基于数据库增量日志解析,实时将数据同步到本机房或跨机房的mysql/oracle数据库。

两者的区别在于:

otter目前嵌入式依赖canal,部署为同一个jvm,目前设计为不产生Relay Log。

otter目前允许自定义同步逻辑,解决各类需求。

该方案优点

能保证绝对一致

该方案缺点:

数据库中间件的成本较高

3.缓存记录写key法

MySQL5.6主从复制(mysql数据同步配置)-

写流程:

1)如果key要发生写操作,记录在cache里,并设置“经验主从同步时间”的cache超时时间,例如500ms

2)然后修改主数据库

读流程:

1)先到缓存里查看,对应key有没有相关数据

2)有相关数据,说明缓存命中,这个key刚发生过写操作,此时需要将请求路由到主库读最新的数据。

3)如果缓存没有命中,说明这个key上近期没有发生过写操作,此时将请求路由到从库,继续读写分离。

该方案优点:

相对数据库中间件,成本较低

该方案缺点:

为了保证“一致性”,引入了一个cache组件,并且读写数据库时都多了缓存操作。

常用方案是数据库读写分离技术。不过既然题主提到了高并发场景,我就来告诉你,event sourcing——事件溯源,eventuate架构就提供,和CQRS——应用层写读分离。再结合kafka这类的消息中间件,或是阿里的canal数据库日志同步解决方案,可以搭建一个完美的高并发事务与实时在线响应系统,当然这种读写分离系统的事务是最终一致性的,题主可自行百度我说的各项技术。如果题主和各位看官觉得有价值,就请点个赞吧

文章版权及转载声明

作者:kris本文地址:https://www.damoyx.com/p/28510.html发布于 2025-01-29 15:06:04
文章转载或复制请以超链接形式并注明出处大漠游侠网

阅读
分享