基于Maxscale中间件实现Mysql读写分离实战
wptr33 2024-11-24 22:27 21 浏览
环境介绍:
?CentOS 7.5
?Mysql 5.7.29
?Mysql主服务器:192.168.2.128
?Mysql从服务器:192.168.2.129
?Mysql代理服务器:192.168.2.130
?客户端服务器:192.168.2.132
读写分离概述:
1、什么是读写分离?
?读写分离的基本原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。一般来说都是通过 主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy)来提升数据库的并发负载能力这样的方案来进行部署与实施的。
2、为什么要读写分离?
?因为数据库的“写”操作是比较耗时的,但是数据库的“读”操作耗时非常短,所以读写分离,解决的是数据库的写入影响了查询的效率(即读操作比写操作多的场景)。
3、什么时候读写分离?
?数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用,利用数据库主从同步,可以减少数据库压力,提高性能。
4、主从复制与读写分离:
?在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。
5.读写分离的好处:
?1)分摊服务器压力, 减轻主服务器的工作压力,提高机器的系统处理效率。
?2)增加冗余,提高服务可用性,当一台数据库服务器宕机后可以调整另外一台从库以最快速度恢复服务。
?读写分离适用于读远比写多的场景,如果有一台服务器,当select很多时,update和delete会被这些select访问中的数据堵塞,等待select结束,并发性能并不高,而主从只负责各自的写和读,极大程度的缓解X锁和S锁争用。
共享锁[S锁] -->读锁
排他锁[X锁] -->写锁
读锁是共享的,或者说是相互不阻塞的。
写锁是排他的,一个写锁会阻塞其他的写锁和读锁。
6.实现Mysql读写分离常见的2种方式:
1)基于程序代码内部实现
?在代码中根据select 、insert进行路由分类,这类方法也是目前生产环境下应用最广泛的。优点是性能较好,因为程序在代码中实现,不需要增加额外的硬件开支,缺点是需要开发人员来实现,运维人员无从下手。
2) 基于中间件(代理层)实现
?代理一般介于应用服务器和数据库服务器之间,代理数据库服务器接收到应用服务器的请求后根据判断后转发到后端数据库。如:Mycat、Mysql-proxy、Maxscale...
构建思路:
?1.配置Mysql主从同步
?这里就不讲述Mysql主从同步的配置了,上面一篇文章里面讲得很详细,大家可以去看一下。
?2.部署Maxscale服务
?Maxscale下载:https://downloads.mariadb.com/MaxScale/
1.下载并安装Maxscale服务
[root@test3 ~]# wget https://downloads.mariadb.com/MaxScale/2.1.2/rhel/7/x86_64/maxscale-2.1.2-1.rhel.7.x86_64.rpm
[root@test3 ~]# ll maxscale-2.1.2-1.rhel.7.x86_64.rpm
-rw-r--r-- 1 root root 17333732 3月 31 2017 maxscale-2.1.2-1.rhel.7.x86_64.rpm
[root@test3 ~]# yum -y install maxscale-2.1.2-1.rhel.7.x86_64.rpm
...
已安装:
maxscale.x86_64 0:2.1.2-1
作为依赖被安装:
gnutls.x86_64 0:3.3.29-9.el7_6 nettle.x86_64 0:2.7.1-8.el7 trousers.x86_64 0:0.3.14-2.el7
完毕!
[root@test3 ~]# max (连续按Tab两次) //maxscale服务的管理命令
maxadmin maxavrocheck maxbinlogcheck maxkeys maxpasswd
[root@test3 ~]# ll /etc/maxscale.cnf //配置文件
-rw-r--r-- 1 root root 1560 6月 9 16:40 /etc/maxscale.cnf
-----下面是备份maxscale服务的配置文件-----
[root@test3 ~]# mkdir maxscale
[root@test3 ~]# cp /etc/maxscale.cnf /root/maxscale/
[root@test3 ~]# ll /root/maxscale/
总用量 4
-rw-r--r-- 1 root root 1560 6月 9 16:44 maxscale.cnf
2.修改Maxscale配置文件
[root@test3 ~]# vim /etc/maxscale.cnf
[maxscale]
threads=auto //线程数,auto表示自动根据cpu的性能创建多少个线程
...
[server1] //定义数据库服务器的主机名
type=server
address=192.168.2.128 //master(主库)主机的ip地址
port=3306
protocol=MySQLBackend
...
[server2] //定义数据库服务器的主机名
type=server
address=192.168.2.129 //slave(从库)主机ip地址
port=3306
protocol=MySQLBackend
...
[MySQL Monitor] //定义要监视的服务器及监控的用户
type=monitor
module=mysqlmon
servers=server1,server2 /主、从数据库的主机名
user=maxscalemon //监控用户名
password=123qqq...A //监控用户密码
monitor_interval=10000 //监控的时间间隔,单位为毫秒
...
#[Read-Only-Service] //读负载均衡模块,由于读写分离模块也能实现读负载均衡,因此注释掉该模块
#type=service
#router=readconnroute
#servers=server1
#user=myuser
#password=mypwd
#router_options=slave
...
[Read-Write-Service] //定义读写分离服务及路由用户
type=service
router=readwritesplit
servers=server1,server2 //主、从数据库的主机名
user=maxscalerouter //路由用户名
password=123qqq...A //路由用户密码
max_slave_connections=100% //多少比例的从服务器被使用,默认就是所有从服务器都提供读服务
...
[MaxAdmin Service] //定义管理服务
type=service
router=cli
#[Read-Only-Listener] //注释该模块
#type=listener
#service=Read-Only-Service
#protocol=MariaDBClient
#port=4008
[Read-Write-Listener] //定义读写分离服务的端口号
type=listener
service=Read-Write-Service
protocol=MySQLClient
port=4006
[MaxAdmin Listener] //定义管理服务的端口号
type=listener
service=MaxAdmin Service
protocol=maxscaled
socket=default
port=4016
3.在主数据库上创建授权用户
[root@localhost ~]# mysql -uroot -p123qqq...A
...
mysql> grant replication slave,replication client on *.* to maxscalemon@"%" identified by "123qqq...A";
//创建监控用户授权
mysql> grant select on mysql.* to maxscalerouter@"%" identified by "123qqq...A";
//创建路由用户授权
mysql> select user,host from mysql.user where user like "maxscale%";
+----------------+------+
| user | host |
+----------------+------+
| maxscalemon | % |
| maxscalerouter | % |
+----------------+------+
4.在从数据库上查看主库上授权的用户是否同步
[root@test2 ~]# mysql -uroot -p123qqq...A
...
mysql> select user,host from mysql.user where user like "maxscale%";
+----------------+------+
| user | host |
+----------------+------+
| maxscalemon | % |
| maxscalerouter | % |
+----------------+------+
5.在代理服务器上启动Maxscale服务
[root@test3 ~]# maxscale -f /etc/maxscale.cnf //启动maxscale服务
[root@test3 ~]# ss -antulp | grep maxscale
tcp LISTEN 0 128 :::4006 :::* users:(("maxscale",pid=2732,fd=11))
//查询读写分离端口号4006是否启用
tcp LISTEN 0 128 :::4016 :::* users:(("maxscale",pid=2732,fd=12))
//查询管理服务端口号4016是否启用
测试配置:
1.在代理服务器本机访问Maxscale管理服务
?-maxadmin -uadmin -pmariadb -P管理服务端口号
[root@test3 ~]# maxadmin -uadmin -pmariadb -P4016
MaxScale> list servers //显示监控信息(集群状态)
Servers.
-------------------+-----------------+-------+-------------+--------------------
Server | Address | Port | Connections | Status
-------------------+-----------------+-------+-------------+--------------------
server1 | 192.168.2.128 | 3306 | 0 | Master, Running
server2 | 192.168.2.129 | 3306 | 0 | Slave, Running
-------------------+-----------------+-------+-------------+--------------------
//详细信息server1为主服务器,server2为从服务器,running为开启状态,ip以及主机端口
2.在主服务器上新增数据及授权连接用户
[root@localhost ~]# mysql -uroot -p123qqq...A
mysql> create database gamedb; //创建gamedb库
mysql> create table gamedb.a(id int); //在gamedb库创建名为a的表
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| db1 |
| gamedb |
| mysql |
| performance_schema |
| sys |
| test |
| zabbix |
+--------------------+
mysql> use gamedb;
mysql> show tables;
+------------------+
| Tables_in_gamedb |
+------------------+
| a |
+------------------+
mysql> grant select,insert on gamedb.* to tom66@"%" identified by "123qqq...A";
//授权连接用户tom66,权限为select、insert
mysql> select user,host from mysql.user where user like "tom66";
+-------+------+
| user | host |
+-------+------+
| tom66 | % |
+-------+------+
3.客户端132连接代理服务器130访问数据
?-mysql -h服务器地址 -P读写分离服务端口号 -u用户名 -p密码
[root@VOS3000 ~]# mysql -P4006 -h192.168.2.130 -utom66 -p123qqq...A
...
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| gamedb |
+--------------------+
mysql> use gamedb;
mysql> show tables;
+------------------+
| Tables_in_gamedb |
+------------------+
| a |
+------------------+
验证代理服务器读写分离功能:
?-在从数据库服务器上添加新数据,主数据库服务器上并不会同步这些数据,客户端访问代理服务器访问数据时能看到从服务新添加的数据,说明读数据时是读取的从数据库服务器上的数据。(验证读写分离中的从“读”)
?-在代理服务器上添加新数据,到主数据库服务器上查看新数据写入情况,说明写数据时是在主服务上写。(验证读写分离中的主“写”)
1.在从数据库服务器上添加新数据
?在从服务器上新增数据,并不会同步到主数据库服务器上。
[root@test2 ~]# mysql -uroot -p123qqq...A
...
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| db1 |
| gamedb |
| mysql |
| performance_schema |
| sys |
| test |
| zabbix |
+--------------------+
mysql> use gamedb;
mysql> show tables;
+------------------+
| Tables_in_gamedb |
+------------------+
| a |
+------------------+
mysql> insert into gamedb.a values(55);
mysql> select * from gamedb.a;
+------+
| id |
+------+
| 55 |
+------+
2.在主数据库服务器上查看数据
[root@localhost ~]# mysql -uroot -p123qqq...A
...
mysql> select * from gamedb.a;
Empty set (0.00 sec) //没有数据
?可以看到主数据库服务器上并没有新增数据。
3.客户端访问代理服务器查看数据
[root@VOS3000 ~]# mysql -P4006 -h192.168.2.130 -utom66 -p123qqq...A
...
mysql> select * from gamedb.a;
+------+
| id |
+------+
| 55 |
+------+
?可以看到客户端通过代理服务器访问到了之前在从数据库服务器上新增的数据,所以说明代理服务器读数据是读取的从服务器上的数据。
4.客户端连接代理服务器新增数据
[root@VOS3000 ~]# mysql -P4006 -h192.168.2.130 -utom66 -p123qqq...A
...
mysql> select * from gamedb.a; //读取到从服务器上之前新增的数据
+------+
| id |
+------+
| 55 |
+------+
mysql> insert into gamedb.a values(88);
mysql> insert into gamedb.a values(100);
mysql> select * from gamedb.a; //查看新增的数据
+------+
| id |
+------+
| 55 |
| 88 |
| 100 |
+------+
5.主数据库服务器查看客户端通过代理服务新增的数据
[root@localhost ~]# mysql -uroot -p123qqq...A
...
mysql> select * from gamedb.a;
+------+
| id |
+------+
| 88 |
| 100 |
+------+
?可以看到刚才通过客户端连接代理服务器新增的两条数据全部都写入到了主数据库服务器中并同步到从服务器上。
6.从数据库服务器上查看数据同步情况
[root@test2 ~]# mysql -uroot -p123qqq...A
...
mysql> select * from gamedb.a;
+------+
| id |
+------+
| 55 |
| 88 |
| 100 |
+------+
总结:
?上面的实验说明代理服务器实现了读写分离功能。
?? -写数据时,代理服务器会在主数据库服务器上写。(在主数据库服务器上写入的数据会同步到从数据库服务器上)
?? -读数据时,代理服务器会在从数据库服务器上读。
如果你觉得这篇文章还不错,就请动动你的发财手为本文点赞-评论-转发吧,因为这将是我持续输出更多优质文章的最强动力,谢谢!
相关推荐
- 一篇文章带你了解PHP的学习使用(php的教程)
-
ThinkPHP5实战...
- 在memcached管理php的session(memcached libevent)
-
PHP的session(会话管理)一般是以文件形式进行,而在多个Web服务器之间进行session管理时memecached会比文件管理方式更加方便。在这里介绍如何使用memcached管理PHP的s...
- php传值和传引用的区别(php 传值和传引用)
-
php传值:在函数范围内,改变变量值得大小,都不会影响到函数外边的变量值。PHP传引用:在函数范围内,对值的任何改变,在函数外部也有所体现,因为传引用传的是内存地址。传值:和copy是一样的。【打个比...
- PHP 常量详解教程(php常量和变量)
-
常量类似变量,但是常量一旦被定义就无法更改或撤销定义。PHP常量常量是单个值的标识符(名称)。在脚本中无法改变该值。有效的常量名以字符或下划线开头(常量名称前面没有$符号)。注释:与变量不同,常...
- php自学零基础入门小知识(php新手入门教程)
-
我们就把PHP入门当成一个苹果吧!一口一口的吃掉他!不啰嗦了!开始了1、嵌入方法:类似ASP的<%,PHP可以是<?php或者是<?,结束符号是?>,当然您也可以自己指定。2、...
- PHP 语法详解(php语法大全)
-
PHP脚本在服务器上执行,然后向浏览器发送回纯HTML结果。基础PHP语法PHP脚本可放置于文档中的任何位置。PHP脚本以<?php开头,以?>结尾:<?php...
- PHP笔记(一)PHP基础知识(php必背知识点)
-
创建PHP程序PHP代码框架<?php>2.文件命名规则...
- PHP 8新特性之Attributes(注解),你掌握了吗?
-
PHP8的Alpha版本,过几天就要发布了,其中包含了不少的新特性,当然我自己认为最重要的还是JIT,这个我从2013年开始参与,中间挫折无数,失败无数后,终于要发布的东东。不过,今天呢,我不打算谈J...
- PHP基本语法之标记与注释(php注释规范)
-
1、标记由于PHP是嵌入式脚本语言,它在实际开发中经常会与HTML内容混在一起,所以为了区分HTML与PHP代码,需要使用标记对PHP代码进行标识。如:<html>...
- php注解(PHP注解 性能)
-
目标了解和使用php注解,如果你已经掌握其他一种具有注解的语言,例如:java、python等,你在本文中只需要了解点语法就行。示例php8以前的版本,注解写在注释里,如果你掌握其他语言的注解,你是不...
- 数据丢失?别慌!MySQL备份恢复攻略
-
想象一下,某个晴朗的午后,你正享受着咖啡,突然接到紧急电话:你的网站或APP彻底挂了!系统崩溃,界面全白。虽然心头一紧,但你或许还能安慰自己:系统崩溃只是暂停服务,数据还在,修复修复就好了。然而,如果...
- MySQL 日志:undo log、redo log、binlog
-
今天来和大家分享MySQL的三个日志文件,可以说MySQL的多数特性都是围绕日志文件实现,而其中最重要的有以下三种:...
- MySQL三大日志:binlog、redolog、undolog全解析
-
binlog概述在MySQL数据库中,binlog可是个相当重要的存在,它的全称为binarylog,也就是二进制日志。它就像是数据库的“记忆本”,记录了所有的DDL(数据定义语言)和...
- 1、MySQL数据库介绍(mysql数据库简单介绍)
-
1.1数据库的核心定义数据库的本质数据库乃存储数据对象之容器,涵盖如下关键组件:表(Table)...
- MySQL 日志双雄:实时监控与历史归档实战优化
-
MySQL日志双雄:实时监控+历史归档实战用这招让你家日志系统再也不卡不爆炸MySQL十亿级日志处理:从洪峰到归档全攻略手把手教你用MySQL搞定ELK级日志监控在微服务架构大行其道的今天,日志系统早...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)