数据库负载均衡
wptr33 2025-01-13 18:26 18 浏览
数据库负载均衡
在PXC集群中,任何一个数据节点都是可以读写的,一旦PXC集群上线之后,我们不能把所有的数据库请求全部发送给一个数据库节点,PXC集群里那么多数据节点,都应该去参加数据请求的处理,如果要实现数据请求均匀的发送给每一个数据节点,这个技术就叫做数据库的负载均衡。
为什么要负载均衡(必要性)
- 虽然搭建了集群,但是不使用数据库负载均衡,单节点处理所有请求,负载高,性能差
如果不使用负载均衡,应用程序会把所有的请求都发送给一个PXC节点,这个节点负载特别高,所以很容易出现崩溃,而集群里其他的节点又特别空闲,这种情况就特别不好,所以在结构上要做一些调整。
- 使用Haproxy做负载均衡,请求被均匀分发给每个节点,单节点负载低,性能好
经过调整之后,引入了新的技术,这个技术叫 Haproxy,它是一个老牌的中间件产品,’Haproxy’ 不是数据库,它只是一个转发器而已。
应用程序发送请求,把这个请求发送给Haproxy,由Haproxy把这些请求转发给具体数据库节点上,这样就可以把大量的请求均匀地发送给每一个PXC节点,这样就不会让某一个PXC处理大量的请求,而是我们集群中的每一个节点去共同承担共同处理数据的请求,这样每一个节点的负载都比较低,这样的架构才是比较合理的架构。
下载镜像
- Docker仓库中保存了 Haproxy 的镜像,只需要下载即可
docker pull haproxy
- 我们查看一下镜像 docker images
docker images
创建Haproxy配置文件
安装了 Haproxy 镜像先不要着急去创建容器,Haproxy 里面是不包含配置文件的,需要在宿主机上创建一个 haproxy.cfg 的配置文件,存放目录可以自己去指定,然后我需要使用目录映射技术把 soft 目录映射到 haproxy 容器里面,那么在haproxy 容器就可以知道这个配置文件,然后启动 Haproxy 的服务。
touch /home/soft/haproxy/haproxy.cfg
配置文件强请参考 https://zhangge.net/5125.html
我这里提供的配置文件内容:
global
#工作目录
chroot /usr/local/etc/haproxy
#日志文件,使用rsyslog服务中local5日志设备(/var/log/local5),等级info
log 127.0.0.1 local5 info
#守护进程运行
daemon
defaults
log global
mode http
#日志格式
option httplog
#日志中不记录负载均衡的心跳检测记录
option dontlognull
#连接超时(毫秒)
timeout connect 5000
#客户端超时(毫秒)
timeout client 50000
#服务器超时(毫秒)
timeout server 50000
#监控界面
listen admin_stats
#监控界面的访问的IP和端口
bind 0.0.0.0:8888
#访问协议
mode http
#URI相对地址
stats uri /dbs
#统计报告格式
stats realm Global\ statistics
#登陆帐户信息
stats auth admin:abc123456
#数据库负载均衡
listen proxy-mysql
#访问的IP和端口
bind 0.0.0.0:3306
#网络协议
mode tcp
#负载均衡算法(轮询算法)
#轮询算法:roundrobin
#权重算法:static-rr
#最少连接算法:leastconn
#请求源IP算法:source
balance roundrobin
#日志格式
option tcplog
#在MySQL中创建一个没有权限的haproxy名字的账户,密码为空。Haproxy使用这个账户对MySQL数据库心跳检测
option mysql-check user haproxy
server MySQL_1 172.18.0.2:3306 check weight 1 maxconn 2000
server MySQL_2 172.18.0.3:3306 check weight 1 maxconn 2000
server MySQL_3 172.18.0.4:3306 check weight 1 maxconn 2000
server MySQL_4 172.18.0.5:3306 check weight 1 maxconn 2000
server MySQL_5 172.18.0.6:3306 check weight 1 maxconn 2000
#使用keepalive检测死链
option tcpka
创建Haproxy容器
指令
docker run -it -d
-p 4001:8888 -p 4002:3306
-v /home/soft/haproxy:/user/local/etc/haproxy
--name haproxy --privileged --net=net1
haproxy
- 端口 3306:haproxy对外提供的数据库负载均衡的服务公开的端口就是3306,我需要将端口映射到宿主机,宿主机上的3306端口已经被占用了,所以这里选择4002端口;
- 端口 8888:haproxy提供了一个后台监控的画面,这个监控的画面在配置文件里面定义的就是8888,然后8888映射到宿主机上的端口这里选择的是4001端口,所以将来通过4001宿主机端口就可以进入到haproxy提供的监控画面上,就可以看到数据库负载均衡的状态;
- -v /home/soft/haproxy:/user/local/etc/haproxy:目录的映射,把宿主机 /home/soft/haproxy 映射到容器 /user/local/etc/haproxy 目录中,将来在宿主机上的目录中放置配置文件,容器中的目录中也就可以看到这个配置文件了;
- –name haproxy:给容器起的名字;
- –privileged:权限;
- –net=net1:网段;
- haproxy:镜像的名字;
- 上面指令执行完后就代表容器成功启动了,进入容器中执行下面指令
haproxy -f /usr/local/etc/haproxy/haproxy.cfg
然后进入监控画面就可以看到数据库运行状态了.
- 将haproxy配置文件上传到服务器
- 创建haproxy容器
docker run -it -d -p 4001:8888 -p 4002:3306 -v /home/soft/haproxy:/usr/local/etc/haproxy --name h1 --privileged --net=net1 --ip 172.18.0.7 haproxy
创建的容器在后台运行,我必须进入后台运行的容器,执行命令,把haproxy中间件启动起来,然后才能实现数据库的负载均衡
- 下面指令表示进入后台运行的容器
docker exec -it h1 bash
- -it:交互方式,有界面
- bash: 运行指令为bash
- 启动haproxy指令
haproxy -f /usr/local/etc/haproxy/haproxy.cfg
- -f:加载配置文件
- /usr/local/etc/haproxy/haproxy.cfg: 配置文件位置
在DB数据库中创建一个haproxy的账号密码为空,随便是DB1,还是其他的DB几。因为是haproxy中间件,要用这个账号登录数据库然后发送消息检测,% 表示任何 ip 都可以以这个账号登录数据库,该语句我是在DB1数据库中执行的
CREATE USER 'haproxy'@'%' IDENTIFIED BY '';
打开浏览器,地址IP是宿主机的IP,端口是 4001,相对路径是 dbs,回车之后需要数据账号密码,账号密码配置文件里面都有配置,这里账号是 admin,密码是 abc123456
http://IP:4001/dbs
登录用户名和密码在配置文件中有写
下图可以看到一共是5个数据库节点,分别是MYSQL_1,MYSQL_2,MYSQL_3,MYSQL_4,MYSQL_5,现在5个节点都是畅通运行的,待会我会把某一个节点挂掉,会发现背景色就不是绿色的了
- 停止 node1 节点
docker stop node1
切换到后台管理画面,会发现第一个背景色变成了其他颜色,表示这个节点已经出现了故障,其他的四个节点还可以正常运行,正常向haproxy发送数据库的请求并不会受到影响,因为haproxy会把请求分发给正常运行的MySQL节点
- 在MySQL客户端上连接haproxy,密码是 abc123456
其实Haproxy并不存储任何数据,我把请求发送给Haproxy,它只是把请求转发给真实的数据库实例
- 验证,我向H1节点的数据库student表中插入C的数据,然后保存提交
提交的数据要么被轮询发送给DB2,要么分发给DB3,要么分发给DB4,要么分发给DB5,这次发给你,下次就会发给我,假如发给DB4了,因为PXC有同步机制,它会同步到其他的数据库节点
- 我打开DB2
- 再打开DB5
DB1就不要看了,因为已经挂掉了。
所以我们正常去操作haproxy,向它传递增删该查的语句,它都会均匀的分发给真实的MySQL实例,所以它起到一个负载均衡的作用,不会让你的数据库请求全部集中到一个数据库节点上去执行,它把你的请求均匀的分散出去,那么每一个数据库实例它得到的请求数量就小很多了。
- 上一篇:几种性能测试工具的总结
- 下一篇:还可以这样查内存泄漏
相关推荐
- 威信Chronosonic XVX全新旗舰全球首发 设计特点彻底公开
-
第一眼看到WilsonAudio新推出的ChronosonicXVX音箱,相信大家都会直觉认为它是两年前超级旗舰WAMMMasterChronosonic的缩小版,不过这个推测并不完全正确。C...
- C#高精度Timer和Delay以及时间测量
-
在PCHMI7.0后在工具箱里会多一个MsTimer,以及Delay和Microsecond两个类。...
- python教程从基础到精通,第9课—日期与时间
-
Hello,小伙伴们,祝大家五.一玩得快乐!刚学习完了七大数据类型,今天咱们来学习日期与时间的表示方法。Python标准库中提供了时间和日期的支持:calendar:日历相关;time、datetim...
- 软件测试|教你轻松玩转Python日期时间
-
Python基础之日期时间处理...
- Go语言中互斥锁与读写锁,你知多少?
-
简述Golang中的锁机制主要包含互斥锁和读写锁互斥锁互斥锁是传统并发程序对共享资源进行控制访问的主要手段。在Go中主要使用sync.Mutex的结构体表示。一个简单的示例:funcmutex()...
- 变形金刚动画大电影——经典台词赏析
-
YOURDAYSARENUMBEREDNOW,DECEPTI-CREEPS你们活不了多久了,霸天虎小子。-{铁皮说的话,体现了铁皮的嫉恶如仇,可是后来铁皮在飞船上遇袭身亡,可谓是出师未捷身先...
- Python时间日期模块使用教程(python3日期)
-
1.时间日期处理概述在日常编程中,时间日期处理是非常常见的需求,比如:记录日志时间...
- 亚马逊介绍AWS“无服务器”云服务改进:数据库可线上扩充容量等
-
IT之家11月29日消息,在今天于美国拉斯维加斯展开的亚马逊“AWSre:Invent2023”活动中,亚马逊计算部门资深副总裁PeterDeSantis,介绍了旗下三款云端服务,IT...
- 2.日期格式 datetime(日期时间显示格式)
-
fromdatetimeimportdatetime1.获取当前日期和时间now=datetime.now()#2025-05-3110:56:01.4687822.格式化日期...
- 【科普】时间单位大盘点(时间单位都有哪些?)
-
时间单位,是7种基本单位之一,长度、时间、质量、物质的量、光照度、电流和(热力学)温度是七种基本单位。本词条中时间单位以时间从大到小列。今天我们来盘点下时间的单位换算...
- 基于PHP的Laravel框架,盘点Github高星Web管理后台,效率为王!
-
在Web开发工作中,选择一个高效、稳定的后台管理系统是提高开发效率的关键。虽然PHP在近些年中的热度有所减退,但其上手简单、开源、灵活且被广泛应用的特点,仍然使其在编程语言排行榜中保持前十的位置。这表...
- 如何使用PHP编写一个简单的留言板?
-
留言板是一个常见的Web应用程序,允许用户在网站上发布和查看留言。在本文中,我们将使用PHP编写一个简单的留言板,介绍构建过程中的关键步骤和技巧。一、准备工作在开始编写留言板之前,我们需要准备好以下工...
- 产品经理提需求时要考虑的 15 个隐性需求
-
虽然世界充满未知的变化,但是有一些大的方向还是可以把握的,本文跟大家谈谈产品经理提需求时要考虑的15个隐性需求,enjoy~俗话说,计划赶不上变化快,无论需求文档做得如何细致,考虑得如何周全,总会...
- 关于 PHP 启动 MongoDb 找不到指定模块问题
-
前言:最近有一个小demo,需要通过PHP将用户行为记录储存到MongoDB,再用Spark做协同过滤。由于以前处理跨语言交互是通过消息中间件,这次本地使用MongoDB却弄出了几个问...
- PHP程序员老鸟面试经历(php程序员怎么样)
-
在任何时代找任何工作都有面试这么一说的。特别是高端技术类的工种对技术理论和技术实操能力要求很严格。大部分公司招收技术员工的要求也越来愈高。至于PHP程序员也是如此,我估计大多数PHP老鸟已经不在意所...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)