百度360必应搜狗淘宝本站头条
mysql distinctjenkins官网mysql 子查询vba splitpython list sort
当前位置：网站首页 > IT技术 > 正文

快速部署OceanBase 集群 1ZONE 6节点，使用SysBench对比mysql8.4

wptr33 2024-12-29 06:23 22 浏览

一、环境准备

1、安装规划
使用anolis8.9系统，1个zone，6台主机，1为rootserver，2 3安装obproxy 4安装ocp exp

关闭防火墙，避免影响实验

 systemctl stop firewalld && systemctl disable firewalld

2、使用obd在线部署
当您选择在线部署时，可以参考本节命令在中控机上安装 obd。

sudo yum install -y yum-utils
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/oceanbase/OceanBase.repo
sudo yum install -y ob-deploy
source /etc/profile.d/obd.sh

3、安装java环境，OCP Express要求java1.8
https://www.java.com/en/download/manual.jsp
下载 Linux x64 RPM filesize: 104.47
安装

[root@ob2 ~]# rpm -ivh jre-8u431-linux-x64.rpm
警告：jre-8u431-linux-x64.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID ad986da3: NOKEY
Verifying...                          ################################# [100%]
准备中...                          ################################# [100%]
正在升级/安装...
   1:jre-1.8-1.8.0_431-10             ################################# [100%]
[root@ob2 ~]# java -version
java version "1.8.0_431"
Java(TM) SE Runtime Environment (build 1.8.0_431-b10)
Java HotSpot(TM) 64-Bit Server VM (build 25.431-b10, mixed mode)

4、配置优化
每台主机执行

echo -e "* soft nofile 655350\n* hard nofile 655350" >> /etc/security/limits.d/nofile.conf
echo "vm.max_map_count=655360" >> /etc/sysctl.conf; sysctl -p
echo "fs.file-max=6573688" >> /etc/sysctl.conf; sysctl -p

5、启动白屏安装
注意，命令需要在本地终端执行，不可以远程ssh执行

 obd web

如果ssh远程执行obd web，会报

ceanbase-ce:ssh

原因：OBD-1013 : root@x.x.x.x connect failed: could not get keys from ssh-agent

建议：手动修复 Please check user config and network

二、安装环境

我这里安装OCP Express

我这里rootserver、ocpEXP、obproxy分散在各个主机上

等待部署完成

安装完成，记好密码

三、配置使用
登录ocp exp
http://IP:8180/

配置租户

等待租户创建完成后，创建数据库和用户

连接测试
可通过rootserver2881端口连接


也可通过obproxy 2883端口连接

四、性能测试
均在同一个超融合集群中
MYSQL8.4.3单机 32C64G
OB集群 1zone6主机 8Cx6 16Gx6
table_size=1000000 tables=350 threads=80 数据量大约140G

安装SysBench
配置epel源

yum install -y https://mirrors.aliyun.com/epel/epel-release-latest-8.noarch.rpm
sed -i 's|^#baseurl=https://download.example/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel*
sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel*

安装SysBench

yum install sysbench

OB集群OLTP读写混合场景
清除数据

sysbench /usr/share/sysbench/oltp_read_write.lua  --mysql-host=IP地址 --mysql-port=端口 --mysql-db=数据库名 --mysql-user=用户名 --mysql-password=密码 --table_size=1000000 --tables=350 --threads=80 --report-interval=10 --rand-type=uniform --time=60 cleanup

初始化测试数据

sysbench /usr/share/sysbench/oltp_read_write.lua  --mysql-host=IP地址 --mysql-port=端口 --mysql-db=数据库名 --mysql-user=用户名 --mysql-password=密码 --table_size=1000000 --tables=350 --threads=80 --report-interval=10 --rand-type=uniform --time=60 prepare

执行测试

sysbench /usr/share/sysbench/oltp_read_write.lua  --mysql-host=IP地址 --mysql-port=端口 --mysql-db=数据库名 --mysql-user=用户名 --mysql-password=密码 --table_size=1000000 --tables=350 --threads=80 --report-interval=10 --time=60 --rand-type=uniform --db-ps-mode=disable run

OB集群OLTP只读场景压测
准备数据

sysbench --db-driver=mysql --mysql-host=IP地址 --mysql-port=端口 --mysql-user=用户名 --mysql-password=密码 --mysql-db=数据库名 --table_size=1000000 --tables=350 --events=0 --time=300  --threads=80 oltp_read_only prepare

运行压测

sysbench --db-driver=mysql --mysql-host=IP地址 --mysql-port=端口 --mysql-user=用户名 --mysql-password=密码 --mysql-db=数据库名 --table_size=1000000 --tables=350 --events=0 --time=300  --threads=80 --percentile=95 --report-interval=1 oltp_read_only run

清理数据

sysbench --db-driver=mysql --mysql-host=IP地址 --mysql-port=端口 --mysql-user=用户名 --mysql-password=密码 --mysql-db=数据库名 --table_size=1000000 --tables=350 --events=0 --time=300  --threads=80 --percentile=95  oltp_read_only  cleanup

MYSQL单机OLTP读写混合场景
清除数据

sysbench /usr/share/sysbench/oltp_read_write.lua  --mysql-host=IP地址 --mysql-port=端口 --mysql-db=数据库名 --mysql-user=用户名 --mysql-password=密码 --table_size=1000000 --tables=350 --threads=80 --report-interval=10 --rand-type=uniform --time=60 cleanup

初始化测试数据

sysbench /usr/share/sysbench/oltp_read_write.lua  --mysql-host=IP地址 --mysql-port=端口 --mysql-db=数据库名 --mysql-user=用户名 --mysql-password=密码 --table_size=1000000 --tables=350 --threads=80 --report-interval=10 --rand-type=uniform --time=60 prepare

执行测试

sysbench /usr/share/sysbench/oltp_read_write.lua --mysql-host=IP地址 --mysql-port=端口 --mysql-db=数据库名 --mysql-user=用户名 --mysql-password=密码 --table_size=1000000 --tables=350 --threads=80 --report-interval=10 --time=60 --rand-type=uniform --db-ps-mode=disable run

MYSQL单机OLTP只读场景压测
准备数据

sysbench --db-driver=mysql --mysql-host=IP地址 --mysql-port=端口 --mysql-user=用户名 --mysql-password=密码 --mysql-db=数据库名 --table_size=1000000 --tables=350 --events=0 --time=300  --threads=80 oltp_read_only prepare

运行压测

sysbench --db-driver=mysql --mysql-host=IP地址 --mysql-port=端口 --mysql-user=用户名 --mysql-password=密码 --mysql-db=数据库名 --table_size=1000000 --tables=350 --events=0 --time=300  --threads=80 --percentile=95 --report-interval=1 oltp_read_only run

清理数据

sysbench --db-driver=mysql --mysql-host=IP地址 --mysql-port=端口 --mysql-user=用户名 --mysql-password=密码 --mysql-db=数据库名 --table_size=1000000 --tables=350 --events=0 --time=300  --threads=80 --percentile=95  oltp_read_only  cleanup

测试结果

MYSQL单机OLTP读写混合场景
[ 10s ] thds: 80 tps: 279.82 qps: 5649.14 (r/w/o: 3961.11/1120.39/567.64) lat (ms,95%): 467.30 err/s: 0.00 reconn/s: 0.00
[ 20s ] thds: 80 tps: 336.51 qps: 6786.91 (r/w/o: 4759.38/1354.52/673.01) lat (ms,95%): 390.30 err/s: 0.00 reconn/s: 0.00
[ 30s ] thds: 80 tps: 246.00 qps: 4918.91 (r/w/o: 3441.11/985.80/492.00) lat (ms,95%): 520.62 err/s: 0.00 reconn/s: 0.00
[ 40s ] thds: 80 tps: 306.70 qps: 6129.61 (r/w/o: 4290.91/1225.30/613.40) lat (ms,95%): 434.83 err/s: 0.00 reconn/s: 0.00
[ 50s ] thds: 80 tps: 354.50 qps: 7104.99 (r/w/o: 4974.69/1421.30/709.00) lat (ms,95%): 369.77 err/s: 0.00 reconn/s: 0.00
[ 60s ] thds: 80 tps: 339.50 qps: 6785.12 (r/w/o: 4741.72/1364.40/679.00) lat (ms,95%): 376.49 err/s: 0.00 reconn/s: 0.00
MYSQL单机OLTP只读场景压测
[ 1s ] thds: 80 tps: 2322.83 qps: 37870.75 (r/w/o: 33145.27/0.00/4725.49) lat (ms,95%): 51.02 err/s: 0.00 reconn/s: 0.00
[ 2s ] thds: 80 tps: 2927.99 qps: 46815.91 (r/w/o: 40960.92/0.00/5854.99) lat (ms,95%): 35.59 err/s: 0.00 reconn/s: 0.00
[ 3s ] thds: 80 tps: 3440.21 qps: 55064.31 (r/w/o: 48183.89/0.00/6880.41) lat (ms,95%): 31.94 err/s: 0.00 reconn/s: 0.00
[ 4s ] thds: 80 tps: 3973.17 qps: 63529.73 (r/w/o: 55585.39/0.00/7944.34) lat (ms,95%): 27.17 err/s: 0.00 reconn/s: 0.00
[ 5s ] thds: 80 tps: 4175.91 qps: 66879.59 (r/w/o: 58526.76/0.00/8352.82) lat (ms,95%): 26.20 err/s: 0.00 reconn/s: 0.00

[ 76s ] thds: 80 tps: 4714.21 qps: 75534.39 (r/w/o: 66105.97/0.00/9428.42) lat (ms,95%): 22.69 err/s: 0.00 reconn/s: 0.00
[ 77s ] thds: 80 tps: 4679.42 qps: 74748.76 (r/w/o: 65388.92/0.00/9359.85) lat (ms,95%): 23.10 err/s: 0.00 reconn/s: 0.00
[ 78s ] thds: 80 tps: 4737.18 qps: 75766.94 (r/w/o: 66295.57/0.00/9471.37) lat (ms,95%): 22.28 err/s: 0.00 reconn/s: 0.00
[ 79s ] thds: 80 tps: 4650.49 qps: 74527.85 (r/w/o: 65222.87/0.00/9304.98) lat (ms,95%): 23.10 err/s: 0.00 reconn/s: 0.00
[ 80s ] thds: 80 tps: 4664.70 qps: 74592.18 (r/w/o: 65266.78/0.00/9325.40) lat (ms,95%): 22.69 err/s: 0.00 reconn/s: 0.00

OB集群 1zone6主机OLTP读写混合场景
[ 10s ] thds: 80 tps: 194.03 qps: 3980.77 (r/w/o: 2799.12/785.60/396.05) lat (ms,95%): 960.30 err/s: 0.00 reconn/s: 0.00
[ 20s ] thds: 80 tps: 585.61 qps: 11728.84 (r/w/o: 8211.80/2345.83/1171.21) lat (ms,95%): 267.41 err/s: 0.00 reconn/s: 0.00
[ 30s ] thds: 80 tps: 1159.31 qps: 23173.24 (r/w/o: 16218.30/4636.33/2318.61) lat (ms,95%): 104.84 err/s: 0.00 reconn/s: 0.00
[ 40s ] thds: 80 tps: 1573.49 qps: 31474.50 (r/w/o: 22032.76/6294.86/3146.88) lat (ms,95%): 70.55 err/s: 0.00 reconn/s: 0.00
[ 50s ] thds: 80 tps: 1568.68 qps: 31364.68 (r/w/o: 21954.30/6272.92/3137.46) lat (ms,95%): 89.16 err/s: 0.00 reconn/s: 0.00
[ 60s ] thds: 80 tps: 1876.77 qps: 37543.14 (r/w/o: 26280.21/7509.89/3753.04) lat (ms,95%): 55.82 err/s: 0.00 reconn/s: 0.00

OB集群 1zone6主机OLTP只读场景压测
[ 1s ] thds: 80 tps: 258.36 qps: 4791.07 (r/w/o: 4194.56/0.00/596.51) lat (ms,95%): 646.19 err/s: 0.00 reconn/s: 0.00
[ 2s ] thds: 80 tps: 523.06 qps: 8405.99 (r/w/o: 7359.87/0.00/1046.12) lat (ms,95%): 601.29 err/s: 0.00 reconn/s: 0.00
[ 3s ] thds: 80 tps: 678.97 qps: 10798.50 (r/w/o: 9440.56/0.00/1357.94) lat (ms,95%): 376.49 err/s: 0.00 reconn/s: 0.00
[ 4s ] thds: 80 tps: 974.06 qps: 15628.02 (r/w/o: 13679.90/0.00/1948.13) lat (ms,95%): 277.21 err/s: 0.00 reconn/s: 0.00
[ 5s ] thds: 80 tps: 1244.00 qps: 19876.04 (r/w/o: 17388.04/0.00/2488.01) lat (ms,95%): 207.82 err/s: 0.00

[ 76s ] thds: 80 tps: 5320.92 qps: 85129.68 (r/w/o: 74486.85/0.00/10642.83) lat (ms,95%): 19.29 err/s: 0.00 reconn/s: 0.00
[ 77s ] thds: 80 tps: 5331.83 qps: 85282.34 (r/w/o: 74620.67/0.00/10661.67) lat (ms,95%): 18.95 err/s: 0.00 reconn/s: 0.00
[ 78s ] thds: 80 tps: 5279.20 qps: 84432.24 (r/w/o: 73874.84/0.00/10557.41) lat (ms,95%): 19.29 err/s: 0.00 reconn/s: 0.00
[ 79s ] thds: 80 tps: 5431.77 qps: 86835.31 (r/w/o: 75971.77/0.00/10863.54) lat (ms,95%): 18.61 err/s: 0.00 reconn/s: 0.00
[ 80s ] thds: 80 tps: 5411.58 qps: 86724.27 (r/w/o: 75901.11/0.00/10823.16) lat (ms,95%): 18.61 err/s: 0.00 reconn/s: 0.00

总结
在只读场景下，OB集群性能领先约15%左右
在读写混合场景下，OB集群性能领先约6倍左右

相关推荐

Python自动化脚本应用与示例（python办公自动化脚本）

Python是编写自动化脚本的绝佳选择，因其语法简洁、库丰富且跨平台兼容性强。以下是Python自动化脚本的常见应用场景及示例，帮助你快速上手：一、常见自动化场景文件与目录操作...

Python文件操作常用库高级应用教程

本文是在前面《Python文件操作常用库使用教程》的基础上，进一步学习Python文件操作库的高级应用。一、高级文件系统监控1.1watchdog库-实时文件系统监控安装与基本使用：...

Python办公自动化系列篇之六:文件系统与操作系统任务

作为高效办公自动化领域的主流编程语言，Python凭借其优雅的语法结构、完善的技术生态及成熟的第三方工具库集合，已成为企业数字化转型过程中提升运营效率的理想选择。该语言在结构化数据处理、自动化文档生成...

14《Python 办公自动化教程》os 模块操作文件与文件夹

在日常工作中，我们经常会和文件、文件夹打交道，比如将服务器上指定目录下文件进行归档，或将爬虫爬取的数据根据时间创建对应的文件夹/文件，如果这些还依靠手动来进行操作，无疑是费时费力的，这时候Pyt...

python中os模块详解（python os.path模块）

os模块是Python标准库中的一个模块，它提供了与操作系统交互的方法。使用os模块可以方便地执行许多常见的系统任务，如文件和目录操作、进程管理、环境变量管理等。下面是os模块中一些常用的函数和方法：...

21-Python-文件操作（python文件的操作步骤）

在Python中，文件操作是非常重要的一部分，它允许我们读取、写入和修改文件。下面将详细讲解Python文件操作的各个方面，并给出相应的示例。1-打开文件...

轻松玩转Python文件操作:移动、删除

哈喽，大家好，我是木头左！Python文件操作基础在处理计算机文件时，经常需要执行如移动和删除等基本操作。Python提供了一些内置的库来帮助完成这些任务，其中最常用的就是os模块和shutil模块。...

Python 初学者练习:删除文件和文件夹

在本教程中，你将学习如何在Python中删除文件和文件夹。使用os.remove()函数删除文件...

引人遐想，用 Python 获取你想要的“某个人”摄像头照片

仅用来学习，希望给你们有提供到学习上的作用。1.安装库需要安装python3.5以上版本，在官网下载即可。然后安装库opencv-python，安装方式为打开终端输入命令行。...

Python如何使用临时文件和目录（python目录下文件）

在某些项目中，有时候会有大量的临时数据，比如各种日志，这时候我们要做数据分析，并把最后的结果储存起来，这些大量的临时数据如果常驻内存，将消耗大量内存资源，我们可以使用临时文件，存储这些临时数据。使用标...

Linux 下海量文件删除方法效率对比，最慢的竟然是 rm

Linux下海量文件删除方法效率对比，本次参赛选手一共6位，分别是：rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...

Python 开发工程师必会的 5 个系统命令操作库

当我们需要编写自动化脚本、部署工具、监控程序时，熟练操作系统命令几乎是必备技能。今天就来聊聊我在实际项目中高频使用的5个系统命令操作库，这些可都是能让你效率翻倍的"瑞士军刀"。一...

Python常用文件操作库使用详解（python文件操作选项）

Python生态系统提供了丰富的文件操作库，可以处理各种复杂的文件操作需求。本教程将介绍Python中最常用的文件操作库及其实际应用。一、标准库核心模块1.1os模块-操作系统接口主要功能...

11. 文件与IO操作（文件io和网络io）

本章深入探讨Go语言文件处理与IO操作的核心技术，结合高性能实践与安全规范，提供企业级解决方案。11.1文件读写11.1.1基础操作...

Python os模块的20个应用实例（python中 import os模块用法）

在Python中，...

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.