使用 ORM 与原始 SQL 的性能对比(用oracle还是my sql)
wptr33 2025-04-06 22:14 21 浏览
最近使用号称 python web 框架中性能最为强悍的框架 sanic , 搭建了项目的基础环境与项目框架,但是在是否使用 ORM 的时候犯了选择困难综合症了,对于一个追求性能的框架,在使用了 ORM 以后必定会对性能有些影响,但是影响究竟有多大呢? ORM 的存在也是有它的理由的, 那么它的优点能否消除它在性能上的损耗呢?
我主要使用了两个 ORM, 与其说是两个,其实也就是一个 sqlalchemy ,但是这里的 sqlalchemy 是两个不同库中的,一个是 aiomysql 中自带的 sqlalchemy, 我简称aiomysql.sa, 一个是大名鼎鼎的 sqlalchemy 库.
数据准备,就是一个简单的 user 表,里面有 id, username.
在查看 sanic 教程 时, 它有提到如何使用 ORM, 它是用中间件的方式在处理每一个请求之前使用sessionmaker 创建了一个 session 挂到请求的上下文中,并且在结束请求时再将 session 关掉
@app.middleware("request")
async def inject_session(request):
request.ctx.session = sessionmaker(bind, AsyncSession, expire_on_commit=False)()
request.ctx.session_ctx_token = _base_model_session_ctx.set(request.ctx.session)
@app.middleware("response")
async def close_session(request, response):
if hasattr(request.ctx, "session_ctx_token"):
_base_model_session_ctx.reset(request.ctx.session_ctx_token)
await request.ctx.session.close()
复制代码
我隐约的感觉到这种方式可能会带来一些性能上的损耗,如果请求量很大的时候,每个请求都要重新创建一个 session 用于处理数据库,然后再释放掉,那么如果该请求没有进行数据库操作的时候,岂不是浪费了? 并且大量请求到来的时候,系统也要花费一定的资源用于这种创建与关闭,且这些 session 无法共用, 其实也不能说不能共用,我尝试过将 session 挂到 app.ctx 下, 也是可以用的,但是会有一个问题,如果某个请求需要比较长的时间,比如说 5 秒钟,那么下一个请求如果想要使用该 session, 那么就要等到之前的请求结束才可以复用.
所以以下的压力测试分为两个阶段,第一是不存在请求与响应中间件,这时就只对使用 aiomysql 库来进行压力测试.
第二阶段是在请求与响应前后加上中间件,这里会有三个测试.
以下是使用 wrk 进行的压测, 10 个线程,2000 个连接, 压测 10 秒钟得到的结果
服务端开启 4 个 workers, 使用 uvloop
使用纯 sql 语句查询
10 threads and 2000 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 558.19ms 200.95ms 1.32s 59.15%
Req/Sec 344.02 230.72 1.76k 68.29%
Latency Distribution
50% 583.50ms
75% 707.32ms
90% 819.57ms
99% 1.00s
33488 requests in 10.03s, 3.74MB read
Requests/sec: 3337.65
Transfer/sec: 381.35KB
复制代码
使用 aiomysql.sa 压测结果
10 threads and 2000 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 905.52ms 206.57ms 1.40s 65.57%
Req/Sec 231.70 202.40 1.12k 72.10%
Latency Distribution
50% 909.34ms
75% 1.05s
90% 1.17s
99% 1.33s
20031 requests in 10.03s, 2.24MB read
Requests/sec: 1997.86
Transfer/sec: 228.27KB
复制代码
以下为在请求与响应前后添加 session 钩子的压测结果
使用 sqlalchemy 在请求前后添加钩子时的压测结果
10 threads and 2000 connections
Thread Stats Avg Stdev Max +/- Stdev
Latency 638.07ms 632.25ms 2.00s 82.41%
Req/Sec 148.81 61.53 380.00 71.04%
Latency Distribution
50% 126.46ms
75% 1.15s
90% 1.54s
99% 1.96s
14094 requests in 10.02s, 1.57MB read
Socket errors: connect 0, read 0, write 0, timeout 2510
Requests/sec: 1406.67
Transfer/sec: 160.72KB
复制代码
这次还有 timeout 的超时错误.
之后的结果就不详细展示了,我总结了一张表格
可以简单的得到以下结论:
- 单纯的以吞吐量为衡量指标的话,纯 SQL 是添加 session 的 sqlalchemy 的 2.37 倍
- 在请求前后添加 session 会对性能有一些影响,大概有 20%的性能损耗.
以上只是单纯的从吞吐量来比较纯 SQL 与 ORM 之间的性能差异,其实有这样的性能差异也很好理解, ORM 会做一些对象的解析工作.
就我个人而言,我还是比较喜欢直接用 SQL 来进行查询, 我总觉得 ORM 还得熟悉它的各种查询条件,但是 ORM 对于后期切换数据库来说很方便,但是又有多少项目会切换数据库呢?
ORM 对于一些比较复杂的 sql 语句就更加难以控制.
但是如果你只是做一个很小的系统,请求量没有那么大的时候,我觉得使用 ORM 或者 SQL 应该都可以.
相关推荐
- redis的八种使用场景
-
前言:redis是我们工作开发中,经常要打交道的,下面对redis的使用场景做总结介绍也是对redis举报的功能做梳理。缓存Redis最常见的用途是作为缓存,用于加速应用程序的响应速度。...
- 基于Redis的3种分布式ID生成策略
-
在分布式系统设计中,全局唯一ID是一个基础而关键的组件。随着业务规模扩大和系统架构向微服务演进,传统的单机自增ID已无法满足需求。高并发、高可用的分布式ID生成方案成为构建可靠分布式系统的必要条件。R...
- 基于OpenWrt系统路由器的模式切换与网页设计
-
摘要:目前商用WiFi路由器已应用到多个领域,商家通过给用户提供一个稳定免费WiFi热点达到吸引客户、提升服务的目标。传统路由器自带的Luci界面提供了工厂模式的Web界面,用户可通过该界面配置路...
- 这篇文章教你看明白 nginx-ingress 控制器
-
主机nginx一般nginx做主机反向代理(网关)有以下配置...
- 如何用redis实现注册中心
-
一句话总结使用Redis实现注册中心:服务注册...
- 爱可可老师24小时热门分享(2020.5.10)
-
No1.看自己以前写的代码是种什么体验?No2.DooM-chip!国外网友SylvainLefebvre自制的无CPU、无操作码、无指令计数器...No3.我认为CS学位可以更好,如...
- Apportable:拯救程序员,IOS一秒变安卓
-
摘要:还在为了跨平台使用cocos2d-x吗,拯救objc程序员的奇葩来了,ApportableSDK:FreeAndroidsupportforcocos2d-iPhone。App...
- JAVA实现超买超卖方案汇总,那个最适合你,一篇文章彻底讲透
-
以下是几种Java实现超买超卖问题的核心解决方案及代码示例,针对高并发场景下的库存扣减问题:方案一:Redis原子操作+Lua脚本(推荐)//使用Redis+Lua保证原子性publicbo...
- 3月26日更新 快速施法自动施法可独立设置
-
2016年3月26日DOTA2有一个79.6MB的更新主要是针对自动施法和快速施法的调整本来内容不多不少朋友都有自动施法和快速施法的困扰英文更新日志一些视觉BUG修复就不翻译了主要翻译自动施...
- Redis 是如何提供服务的
-
在刚刚接触Redis的时候,最想要知道的是一个’setnameJhon’命令到达Redis服务器的时候,它是如何返回’OK’的?里面命令处理的流程如何,具体细节怎么样?你一定有问过自己...
- lua _G、_VERSION使用
-
到这里我们已经把lua基础库中的函数介绍完了,除了函数外基础库中还有两个常量,一个是_G,另一个是_VERSION。_G是基础库本身,指向自己,这个变量很有意思,可以无限引用自己,最后得到的还是自己,...
- China's top diplomat to chair third China-Pacific Island countries foreign ministers' meeting
-
BEIJING,May21(Xinhua)--ChineseForeignMinisterWangYi,alsoamemberofthePoliticalBureau...
- 移动工作交流工具Lua推出Insights数据分析产品
-
Lua是一个适用于各种职业人士的移动交流平台,它在今天推出了一项叫做Insights的全新功能。Insights是一个数据平台,客户可以在上面实时看到员工之间的交流情况,并分析这些情况对公司发展的影响...
- Redis 7新武器:用Redis Stack实现向量搜索的极限压测
-
当传统关系型数据库还在为向量相似度搜索的性能挣扎时,Redis7的RedisStack...
- Nginx/OpenResty详解,Nginx Lua编程,重定向与内部子请求
-
重定向与内部子请求Nginx的rewrite指令不仅可以在Nginx内部的server、location之间进行跳转,还可以进行外部链接的重定向。通过ngx_lua模块的Lua函数除了能实现Nginx...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
面试官:git pull是哪两个指令的组合?
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git 执行pull错误如何撤销 git pull fail
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)