Bugsnag的MongoDB分片集群使用经验
wptr33 2025-05-02 13:51 11 浏览
Bugsnag是一家为移动应用开发者提供实时的Bug追踪及检测服务的创业公司，Bugsnag已经使用MongoDB存储超过TB级的文档数据。从Bugsnag的第一个版本开始他们就使用MongoDB存储业务数据。近日，Bugsnag的工程师Simon Maynard在博客上分享了他们的MongoDB分片集群经验，并开源了几个他们常使用的脚本。
带标签的分片（Tag Aware Sharding）
带标签的分片是MongoDB 2.2版本中引入的新特性，此特性支持人为控制数据的分片方式，从而使数据存储到合适的分片节点上。具体的做法是通过对分片节点打tag标识，再将sharding key 按范围对应到这些标识上。在Bugsnag中，每个页面的加载都会涉及到用户集合，比如查询用户是否登录，当应用向主分片上写入大量数据时，所有的用户请求都可能因此变得很慢。为了解决这个问题，Bugsnag对大的分片中的所有分片集合添加了一个标签，这样用户集合就可以存储到一台小型机器上，接下来就可以在内存中直接存取用户数据。关于带标签的分片特性具体如何使用读者也可以参考Asya的这篇博客。
空的数据块
在删除旧的数据时，分片中会出现空的数据块，这样会导致分片不平衡。平衡分片的算法仅仅只是调整分片中数据块的数量，忽略了数据块的大小。在MongoDB 2.6中，新增了一个mergeChunks命令用来将空的数据块合并到连续范围的数据块上，但是这个命令并不可以自动执行，所以Bugsnag编写了一个脚本，以依次检查数据块，并自动合并空的数据块。
大的数据块
大的数据块是指数据块的大小超过配置大小，Bugsnag编写了一个脚本用来发现并调整大数据块的大小。由于需要连接mongod和mongo实例，所以使用了MongoDB的Ruby接口Mongoid。脚本会将大的数据块分割，以保证集群中数据集合分布均衡。
孤立文档（Orphaned documents）
在正常情况下，系统中不会有孤立文档。不过，块迁移过程中的一些失败情况可能会留下孤立文档。孤立文档可以被安全删除，MongoDB 2.6中可以使用cleanupOrphaned命令从分片中删除孤立文档。关于孤立文档的更多内容读者可以参考MongoDB工程师的这篇博文。
MoveChunk目录
MoveChunk目录中的文件是进行分片均衡操作时产生的临时文件，操作完成后，这些文件就可以被删除。Bugsnag使用定时任务来定期清空该目录，MongoDB也支持关闭此功能，读者可以自行测试。
监控分片环境
-
Shell命令
-
Mongostat Mongostat是MongoDB自带的状态检测工具，当MongoDB集群出现问题时，可以运行mongostat –discover来检查集群中各个mongos机器的性能指标。
作者最后总结到运行一个MongoDB分片集群并不难，但是在运行过程中也不时地会有一些小的问题出现。在Bugsnag的博客中有很多MongoDB的博文，读者可以自行学习。
相关推荐
- SQL轻松入门(5):窗口函数（sql语录中加窗口函数的执行）
-
01前言标题中有2个字让我在初次接触窗口函数时，真真切切明白了何谓”高级”？说来也是一番辛酸史！话说，我见识了窗口函数的强大后，便磨拳擦掌的要试验一番，结果在查询中输入语句，返回的结果却是报错，Wh...
- 28个SQL常用的DeepSeek提示词指令，码住直接套用
-
自从DeepSeek出现后，极大地提升了大家平时的工作效率，特别是对于一些想从事数据行业的小白，只需要掌握DeepSeek的提问技巧，SQL相关的问题也不再是个门槛。...
- 从零开始学SQL进阶，数据分析师必备SQL取数技巧，建议收藏
-
上一节给大家讲到SQL取数的一些基本内容，包含SQL简单查询与高级查询，需要复习相关知识的同学可以跳转至上一节，本节给大家讲解SQL的进阶应用，在实际过程中用途比较多的子查询与窗口函数，下面一起学习。...
- SQL_OVER语法（sql语句over什么含义）
-
OVER的定义OVER用于为行定义一个窗口，它对一组值进行操作，不需要使用GROUPBY子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。...
- SQL窗口函数知多少?（sql窗口怎么执行）
-
我们在日常工作中是否经常会遇到需要排名的情况，比如：每个部门按业绩来排名，每人按绩效排名，对部门销售业绩前N名的进行奖励等。面对这类需求，我们就需要使用sql的高级功能——窗口函数。...
- 如何学习并掌握 SQL 数据库基础:从零散查表到高效数据提取
-
无论是职场数据分析、产品运营，还是做副业项目，掌握SQL（StructuredQueryLanguage）意味着你能直接从数据库中提取、分析、整合数据，而不再依赖他人拉数，节省大量沟通成本，让你...
- SQL窗口函数（sql窗口函数执行顺序）
-
背景在数据分析中，经常会遇到按某某条件来排名、并找出排名的前几名，用日常SQL的GROUPBY,ORDERBY来实现特别的麻烦，有时甚至实现不了，这个时候SQL窗口函数就能发挥巨大作用了，窗...
- sqlserver删除重复数据只保留一条,使用ROW_NUMER()与Partition By
-
1.使用场景：公司的小程序需要实现一个功能：在原有小程序上，有一个优惠券活动表。存储着活动产品数据，但因为之前没有做约束，导致数据的不唯一，这会使打开产品详情页时，可能会出现随机显示任意活动问题。...
- SQL面试经典问题(一)（sql经典面试题及答案）
-
以下是三个精心挑选的经典SQL面试问题及其详细解决方案，涵盖了数据分析、排序限制和数据清理等常见场景。这些问题旨在考察SQL的核心技能，适用于初学者到高级开发者的面试准备。每个问题均包含清晰的...
- SQL:求连续N天的登陆人员之通用解答
-
前几天发了一个微头条：...
- SQL四大排序函数神技（sql中的排序是什么语句）
-
在日常SQL开发中，排序操作无处不在。当大家需要排序时，是否只会想到ORDERBY？今天，我们就来揭秘SQL中四个强大却常被忽略的排序函数：ROW_NUMBER()、RANK()、DENSE_RAN...
- 四、mysql窗口函数之row_number()函数的使用
-
1、窗口函数之row_number()使用背景窗口函数中，排序函数rank()，dense_rank()虽说都是排序函数，但是各有用处，假如像上章节说的“同组同分”两条数据，我们不想“班级名次”出现“...
- ROW_NUMBER()函数（rownumber函数与rank区别）
-
ROW_NUMBER()是SQL中的一个窗口函数（WindowFunction）...
- Dify「模板转换」节点终极指南:动态文本生成进阶技巧(附代码)Jinja2引擎解析
-
这篇文章是关于Dify「模板转换」节点的终极指南，解析了基于Jinja2模板引擎的动态文本生成技巧，涵盖多源文本整合、知识检索结构化、动态API构建及个性化内容生成等六大应用场景，助力开发者高效利用模...
- Python 最常用的语句、函数有哪些?
-
1.#coding=utf-8①代码中有中文字符，最好在代码前面加#coding=utf-8②pycharm不加可能不会报错，但是代码最终是会放到服务器上，放到服务器上的时候运行可能会报错。③...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
git 执行pull错误如何撤销 git pull fail
-
面试官:git pull是哪两个指令的组合?
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作，涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)