MongoDB常见问题及解决方案

1、大量删除数据问题及解决方案

• 在线消息定时删除
• 请求量增加，垃圾数据需要进行删除
• 离线批量删除
• • msgid
    
  • content
  • timestamp
  • flag
  • objectid
  • from
  • to
    
• 针对flag=1时进行删除时的问题，并非索引或者分片结果；
  
• 更新方式
• • 业务层优化
  • • 逻辑删除转为直接物理删除
  • 离线删除优化
  • • 每晚定时从库导出要删除的数据
    • 通过脚本按照objectid方式进行删除
    • 删除速度基本可控
    • 避免对线上服务影响
      

2、大量数据空洞问题及其解决问题方案

• 出现原因
• 项目上线时间畅
• 积累了很多“无用”历史数据
• 为了提高性能，删除“无用”利用历史数据
• 减少了数据存储大小，期房提高数据库服务能力

问题 大量删除数据，存储空洞空洞数据加载内存导致内存有效服务低数据不断在swap数据库性能没有明显提高 解决方案 MongoDB数据空间的分配以DB为单位不是以Collection单位问题大量碎片无法使用与整理碎片整理、空洞合并收缩 方法 Online CompressCompact

• db.yourCollection.runCommand("compact");
• Collection级别压缩
  
• 影响服务
• 压缩效果差，不推荐使用

方案二：

• remove空洞，重新生成一份无空洞数据
• • 预热从库，并将从库提升为主库
  • 将之前主库数据全部删除
  • 重新同步
  • 同步完成后预热词库
  • 将此库提升为主库
  • 完全无碎片，收缩率100%
    
  • 持续时间长、投入维护成本高
  • 收缩过程单点有风险

3、存储量及并发量增大，CPU飙升问题及解决方案

• MongoDB集群存储量变大，请求量变大
• 请求高峰期，请求高峰期，数据库报警不断，业务报警不断
• 业务请求数据超时，业务无法正常提供服务，确定业务模块正常
• 查看主库进程，上下文切换极高
  

4、MonogDB数据迁移抖动及问题

• AutoSharding自动迁移，对应用程序完全透明
• 使用单库单表一样简单
• 解决方案
• 禁用Auto-Sharding
• 开启数据库分片
  
• 特定库固定到某一分片
• 手动分片

5、内存频繁swap、磁盘IO性能不足问题及解决方案

• 业务发展，存储，请求量不断升级，内存无法完全存储热点数据
• swap严重，队列堆积，枷锁严重
• 解决方案
• scale up
• • 硬件升级
  • 软件升级
  • • 缓存
    • 收缩
    • 查询语句优化
• scale out
• • repliset

6、地理空间索引查询及重构消耗多CPU资源问题及解决方案

• 查询附近，构建和使用
  
• 速度较慢读写
• 内存消耗大量CPU
• 解决方案
• 方案一
• • 数据规模拆分
  • GB界别
  • 情况好转
• 方案二
• • MongoDB地理空间问题初期稳定性有待验证
  • 不再使用MongoDB空间索引
  • 针对空间地理查询修改服务，直接接入使用，服务能力大大提升