分布式系统架构手册

ArchManual

分布式系统架构手册

项目介绍

ArchManual
不是：
某个技术架构的深度剖析
某个技术框架的源码分析
某个技术工具的安装运维
某个技术类库的代码示例

而是：
常用分布式技术的总体概览
常用技术主题的归纳总结
常用技术框架的归类罗列
常用技术架构的简单分享

希望成为：
速查手册：平时工作中做技术架构、框架选型时的速查手册
学习提纲：业余学习或者面试时的一个学习提纲
技术地图：对技术框架有一个整体和全面的了解
技术社区：每个技术同学都能积极分享和交流知识

整体概览

• 概览图：

  

• 地址：
  思维导图

导航

• 后端主题
• 前端主题
• 系统运维
• 监控
• 大数据
• 系统安全
• 人工智能

后端主题

• 配置中心
  • Apollo
  • Nacos
  • Spring Config
  • Disconf
• 消息队列
  • 分布式消息队列
    • Kafka
    • RocketMQ
    • RabbitMQ
    • ActiveMQ
    • Redis
  • 内存消息队列（线程间消息传递）
    • Disruptor
  • MTTQ（应用于物联网）
    • EMQX
    • Mosquitto
    • NanoMQ
• 延迟任务
  • 消息队列
    • RabbitMQ TTL + 死信队列
    • RabbitMQ 延迟队列插件(*推荐)
    • RocketMQ 定时消息(*推荐)
  • Redis缓存
    • 定时轮询zset
    • Redis Key过期监听
    • Redisson 分布式延迟队列 RDelayedQueue (*推荐)
  • 定时轮询
    • Spring Task
    • XXL-Job
    • Elastic-Job
  • 内存队列
    • JDK DelayQueue
  • 时间轮算法
    • Netty的HashedWheelTimer
    • Kafka的TimingWheel
• 任务调度
  • xxl-job
  • Elastic-job
  • powerJob
  • Saturn
  • Quartz
• 分布式ID
  • Snowflake(雪花算法）
  • Redis 自增ID
  • 美团 Leaf
• 分布式锁
  • Redis
  • Zookeeper
  • Etcd
• 分布式事务
  • XA
    • ShardingSpere
    • MyCat
    • Spring JTA
  • 同步调用
    • TCC(Try/Confirm/Cancel)
      • byteTCC
      • tcc-transaction
      • easy-transaction
      • Hmily
    • Saga
      • Ali Seata
  • 异步调用
    • MQ支持可靠消息(RocketMQ)
    • 可靠消息服务+MQ
    • 本地消息表 + MQ
• 注册发现
  • Eureka + Ribbon
  • Nacos
  • Consul
  • Zookeeper
• 限流与降级
  • Hystrix
  • Sentinel
• 负载均衡
  • HttpDNS
  • DNS
  • F5(硬件）
  • LVS（4层）
  • Nginx（7层）
  • HAProxy
• 数据库连接池
  • Druid
  • HikariCP
  • DBCP2
• 应用服务器
  • Tomcat
  • Jetty
• 流程引擎
  • activiti
  • flowable
  • camunda
• 服务调用
  • RPC
    • Dubbo
    • DubboX
  • HTTP
    • OpenFeign
    • RestTemplate
• 网关
  • Nginx + Lua
  • KONG（基于OpenResty)
  • Zuul
  • Ali Sentinel(限流）
• 存储
  • 分布式文件系统
    • Ali OSS
    • Ceph
  • 文档数据库
    • MongoDB
  • KV
    • Redis（CA模型）
    • etcd（CP模型）
  • NewSQL
    • TiDB
  • 时序
    • InfluxDB
  • 图数据库
    • Neo4J
  • 搜索
    • ElasticeSearch
  • 向量数据库
    • Milvus
  • 分析型数据库（列式时数据库）
    • Hbase
• 仓库
  • 代码仓库
    • gitlab
  • maven仓库
    • nexus
  • docker镜像仓库
    • docker registry
• 分布式数据库
  • 分库分表
    • ShardingSphere(Sharding-JDBC)
    • MyCat
    • DBProxy
    • Atlas
  • 存储引擎
    • 事务
      • InnoDB
    • 顺序写
      • TokuDB
  • 高可用
    • MHA
  • 数据同步
    • 阿里云DTS
    • binlog消费订阅
      • canal
      • databus
    • 增量数据同步
      • otter
    • 全量离线数据同步
      • kettle
  • 数据可视化
    • superset
    • Redash
• 集群管理
  • 元数据协调管理
    • Zookeeper
    • gossip
  • IP地址切换
    • VIP
    • Keepalived
• 缓存
  • CDN层
    • ATS(Apache Traffic Server）
    • Squid
  • HTTP层
  • 应用层
    • Caffeine
    • Guava
    • ehcache
  • 分布式缓存
    • Redis
    • JD-hotkey
• Redis
  • 数据类型
  • 过期策略
  • IO模型
  • 主从复制
  • 高可用
  • 持久化
  • 分布式集群 Redis Cluster
  • 分布式集群 Codis
  • 常见问题：雪崩、击穿
  • 双写一致性
  • Key的优化、监测
• 压测
  • 线下
    • Apache ab
    • Apache Jmeter
  • 线上
    • Tcpcopy
  • 流量存储和回放
    • GoReplay
• KV存储
  • LevelDB
  • RocksDB
  • BeansDB
  • LMDB
  • Riak
• 分布式协调服务
  • Zookeeper
  • Etcd
• 弹性伸缩
  • K8S + Docker
  • 云计算
    • 阿里云
    • 腾讯云
• Java工具包
  • guava
• 一致性算法
  • 强一致性
    • Paxos
    • Raft
    • ZAB
  • 弱一致性
    • Gossip

前端主题

• 常用框架
  • Web
    • Vue
    • React
    • [NextJs]
    • Angular
  • 小程序
    • uni-app
  • 桌面
    • Electron
• [组件库]
  • UI
    • ElementUI
    • Ant Design
  • 图表
    • ECharts
    • D3.js
    • Chartjs
  • 科学计算图表
    • plotly
  • ICON
    • ElementUI
    • iconfont](https://www.iconfont.cn/
  • 多功能编辑器
    • quilljs
    • wangEditor
    • CKEditor
  • 流程图
    • jsPlumb
    • GoJS
    • mermaid
    • LogicFlow
    • drawio
• 性能优化
• 日志监控

系统运维

• 仓库管理
  • 代码仓库
    • gitlab
  • maven仓库
    • nexus
  • docker镜像仓库
    • docker registry
• 部署容器
  • Docker + K8S
    • docker跨主机组网
      • 原生
        • overlay
        • macvlan
      • 第三方
        • Flannel
        • OpenSwitch
        • weave
        • calico
  • 云服务
    • Aliyun ECS
• DevOps
  • Gitlab CI / CD
  • Jenkins
• 监控
  • 服务器
    • OpenFalcon
    • Zabbix + Grafana
  • 调用链
    • Pinpoint
    • Skywalking
    • CAT
    • SpringCloud Sleuth + Zipkin
  • 业务
    • Falcon
    • CAT metrics
    • Micrometer
  • JVM
    • arthas
  • 日志
    • ELK
      • FileBeats 采集
      • Kafka 日志队列
      • Logstack 计算
      • ElasticSearch 存储
      • Kibana 展示
    • Flume + Hadoop

大数据

• 流式计算
  • Spark Streaming
  • Apache Storm
  • Flink
• 分布式文件系统
  • HDFS
• BigTable
  • HBase
• 计算框架
  • Hadoop MapReduce
  • Spark
• 数据分析
  • Hive
  • impala
• 数据可视化
  • superset
  • Redash

系统安全

• 应用层
  • 账号生命周期
  • 授权
  • 接口安全
  • 操作日志审计
  • 重要漏洞防范
  • 软件容错
  • 错误处理
  • 文件操作
  • 输入输出
  • 加密算法
• 运维层
  • 主机安全
  • 密钥全生命周期管理
  • 证书管理
  • 资源控制
  • 配置文件管理
  • 中间件运维
• 代码层
  • 源代码保护
  • 代码审计
  • 环境管理
  • 版本控制
  • 检测工具
• 数据层
  • 数据分级
  • 数据脱敏
  • 数据加密
  • 数据灾备

人工智能

• 特征工程
  • Featuretools
  • Boruta-py
  • Categorical-encoding
  • Tsfresh
• 机器学习
  • sklean
  • xgboost
  • LightGBM
  • LibSVM
• 深度学习
  • PyTorch
  • TensorFlow
  • MXNet
  • OneFlow
  • paddlepaddle
  • Keras
• 联邦学习
  • FATE
  • PaddleFL
  • FedML
  • TensorFlowFL
• 自动机器学习
  • AutoSklearn
  • AutoKeras
  • AutoGluon
  • AutoPyTorch
• 大模型
  • 基础设施
    • 向量数据库
      • Chroma
      • Faiss
      • Milvus
      • Weaviate
      • Pinecone
      • Qdrant
      • Vespa
      • Vald
      • ScaNN
    • 数据库支持向量
      • Pgvector
      • [Redis]
      • [Neo4j]
      • [Elastic]
      • [OpenSearch]
      • [Solr]
      • [Lucene]
      • [Clickhouse]
      • [MongoDB]
    • 大模型框架、微调
      • LMFlow
      • LoRA
      • finetuner
      • PEFT
      • alpaca-lora
      • ChatGLM-Efficient-Tuning
      • LLaMA-Factory
      • xTuring
      • YiVal
      • P-tuning-v2
      • h2o-llmstudio
      • OpenLLM
    • 大模型训练平台
      • DeepSpeed
      • TensorFlow
      • MindSpore
      • PyTorch
      • ColossalAI
      • MXNet
      • Transformers
      • RAY
      • Paddle
  • 大模型
    • 国内
      • 文心一言
      • 通义大模型
      • 盘古
      • 百川智能
      • ChatGLM
    • 国外
      • DALL.E 3
      • OpenLLaMa
      • LLama2
      • Grok
      • Stable Diffusion
      • Dolly
      • PaLM2
      • StableLM
      • GPT-4
      • Falcon
      • BLOOM
      • TII
  • 工具
    • 大模型运维
      • BentoML
      • LangChain
      • Dify.AI
      • FlowiseAI
      • Phoenix
      • GPTCache
    • 大模型聚合
      • HuggingFace
      • ModelScope
      • SOTA
      • Gitee AI
    • 开发工具
      • V0.DEV
      • MarkerSuite
      • txtai
      • codium
      • imgcook
      • Jina
      • Project IDX
      • Quest AI
  • 应用
    • ChatGPT
    • BING
    • DragGAN
    • Claude
    • Cursor
    • Bard
    • MidJourney
    • Mochi Diffusion
  • 智能体
    • AutoGPT
    • AutoGen
    • Langfuse
    • ChatDev
    • BabyAGI
    • CAMEL
    • SuperAGI
    • MetaGPT
    • ShortGPT