分布式系统架构手册

ArchManual

分布式系统架构手册

项目介绍

ArchManual
不是
某个技术架构的深度剖析
某个技术框架的源码分析
某个技术工具的安装运维
某个技术类库的代码示例

而是
常用分布式技术的总体概览
常用技术主题的归纳总结
常用技术框架的归类罗列
常用技术架构的简单分享

希望成为
速查手册:平时工作中做技术架构、框架选型时的速查手册
学习提纲:业余学习或者面试时的一个学习提纲
技术地图:对技术框架有一个整体和全面的了解
技术社区:每个技术同学都能积极分享和交流知识

整体概览

  • 概览图:

    分布式系统架构手册_第1张图片

  • 地址:
    思维导图

导航

  • 后端主题
  • 前端主题
  • 系统运维
  • 监控
  • 大数据
  • 系统安全
  • 人工智能

后端主题

  • 配置中心
    • Apollo
    • Nacos
    • Spring Config
    • Disconf
  • 消息队列
    • 分布式消息队列
      • Kafka
      • RocketMQ
      • RabbitMQ
      • ActiveMQ
      • Redis
    • 内存消息队列(线程间消息传递)
      • Disruptor
    • MTTQ(应用于物联网)
      • EMQX
      • Mosquitto
      • NanoMQ
  • 延迟任务
    • 消息队列
      • RabbitMQ TTL + 死信队列
      • RabbitMQ 延迟队列插件(*推荐)
      • RocketMQ 定时消息(*推荐)
    • Redis缓存
      • 定时轮询zset
      • Redis Key过期监听
      • Redisson 分布式延迟队列 RDelayedQueue (*推荐)
    • 定时轮询
      • Spring Task
      • XXL-Job
      • Elastic-Job
    • 内存队列
      • JDK DelayQueue
    • 时间轮算法
      • Netty的HashedWheelTimer
      • Kafka的TimingWheel
  • 任务调度
    • xxl-job
    • Elastic-job
    • powerJob
    • Saturn
    • Quartz
  • 分布式ID
    • Snowflake(雪花算法)
    • Redis 自增ID
    • 美团 Leaf
  • 分布式锁
    • Redis
    • Zookeeper
    • Etcd
  • 分布式事务
    • XA
      • ShardingSpere
      • MyCat
      • Spring JTA
    • 同步调用
      • TCC(Try/Confirm/Cancel)
        • byteTCC
        • tcc-transaction
        • easy-transaction
        • Hmily
      • Saga
        • Ali Seata
    • 异步调用
      • MQ支持可靠消息(RocketMQ)
      • 可靠消息服务+MQ
      • 本地消息表 + MQ
  • 注册发现
    • Eureka + Ribbon
    • Nacos
    • Consul
    • Zookeeper
  • 限流与降级
    • Hystrix
    • Sentinel
  • 负载均衡
    • HttpDNS
    • DNS
    • F5(硬件)
    • LVS(4层)
    • Nginx(7层)
    • HAProxy
  • 数据库连接池
    • Druid
    • HikariCP
    • DBCP2
  • 应用服务器
    • Tomcat
    • Jetty
  • 流程引擎
    • activiti
    • flowable
    • camunda
  • 服务调用
    • RPC
      • Dubbo
      • DubboX
    • HTTP
      • OpenFeign
      • RestTemplate
  • 网关
    • Nginx + Lua
    • KONG(基于OpenResty)
    • Zuul
    • Ali Sentinel(限流)
  • 存储
    • 分布式文件系统
      • Ali OSS
      • Ceph
    • 文档数据库
      • MongoDB
    • KV
      • Redis(CA模型)
      • etcd(CP模型)
    • NewSQL
      • TiDB
    • 时序
      • InfluxDB
    • 图数据库
      • Neo4J
    • 搜索
      • ElasticeSearch
    • 向量数据库
      • Milvus
    • 分析型数据库(列式时数据库)
      • Hbase
  • 仓库
    • 代码仓库
      • gitlab
    • maven仓库
      • nexus
    • docker镜像仓库
      • docker registry
  • 分布式数据库
    • 分库分表
      • ShardingSphere(Sharding-JDBC)
      • MyCat
      • DBProxy
      • Atlas
    • 存储引擎
      • 事务
        • InnoDB
      • 顺序写
        • TokuDB
    • 高可用
      • MHA
    • 数据同步
      • 阿里云DTS
      • binlog消费订阅
        • canal
        • databus
      • 增量数据同步
        • otter
      • 全量离线数据同步
        • kettle
    • 数据可视化
      • superset
      • Redash
  • 集群管理
    • 元数据协调管理
      • Zookeeper
      • gossip
    • IP地址切换
      • VIP
      • Keepalived
  • 缓存
    • CDN层
      • ATS(Apache Traffic Server)
      • Squid
    • HTTP层
    • 应用层
      • Caffeine
      • Guava
      • ehcache
    • 分布式缓存
      • Redis
      • JD-hotkey
  • Redis
    • 数据类型
    • 过期策略
    • IO模型
    • 主从复制
    • 高可用
    • 持久化
    • 分布式集群 Redis Cluster
    • 分布式集群 Codis
    • 常见问题:雪崩、击穿
    • 双写一致性
    • Key的优化、监测
  • 压测
    • 线下
      • Apache ab
      • Apache Jmeter
    • 线上
      • Tcpcopy
    • 流量存储和回放
      • GoReplay
  • KV存储
    • LevelDB
    • RocksDB
    • BeansDB
    • LMDB
    • Riak
  • 分布式协调服务
    • Zookeeper
    • Etcd
  • 弹性伸缩
    • K8S + Docker
    • 云计算
      • 阿里云
      • 腾讯云
  • Java工具包
    • guava
  • 一致性算法
    • 强一致性
      • Paxos
      • Raft
      • ZAB
    • 弱一致性
      • Gossip

前端主题

  • 常用框架
    • Web
      • Vue
      • React
      • [NextJs]
      • Angular
    • 小程序
      • uni-app
    • 桌面
      • Electron
  • [组件库]
    • UI
      • ElementUI
      • Ant Design
    • 图表
      • ECharts
      • D3.js
      • Chartjs
    • 科学计算图表
      • plotly
    • ICON
      • ElementUI
      • iconfont](https://www.iconfont.cn/
    • 多功能编辑器
      • quilljs
      • wangEditor
      • CKEditor
    • 流程图
      • jsPlumb
      • GoJS
      • mermaid
      • LogicFlow
      • drawio
  • 性能优化
  • 日志监控

系统运维

  • 仓库管理
    • 代码仓库
      • gitlab
    • maven仓库
      • nexus
    • docker镜像仓库
      • docker registry
  • 部署容器
    • Docker + K8S
      • docker跨主机组网
        • 原生
          • overlay
          • macvlan
        • 第三方
          • Flannel
          • OpenSwitch
          • weave
          • calico
    • 云服务
      • Aliyun ECS
  • DevOps
    • Gitlab CI / CD
    • Jenkins
  • 监控
    • 服务器
      • OpenFalcon
      • Zabbix + Grafana
    • 调用链
      • Pinpoint
      • Skywalking
      • CAT
      • SpringCloud Sleuth + Zipkin
    • 业务
      • Falcon
      • CAT metrics
      • Micrometer
    • JVM
      • arthas
    • 日志
      • ELK
        • FileBeats 采集
        • Kafka 日志队列
        • Logstack 计算
        • ElasticSearch 存储
        • Kibana 展示
      • Flume + Hadoop

大数据

  • 流式计算
    • Spark Streaming
    • Apache Storm
    • Flink
  • 分布式文件系统
    • HDFS
  • BigTable
    • HBase
  • 计算框架
    • Hadoop MapReduce
    • Spark
  • 数据分析
    • Hive
    • impala
  • 数据可视化
    • superset
    • Redash

系统安全

  • 应用层
    • 账号生命周期
    • 授权
    • 接口安全
    • 操作日志审计
    • 重要漏洞防范
    • 软件容错
    • 错误处理
    • 文件操作
    • 输入输出
    • 加密算法
  • 运维层
    • 主机安全
    • 密钥全生命周期管理
    • 证书管理
    • 资源控制
    • 配置文件管理
    • 中间件运维
  • 代码层
    • 源代码保护
    • 代码审计
    • 环境管理
    • 版本控制
    • 检测工具
  • 数据层
    • 数据分级
    • 数据脱敏
    • 数据加密
    • 数据灾备

人工智能

  • 特征工程
    • Featuretools
    • Boruta-py
    • Categorical-encoding
    • Tsfresh
  • 机器学习
    • sklean
    • xgboost
    • LightGBM
    • LibSVM
  • 深度学习
    • PyTorch
    • TensorFlow
    • MXNet
    • OneFlow
    • paddlepaddle
    • Keras
  • 联邦学习
    • FATE
    • PaddleFL
    • FedML
    • TensorFlowFL
  • 自动机器学习
    • AutoSklearn
    • AutoKeras
    • AutoGluon
    • AutoPyTorch
  • 大模型
    • 基础设施
      • 向量数据库
        • Chroma
        • Faiss
        • Milvus
        • Weaviate
        • Pinecone
        • Qdrant
        • Vespa
        • Vald
        • ScaNN
      • 数据库支持向量
        • Pgvector
        • [Redis]
        • [Neo4j]
        • [Elastic]
        • [OpenSearch]
        • [Solr]
        • [Lucene]
        • [Clickhouse]
        • [MongoDB]
      • 大模型框架、微调
        • LMFlow
        • LoRA
        • finetuner
        • PEFT
        • alpaca-lora
        • ChatGLM-Efficient-Tuning
        • LLaMA-Factory
        • xTuring
        • YiVal
        • P-tuning-v2
        • h2o-llmstudio
        • OpenLLM
      • 大模型训练平台
        • DeepSpeed
        • TensorFlow
        • MindSpore
        • PyTorch
        • ColossalAI
        • MXNet
        • Transformers
        • RAY
        • Paddle
    • 大模型
      • 国内
        • 文心一言
        • 通义大模型
        • 盘古
        • 百川智能
        • ChatGLM
      • 国外
        • DALL.E 3
        • OpenLLaMa
        • LLama2
        • Grok
        • Stable Diffusion
        • Dolly
        • PaLM2
        • StableLM
        • GPT-4
        • Falcon
        • BLOOM
        • TII
    • 工具
      • 大模型运维
        • BentoML
        • LangChain
        • Dify.AI
        • FlowiseAI
        • Phoenix
        • GPTCache
      • 大模型聚合
        • HuggingFace
        • ModelScope
        • SOTA
        • Gitee AI
      • 开发工具
        • V0.DEV
        • MarkerSuite
        • txtai
        • codium
        • imgcook
        • Jina
        • Project IDX
        • Quest AI
    • 应用
      • ChatGPT
      • BING
      • DragGAN
      • Claude
      • Cursor
      • Bard
      • MidJourney
      • Mochi Diffusion
    • 智能体
      • AutoGPT
      • AutoGen
      • Langfuse
      • ChatDev
      • BabyAGI
      • CAMEL
      • SuperAGI
      • MetaGPT
      • ShortGPT

你可能感兴趣的:(分布式架构,java,big,data,elasticsearch,分布式,微服务)