参考经典的Netfix架构

参考经典的Netfix架构

团队的开源项目在 https://netflix.github.io/。

Netflix 全栈架构一览


大数据

Genie - 对我们的各种数据处理框架(特别是 Hadoop)的强大抽象(基于REST)。

Inviso - 详细了解我们的Hadoop作业和集群的性能。

Lipstick - 以清晰,直观的方式显示Pig job的工作流程。

Aegisthus - 允许从 Cassandra 大量获取数据用于下游分析处理。

构建和交付工具

Nebula- Netflix 内部构建基础设施。

Aminator - 用于创建EBS AMI的工具。

Asgard - 用于 Amazon Web Services(AWS)中应用程序部署和云管理的 Web 界面。

通用运行时服务和库

Eureka - 用于 Netflix 云平台的服务发现。

Archaius - 分布式配置管理。

Ribbon- 弹性和智能化的进程间和服务间通信。

Hystrix - 提供跨服务调用的可靠性,隔离运行时延迟和容错。

Karyon 和 Governator - JVM容器服务。

Prana sidecar - Prana 在实例中提供代理功能。

Zuul - 在部署的边缘节点提供可进行脚本化的代理。

Fenzo - 为云本地框架提供高级调度和资源管理。

数据持久化

EVCache 和 Dynomite - 用于大规模使用 Memcached 和 Redis。

Astyanax 和 Dyno - 以更好地使用云端数据存储的客户端库。

分析、可靠性和性能相关

Atlas - 时间序列自动测量平台

Edda - 跟踪云端变化的服务

Spectator - 将应用程序代码与 Atlas 轻松集成

Vector - 以最小的开销监控高精度主机性能指标。

Ice - 监控运营成本和云利用趋势。

Simian Army - 测试 Netflix 实例的随机故障。

安全

Security Monkey - 帮助监控和保护基于AWS的大型环境。

Scumblr - 利用全网针对性搜索定位特定安全问题。

MSL - 一种可扩展且灵活的安全消息传递协议,解决了许多安全通信用例和需求。

Falcor - 通过虚拟 JSON 图将远程数据源表示为单域模型。

Restify - 专门用于Node.js Web API服务的REST框架

RxJS - JavaScript的反应式编程库


你可能感兴趣的:(分布式与大数据系统)