Facebook网站所使用的开源软件

FackBook 很火,一定有其特色,转载一篇文章 http://developer.51cto.com/art/201104/257985.htm如下:

Facebook 是全球首屈一指的社交网络平台,该网站采用了很多开源软件,Facebook采用的编程语言包括:Java,Ruby,PHP,Python,Objective-C.
下面是 Facebook 正在使用或者贡献的开源软件详细列表和介绍。

Apache Cassandra 是一套开源分布式 Key-Value 存储系统。它最初由 Facebook 开发,用于储存特别大的数据。

MySQL 这个不需要在介绍什么了吧,使用最为广泛的开源数据库。

Memcached 是一个高性能的、分布式的内存对象缓存系统。

Scribe 旨在帮助 Facebook 处理服务器上的大量数据,正像 Scribe 网页所述“如经常访问 Facebook,请使用 Scribe。”

具体而言,Scribe 就是一台服务器,实时收集用网站日志信息。


Thrift 是一个可伸缩的跨语言的服务开发框架。Key-Value 存储服务器 Cassandra 就是使用 Thrift 作为其客户端 API 的。

FlashCache 是一个适合一般应用场景的 MySQL 缓存优化模块。

Hadoop 并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。

Hive 是一个基于 Hadoop 的数据仓库平台。通过 hive,我们可以方便地进行 ETL 的工作。

hive 定义了一个类似于 SQL 的查询语言:HQL,能 够将用户编写的QL转化为相应的 Mapreduce 程序基于 Hadoop 执行。 


Open Graph protocol可让你的任何网页变成社交图谱。

http://ogp.me/

OpenCompute - 一个开源硬件项目,提供高能效的数据中心。

http://opencompute.org/


Tornado web server 是使用 Python 编写出來的一个极轻量级、高可伸缩性和非阻塞IO的Web服务器软件,著名的 Friendfeed 网站就是使用它搭建的。

Varnish cache 是一款高性能的开源 HTTP 加速器,挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用 3 台 Varnish 代替了原来的 12 台 squid,性能居然比以前更好。


原文地址:http://developer.51cto.com/art/201104/257985.htm



你可能感兴趣的:(mapreduce,hadoop,Facebook,cassandra,缓存系统,分布式应用)