2014 年度计划

1. Kafka

阅读 kafka 0.7.x  的代码，了解负载均衡的策略

kafka 0.8.x

Samza http://samza.incubator.apache.org/

2. go-lang

    beego

    revel

    martini

    nsq http://bitly.github.io/nsq/overview/design.html

    log-server (json格式数据编码，redis通讯协议，支持部分cateory独立存储，支持日志按大小、按时间轮转)

3. clang-llvm

4. 知识图谱

5. 正面/负面/表扬/批评/中性

    原创/首发 识别

6. libsvm/liblinear/libshorttext   http://www.csie.ntu.edu.tw/~cjlin/libshorttext/

7. nginx

http://www.evanmiller.org/nginx-modules-guide.html

https://github.com/fitstar/falcore

perl/python/lua

8. Python

NOSQL 数据库 CodernityDB

django相对来说比较重量,tornado flask webpy轻很多

语言检测  https://github.com/saffsd/langid.py

9. scala/java

goose Html Content / Article Extractor in Scala - open sourced from Gravity Labs http://gravity.com

 

 

 

 

 

X.1 Presto  ---- http://prestodb.io

Facebook 正式宣布开源 Presto —— 数据查询引擎，可对250PB以上的数据进行快速地交互式分析。该项目始于 2012 年秋季开始开发，目前该项目已经在超过 1000 名 Facebook 雇员中使用，运行超过 300 个查询，每日数据在 1PB 级别。Facebook 称 Presto 的性能比诸如 Hive 和 Map*Reduce 要好上 10 倍有多。
Presto 当前支持 ANSI SQL 的大多数特效，包括联合查询、左右联接、子查询以及一些聚合和计算函数；支持近似截然不同的计数(DISTINCT COUNT)等。

X.2 C语言并发编程框架 libPhenom
libPhenom 是 Facebook 发布的一个高性能的C语言并发编程框架，支持事件驱动，支持多线程，还提供了内存管理和常用数据结构，甚至是json处理。

X.3 开源 C++11 组件库 Folly
Folly 是 Facebook 的一个开源 C++11 组件库，提供了类似 Boost 和 std 库的功能。包括散列、字符串、向量、内存分配、位处理等，满足大规模高性能的需求。

X.4 Go语言开发的项目
nsq：bitly开源的消息队列系统，性能非常高，目前他们每天处理数十亿条的消息
docker:基于lxc的一个虚拟打包工具，能够实现PAAS平台的组建。
packer:用来生成不同平台的镜像文件，例如VM、vbox、AWS等，作者是vagrant的作者
skynet：分布式调度框架
Doozer：分布式同步工具，类似ZooKeeper
Heka：mazila开源的日志处理系统
cbfs：couchbase开源的分布式文件系统
tsuru：开源的PAAS平台，和SAE实现的功能一模一样
groupcache：memcahe作者写的用于Google下载系统的缓存系统
god：类似redis的缓存系统，但是支持分布式和扩展性
gor：网络流量抓包和重放工具

 X.5 2013年最受关注的Python并发模块

pulsar (github.com)<3
https://github.com/quantmind/pulsar
部件新web 服务器走起!
有趣的事件驱动的并发框架 ! 兼容从2.6+到pypy 的所有python 版本!

toro (github.com)<3
https://github.com/ajdavis/toro
同步化的Tornado 协程支持

offset (github.com)<3
https://github.com/benoitc/offset
Offset Go 的并发模式在 Python 中的实现.请参考相关演讲幻灯. 来理解!