自有CDN的研发和建设

最近研究方向从视频处理转到内容分发,


可能涉及到的方面有:


调度算法 一致性hash等

调度模式  类似 f5的npath routing 或者 lvs 的 direct routing, 但是要加上基于请求内容的分发 也就是layer4 和 layer7的混合模式。


缓存算法 针对流媒体以及静态文件的各种算法,已经对 cost based caching CERA做了尝试。 

由于HLS的性质,在对日志的观察上看,他更接近于直播流而不是文件下载的表现。所以直播流所使用到的一些缓存算法可能是需要重点关注的部分。

比如前缀法、指数分段法等。

LRU-K可能也是一个性能和命中都有保障的算法。事实上,在当前实验得到的结果看,相比复杂的看起来很高端的算法而言,LRU命中表现很好,而且鲁棒性最佳,执行性能最佳。


集群结构 p2p 或者是 中心节点? 也是不好取舍的部分。主要是要考虑到性能和维护之间的取舍。

边缘和中心的分层结构 可能需要细化, 两层涉及到的调度和缓存可能存在较大的差异。继续纠结。。。

存储结构 是否需要自己定制 类似facebook 的 haystack 的 结构? 好吧,人的生命是有限的。。。


关键的着眼点是针对性的定制,毕竟我做的cache说针对的内容是有自身的特点的。


先记录一些参考资料

http://storage.it168.com/a2010/0829/1096/000001096374_all.shtml

http://storage.it168.com/a2010/0829/1096/000001096373.shtml


http://www.bairimeng.net/2012/11/27/netfilter_iptables_matc/

http://www.bairimeng.net/2012/11/28/netfilter_iptables_hook_1/

你可能感兴趣的:(文件系统:存储&缓存&分发)