爬虫神器:SSDB。代替Redis做数据filter

推荐原因:便宜,便宜,便宜,4核8G+100G SSD就够了。
由于项目大,单机Redis内存太小,使用codis做集群。codis用key做数据分区,我存的是set不满足需求,自己手动写Redis简单集群按value做分区,后面计算一下基础班云服务器(一核两G)需要六七十个。

爬虫神器:SSDB。代替Redis做数据filter_第1张图片
图片发自App

测试机器:
i5 7500 四核
16G
7200转。
数据量15亿。

数据插入(hashmap hset命令) QPS:
爬虫神器:SSDB。代替Redis做数据filter_第2张图片
图片发自App

安装时可能错误:
ERROR!autoconfrequired!installautoconffirst
Makefile:4:build_config.mk:没有那个文件或目录
make:***Noruletomaketarget'build_config.mk'。停止。
这是autoconf不能实现自动编译,于是安装autoconf:
sudoapt-getupdate
sudoapt-getinstallautoconf

爬虫神器:SSDB。代替Redis做数据filter_第3张图片
图片发自App

每百万次插入耗时
爬虫神器:SSDB。代替Redis做数据filter_第4张图片
图片发自App

你可能感兴趣的:(爬虫神器:SSDB。代替Redis做数据filter)