使用rabbitmq对文本使用tf_idf算法进行分析的项目记录

之前用爬虫爬了三个源，共爬取了30w左右的博客，爬虫项目：itmap_spiders。

接着对这些文本进行分析，要求是找出每篇文章的关键词。我对TF*IDF算法有一些了解，就选择了它。项目：itmap_data_analysis。

业务架构

由于数据量有点大，所以使用消息队列进行拆分，拆分标准是按照步骤来。具体的步骤如下图所示。

architecture

技术栈：

使用pika来与RabbitMQ连接。
使用click来编写命令行命令。
使用mongodb来储存结果。

遇到的问题

logging

使用click时发现一直没有打印日志，解决方法是设置日志级别：

logging.basicConfig(level=logging.INFO)

click

跟随另一位同伙的代码，第一次使用click，真是好用啊！
需要能够多次输入collection时，需要增加参数multiple，这样在命令行使用时，可以多次添加--collection collection_name或-c collection_name。

@click.command()
@click.option('--collection', '-c', type=click.Choice(collections), multiple=True, help='mongo中的collection名')
def func(collection):
    for c in collection:
        pass

pymongo

速度

计算TF的步骤，由于消费者执行速度实在太慢（rabbit的admin界面对应的queue的state大部分情况下是idle状态），所以稍微优化了下。
目前主要是通过使用bulk-write来提速。另外，对于计算TF步骤而言，设计的时候是一次只对一篇文章进行计算，但是发现这样做太耗费与mongodb的连接了，所以改成了一次对100篇文章进行计算。

与消费者的龟速成鲜明对比的是，生产者往队列里塞得极快！至于计算TF后面俩步骤是什么情况，还得等我先跑完TF再看。。。

auth

terminal中输入mongo

use admin
db.auth(‘username’,’password’)

备份

terminal中输入

mongodump -u username -p password --authenticationDatabase=admin  -d data -o /data/db
-u 是username -p是password，不填会报authentication的错， --authenticationDatabase需要指明auth在哪个db中
-d 是要备份的db，不指明就是所有
-o 是dump文件保存的地方，不指明就是当前目录
还可以使用-h 来指明是哪个mongod，比如127.0.0.1:27017，端口可不填

恢复

terminal中输入

mongorestore -h localhost:27017 -d data . -u root -p Song123654 --authenticationDatabase=admin
各个参数同上，那个点表示是当前目录

*nix命令

*nix 使用scp传输文件

scp [email protected]:~/datadir/data/article-juejin.bson article-juejin.bson

前面和ssh登录一样，因为scp也是使用ssh，后面同cp命令

修改文件的用户组

chgrp [-R] group_name file_name

修改文件所有者

chown [-R] owner_name file_name
-R表示递归，会将目录下的所有文件同时做修改

也可以这么用：

chown group_name:owner_name file_name

docker-compose命令

docker-compose up -d service_name
docker-compose build/start/stop/restart service_name
docker-compose scale service_name=2
docker-compose logs -f service_name

defaultdict

defaultdict-of-defaultdict

想要将defaultdict的默认值也设置为defaultdict：

defaultdict(lambda: defaultdict(int))

若直接写，会报错，是因为defaultdict(int)并不是可调用对象：

In [2]: defaultdict(defaultdict(int))
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
 in ()
----> 1 defaultdict(defaultdict(int))

TypeError: first argument must be callable or None