『盗梦空间』神器 portia使用方法简述

1,首先你得需要安装

在某个路径下,安装virtualenv

$ pip install virtualenv

然后创建一个虚拟环境。名字随便取,不要太随便就行。

$ virtualenv portia

创建之后自然需要激活啦。如果你对激活软件没什么概念,恭喜你!你确实是炎黄子孙。

$ source portia/bin/activate

环境弄好了,请进入该环境里,感受一下新大陆的清新空气。

$ cd portia

开始在这里安装portia所需要的一些东西啦。(也可以选择ssh,怎么任性怎么来)

$ git clone https://github.com/scrapinghub/portia

搞定了Boss,还需要搞定一点小弟。进入小弟的地盘。

$ cd portia/slyd

小弟有仨。不要紧张,一个个来。

$ pip install twisted
$ pip install Scrapy
$ pip install -r requirements.txt

Triple Kill!!!恭喜!安装任务全部搞定,最后运行起来就完美收官了。(这里需要事先启动环境,并且在slyd路径下)

$ twistd -n slyd

不对!以上只是把工具运行起来了而已,至于要爬什么,怎么爬还没说了,各位看官不要急。预知后事如何,且听下回分解。

And ...Scene!


2,客官不要急,现在可以开始了。

上回说到,潘金莲被武松逮了个正着。。盛怒之下的武松正要上床休息,忽闻一整油饼香(此处响起背景音乐,山东天后的著名歌曲:威海油饼)。。。剧情有点跑偏了。。

现在打开你的浏览器,chrome(推荐)或者FireFox都行。

在地址栏输入http://127.0.0.1:9001/static/main.html 。。。

出现的页面是不是让你涕泗横流?没错,就是这只可爱的小蜘蛛,相传这就是蜘蛛界的爱因斯坦--波西亚跳蛛。其生存技能之高,会让你觉得你就是被奶瓶喂大的。

如果你是一个善于观察生活的人,你会发现顶部有一个输入框。于是你就很自然の填入你想爬取的地址,一步一步,似爪牙,似魔鬼的步伐。

点击Start『开始』,portia开始工作。

在抓取到的页面中,你可以随意点取你想要爬取的元素,然后保存成你想要的字段。so easy!感觉妈妈再也不用担心我的学习!

这回没什么有营养的干货,我就多扯了一点乱七八糟的东西,不然客官你会觉得门票白买了。


3,作业:请写一篇800字以上的读后感,文体不限。

你可能感兴趣的:(『盗梦空间』神器 portia使用方法简述)