30天了解30种技术系列---(16)可视化爬虫工具---Portia

     

      Portia是scrapyhub开源的一款可视化的爬虫规则编写工具,提供可视化的Web页面,你只需要通过点击标注页面上你需要抽取的数据,不需要任何编程知识即可完成规则的开发。(动态网页需要自己编写JS解析器)。

 

      Portia的项目地址为:https://github.com/scrapinghub/portia

      安装方式如下:

       

git clone https://github.com/scrapinghub/portia

 

     在docker的环境下构建

docker build -t portia .

    启动,然后可以通过9001 端口进行访问,

docker run -i -t --rm
-v /data:/app/slyd/data:rw \
-p 9001:9001 \
--name portia \
portia

访问地址:
http://localhost:9001/static/index.html

    

    效果如下:
   

 
  


 


 

       

我们可以将数据写入mysql 等只需要进行简单的,配置,跟多的内容大家可以去详细了解

 

 大家如果对于哪个技术比较感兴趣,可以私信,我会有重点的在后续文章进行展开。

 

 更多精彩请关注微信 : 图灵搜索

 大家也可以使用中国第一个为程序员打造的搜索引擎:https://www.tulingss.com 进行查看。

你可能感兴趣的:(30天了解30种技术)