爬虫入门02作业

网页结构分析

上面两个界面分别是评论栏，以及相关文章栏。
再做进一步的拆分

顶部导航栏分为：

网页logo
导航栏
搜索栏
个人入口

评论栏分为：

评论显示区
评论操作区
添加评论区

html元素标签位置

标题：

爬虫入门01-获取网络数据的原理作业 -

顶部导航栏：


  
    
    ![](//cdn2.jianshu.io/assets/web/logo-58fd04f6f0de908401aa561cda6a0688.png)

    
      
      
        写文章

    
      
        
          ![](//upload.jianshu.io/users/upload_avatars/4624028/79253035-5780-4edf-9194-8e8e7c80baad?imageMogr2/auto-orient/strip|imageView2/1/w/120/h/120)
        
        
          
            
              我的主页
          
          
            
            
              收藏的文章
          
          
            
              喜欢的文章
          
          
            
              我的钱包
          
          
            
              设置
          
          
            
              帮助与反馈
          
          
            
              退出
          
        
      

     夜间模式
 开 关
 
 宋体 黑体
 简 繁
    
      
        
      
      
        
            
              
                发现
            
            
              
                关注
            
            消息     评论 
 简信 
 投稿请求 
 喜欢和赞 
 关注 
 赞赏 
 其他消息

其中

网页logo：

![](//cdn2.jianshu.io/assets/web/logo-58fd04f6f0de908401aa561cda6a0688.png)

个人入口：



        写文章

 

        
          ![](//upload.jianshu.io/users/upload_avatars/4624028/79253035-5780-4edf-9194-8e8e7c80baad?imageMogr2/auto-orient/strip|imageView2/1/w/120/h/120)
        
        
          
            
              我的主页
          
          
            
            
              收藏的文章
          
          
            
              喜欢的文章
          
          
            
              我的钱包
          
          
            
              设置
          
          
            
              帮助与反馈
          
          
            
              退出

导航栏：


              
                发现


              
                关注

消息     评论 
 简信 
 投稿请求 
 喜欢和赞 
 关注 
 赞赏 
 其他消息

搜索栏：

标题栏：

爬虫入门01-获取网络数据的原理作业

作者信息栏:


          
            ![](//upload.jianshu.io/users/upload_avatars/4624028/79253035-5780-4edf-9194-8e8e7c80baad?imageMogr2/auto-orient/strip|imageView2/1/w/144/h/144)
          
            作者
            汤尧
            
            
            
            
              
                2017.06.30 14:07
              字数 217
            阅读 21评论 2喜欢 2
          
          
        编辑文章

作者栏中每个标签的HTML语言如下：

作者头像


            ![](//upload.jianshu.io/users/upload_avatars/4624028/79253035-5780-4edf-9194-8e8e7c80baad?imageMogr2/auto-orient/strip|imageView2/1/w/144/h/144)

作者：

作者

作者名字：

汤尧

关注用户按钮：

文章日期：

2017.06.30 14:07

文章字数：

字数 217

文章阅读数：

阅读 21

文章评论数：

评论 2

文章喜欢数：

喜欢 2

编辑按钮：

编辑文章

正文栏：


          作业:

要爬取的数据类别
对应的数据源网站
爬取数据的URL
数据筛选规则

我的答案是这样的：

要爬取的数据是豆瓣网上评分在7.0以上的电影以及其简介。
对应的数据源网站是豆瓣网电影板块。


![](//upload-images.jianshu.io/upload_images/4624028-b5873f4aa084be96.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)



爬取数据的URL是https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=rank&page_limit=20&page_start=0
以及每个影片对应的链接如：
https://movie.douban.com/subject/26580232/?tag=%E7%83%AD%E9%97%A8&from=gaia

数据筛选规则：


![](//upload-images.jianshu.io/upload_images/4624028-08c1124dc4044ef3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


要爬取图中被标记的那一部分以及下图中被标记的一部分

![](//upload-images.jianshu.io/upload_images/4624028-b8623f8fe37c4dd4.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)


本文为tiger解密大数据社群爬虫入门课第一次课的作业。了解更多关注微信“泰阁志”

![](//upload-images.jianshu.io/upload_images/4624028-77223022c82b025b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

在正文栏中，链接对应的html语言是：

https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=rank&page_limit=20&page_start=0

https://movie.douban.com/subject/26580232/?tag=%E7%83%AD%E9%97%A8&from=gaia

图片对应的html语言是：

![](//upload-images.jianshu.io/upload_images/4624028-08c1124dc4044ef3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

![](//upload-images.jianshu.io/upload_images/4624028-b8623f8fe37c4dd4.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

![](//upload-images.jianshu.io/upload_images/4624028-77223022c82b025b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

文章操作栏：

其中：

文章投稿：

收藏文章：

分享文章：

文末栏：

底部作者信息栏：


        
          
            ![](//upload.jianshu.io/users/upload_avatars/4624028/79253035-5780-4edf-9194-8e8e7c80baad?imageMogr2/auto-orient/strip|imageView2/1/w/144/h/144)
          
          汤尧
            
        写了 21971 字，被 10 人关注，获得了 28 个喜欢

赞赏支持栏：

如果觉得我的文章对您有用，请随意赞赏。您的支持将鼓励我继续创作！
 赞赏支持
 ![](//upload.jianshu.io/users/upload_avatars/578661/19b2d724-d27e-4c97-84be-77353e8801a8.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/120/h/120)

点赞栏：

喜欢
 2

分享栏中：

分享到微信：

分享到微博：

下载长微博图片：

更多分享

添加评论区：

![](//upload.jianshu.io/users/upload_avatars/4624028/79253035-5780-4edf-9194-8e8e7c80baad?imageMogr2/auto-orient/strip|imageView2/1/w/114/h/114)

评论显示区：

![](//upload.jianshu.io/users/upload_avatars/3670077/a3712cfa90bc.jpg?imageMogr2/auto-orient/strip|imageView2/1/w/114/h/114) 波罗学  2楼 · 2017.07.04 22:06
 厉害，学会爬虫有益选择好电影。![](//static.jianshu.io/assets/emojis/smile.png) 
除了基本评分与评价，是否可从多维度去探索分析，如类别，地区等对电影的影响，说不定会有很多有意思的发现。
  1人赞  回复 举报 删除

回复评论区：

汤尧：
           @波罗学 谢谢建议，收到，回忆了一下，在思考这个问题的时候只考虑到了自己的兴趣，却没有细想其中有哪些是可以进行探索数据分析的。
 2017.07.05 09:13  回复  删除
  添加新评论

评论操作区：

两条评论:

2条评论

只看作者：

只看作者

关闭评论：

关闭评论

按喜欢排序：

按喜欢排序

按时间正序：

按时间正序

按时间倒序：

按时间倒序

相关专题操作栏：

被以下专题收入，发现更多相似内容

收入我的专题
 ![](//upload.jianshu.io/collections/images/329425/%E8%A7%A3%E5%AF%86%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%9B%A2%E9%98%9F.jpeg?imageMogr2/auto-orient/strip|imageView2/1/w/64/h/64)解密大数据

投稿管理栏：

投稿管理

更多精彩内容栏：

更多精彩内容
 
  商业数据分析02作业 习题1： 参考字典设计的示例，尝试对一个具体的项目/产品/公司设计一个指标字典。基础指标不少于三个。 根据斗鱼TV设计出来的数据字典如下：
 
 汤尧
 想努力却又努力不起来，怎么办 文/韩大爷的杂货铺 我每天都能收到好多读者朋友发来的私信，这话以前提起的时候，我挺自豪的，因为这代表着我受欢迎啊，爽。 后来我越来越不敢轻易说了，因为越说，发私信问问题的读者就越多，一方面回不过来，另一方面，遭遇一些“无解”的问题，答不上来显得我多low啊…… 真遇上过几个形式不同本质却差不多的无解提问，如： 韩大爷，我高三了，各科都拖后腿，拆了东墙补西墙，眼看着高考临近，却提不起劲头。 韩大爷，我大三了，正在提前备战考研，一大堆书在那摞着，想看，但就是看不进去。 韩大爷，我三十三了，而立之年一过，更能体会到肩上担子的分量，也明白要努力一点，但……我努力不起来。 有心直口快的朋友看了这几...
 
 韩大爷的杂货铺
 自律，才能对得起自己这身好皮囊 自律，才能对得起自己这身好皮囊 01 在外企上班的那段时间，朋友的生活特规律。 早上六点起床，被子是豆腐块儿，脏衣服入篓，书籍上架，鞋尖是一条线，随后就戴上耳机在公园跑几圈儿，回来洗个热水澡，换上正装，打早班卡，逢人便微笑打招呼，工作上进，生活愉悦，体重正常。 三年后，他觉得这样的生活太束缚了，厌倦了拥挤的早班地铁，讨厌了末班地铁回家，太刻意，失去了享受“自由”的乐趣，需要时间，需要呼吸。 辞去工作，就回家就考了公务员，日子真的就是朝九晚五那样，无拘无束，没有压力，没有变数，没有多舛。 他说，白天可以上班，晚上就可以经营自己的小书店，可以和读者讨价还价，谈王小波的小流氓，谈徐志摩的风流，...
 
 少校十三
 你的自律，正在慢慢逼疯你 
 
 一棵花白
 和那个秒回你消息的人在一起 1. 上周末我们几个朋友一起喝下午茶的时候，原本晴空万里的天突然阴沉下来，继而马上下起了大雨。刘姐突然一拍脑门说，糟了，我早上洗的衣服还晾在阳台上没收呢，窗户也开着的，衣服要被打湿了。我们宽慰她说，不怕，姐夫在家的吧，打个电话让他收一下就好啦。 刘姐抬起手机，戳开微信，边打字边说，没事，我给他发条微信，他会看到的。 刘姐的微信还没发出去，电话就先进来了。电话是姐夫打来的，姐夫告诉她，衣服他收起来了，然后问她人在哪儿，有没有被雨淋到，冷不冷，要不要他送件外套过来。 刘姐一连串地应声回答着，末了连说了好几次“不用不用，你不用过来，我不冷”，才总算打消了姐夫开车过来给她送外套的念头。 挂了电话...
 
 顾一宸

爬虫入门02作业

网页结构分析

html元素标签位置

爬虫入门01-获取网络数据的原理作业

你可能感兴趣的:(爬虫入门02作业)