Task4 爬取腾讯新闻

爬取腾讯新闻

关于 ‘chromedriver’ executable needs to be in PATH 的解决办法
用 chrome 浏览器跑 selenium，执行以下脚本：

from selenium import webdriver
dr=webdriver.Chrome()
dr.maximize_window()
dr.get(‘http://www.baidu.com/’)

报错信息：WebDriverException: Message: ‘chromedriver’ executable needs to be in PATH

发现是 chromedriver.exe 文件放置的位置不对，我按网上查到的普遍 chrome 安装路径 C:\Program Files (x86)\Google\Chrome\Application，并加入环境变量 PATH
将放入该路径下，并将该路径加入到环境变量 PATH 中，问题得以解决。
可通过右键点击chrome浏览器图标–>属性–>目标，获取chrome的安装目录。

代码实现

import time
import random
from selenium import webdriver
from lxml import etree
driver = webdriver.Chrome('C:\Program Files (x86)\Google\Chrome\Application')
driver.get('https://news.qq.com/')#载入网址

#利用random对单次滚动距离、滚动时间进行选取，模拟人工操作。
#页面默认加载10条，这里实现页面滚动，动态加载。
for i in range(20):
    pixel = random.randint(800,1000)
    driver.execute_script(f'window.scrollBy(0,{pixel})')
    time.sleep(random.random()+1)
html = driver.page_source
tree = etree.HTML(html)
infos = tree.xpath('//ul[@class="list"]/li/div[@class="detail"]/h3/a')

infolist = []
count = 0

for i,info in enumerate(infos):
    title = info.xpath('text()')[0]
    href = info.xpath('@href')[0]
    # print(i+1,title,href)
    infolist.append([i+1,title,href])
    

html = driver.page_source
tree = etree.HTML(html)
infos = tree.xpath('//ul[@class="list"]/li/div[@class="detail"]/h3/a')

infolist = []
count = 0

for i,info in enumerate(infos):
    title = info.xpath('text()')[0]
    href = info.xpath('@href')[0]
    # print(i+1,title,href)
    infolist.append([i+1,title,href])
    

结果，由于配置原因，还在尝试，先打卡，后期补上