爬虫爬取qq空间

爬虫爬取qq空间

        from selenium import webdriver
        import time
        import pymongo
        import csv
        import urllib.parse
        import time
        import datetime
        import re
        import urllib.request
        import urllib.robotparser
        from lxml import etree
        from selenium import webdriver   #webdriver网页内驱动软件
        
        #webdriver网页内驱动软件
        driver = webdriver.Chrome(r"D:\chromedriver.exe")
        
        
        # 根据域名计算并延迟一定的时间
        class Throttle:
        
            def __init__(self, delay):
                # 访问同域名时需要的间隔时间  delay延期
                self.delay = delay
                # key:netloc,value:lastTime.记录每个域名的上一次访问的时间戳  domains域名
                self.domains = {}
        
            # 计算需要的等待时间，并执行等待
            def wait(self, url):
                if self.delay <= 0:
                    return
        
                domain = urllib.parse.urlparse(url).netloc  #urllib数据 parse解析 urlparse的差别
                lastTime = self.domains.get(domain)        #lastTime上次登陆
        
                if lastTime is not None:
                    # 计算等待时间 wait等待 sec秒  now现在 seconds秒
                    wait_sec = self.delay - (datetime.datetime.now() - lastTime).seconds
                    if wait_sec > 0 :
                        time.sleep(wait_sec)
        
                self.domains[domain] = datetime.datetime.now()
        
        
        # 下载网页
        def download(url, headers={}, proxy=None, retry_count=5):
            print('downloading:' + url)
            request = urllib.request.Request(url, headers=headers)
        
            # 支持代理 proxy代理
            if proxy:
                proxy_handler = urllib.request.ProxyHandler({"http": "http://%(host)s:%(port)d" % proxy})
                opener = urllib.request.build_opener(proxy_handler)
                urllib.request.install_opener(opener)
            try:
                response = urllib.request.urlopen(request)
                html = response.read()
            except urllib.error.URLError as e:
                print(e)
                if hasattr(e, 'code') and 500 <= e.code < 600:
                    return download(url, headers, retry_count - 1)
                return None
        
            return html
        
        targetQQ = **************
        
        #登陆函数
        def login():  #driver驱动程序 format格式 target目标

            # targetQQ = input("请输入您要爬取的QQ账号:")
            # account = input("请输入您的QQ账号:")
            # password = input("请输入您的QQ密码:")
        
        
            account = **************
            password = *****************
        
            driver = webdriver.Chrome(r"D:\chromedriver.exe")
            driver.get('http://user.qzone.qq.com/{}/311'.format(targetQQ))  # 进入好友空间
        
            print('http://user.qzone.qq.com/{0}/311'.format(targetQQ))
        
        
            time.sleep(2)
            try:
                driver.find_element_by_id('login_div')  # 判断是否有登陆选项 find查找 element元素
                login_div_exit = True    #exit出口
            except:
                login_div_exit = False
            if login_div_exit:
                driver.switch_to.frame('login_frame')  #switch开关 switch_to切换到 login登陆_frame框
                driver.find_element_by_id('switcher_plogin').click()  #plogin动态空灵 click点击
                driver.find_element_by_id('u').clear()  # 选择用户名框，点击账号密码登陆 clear清除
                driver.find_element_by_id('u').send_keys(account)  # 你的QQ号
                driver.find_element_by_id('p').clear()
                driver.find_element_by_id('p').send_keys(password)  # 你的密码
                driver.find_element_by_id('login_button').click()
                time.sleep(20)
                qq_spider()
            # driver.implicitly_wait(10000)  #implicitly隐藏式_wait等待
        
        
        #driver驱动程序 format格式 target目标 frame框 targetPage目标网页 find查找 element元素
        #2.是否有权限进入空间，如果有就爬取数据，没有就提示“你没有权限访问
        
        def qq_spider():
            print(targetQQ)
        
            urlFormat = 'http://user.qzone.qq.com/{0}/311'.format(targetQQ) #format格式
            print(urlFormat)
        
            t = Throttle(5)
            t.wait(urlFormat)
            print("你现在的位置是：")
            print(targetQQ)
            print("的空间说说页面")
        
            # 可以通过implicitlywait()方法设置超时时间。
            # driver.implicitly_wait(30)
            # 我们设置了30秒的延时。如果我们要查找的元素没有出现，Selenium
            # 至多等待30秒，然后就会抛出异常。要想选取国家链接，我们依然可以使用
            # WebKit示例中用过的那个 css 选择器 。
        
            # link1 = driver.find_elements_by_xpath('//*[@id="msgList"]/li[1]/div[3]/div[2]/pre')
            # link1 = driver.find_elements_by_xpath('//*[@id="msgList"]/li[1]/div[3]/div[2]/pre')
            # link1 = driver.find_elements_by_xpath('//*[@id="msgList"]/li[2]/div[3]/div[2]/pre')
            link1 = driver.find_elements_by_xpath('//*[@id="msgList"]/li[1]/div[3]/div[2]')
            print(link1)
            list_gs =[link.text for link in link1]
        
            #数据保存到文件
            f = open('qq.txt','wb')
        
            print(list_gs)
            for i in list_gs:
                print(i)
                f.write((i + '\n\n\n').encode('utf8')) #write写
            f.flush()#保证数据及时从缓存写入本地
        
        
        
        
        
        
        
        if __name__ == '__main__':
            login()