python 爬取nga游戏网站二手交易标题
# coding: utf-8
import re
import pandas as pd
import requests
from urllib import parse
from urllib import request
import time
header={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
'Connection':'keep-alive'
}
cookies ='ngaPassportUid=guest05bdd60a27b1a9; bbsmisccookies=%7B%7D; UM_distinctid=166d8c1817db81-0f366be48b7cff-b79183d-144000-166d8c1817e6f4; taihe=e5154d2a3e8152d58baa5220b66289ea; Hm_lvt_5adc78329e14807f050ce131992ae69b=1541234852; UM_distinctid=166d8c26f0d8f-02b0e2c8d92266-b79183d-144000-166d8c26f0e34f; CNZZDATA1256638869=389635729-1541229919-%7C1541229919; CNZZDATA1256638858=181641597-1541230398-%7C1541230398; PHPSESSID=0rj94tu7999om72vr6gs4hfl01; CNZZDATA30043604=cnzz_eid%3D472505020-1541233428-http%253A%252F%252Fbbs.nga.cn%252F%26ntime%3D1541238828; Hm_lpvt_5adc78329e14807f050ce131992ae69b=1541239488; lastvisit=1541240180; guestJs=1541240180; CNZZDATA30039253=cnzz_eid%3D270204850-1541234428-http%253A%252F%252Fbbs.nga.cn%252F%26ntime%3D1541239828'
cookie = {}
for line in cookies.split(';'):
name, value = cookies.strip().split('=', 1)
cookie[name] = value
def getTopic(number):
topics = []
for i in range(1,number+1):
url='http://bbs.nga.cn/thread.php?fid=498&page='+str(i)
print(url)
html = requests.get(url=url, cookies=cookie,headers=header).content.decode('gb18030')
movie_item = re.findall(r'class=\'topic\'>(.*?)<\/a>', html,re.S)
print(len(movie_item))
topics=topics+movie_item
time.sleep(1)
return topics
看一下结果
getTopic(2)
http://bbs.nga.cn/thread.php?fid=498&page=1
37
http://bbs.nga.cn/thread.php?fid=498&page=2
37
['[电脑整机]i5 6500 gtx 750ti老主机出售',
'[二手游戏]switch 舞力全开2018 毁灭战士4 一起出400不包邮',
'[电脑硬件] 京东自营迪兰vega56的车2388，有温州地区的拼车不？',
'[电脑硬件]狗东1000-300卷电源拼单老哥有吗',
'[电脑硬件] 疑似翻车，感觉要死逼(撕逼)了，坛友处购买的整机，1070显卡疑似矿卡，等待更进一步落实',
'[手机平板]出一台mix2s 8 256 白色',
'[电脑硬件]出中文盒9700k',
'[电脑硬件]8600k盒装，京东第三方，已出',
'[耳机音响]出一个耳机加一条蓝牙线',
'[电脑硬件][电脑硬件][其他]华硕gtx1070ti a8g猛禽京东货国庆入充全新带票',
'[手机平板]老哥们，来询个价，ipad pro 10.5',
'[手机平板]联想z5，6+64G版本，黑色',
'[手机平板][手机平板]华为mate s 星辰银 3+32 400出',
'[电脑外设] 罗技G302',
'佛山南海区的水友们，你们刚才有没有看到2架J-20编队飞过？',
'[其他] [我觉得不是数码产品应该没人看]烧鸡买多了吃不完，有没有广州天河元岗或本地的朋友要的？免费送',
'[电视游戏主机/掌机]主机已出打包出蜘蛛侠p5和刺客教条枭雄',
'[电脑硬件]amd 1400 600包邮 有意联系',
'[其他]出一些闲置杂物 ones手柄 无线网卡 护眼仪',
'[电脑硬件]出售自用映众 1060 6G冰龙海量版！诚意出！很靠谱！别乱刀！',
'[电脑整机]魔都地区出整机4790k 16g gt970，不会拆机不单卖',
'[电视游戏主机/掌机]想买个二手的switch',
'[电视游戏主机/掌机] 二手主机掌机及游戏相关交易',
'[二手游戏] 50RMB 出小小大星球3 全新国行兑换码!',
'[二手游戏][二手游戏]switch日文版怪物猎人xx(非gu)出售或换gu',
'[二手游戏]怪物猎人世界pc',
'[二手游戏]280出99新塞尔达 通关回血 包邮鸭',
'[电脑硬件]昨天京东自营迪兰vega56的车，2400，有天津的拼单么？',
'出个七彩虹售后换新的1060 6g显卡',
'[手机平板] 预出iphone 6s 64G 银 国行A1700全网通',
'[电脑硬件]600出一根苹果笔',
'[电脑整机] 成都试出一台主机。4570/乌鸦3/1070 整机',
'[电脑硬件]出一对hof4000内存条 8Gx2 和全新单条幻光戟3000c16',
'[电脑整机]已出！自用电脑整机i5 4590+1050ti+技嘉b85m+16g内存+240g ssd+ips27寸',
'[电脑硬件]拆机板u内存条等，新增一台imac',
'[电脑外设]试出一台戴尔显示器，限成都面交',
'[其他] Timberland 10061 42码',
'[手机平板]国行苹果6sp 64深空灰',
'[电脑硬件]出金士顿ddr3 4g*2，戴尔p2314h显示器',
'[二手游戏]怪物猎人世界pc',
'[电脑硬件]技嘉1060 6g mini itx显卡',
'[手机平板]一加6妇联版',
'[电脑硬件]3570k z77 海盗船ddr3 8x2 海韵G550电源',
'[手机平板][手机平板]iPhone7 128G 亮黑 国行',
'[问价]出一套板U内存',
'[手机平板]出个魅族16th plus 8+128黑(已出)',
'[手机平板]出12.9 256g ipad pro二代灰色 加苹果笔',
'[电脑外设]利奥波德红轴赤色限定',
'[耳机音响]索尼wi1000x蓝牙降噪耳机',
'[外设配件]出一个罗技g613 一对32Gddr4内存',
'[电脑外设]出两台K3',
'[电视游戏主机/掌机] 二手主机掌机及游戏相关交易(主题数已满)',
'[电视游戏主机/掌机广州地区出个全新ps4 slim 500g 港版加大镖客1900',
'[电脑整机] 成都出一台8700K+GTX1080TI主机',
'[电视游戏主机/掌机]出95新switch加一堆数字版游戏',
'[二手游戏]再出 ps4 战神3和神海4 180不包邮',
'[电脑硬件]出个970～',
'[手机平板]国行iphonex 256白色',
'[耳机音响] 出个西伯利亚 k9电脑游戏耳机。。。',
'[电脑硬件]哪个老哥懂魔兽世界电脑配置',
'[手机平板]iPhone7 128白色，2000',
'[其他] 出一台未拆封胶囊咖啡机，仅限上海自提',
'[电脑外设] 3494 红轴机械键盘 黑色 400包邮',
'[手机平板]出一台苹果6s 128g和7p 256g',
'[电脑整机]7700k+1080 自己估了一下价格，坐标无锡。',
'[电脑外设]茶叶滞销，卖两个K3一个华为A1',
'[二手游戏]280出99新塞尔达 通关回血 包邮鸭',
'[电脑整机]出个高配的冥王峡谷8809g',
'[手机平板] 华为P20pro 6+64G 宝蓝色 3100',
'[电脑硬件]z97 mpower',
'[二手游戏]出个塞尔达。270包邮。帝都可面交',
'[电脑硬件]U2417h显示器 950',
'[手机平板]出mix2陶瓷板8+128，99新，2000包顺丰',
'[电脑外设]出两个不用的耳机']
如果没成果，换一下cookie就好