with rvest 包
爬取梧桐果网页关于企业的行业分类信息
输入:企业名
输出:企业行业分类
1.基本信息
任务描述:给200家公司做行业分类,200家公司的名字存在.csv文件中
逻辑:在红框处依次输入公司名,再截取其分类信息
网页描述:基本url: http://www.wutongguo.com/industry/?txtCompany=
2.观察规律
红框处输入公司名(eg:中国建筑),url相应变化为
新url中,%D6%D0%B9%FA%BD%A8%D6%FE 为“中国建筑”的gbk转码而非utf-8转码
注意:gbk转码与utf-8转码结果十分相似,不要搞混
3.进一步深入
此时发现网页中仍然没有相应的行业分类信息,需要进一步点击“中国建筑”处的链接
结果如下,出现了待爬信息:“所属行业:建筑/建材/工程”
4.具体过程
a.转码与第一级url列表
描述:
将.csv文件中储存的公司名字转换成gbk编码,以将该编码与base_url “http://www.wutongguo.com/industry/?txtCompany=”组合,形成待访问网页列表uurl_1,其中该urrl_1是一个数组,每一个cell储存一个公司名称所对应的第一层次搜索结果页的url。
实现:
本来准备用RCurl::curlEscape()函数来实现汉字的转码,但该函数只能实现utf-8转码。也即url地址中包含中文时,可以用该函数转码,否则不能。实际上用了一个网站http://www.atool.org/urlencode.php 来进行汉字到gbk的转码。并且只能一次性复制粘贴全部公司名称进行转换,得到全部公司名的gbk转码,以%0D%0A(换行符的gbk转码)。于是需要首先将得到的全部转码存为.txt文件,再导入R存为gbk对象,并用unlist(strsplit(char object,分隔符,fixed=T/F))的函数组合进行分割。注意strsplit只接受character对象进行分割,故需要将读入的.txt文件转化为character类型对象。代码如下:
gbk <- read.table("C:/Users/LEON/Desktop/gbk.txt", quote="\"", comment.char="")
gbk<-as.character(gbk[1,1])
gbk_list<-unlist(strsplit(gbk, "%0D%0A", fixed = TRUE))
uurl_1列表的构造用paste()函数实现。paste(a,b,c,...,sep="sep char")。a、b、c等对象为待拼接对象,sep为分隔符,若无缝连接,应设为“”。代码如下
base_url<-"http://www.wutongguo.com/industry/?txtCompany="
uurl_1<-paste(base_url,gbk_list,sep = "")
b.开始爬虫及rvest结构
逻辑与结构
html
首先read_html(网页地址url,编码方式encoding=“”)读取该网页全部内容,并将其储存为一个XML类型对象,命名为wweb
node
其次html_node(wweb,css or xpath)从该XML对象(储存该网页全部信息)选取一个特定node类型对象,而我们想要爬取的对象就储存在该node对象中exactly。
那么问题来了,怎么才能知道所需信息所属的node名。我们使用selectorgadget在线chrome拓展工具即可知道
我们需要的其二级链接的信息就保存在这个名为.insutryName的node里面。接着查看该node的结构以确定二级url的在该node的哪个位置。
attributes
通过html_attr(node,attr_name)来得到该node的特定attributes
再将得到的二级url与其base url拼接,得到新的二级url列表uurl_2
实现代码如下:
uurl_2<-array(NA,200)
for (i in 1:1) {
wweb_1<-read_html(uurl_1[i],encoding = "GB18030")
node_1<-html_node(wweb_1,".industryName")
uurl_2[i]<-html_attr(node_1,name = 'href')
uurl_2[i]<-paste("http://www.wutongguo.com",as.character(uurl_2[i]),sep = "")
html_text
html_text可以截取node中的text信息,不需要知道其具体位置
以此实现第二层爬虫,逻辑类似,代码如下:
Ind_list<-array(NA,200)
for (i in 100:200) {
if(uurl_2[i]!='http://www.wutongguo.comNA'){
wweb_2<-read_html(uurl_2[i],encoding = "GB18030")
node_2<-html_node(wweb_2,".brandInd")
Ind_list[i]<-html_text(node_2) }}
当没有搜索结果相匹配时,uurl_2[i]包括NA,该url无效,应避免访问以免程序报错