Node.js网站爬虫（三）网络爬虫
文章目录
- 1 对目标网站进行分析：
-
- 1.1 分析网页html结构
-
- 1.1.1 主页：
- 1.1.2 新闻详情页：
- 1.2 其他方式:
- 2 爬取结构与工具包：
-
- 2.1 爬取整体结构：
- 2.2 工具包
-
- 2.2.1 模块下载和导入模块：
- 2.2.2 工具包（重要模块）：
- 3 爬取流程：
-
- 3.1 定义format:
-
- 3.1.1 根据html结构使用CSS选择器：
- 3.1.2 设置正则表达式
- 3.2 配置异步执行和定时执行等：
- 3.3 读取种子页面：
- 3.4 读取新闻页面:
-
- 3.4.1 转码并获取内容：
- 3.4.2 动态执行format字符串，构建json对象：
- 3.4.3 将数据存入mysql数据库中。
- 3.4.4 此部分代码：
- 4 爬取其他网址需更改处和爬取结果：
相关链接汇总：
Node.js网站爬虫（一）项目简介与完成情况
Node.js网站爬虫（二）mysql配置与数据库设计
Node.js网站爬虫（三）网络爬虫
Node.js网站爬虫（四）Express框架构建网站执行搜索功能
Node.js网站爬虫（五）扩展：热点词时间热度动态可视化展示
Node.js网站爬虫（六）易错点合集和感想
1 对目标网站进行分析：
这里以环球网为例子：
1.1 分析网页html结构
通过控制台分析网页html结构
1.1.1 主页：
使用谷歌浏览器进入环球网官网：https://www.huanqiu.com/
右键—>检查，进入控制台。（或通过F12 / CTRL+F12进入)
点击控制台最左上角的箭头后，点击页面的一条新闻，可看到控制台定位到一个标签中，内含该条新闻的跳转url。
1.1.2 新闻详情页：
进入一条新闻详情页并进入控制台：https://tech.huanqiu.com/article/42ujmzmNHGV
标题：
发现源代码中有几个标签里都能找到标题
方式1：< title >的文本中 （后续爬虫时采用了此方式）
方式2：< h3 >的文本中
时间：
作者、来源等标签同理可得，不再赘述。
1.2 其他方式:
也可右键->网页源代码，直接用搜索功能定位标题（或时间等）所在位置，查看所在标签。但这种方式不适用于不知道要查询内容的情况。
2 爬取结构与工具包：
2.1 爬取整体结构：
- 导入模块
- 设置网站、format、正则表达式
- 配置：异步获取url、定时执行
- 读取种子页面
- 读取新闻页面
2.2 工具包
2.2.1 模块下载和导入模块：
运行.js文件出现找不到’xxx’module时，通过npm install xxx 进行下载。
使用require导入模块，例如：var myRequest = require(‘request’);
2.2.2 工具包（重要模块）：
request：用于发送GET和POST请求。
cheerio：本实验主要用于提取html文件指定内容。
node-schedule：定时功能。
iconv-lite：转码。
mysql：执行sql语句，将数据存入mysql。
3 爬取流程：
3.1 定义format:
3.1.1 根据html结构使用CSS选择器：
//通过元素
var seedurl_format="$('a')";
var title_format = "$('title').text()";
//通过属性(meta属性)
var keywords_format = " $('meta[name=\"keywords\"]').eq(0).attr(\"content\")";
var desc_format = " $('meta[name=\"description\"]').eq(0).attr(\"content\")";
//通过class
var date_format = "$('.time').text()";
var author_format = "$('.author').text()";
var source_format = "$('.source data-source').eq(0).attr(\"data-source\")";
//通过id
var content_format = "$('#ContentBody').text()";
在其他网站中，还有通过ID进行选择的情况，例如东方财富网：var content_format = “$(’#ContentBody’).text()”;
jQuery 主要选择器：
| 选择器 | 实例 | 选取 |
|---|---|---|
| * | $("*") | 有元素 |
| #id | $("#lastname") | id=“lastname” 的元素 |
| .class | $(".intro") | 所有 class=“intro” 的元素 |
| element | $(“p”) | 所有 元素 |
| .class.class | $(".intro.demo") | 所有 class=“intro” 且 class=“demo” 的元素 |
更多jQuery 选择器参考网址：https://www.w3school.com.cn/jquery/jquery_ref_selectors.asp
3.1.2 设置正则表达式
分析多个新闻详情页的url，url格式: ‘/artical/’+11个字符（数字或字母）
以一个为例： https://tech.huanqiu.com/article/42ujmzmNHGV
正则表达式：用于读取种子界面时检查是否符合新闻url的正则表达式
var url_reg = /article\/([0-9a-zA-Z]{11})/;
设置时间的正则表达式：检查获取时间是否符合时间的正则表达式
var regExp = /((\d{4}|\d{2})(\-|\/|\.)\d{1,2}\3\d{1,2})|(\d{4}年\d{1,2}月\d{1,2}日)/
3.2 配置异步执行和定时执行等：
防止网站屏蔽我们的爬虫，request模块异步fetch url：
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}
function request(url, callback) {
var options = {
url: url,
encoding: null,
//proxy: 'http://x.x.x.x:8080',
headers: headers,
timeout: 10000 //
}
myRequest(options, callback)
};
定时执行：
//！定时执行
var rule = new schedule.RecurrenceRule();
var times = [0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23]; //每小时
var times2 = 20; //定义在第几分钟执行
rule.hour = times;
rule.minute = times2;
//定时执行httpGet()函数
schedule.scheduleJob(rule, function() {
seedget();
});
3.3 读取种子页面：
读取种子页面，遍历种子页面里所有的a链接，得到具体新闻url。
function seedget() {
request(seedURL, function(err, res, body) { //读取种子页面
// try {
//用iconv转换编码
var html = myIconv.decode(body, myEncoding);
//准备用cheerio解析html
var $ = myCheerio.load(html, { decodeEntities: true });
var seedurl_news;
try {
seedurl_news = eval(seedURL_format);
} catch (e) { console.log('url列表所处的html块识别出错：' + e) };
seedurl_news.each(function(i, e) { //遍历种子页面里所有的a链接
var myURL = "";
try {
//得到具体新闻url
var href = "";
href = $(e).attr("href");
if (href == undefined) return;
if (href.toLowerCase().indexOf('http://') >= 0) myURL = href; //http://开头的
else if (href.startsWith('//')) myURL = 'http:' + href; 开头的
else myURL = seedURL.substr(0, seedURL.lastIndexOf('/') + 1) + href; //其他
} catch (e) { console.log('识别种子页面中的新闻链接出错：' + e) }
if (!url_reg.test(myURL)) return; //检验是否符合新闻url的正则表达式
console.log(myURL);
var fetch_url_Sql = 'select url from fetches where url=?';
var fetch_url_Sql_Params = [myURL];
mysql.query(fetch_url_Sql, fetch_url_Sql_Params, function(qerr, vals, fields) {
if(!vals){
console.log('no URL') //vals: null / undefined / NaN ...
}
else if (vals.length > 0) {
console.log('URL duplicate!')
} else newsGet(myURL); //读取新闻页面
});
});
});
};
3.4 读取新闻页面:
3.4.1 转码并获取内容：
iconv转换编码，cheerio提取html文件内容。
3.4.2 动态执行format字符串，构建json对象：
从提取内容中获得title、publish_date、source、author、content等信息，一定注意判断获取到的是否为空值（null/undefined）。
3.4.3 将数据存入mysql数据库中。
如果成功获取到content，则执行sql语句，将数据存入mysql数据库中。
因为数据库中fetch表里的url属性是unique的，所以不会把重复的url内容写入数据库。
3.4.4 此部分代码：
function newsGet(myURL) { //读取新闻页面
request(myURL, function(err, res, body) { //读取新闻页面
//try {
var html_news = myIconv.decode(Buffer.from(body), myEncoding); //用iconv转换编码
//console.log(html_news);
//准备用cheerio解析html_news
var $ = myCheerio.load(html_news, { decodeEntities: true });
myhtml = html_news;
//} catch (e) { console.log('读新闻页面并转码出错：' + e);};
console.log("转码读取成功:" + myURL);
//动态执行format字符串，构建json对象准备写入文件或数据库
var fetch = {};
fetch.title = "";
fetch.content = "";
fetch.publish_date = (new Date()).toFormat("YYYY-MM-DD");
//fetch.html = myhtml;
fetch.url = myURL;
fetch.source_name = source_name;
fetch.source_encoding = myEncoding; //编码
fetch.crawltime = new Date();
if (keywords_format == "") fetch.keywords = source_name; // eval(keywords_format); //没有关键词就用sourcename
else fetch.keywords = eval(keywords_format);//关键字
if (title_format == "") fetch.title = ""
else fetch.title = eval(title_format); //标题
// info_format得到：时间 来源
if(info_format != "" && info_format!= null){
var info_all = eval(info_format);
//时间
var date_inform = date_reg.exec(info_all);
if(date_inform){
fetch.publish_date = date_inform[0];
fetch.publish_date = new Date(fetch.publish_date).toFormat("YYYY-MM-DD");
}else fetch.publish_date = "no publish date";
//来源
var source_inform = source_reg.exec(info_all);
if(source_inform)fetch.source = source_inform[0];
else fetch.source = fetch.source_name;
};
//作者
if (author_format == "") fetch.author = source_name;
else fetch.author = eval(author_format);
//内容
if (content_format == "") fetch.content = "";
else fetch.content = eval(content_format).replace("\r\n" + fetch.author, ""); //内容,是否要去掉作者信息自行决定
//摘要
if (desc_format == "" && desc_format == undefined){
fetch.desc = fetch.title; //没有摘要，则title就是摘要
}
else {
var descstring = eval(desc_format);
if (descstring != null)fetch.desc = eval(desc_format).replace("\r\n", "");
}
//写进数据库
var fetchAddSql = 'INSERT INTO fetches(url,source_name,source_encoding,title,' +
'keywords,author,publish_date,crawltime,content) VALUES(?,?,?,?,?,?,?,?,?)';
var fetchAddSql_Params = [fetch.url, fetch.source_name, fetch.source_encoding,
fetch.title, fetch.keywords, fetch.author, fetch.publish_date,
fetch.crawltime.toFormat("YYYY-MM-DD HH24:MI:SS"), fetch.content
];
//执行sql，数据库中fetch表里的url属性是unique的，不会把重复的url内容写入数据库
mysql.query(fetchAddSql, fetchAddSql_Params, function(qerr, vals, fields) {
if (qerr) {
console.log(qerr);
return;
}
}); //mysql写入
});
}
4 爬取其他网址需更改处和爬取结果：
根据具体情况修改以下部分即可。
最终爬取了三个网站（环球、澎湃、东方财富）共620条信息。
