node抓取王者荣耀英雄资料库
用node写的爬虫，抓取王者荣耀英雄资料库，只是为了学习，侵删！
主要包括（基本上相关的都抓取）：
- 召唤师技能
- 铭文
- 装备
- 英雄
- 皮肤
- 英雄故事
- 英雄技能
- 推荐铭文
- 推荐装备
- 技能加点
没有搞懂如何动态抓取内容，我觉得抓取之前你要知道网页的js逻辑，emmmm....
这里我已经下载所需要的json文件到项目里面，如何下载：node下载文件
数据库的配置：
module.exports = {
host: 'localhost',
database: 'glory_of_kings',
user: 'root',
password: 'root'
};
也可以直接配置，不那么麻烦，只是为了学习新的方式。
// mysql的包 很多安利easymysql的，暂时还没改
let mysql = require('mysql');
// 文件操作
let fs = require('fs');
// mysql配置
let mysqlConfig = require('./mysql.config');
// 爬虫所需要的库
let http = require('http');
let cheerio = require('cheerio');
let iconv = require('iconv-lite');
//创建连接，数据操作完成之后要关闭连接
let connection = mysql.createConnection(mysqlConfig);
//连接mysql
connection.connect(function (err) {
if (err) {
console.log('数据库连接失败');
throw err;
}
});
// json文件的基础路径
const BASE_PATH = '../assets/jsons/';
// 文件编码方式
const FILE_TYPE = 'utf-8';
// 英雄资料页面基础路径
const HERO_DETAIL_PATH = `http://pvp.qq.com/web201605/herodetail/`;
//英雄图片的基础路径
const HERO_IMG_PATH = `http://game.gtimg.cn/images/yxzj/img201606/heroimg/`;
// 英雄皮肤大图的基础路径
const HERO_BIGSKIN_PATH = `http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/`;
// 装备图片的基础路径
const EQUIP_IMG_PATH = `http://game.gtimg.cn/images/yxzj/img201606/itemimg/`;
//技能图片的基础路径
const SUMMONER_PATH = `http://game.gtimg.cn/images/yxzj/img201606/summoner/`;
// 铭文图片的基础路径
const INSCRIPTION_PATH = `http://game.gtimg.cn/images/yxzj/img201606/mingwen/`;
// 召唤师技能的插入语句
const SUMMONER_SQL = `insert into summoner(summoner_id,name,rank,cd,description,img_url,big_img_url) values(?,?,?,?,?,?,?)`;
// 铭文的插入语句
const INSCRIPTION_INSERT = `insert into inscription(inscription_id,type,grade,name,description,img_url) values(?,?,?,?,?,?)`;
// 英雄的插入语句
const HERO_INSERT = `insert into hero(hero_id,name,pay_type,new_type,hero_type,hero_type2,skin_name,img_url,live,attack,skill,difficulty) values (?,?,?,?,?,?,?,?,?,?,?,?)`;
//英雄皮肤的插入语句
const HERO_SKIN_INSERT = `insert into skin(skin_id,hero_id,skin_name,small_img_url,big_img_url) values (?,?,?,?,?)`;
// 装备的插入语句
const EQUIP_INSERT = `insert into equip(equip_id,name,type,sale_price,total_price,des1,des2,img_url) values (?,?,?,?,?,?,?,?)`;
//英雄故事插入语句
const STORY_INSERT = `insert into story(hero_id,story) values (?,?)`;
// 英雄技能插入语句
const SKILL_INSERT = `insert into skill(skill_id,hero_id,name,cool,waste,description,tips,img_url) values (?,?,?,?,?,?,?,?)`;
// 推荐铭文的插入语句
const HERO_INSCRIPTION_INSERT = `insert into hero_inscription(hero_id,inscription_ids,tips) values (?,?,?)`;
// 推荐装备的插入语句
const HERO_EQUIP_INSERT = `insert into hero_equip(hero_id,equip_ids1,tips1,equip_ids2,tips2) values (?,?,?,?,?)`;
// 英雄关系的插入语句
// 网页中每个项都是两个英雄，所以这里一次插入两条数据
const LINKS_INSERT = `insert into links(hero_id,hero_id1,type,tips) values (?,?,?,?),(?,?,?,?)`;
// 技能加点的建议
const SKILL_SUMMONER_INSERT = `insert into skill_summoner(ename,skill_id1,skill_id2,summoner_id1,summoner_id2) values (?,?,?,?,?)`;
/**
* 更新召唤师技能
*/
function updateSummoner() {
fs.readFile(`${BASE_PATH}summoner.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log(`文件读取失败`)
} else {
if (JSON.parse(data).length === 0) {
console.log(`暂无数据`);
} else {
let params = [];
JSON.parse(data).forEach(function (it, index) {
params = [
it.summoner_id,
it.summoner_name,
parseInt(it.summoner_rank.substring(3)),
parseInt(it.summoner_description),
it.summoner_description.split('：')[1],
`${SUMMONER_PATH}${it.summoner_id}.jpg`,
`${SUMMONER_PATH}${it.summoner_id}-big.jpg`
];
connection.query(SUMMONER_SQL, params, function (error, res) {
if (error) {
console.log(error);
throw error;
}
console.log(`技能${it.summoner_name}插入成功！`);
});
});
}
}
});
}
/**
* 更新铭文
*/
function updateInscription() {
fs.readFile(`${BASE_PATH}ming.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log(`文件读取失败`)
} else {
if (JSON.parse(data).length === 0) {
console.log(`暂无数据`);
} else {
let params = [];
JSON.parse(data).forEach(function (it, index) {
params = [
it.ming_id,
it.ming_type,
it.ming_grade,
it.ming_name,
it.ming_des,
`${INSCRIPTION_PATH}${it.ming_id}.png`
];
connection.query(INSCRIPTION_INSERT, params, function (error, res) {
if (error) {
console.log(error);
throw error;
}
console.log(`铭文${it.ming_name}插入成功！`);
});
});
}
}
});
}
/**
* 更新装备
*/
function updateEquipments() {
fs.readFile(`${BASE_PATH}item.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log(`文件读取失败`)
} else {
if (JSON.parse(data).length === 0) {
console.log(`暂无装备数据`);
} else {
let params = [];
JSON.parse(data).forEach(function (it, index) {
params = [
it.item_id,
it.item_name,
it.item_type,
it.price,
it.total_price,
it.des1,
it.des2,
`${EQUIP_IMG_PATH}${it.item_id}.jpg`
];
connection.query(EQUIP_INSERT, params, function (error, res) {
if (error) {
console.log(error);
throw error;
}
console.log(`装备:${it.item_name} 插入成功！`);
});
});
}
}
});
}
/**
* 更新英雄
*/
function updateHero() {
fs.readFile(`${BASE_PATH}heros.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log(`文件读取失败`)
} else {
if (JSON.parse(data).length === 0) {
console.log(`暂无数据`);
} else {
let params = [];
JSON.parse(data).forEach(function (it, index) {
// 测试
http.get(`${HERO_DETAIL_PATH}${it.ename}.shtml`, function (res) {
let chunks = [];
res.on('data', function (item) {
chunks.push(item);
});
res.on('end', function () {
// 解码页面，防止乱码
let html = iconv.decode(Buffer.concat(chunks), 'gbk');
let $ = cheerio.load(html, {decodeEntities: false});
let list = $('.ibar');
params = [
it.ename,
it.cname,
it.pay_type,
it.new_type,
it.hero_type,
it.hero_type2,
it.skin_name,
`${HERO_IMG_PATH}${it.ename}/${it.ename}.jpg`,
parseInt(list[0].attribs.style.substring(6)),
parseInt(list[1].attribs.style.substring(6)),
parseInt(list[2].attribs.style.substring(6)),
parseInt(list[3].attribs.style.substring(6))
];
connection.query(HERO_INSERT, params, function (error, res) {
if (error) {
console.log(error);
throw error;
}
console.log(`英雄${it.ename}插入成功！`);
});
})
}).on('error', function () {
console.log(`获取页面数据出错`);
});
});
}
}
});
}
/**
* 更新皮肤
*/
function updateSkin() {
fs.readFile(`${BASE_PATH}heros.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log(`文件读取失败`)
} else {
if (JSON.parse(data).length === 0) {
console.log(`暂无数据`);
} else {
let params = [];
let names = [];
JSON.parse(data).forEach(function (it, index) {
names = it.skin_name.split('|');
names.forEach(function (item, ind) {
params = [
it.ename + '' + (ind + 1),
it.ename,
item,
`${HERO_IMG_PATH}${it.ename}/${it.ename}-smallskin-${ind + 1}.jpg`,
`${HERO_BIGSKIN_PATH}${it.ename}/${it.ename}-bigskin-${ind + 1}.jpg`
];
connection.query(HERO_SKIN_INSERT, params, function (error, res) {
if (error) {
console.log(error);
throw error;
}
});
console.log(`皮肤${item}插入成功！`);
});
});
}
}
});
}
/**
* 更新故事
*/
function updateStory() {
fs.readFile(`${BASE_PATH}heros.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log(`文件读取失败`);
} else {
let datas = JSON.parse(data);
if (datas.length === 0) {
console.log(`暂无英雄故事`);
} else {
let params = [];
datas.forEach(function (it, index) {
http.get(`${HERO_DETAIL_PATH}${it.ename}.shtml`, function (res) {
let chunks = [];
res.on('data', function (item) {
chunks.push(item);
});
res.on('end', function () {
// 解码页面，防止乱码
let html = iconv.decode(Buffer.concat(chunks), 'gbk');
let $ = cheerio.load(html, {decodeEntities: false});
params = [
it.ename,
$('.pop-story .pop-bd p').html()
];
connection.query(STORY_INSERT, params, function (error, res) {
if (error) {
console.log(error);
throw error;
}
console.log(`${it.ename}的故事插入成功`);
});
})
}).on('error', function () {
console.log(`获取页面数据出错`);
});
});
}
}
});
}
/**
* 更新技能
*/
function updateSkill() {
fs.readFile(`${BASE_PATH}heros.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log(`文件读取失败`);
} else {
if (JSON.parse(data).length === 0) {
console.log(`暂无数据`);
} else {
let params = [];
JSON.parse(data).forEach(function (it, index) {
// 测试
http.get(`${HERO_DETAIL_PATH}${it.ename}.shtml`, function (res) {
let chunks = [];
res.on('data', function (item) {
chunks.push(item);
});
res.on('end', function () {
// 解码页面，防止乱码
let html = iconv.decode(Buffer.concat(chunks), 'gbk');
let $ = cheerio.load(html, {decodeEntities: false});
let skills = $('.skill-show .show-list');
skills.each(function (ind, el) {
let name = $(el).find('.skill-name b').html();
if (name) {
params = [
it.ename + '' + ind,
it.ename,
name,
parseInt($($(el).find('.skill-name span')[0]).html().substring(4)),
parseInt($($(el).find('.skill-name span')[1]).html().substring(3)),
$(el).find('.skill-desc').html(),
$(el).find('.skill-tips').html(),
`${HERO_IMG_PATH}${it.ename}/${it.ename}${ind}0.png`,
];
connection.query(SKILL_INSERT, params, function (error, res) {
if (error) {
console.log(error);
throw error;
}
});
console.log(`技能${name}插入成功！`);
}
});
})
}).on('error', function () {
console.log(`获取页面数据出错`);
});
});
}
}
});
}
/**
* 获取搭配铭文
*/
function updateHeroInscription() {
fs.readFile(`${BASE_PATH}heros.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log("文件读取失败");
} else {
if (JSON.parse(data).length === 0) {
console.log('暂无数据');
} else {
let params = [];
JSON.parse(data).forEach(function (it, index) {
http.get(`${HERO_DETAIL_PATH}${it.ename}.shtml`, function (res) {
let chunks = [];
res.on('data', function (item) {
chunks.push(item);
});
res.on('end', function () {
// 解码页面，防止乱码
let html = iconv.decode(Buffer.concat(chunks), 'gbk');
let $ = cheerio.load(html, {decodeEntities: false});
params = [
it.ename,
$('.sugg-info ul').attr('data-ming').split('|').join(','),
$('.sugg-tips').text().substring('5')
];
connection.query(HERO_INSCRIPTION_INSERT, params, function (err, result) {
if (err) {
console.log(err);
throw err;
}
console.log(`第${index}条数据插入成功！`);
})
})
}).on('error', function () {
console.log("获取页面数据出错");
})
});
}
}
});
}
/**
* 获取推荐装备
*/
function updateHeroEquip() {
fs.readFile(`${BASE_PATH}heros.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log("文件读取失败");
} else {
if (JSON.parse(data).length === 0) {
console.log('暂无数据');
} else {
let params = [];
JSON.parse(data).forEach(function (it, index) {
http.get(`${HERO_DETAIL_PATH}${it.ename}.shtml`, function (res) {
let chunks = [];
res.on('data', function (item) {
chunks.push(item);
});
res.on('end', function () {
// 解码页面，防止乱码
let html = iconv.decode(Buffer.concat(chunks), 'gbk');
let $ = cheerio.load(html, {decodeEntities: false});
params = [
it.ename,
$($('.equip-info ul')[0]).attr('data-item').split('|').join(','),
$($('.equip-tips')[0]).text().substring('5'),
$($('.equip-info ul')[1]).attr('data-item').split('|').join(','),
$($('.equip-tips')[1]).text().substring('5')
];
// console.log(params);
connection.query(HERO_EQUIP_INSERT, params, function (err, result) {
if (err) {
console.log(err);
throw err;
}
console.log(`第${index}条数据插入成功！`);
})
})
}).on('error', function () {
console.log("获取页面数据出错");
})
});
}
}
});
}
/**
* 获取英雄关系
*/
function updateLinks() {
fs.readFile(`${BASE_PATH}heros.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log("文件读取失败");
} else {
if (JSON.parse(data).length === 0) {
console.log('暂无数据');
} else {
let params = [];
JSON.parse(data).forEach(function (it, index) {
http.get(`${HERO_DETAIL_PATH}${it.ename}.shtml`, function (res) {
let chunks = [];
res.on('data', function (item) {
chunks.push(item);
});
res.on('end', function () {
// 解码页面，防止乱码
let html = iconv.decode(Buffer.concat(chunks), 'gbk');
let $ = cheerio.load(html, {decodeEntities: false});
$('.hero-info').each(function (ind, el) {
params = [
it.ename,
$($(el).find('ul a')[0]).attr('href').substr(0, 3),
ind,
$($(el).find('p')[0]).html(),
it.ename,
$($(el).find('ul a')[1]).attr('href').substr(0, 3),
ind,
$($(el).find('p')[1]).html(),
];
connection.query(LINKS_INSERT, params, function (err, result) {
if (err) {
console.log(err);
throw err;
}
})
});
console.log(`第${index}条数据插入成功！`);
})
}).on('error', function () {
console.log("获取页面数据出错");
})
});
}
}
});
}
/**
* 英雄技能加点推荐
*/
function updateSkillSummoner() {
fs.readFile(`${BASE_PATH}heros.json`, FILE_TYPE, function (err, data) {
if (err) {
console.log("文件读取失败");
} else {
if (JSON.parse(data).length === 0) {
console.log('暂无数据');
} else {
let params = [];
JSON.parse(data).forEach(function (it, index) {
http.get(`${HERO_DETAIL_PATH}${it.ename}.shtml`, function (res) {
let chunks = [];
res.on('data', function (item) {
chunks.push(item);
});
res.on('end', function () {
// 解码页面，防止乱码
let html = iconv.decode(Buffer.concat(chunks), 'gbk');
let $ = cheerio.load(html, {decodeEntities: false});
params = [
it.ename,
$($('.sugg-skill img')[0]).attr('src').substring(50, 54),
$($('.sugg-skill img')[1]).attr('src').substring(50, 54),
$($('.sugg-info2 p')[5]).attr('data-skill').substring(0, 5),
$($('.sugg-info2 p')[5]).attr('data-skill').substring(6)
];
connection.query(SKILL_SUMMONER_INSERT, params, function (err, result) {
if (err) {
console.log(err);
throw err;
}
console.log(`第${index}条数据插入成功！`);
});
})
}).on('error', function () {
console.log("获取页面数据出错");
})
});
}
}
});
}
// 关闭数据库连接
connection.end(function (e) {
if (e) {
console.log(`关闭数据库失败`);
throw e;
}
});
exports.updateSummoner = updateSummoner;
exports.updateInscription = updateInscription;
exports.updateHero = updateHero;
exports.updateSkin = updateSkin;
exports.updateEquipments = updateEquipments;
exports.updateStory = updateStory;
exports.updateSkill = updateSkill;
exports.updateHeroInscription = updateHeroInscription;
exports.updateHeroEquip = updateHeroEquip;
exports.updateLinks = updateLinks;
exports.updateSkillSummoner = updateSkillSummoner;所有英雄的herolist.json文件有点问题，解析json对象，老是报错，然后手动修改成了heros.json，两个文件内容是一样的，但是heros可以，herolist不可以，很尴尬，如果你解决了，可以和我说下，谢谢
周免英雄这里也有点意思，动态插入的，不方便直接获取，然后费了老大劲才发现，抓取的所有英雄的json文件中，pay_type=10的英雄就是周免，pay_type=11的英雄是新手推荐，header.js里面处理了，emmmm........（传送：周免英雄，代码在339-347）
var freeHeroData = [],
freeHeroHtml = "";
for (var i = 0; i < data.length; i++) {
var payarr = [],
payarr = ('' + data[i].pay_type).split(',');
// 如果pay_type=10,插入的freeHeroData
if (payarr == 10 || payarr[0] == 10 || payarr[1] == 10) {
freeHeroData.push(data[i]);
}
}
// console.log(freeHeroData);OK！