一般情况下，网页的 method 是 utf-8 格式的，但也不排除有其他格式，比如网易的首页编码是 gb2312。所以，在爬取一些中文时，难免会出现 中文乱码 的问题。
以下就是中文乱码的解决问题：
例子：
var request = require('request')
var url = 'http://www.163.com'
request(url, function (err, res, body) {
console.log(body)
})
可以使用 第三方模块 iconv-lite 来解决
安装命令 ： npm install iconv-lite
同时我们顺带把 user-agent 修改一下，以防网站屏蔽：
var originRequest = require('request')
var iconv = require('iconv-lite')
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}
function request (url, callback) {
var options = {
url: url,
encoding: null,
//代理服务器
//proxy: 'http://xxx.xxx.xxx.xxx:8888',
headers: headers
}
originRequest(options, callback)
}
request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
console.log(html)
})
使用 cheerio 解析 HTML
cheerio 可以简单粗暴的理解为服务器端 jQuery 选择器，有了它，比正则要更加直观许多
安装命令： npm install cheerio
request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
var $ = cheerio.load(html)
console.log($('h1').text())
console.log($('h1').html())
})
输出如下
网易 网易
那么问题来了，$('h1').html() 输出的代码是经过 Unicode 编码的，网易变成了网易，给我们的字符处理带来了一些麻烦
解决 cheerio .html() 「乱码」问题
查阅文档可知，可以关闭这个转换实体编码的功能
将 var $ = cheerio.load(html) 改为 var $ = cheerio.load(html, {decodeEntities: false}) 即可
以下完整代码：
var originRequest = require('request')
var cheerio = require('cheerio')
var iconv = require('iconv-lite')
var url = 'http://www.163.com'
var headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}
function request (url, callback) {
var options = {
url: url,
encoding: null,
//代理服务器
//proxy: 'http://xxx.xxx.xxx.xxx:8888',
headers: headers
}
originRequest(options, callback)
}
request(url, function (err, res, body) {
var html = iconv.decode(body, 'gb2312')
var $ = cheerio.load(html, {decodeEntities: false})
console.log($('h1').text()) console.log($('h1').html())
})
原文转载：https://www.99css.com/nodejs-request-chinese-encoding/