网络爬虫中Json数据的解析[以时光网为例]
本文为原创博客，仅供技术学习使用。未经本人允许，不得将其复制下来上传到百度文库等平台。
目录
- json数据
- 爬虫中Json数据的解析
- 分析要爬数据建立Model
- main方法
- json在线测试网站
- 两种解析方式
- 程序运行结果
json数据
JSON 是存储和交换文本信息的语法。类似 XML。JSON 比 XML 更小、更快，更易解析。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C、C++、C#、Java、JavaScript、Perl、Python等）。这些特性使JSON成为理想的数据交换语言。 易于人阅读和编写，同时也易于机器解析和生成(一般用于提升网络传输速率)。
JSON 数据的书写格式是：名称/值对。
如下所示：
{
"employees": [
{ "firstName":"Bill" , "lastName":"Gates" },
{ "firstName":"George" , "lastName":"Bush" },
{ "firstName":"Thomas" , "lastName":"Carter" }
]
}爬虫中Json数据的解析
以下，我将以一个简单的爬虫来解析爬虫中的Json数据。这里的爬虫写的比较简单，建议大家还是按照我前面写的爬虫框架来写，下面的主要是为了讲解Json的解析。
下面是爬时光网所写的一个样例程序：
分析要爬数据，建立Model
1。首先是框架中的model，封装要爬的数据。
package model;
/*
* 合肥工业大学 管理学院 qianyang [email protected]
*/
public class MtimeModel {
private String prmovieId;
private String url;
private String movieId;
private String title;
public String getPrmovieId() {
return prmovieId;
}
public void setPrmovieId(String prmovieId) {
this.prmovieId = prmovieId;
}
public String getUrl() {
return url;
}
public void setUrl(String url) {
this.url = url;
}
public String getMovieId() {
return movieId;
}
public void setMovieId(String movieId) {
this.movieId = movieId;
}
public String getTitle() {
return title;
}
public void setTitle(String title) {
this.title = title;
}
}main方法
2。来看看我们要爬的地址：http://movie.mtime.com/212471/trailer.html，以下程序是爬相关预告片的信息。下年是main方法
package main;
import java.io.IOException;
import java.sql.SQLException;
import java.util.ArrayList;
import java.util.List;
import model.MtimeModel;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import parse.MtimeParse;
/*
* 合肥工业大学 管理学院 qianyang [email protected]
*/
public class Mtime {
static final Log logger = LogFactory.getLog(Mtime.class);
public static void main(String[] args) throws IOException, SQLException {
//测试程序
String Starturl="http://movie.mtime.com/212471/trailer.html";
Document doc=Jsoup.connect(Starturl).userAgent("bbb").timeout(120000).get();
System.out.println(doc);
List moviedatas=new ArrayList();
moviedatas =MtimeParse.getData(doc);
for (MtimeModel mt:moviedatas) {
System.out.println("prmovieId:"+mt.getPrmovieId()+" movieId:"+mt.getMovieId()+" Title:"+mt.getTitle()
+" url:"+mt.getUrl());
}
}
}
下面是获取的网站源码，主要是解析这里面Json数据，下面的程序中请定位到var videos= 可以看到这后面就是Json数据。
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>澳门风云2 视频 预告片 – Mtime时光网title>
<meta name="Keywords" content="澳门风云2,The Man From Macao II,预告片视频,在线观看王晶,周润发,张家辉">
<meta name="Description" content="澳门风云2 视频 预告片">
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<link type="image/x-icon" href="http://static1.mtime.cn/favicon.ico" rel="icon">
<link type="image/x-icon" href="http://static1.mtime.cn/favicon.ico" rel="shortcut icon">
<link type="image/x-icon" href="http://static1.mtime.cn/favicon.ico" rel="bookmark">
<link type="application/opensearchdescription+xml" href="http://feed.mtime.com/opensearch.xml" title="Mtime影视搜索" rel="search">
<link rel="alternate" type="application/rss+xml" title="影评" href="http://feed.mtime.com/comment.rss">
<link rel="alternate" type="application/rss+xml" title="日志" href="http://feed.mtime.com/blog.rss">
<link rel="alternate" type="application/rss+xml" title="资讯" href="http://feed.mtime.com/news.rss">
<link rel="alternate" type="application/rss+xml" title="话题" href="http://feed.mtime.com/topic.rss">
<link rel="alternate" type="application/rss+xml" title="周刊" href="http://feed.mtime.com/weekly.rss">
<script type="text/javascript">
var server = "http://static1.mtime.cn/";
var subServer = "http://static1.mtime.cn/library/";
var version = "20160720105244";
var subVersion = "20160623154218";
var jsServer = server + version;
var cssServer = server + version;
var subJsServer = subServer + subVersion;
var subCssServer = subServer + subVersion;
var debug = false;
var mtimeCookieDomain = "mtime.com";
var siteLogUrl = "http://log.mtime.cn";
var siteServiceUrl = "http://service.mtime.com";
var siteLibraryServiceUrl = "http://service.library.mtime.com";
var crossDomainUpload="http://upload3.mtime.com/Upload.ashx";
script>
<script type="text/javascript">
document.write(unescape("%3Clink href='" + cssServer + "/css/2014/publicpack.css' rel='stylesheet' media='all' type='text/css'%3E%3C/link%3E"));
script>
<script type="text/javascript">
document.write(unescape("%3Clink href='" + subCssServer + "/css/database.css' rel='stylesheet' media='all' type='text/css'%3E%3C/link%3E"));
script>
head>
<body>
<script type="text/javascript">
var navigationBarType = 1;document.writeln( "");var debug = false;var mtimeCookieDomain="mtime.com";var siteLogUrl="http://log.mtime.cn";var siteUrl="http://www.mtime.com";var siteMcUrl="http://my.mtime.com";var siteApiUrl="http://api.mtime.com";var siteBlogUrl="http://i.mtime.com";var siteGroupUrl="http://group.mtime.com";var siteMovieUrl="http://movie.mtime.com";var sitePeopleUrl="http://people.mtime.com";var siteNewsUrl="http://news.mtime.com";var siteServiceUrl="http://service.mtime.com";var siteSearchUrl="http://search.mtime.com";var siteGoodsListUrl="http://list.mall.mtime.com";var theaterService="http://service.theater.mtime.com";var siteLibraryServiceUrl="http://service.library.mtime.com";var siteCommunityServiceUrl="http://service.community.mtime.com";var siteChannelServiceUrl="http://service.channel.mtime.com";var siteGoodsServiceUrl="http://service.mall.mtime.com";var siteTradeServiceUrl="http://trade.mtime.com";var siteFunUrl="";var sitePassportUrl="http://passport.mtime.com";var crossDomainUpload="http://upload3.mtime.com/Upload.ashx";var topMenuValues={"mainNavType":"Detail","footer":"第179期时光周刊 \n ![\"时光周刊\"](\"http://img31.mtime.cn/mg/2016/08/19/103904.79768090.jpg\")
json在线测试网站
将这里面的Json数据，放入到http://json.cn/来查看Json数据格式是否正确，如下图所示，完美啊：
![网络爬虫中Json数据的解析[以时光网为例]_第1张图片](http://img.e-com-net.com/image/info8/5b7d4f50b02a47adab937861f3325439.jpg)
两种解析方式
下面便是对网页中的Json进行解析，以下是解析程序，这里提供了两种方法，一种是正则表达式，一种是fastjson，建议使用fastjson，快捷高效。
package parse;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import model.JsonModel;
import model.MtimeModel;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.jsoup.nodes.Document;
import com.alibaba.fastjson.JSON;
/*
* 合肥工业大学 管理学院 qianyang [email protected]
*/
public class MtimeParse {
static final Log logger = LogFactory.getLog(MtimeParse.class);
public static List getData (Document doc) {
List mtimeData=new ArrayList();
//获取待解析的html文件
String html=doc.html();
// System.out.println(html);
//通过正则表达获取，所要解析的json数据，只要预告片不要花絮
Pattern data = Pattern.compile("预告片\":(.*?)\\,\"拍摄花絮");
Matcher dataMatcher = data.matcher(html);
String da="";
while (dataMatcher.find()) {
//待解析的json字符串
da=dataMatcher.group(1);
}
//jsoup获取movieId（影片id）
String movieId="mtime"+doc.select("h1[property=v:itemreviewed]").select("a").attr("href").
replaceAll("\\D","").trim();
//正则匹配获取videoID（预告片id）
Pattern videoID = Pattern.compile("VideoID\"(.*?)\"");
//正则匹配获取videoID（预告片id）
Pattern titlePattern = Pattern.compile("ShortTitle\":\"(.*?)\"");
Matcher videoIDMatcher = videoID.matcher(da);
Matcher titleMatcher = titlePattern.matcher(da);
ArrayList urldatas = new ArrayList();
while (videoIDMatcher.find()) {
urldatas.add(videoIDMatcher.group(1));
}
ArrayList titles = new ArrayList();
while (titleMatcher.find()) {
titles.add(titleMatcher.group(1));
}
for (int i = 0; i < titles.size(); i++) {
MtimeModel mtimeModel=new MtimeModel();
String prmovieId="mtime"+urldatas.get(i).replaceAll("\\D","").trim();
String url="http://video.mtime.com/"+urldatas.get(i).replaceAll("\\D","").trim()+"/?mid="+doc.select("h1[property=v:itemreviewed]").select("a").attr("href").
replaceAll("\\D","").trim();
String title=titles.get(i);
mtimeModel.setPrmovieId(prmovieId);
mtimeModel.setUrl(url);
mtimeModel.setMovieId(movieId);
mtimeModel.setTitle(title);
mtimeData.add(mtimeModel);
}
//fastJson测试
//just contain the preview
List mtimeJsonData=new ArrayList();
Pattern data1 = Pattern.compile("预告片\":(.*?)\\,(\"拍摄花絮|\"精彩片段)");
Matcher dataMatcher1 = data1.matcher(html);
String da1="";
while (dataMatcher1.find()) {
//待解析的json字符串
da1=dataMatcher1.group(1);
}
if (da1.length()!=0) {
List jsonmodel1 = JSON.parseArray(da1,JsonModel.class);
for (JsonModel jso:jsonmodel1 ) {
JsonModel mtimeModel=new JsonModel();
String VideoID="mtime"+jso.getVideoID();
String MovieID="mtime"+jso.getMovieID();
String ShortTitle=jso.getShortTitle();
String url="http://video.mtime.com/"+jso.getVideoID()+"/?mid"+jso.getMovieID();
mtimeModel.setPrmovieId(VideoID);
mtimeModel.setUrl(url);
mtimeModel.setMovieID(MovieID);
mtimeModel.setShortTitle(ShortTitle);
mtimeJsonData.add(mtimeModel);
logger.info("VideoID: "+VideoID+" MovieID:"+MovieID+" ShortTitle:"+ShortTitle+" url:"+url);
}
}
return mtimeData;
}
}
程序运行结果
![网络爬虫中Json数据的解析[以时光网为例]_第2张图片](http://img.e-com-net.com/image/info8/11786ffdbb0144dea7d2cff507df9bf2.jpg)