标签： Springboot webmagic 电影排片 院线排片
近期到处寻找电影院线的排片数据，各大云市场提供的方案，只能提供当天的排片数据，项目要求不求太高的精度，但是要能提供未来几天大概哪些城市的哪些影院在放映哪些影片，关键时刻，还是自己动手丰衣足食。
期间考察了几个数据源：
- 猫眼： https://piaofang.maoyan.com/show
- CBO： http://www.cbooo.cn/paipian
略失望，未能满足需求，原因是城市的开放程度不能满足项目需求。
最后选择了使用 http://pp.58921.com/ 的数据。
废话说完，开始爬。
webmagic是一个很容易上手的爬虫工具，可队列、可多线程、可模仿任意行为、pipeline也可以随时接应数据处理等等。
1. 引入依赖资源
us.codecraft
webmagic-core
0.7.3
us.codecraft
webmagic-extension
0.7.3
2. 分析所有正在上映的影片
public class MoviesProcess implements PageProcessor {
@Override
public void process(Page page) {
List movies = new ArrayList();
/**
* 先抓取热门影片名称及ID
*/
{
List movieNames = page.getHtml().xpath("//table[@class='table table-bordered table-condensed']/tbody/tr/td/a/text()").all();
movieNames.stream().forEach(movieName -> {
List links = page.getHtml().xpath("//table[@class='table table-bordered table-condensed']/tbody/tr/td/a[@title='"+movieName+"']").links().replace("http://pp.58921.com/film/", "").all();
if(StringUtils.isEmpty(links)) {
}else {
MovieInfo movieInfo = new MovieInfo();
movieInfo.setMovieId(links.get(0));
movieInfo.setMovieName(movieName);
movieInfo.setUpdatedAt(new Date());
movies.add(movieInfo);
}
});
}
/**
* 再抓取其他正在上映的影片信息
*/
{
List linkTitles = page.getHtml().xpath("//div[@class='panel panel-default pp-home-other-film-list']//div[@class='panel-body']//div[@class='item-list']/ul/li/a/@title").all();
linkTitles.stream().forEach(linkTitle ->{
if(linkTitle.indexOf("排片")>0) {
List links = page.getHtml().xpath("//div[@class='panel panel-default pp-home-other-film-list']//div[@class='panel-body']//div[@class='item-list']/ul/li/a[@title='"+linkTitle+"']").links().replace("http://pp.58921.com/film/", "").all();
if(StringUtils.isEmpty(links)) {
}else {
MovieInfo movieInfo = new MovieInfo();
movieInfo.setMovieId(links.get(0));
movieInfo.setMovieName(linkTitle.replaceAll("排片", "").trim());
movieInfo.setUpdatedAt(new Date());
movies.add(movieInfo);
}
}
});
}
page.putField("movies", movies);
}
}
3. 根据拿到的影片信息，获取城市列表以及上映时间列表
public class CitiesProcess implements PageProcessor {
@Override
public void process(Page page) {
Map returnMap = new HashMap();
List dates = new ArrayList();
List cities = new ArrayList();
{
List hrefs = page.getHtml().xpath("//table[@class='table table-bordered table-condensed']/tbody").links().all();
for(String href: hrefs) {
if(!StringUtils.isEmpty(href)) {
String[] hrefArray = href.split("_");
dates.add(hrefArray[hrefArray.length-1]);
}
}
}
/**
* 先抓取热门城市信息
*/
{
List names = page.getHtml().xpath("//table[@class='table table-bordered table-condensed']/thead/tr/th/a/text()").all();
List links = page.getHtml().xpath("//table[@class='table table-bordered table-condensed']/thead/tr/th/a").links().replace("http://pp.58921.com/film/", "").all();
int index = 0;
for(String name : names) {
if(StringUtils.isEmpty(links)) {
}else {
String[] splitArray = links.get(index).split("\\/");
CityInfo cityInfo = new CityInfo();
cityInfo.setCityCode(splitArray[splitArray.length-1]);
cityInfo.setCityName(name);
cityInfo.setUpdatedAt(new Date());
cities.add(cityInfo);
}
index++;
}
}
/**
* 再抓取其他城市信息
* 暂时关闭
*/
{
List linkTitles = page.getHtml().xpath("//div[@class='panel panel-default pp-home-other-film-list']//div[@class='panel-body']//div[@class='item-list']/ul/li/a/text()").all();
List links = page.getHtml().xpath("//div[@class='panel panel-default pp-home-other-film-list']//div[@class='panel-body']//div[@class='item-list']/ul/li/a").links().all();
int index = 0;
for(String linkTitle : linkTitles) {
if(StringUtils.isEmpty(links)) {
}else {
String[] titleArray = linkTitle.split(" ");
String[] splitArray = links.get(index).split("/");
CityInfo cityInfo = new CityInfo();
cityInfo.setCityCode(splitArray[splitArray.length-1]);
cityInfo.setCityName(titleArray[0]);
cityInfo.setUpdatedAt(new Date());
cities.add(cityInfo);
}
index++;
}
}
returnMap.put("dates", dates);
returnMap.put("cities", cities);
page.putField("returnMap", returnMap);
}
}
4. 根据拿到的城市信息和上映时间信息获取影院放映信息
public class CinemaProcess implements PageProcessor {
@Override
public void process(Page page) {
Map returnMapCinemaPage = new HashMap();
String date = page.getHtml().xpath("//div[@class='col-xs-18']//div[@class='panel-heading']/text()").get();
List cinemas = new ArrayList();
if(!StringUtils.isEmpty(date)) {
{
String[] splitArray = date.split("日");
returnMapCinemaPage.put("date", splitArray[0].replaceAll("年", "").replaceAll("月", ""));
}
/**
* 抓取影院信息
*/
{
List names = page.getHtml().xpath("//table[@class='table table-bordered table-condensed']/tbody/tr/td/a/text()").all();
List links = page.getHtml().xpath("//table[@class='table table-bordered table-condensed']/tbody/tr/td/a").links().replace("http://pp.58921.com/cinema/", "").all();
int index = 0;
for(String name : names) {
if(StringUtils.isEmpty(links)) {
}else {
String[] splitArray = links.get(index).split("\\/");
CinemaInfo cinemaInfo = new CinemaInfo();
cinemaInfo.setCinemaId3rd(splitArray[0]);
cinemaInfo.setCinemaName(name);
cinemaInfo.setUpdatedAt(new Date());
cinemas.add(cinemaInfo);
}
index++;
}
}
}
returnMapCinemaPage.put("cinemas", cinemas);
page.putField("returnMapCinemaPage", returnMapCinemaPage);
}
}
因为时间太紧张，目前没有使用pipeline，也没有添加更多的健壮性考虑，逐步丰富和完善吧。
代码及未来计划请移步：
https://github.com/futurebox/JavaLibs/tree/master/MovieScheduleSpider