package com.wgyscsf.spider;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
import com.wgyscsf.utils.MyStringUtils;
/**
* @author wgy 编写日期 2016-9-24下午7:25:36 邮箱 [email protected] 博客
* http://blog.csdn.net/wgyscsf TODO
*/
public class CsdnExpertListSpider implements PageProcessor {
// 这个是列表页
public static final String EXPERTS_LIST = "http://blog\\.csdn\\.net/peoplelist\\.html\\?channelid=0\\&page="
+ "\\w+";
private static final String TAG = "CsdnExpertListSpider";
// 博客详情页
// public static final String EXPERTS_DETAILS =
// "http://blog.csdn.net/\\w+";// \\w+是一个匹配符,可以匹配任意字段
private Site site = Site
.me()
.setDomain("blog.csdn.net")
.setSleepTime(300)
.setUserAgent(
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_2) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.65 Safari/537.31");
@Override
public void process(Page page) {
// 列表页: 这里进行匹配,匹配出列表页进行相关处理。
if ((page.getUrl()).regex(EXPERTS_LIST).match()) {
// 遍历出div[@class=\"page_nav\"]节点下的所有超链接,这里的超链接是分页的超链接,可以进行分页。
page.addTargetRequests(page.getHtml()
.xpath("//div[@class=\"page_nav\"]").links()
.regex(EXPERTS_LIST).all());// 是一个正则规则,校验使用,可以省略。
// 获取专家列表元素
Elements expertList_elements = page.getHtml().getDocument()
.getElementsByClass("experts_list");
for (Element element : expertList_elements) {
// 两个根节点
Element tag_dt = element.getElementsByTag("dt").get(0);
Element tag_dd = element.getElementsByTag("dd").get(0);
// 获取用户id
String id_expert = MyStringUtils.getLastSlantContent(tag_dt
.getElementsByTag("a").get(0).attributes().get("href"));
// 获取用户头像
String headImg = tag_dt.getElementsByTag("a").get(0)
.getElementsByClass("expert_head").get(0).attributes()
.get("src");
// 获取用户名
String name = tag_dd.getElementsByTag("a").get(0).text();
String address_job = tag_dd.getElementsByTag("div").get(0)
.text();
// 获取地址
String localtion = MyStringUtils
.getBeforeVercitalLine(address_job);
// 获取职位
String job = MyStringUtils.getAfterVercitalLine(address_job);
// 获取文章数
String articleNums = tag_dd.getElementsByTag("div").get(1)
.getElementsByTag("div").get(1).getElementsByTag("b")
.get(0).text();
// 获取阅读数
// TODO:这里逻辑不太对呀,但是结果正确
String readNums = tag_dd.getElementsByTag("div").get(1)
.getElementsByTag("div").get(2).getElementsByTag("b")
.get(0).text();
// 开始组装数据
System.out.println(TAG + ":" + "专家id:" + id_expert + ",专家名字:"
+ name + ",地区:" + localtion + ",职业:" + job + ",文章总阅读数:"
+ readNums + ",文章数:" + articleNums);
}
}
}
@Override
public Site getSite() {
return site;
}
public static void main(String[] args) {
Spider.create(new CsdnExpertListSpider())
.addUrl("http://blog.csdn.net/peoplelist.html?channelid=0&page=1")
.addPipeline(null).thread(5).run();
}
}
"http://blog.csdn.net/peoplelist.html?channelid=0&page=1"
,这个接口是分析博客专家首页http://blog.csdn.net/experts.html#list网页源码后得到的,极大的方便了博客专家的爬取过程。正是由于有了这个“接口”,才使得爬取博客专家特别方便。注: 博客专家(全部专家):1255人,博客总量(部分数据): 298057,统计时间:10/7/2016 6:28:34 PM
总浏览量排名 | 专家Id | 专家名称 | 地址 | 职位 | 文章量 | 总阅读量 | 博客地址 | 个人中心 |
1 | v_JULY_v | 周磊 | 158 | 11651669 | http://blog.csdn.net/v_JULY_v | http://my.csdn.net/v_JULY_v | ||
2 | luopingfeng | 罗平峰 | 广东省深圳市 | 驱动工程师 | 48 | 11335406 | http://blog.csdn.net/luopingfeng | http://my.csdn.net/luopingfeng |
3 | tianlesoftware | 戴明明 | 杭州 | DBA | 1092 | 10306025 | http://blog.csdn.net/tianlesoftware | http://my.csdn.net/tianlesoftware |
4 | lmj623565791 | 张鸿洋 | 陕西西安 | 研究生 | 195 | 10204783 | http://blog.csdn.net/lmj623565791 | http://my.csdn.net/lmj623565791 |
5 | sunboy_2050 | 杨刚 | 北京 | 高级工程师 | 864 | 9437469 | http://blog.csdn.net/sunboy_2050 | http://my.csdn.net/sunboy_2050 |
6 | 21aspnet | 黄鸣 | 1680 | 8816125 | http://blog.csdn.net/21aspnet | http://my.csdn.net/21aspnet | ||
7 | Luoshengyang | 罗升阳 | 上海 | 客户端开发 | 177 | 8643601 | http://blog.csdn.net/Luoshengyang | http://my.csdn.net/Luoshengyang |
8 | luozhuang | 罗莊 | 1091 | 7857322 | http://blog.csdn.net/luozhuang | http://my.csdn.net/luozhuang | ||
9 | david_lv | 吕建伟 | 北京 | 北京 | 514 | 7665707 | http://blog.csdn.net/david_lv | http://my.csdn.net/david_lv |
10 | Augusdi | 高庆地 | 南京 | 研发工程师 | 4082 | 7327363 | http://blog.csdn.net/Augusdi | http://my.csdn.net/Augusdi |
* 博客专家按博文创作量排名前十名
总博文量排名 | 专家Id | 专家名称 | 地址 | 职位 | 文章量 | 总阅读量 | 博客地址 | 个人中心 |
1 | yuanmeng001 | 袁萌 | 4095 | 7117504 | http://blog.csdn.net/yuanmeng001 | http://my.csdn.net/yuanmeng001 | ||
2 | Augusdi | 高庆地 | 南京 | 研发工程师 | 4082 | 7327363 | http://blog.csdn.net/Augusdi | http://my.csdn.net/Augusdi |
3 | SmartTony | 邓斌 | 中国上海市 | 执行董事 | 2792 | 3619000 | http://blog.csdn.net/SmartTony | http://my.csdn.net/SmartTony |
4 | jdsjlzx | 李治现 | 北京 | Android开发工程师 | 2314 | 6496619 | http://blog.csdn.net/jdsjlzx | http://my.csdn.net/jdsjlzx |
5 | jackyrongvip | 廖煜嵘 | 广州 | IT开发工程师 | 2254 | 1287146 | http://blog.csdn.net/jackyrongvip | http://my.csdn.net/jackyrongvip |
6 | shanyou | 张善友 | 2172 | 1324942 | http://blog.csdn.net/shanyou | http://my.csdn.net/shanyou | ||
7 | metababy | 花纯春 | 成都 | 成都 | 2058 | 4456469 | http://blog.csdn.net/metababy | http://my.csdn.net/metababy |
8 | hu_zhenghui | 胡争辉 | 2024 | 2492625 | http://blog.csdn.net/hu_zhenghui | http://my.csdn.net/hu_zhenghui | ||
9 | sxhelijian | 贺利坚 | 烟台 | 教师 | 1978 | 4459980 | http://blog.csdn.net/sxhelijian | http://my.csdn.net/sxhelijian |
10 | matrix67 | 顾森 | 1899 | 814777 | http://blog.csdn.net/matrix67 | http://my.csdn.net/matrix67 | ||
* 博文评论量最多前十名
评论数排名 | 博主id | 评论数 | 浏览量 | 博文标题 | 博客详情地址 | 发表日期 | 置顶与否 |
1 | xiaominghimi | 984 | 107300 | Himi浅谈游戏开发de自学历程!(仅供参考) | http://blog.csdn.net/xiaominghimi/article/details/6249005 | 2011/3/14 10:18 | 1 |
2 | zhmxy555 | 974 | 180921 | 【Visual C++】游戏开发笔记之一——API函数、DirectX的关键系统 | http://blog.csdn.net/poem_qianmo/article/details/7318264 | 2012/3/4 8:59 | 1 |
3 | yincheng01 | 810 | 19303 | 年少痴狂,怀恋曾经的创业岁月,语音识别的应用远远未到高潮,本人的软件源码开源,需要的留下Email,我给大家发 | http://blog.csdn.net/itcastcpp/article/details/4146494 | 2009/5/3 21:57 | 0 |
4 | chgaowei | 785 | 62174 | 给部分培训学生的建议 | http://blog.csdn.net/chgaowei/article/details/6013554 | 2010/11/16 22:49 | 0 |
5 | wdaming1986 | 784 | 91414 | Android闹钟最终版【android源码闹钟解析】 | http://blog.csdn.net/wdaming1986/article/details/7461043 | 2012/4/14 18:14 | 0 |
6 | jirigala | 780 | 43372 | 技术水平的确很高,正规公司为什么还是不录用这些人(技术水平不高的更不可能) | http://blog.csdn.net/jirigala/article/details/5565158 | 2010/5/6 11:02 | 0 |
7 | 21aspnet | 749 | 510256 | C#精髓 第四讲 GridView 72般绝技 | http://blog.csdn.net/21aspnet/article/details/1540301 | 2007/3/25 4:36 | 1 |
8 | shimiso | 745 | 39352 | Android精品开源项目整理_V20140221(持续更新中..) | http://blog.csdn.net/shimiso/article/details/19771915 | 2014/2/23 22:06 | 0 |
9 | sinyu890807 | 676 | 94932 | 历时一年,我的著作《第一行代码——Android》已出版! | http://blog.csdn.net/sinyu890807/article/details/26365913 | 2014/7/17 9:13 | 1 |
10 | sxhelijian | 635 | 8933 | 写给菜鸟:发CSDN博文常见问题处理 | http://blog.csdn.net/sxhelijian/article/details/8042507 | 2012/10/6 8:08 | 0 |
* 博文浏览量最多前十名
浏览数排名 | 博主id | 评论数 | 浏览量 | 博文标题 | 博客详情地址 | 发表日期 | 置顶与否 |
1 | lmj623565791 | 161 | 1528773 | Android Https相关完全解析 当OkHttp遇到Https | http://blog.csdn.net/lmj623565791/article/details/48129405 | 2015/9/12 11:25 | 0 |
2 | tingsking18 | 1 | 1228563 | 简单即时贴:python输出A到Z | http://blog.csdn.net/tingsking18/article/details/4330414 | 2009/7/8 10:59 | 0 |
3 | sunboy_2050 | 504 | 831516 | Android APK反编译详解(附图) | http://blog.csdn.net/sunboy_2050/article/details/6727581 | 2011/8/28 22:42 | 0 |
4 | luopingfeng | 1 | 777893 | 《Linux Device Drivers》第十五章 内存映射和DMA——note | http://blog.csdn.net/luopingfeng/article/details/24173985 | 2014/10/9 8:41 | 0 |
5 | luopingfeng | 1 | 777855 | 《Linux Device Drivers》第十六章 块设备驱动程序——note | http://blog.csdn.net/luopingfeng/article/details/24174045 | 2014/10/11 16:53 | 0 |
6 | luopingfeng | 2 | 777674 | 《Linux Device Drivers》第八章 分配内存——note | http://blog.csdn.net/luopingfeng/article/details/24173595 | 2014/9/28 9:26 | 0 |
7 | luozhuang | 28 | 656975 | RapeLay(电车之狼R)的结局介绍 (隐藏结局攻略) | http://blog.csdn.net/luozhuang/article/details/2595816 | 2008/6/29 14:48 | 0 |
8 | metababy | 0 | 630052 | 时更新 在线观察纸黄金价格 24小时黄金走势图使用现货买入价格 黄金价格历史走势图 全天显示黄金,银,钯 和 铂以及原油期货,美元指数的最新价格 | http://blog.csdn.net/metababy/article/details/1488797 | 2007/1/20 21:34 | 0 |
9 | alex197963 | 38 | 611795 | 历年奥斯卡获奖影片(1927—2015) | http://blog.csdn.net/oracle_microsoft/article/details/4436974 | 2009/8/12 9:04 | 1 |
10 | t12x3456 | 67 | 534164 | Android 网络通信框架Volley简介(Google IO 2013) | http://blog.csdn.net/t12x3456/article/details/9221611 | 2013/7/2 9:15 | 0 |
点我下载