网页爬虫

Java 实现简单网页小爬虫程序

使用正则表达式实现简单的网页爬虫程序：相关jar包：dom4j-1.6.1.jarjaxen-1.1-beta-6.jarJava源码：packagecom.v7.netdpider;importjava.io.BufferedReader
ETFOX·2016-04-22 09:36

Java 实现简单网页小爬虫程序

使用正则表达式实现简单的网页爬虫程序：  相关jar包：dom4j-1.6.1.jar  jaxen-1.1-beta-6.jar    Java源码：packagecom.v7.netdpider;
qq_29689487·2016-04-22 09:00

定向网页爬虫经验总结

定向爬虫基本原理定向爬虫就是指定某一些网站的数据源做为数据来源，进行页面数据的抓取，这里有别于传统的搜索引擎爬虫，传统的搜索引擎爬虫主要是针对整个互联网的数据进行爬取以及数据分析，难度更大，不论是从抓取的调度，还是性能要求，又或者是数据的存储都有很大的区别。定向爬虫只有单个或者少量的网站做为数据源头，抓取整个网站有用的数据以及图片等信息，本文主要介绍利用Java开源库用于处理http请求以及进行页
xiewenbo·2016-04-14 20:00

如何抽取HTML正文

因此，在获取网页源代码时，针对网页抽取出它的特定的文本内容，是我们做网页爬虫的一个基本功。我们结合HtmlParser和正则表达式来实现这一目的。   
zhangppmm·2016-04-11 10:00

java网页爬虫

java实现网页源码中获取邮箱的步骤：(1)新建URL对象，表示要访问的网址。如：url=newURL("http://www.zhihu.com/topic/19563612/top-answers");(2)建立HTTP连接，返回连接对象urlConnection对象。如：urlConnection=(HttpURLConnection)url.openConnection();(3)获取相应
manfulleo·2016-04-10 22:00

Python简单网页爬虫——极客学院视频自动下载

恰好，看到了网页爬虫的相关内容，正好可以解决我这一
supercooly·2016-03-29 10:00

简单的爬行--静态网页爬虫+下一篇实例

1、有些网页需要用户登录才能访问，需要添加cookie的处理2、有些网页需要代理才能访问3、有些网页是使用HTTPS加密访问的4、有些网页的URL存在相互自动的跳转关系#coding=utf-8 importurllib2 url='https://www.baidu.com/' print'第一种方法' response1=urllib2.urlopen(url) printresponse1
sherri_du·2016-03-26 17:00

基于C#实现网页爬虫

本文实例为大家分享了基于C#实现网页爬虫的详细代码，供大家参考，具体内容如下HTTP请求工具类：功能：1、获取网页html2、下载网络图片usingSystem;usingSystem.Collections.Generic
秋荷雨翔·2016-03-24 17:42

网页爬虫

最近在回顾正则表达式，正好想起一个比较有意思的小程序：爬虫。爬虫，百度百科是这样说的：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 现在有这样一个需求：获取指定数据文本文件或网页上的所有邮箱地址下面我们用代码实现一下：首先，我们准备了这样的
shindo_yang·2016-03-21 16:00

Python爬虫学习笔记(2)-单线程爬虫

Python爬虫学习笔记(2)-单线程爬虫标签（空格分隔）：python爬虫单线程概要Requests介绍网页爬虫向网页提交数据实战–极客学院课程爬虫1.Requests介绍[x]Requests：HTTPforHumans
SkyeyesXY·2016-03-09 19:00

简单的Java网页爬虫

基础是Java正则表达式，将正则表达式封装成Pattern对象后使用匹配器，与需要获取的数据相关联importjava.io.*; importjava.net.*; importjava.util.regex.*; publicclassWebCrawl{ publicstaticvoidmain(String[]args)throwsException{ webCrawl(); } publ
shenqidemao·2016-03-09 17:00

网页爬虫的一些笔记

可参考: http://blog.csdn.net/kandy_ye/article/details/47324715其中phantomjs2.0以后的版本,exe程序放在了bin目录中,需要将环境变量修改为bin目录下 乱码解决方案:http://blog.sina.com.cn/s/blog_6264e0aa0102w1sq.html  页面中注入jqueryfirefox安装firebug然
隨風.NET·2016-03-04 09:00

Jsoup 实现的基于列表-详情结构的网页爬虫

问题阐述：对于很多应用而言，都需要搜集一些资讯内容充实自己的内容，这样可以丰富站点内容，增加用户停留的时间。最原始的办法，莫过于复制粘贴，但是，当如果目标网站是几个，甚至几十个的时候，复制粘贴并不是长久之计，劳心劳力，又容易搞错。所以基于程序的数据爬取就十分重要。但是几乎每个网站，都有他独特的结构，看起来要针对每个网站独特的结构，来写一套东西，但是这样拓展性也很差。这里我介绍一下，我所实现的资讯爬
hopeztm·2016-01-30 18:00

C#实现网页爬虫

HTTP请求工具类(功能：1、获取网页html；2、下载网络图片；)：usingSystem; usingSystem.Collections.Generic; usingSystem.IO; usingSystem.Linq; usingSystem.Net; usingSystem.Text; usingSystem.Threading.Tasks; usingSystem.Wi
秋荷雨翔·2016-01-30 10:00

Node做网页爬虫时遇到的Html entites对象造成乱码

Node做网页爬虫时遇到的Htmlentites对象造成乱码就是文字内容是这种货： ��һҳ 尝试用iconv-lite模块的decode去转码，但是失败了
小马哥的代码学习·2016-01-26 15:00

Node做网页爬虫时遇到的Html entites对象造成乱码

Node做网页爬虫时遇到的Htmlentites对象造成乱码就是文字内容是这种货： ��һҳ 尝试用iconv-lite模块的decode去转码，但是失败了
小马哥的代码学习·2016-01-26 15:00

Node做网页爬虫时遇到的Html entites对象造成乱码

Node做网页爬虫时遇到的Htmlentites对象造成乱码就是文字内容是这种货： ��һҳ 尝试用iconv-lite模块的decode去转码，但是失败了
小马哥的代码学习·2016-01-26 15:00

java实现的简单网页爬虫：Servlet 搜索引擎核心爬虫程序（三）

/****@authorAdministrator**JavaSpider1.6版本**1，对所有的目标网址进行抽取，得到目标java文件，也就是我们需要的java源文件；*2，将所有的java源文件保存到对应的java文件中，保存到本地硬盘的指定目录下；*3，我们需要一个java工具类，或者方法，用来生成唯一的java源文件名称；**/到这里，我们通过这几个修改和完善的版本，基本上可以完成实现了
春秋战国程序猿·2016-01-17 01:01

java实现的简单网页爬虫：Servlet 搜索引擎核心爬虫程序（三）

/** * *@authorAdministrator * *JavaSpider1.6版本 * *1，对所有的目标网址进行抽取，得到目标java文件，也就是我们需要的java源文件； *2，将所有的java源文件保存到对应的java文件中，保存到本地硬盘的指定目录下； *3，我们需要一个java工具类，或者方法，用来生成唯一的java源文件名称； * */到这里，我们通过这几个修改和完善的版本，
reggergdsg·2016-01-17 01:00

java实现的简单网页爬虫：Servlet + MySQL5.5（二）

java实现的简单网页爬虫：Servlet+MySQL5.5（二）在java实现的简单网页爬虫：Servlet+MySQL5.5进行了改善，将爬取的网址，进行分类保存。
reggergdsg·2016-01-16 15:00

python基础入门学习笔记（Python环境搭建）

就我而言，我知道豆瓣在使用、重视Python，加上我想学习网页爬虫技术，所以，我要学习Python编程。另外在国外，Yahoo和Google都在使用Python。那么，
天才白痴梦·2016-01-13 11:13

java实现的简单网页爬虫：Servlet + MySQL5.5

/* * *JavaSpier的目标： * *1，我们要获取的是 *http://commons.apache.org/proper/commons-fileupload/apidocs/src-html/org/apache/commons/ *Apacheorg.apache.commons站点下的所有源代码文件，也就是最终的.html文件。 *,2，我们要对获取到的源代码网页，进行格式化处理
reggergdsg·2016-01-03 15:00

网页爬虫【原创】【开源】

使用到了以下技术点：1）webclient获得网页源码；2）正则表达式，解析网页中想要的数据；3）使用线程池加快网页采集数据。4）…… 以前写过几次类似的，但是找不到了，又重新写了一个。代码比较粗糙，求拍砖。 usingSystem; usingSystem.Net; usingSystem.Text; usingSystem.Text.RegularExpressions; usingS
Louis.Lu.Sz·2015-12-18 09:00

老李分享：网页爬虫java实现

老李分享：网页爬虫java实现 poptest是国内唯一一家培养测试开发工程师的培训机构，以学员能胜任自动化测试，性能测试，测试工具开发等工作为目标。
北京茑萝00·2015-12-14 14:05

老李分享：网页爬虫java实现

老李分享：网页爬虫java实现 poptest是国内唯一一家培养测试开发工程师的培训机构，以学员能胜任自动化测试，性能测试，测试工具开发等工作为目标。
北京茑萝00·2015-12-14 14:05

python网页爬虫--京东家电版块

双十二就要到了，浏览京东商城也浏览的比较多，突然想到写一个爬虫来爬取一些“京东家电”的数据，可能会对双十二的活动有点预见性，也挺好玩的。1、选定爬取的模块 京东商城--京东家电--家用电器--大家电2、爬取“平板电视”这一模块的数据我用的是火狐浏览器的HttpFox插件来查看网页的加载信息。当进入“平板电视”这一模块的时候，网页的加载信息是这样的： 打开第一个“GET”进来的网页信息，然后查看该加
小步快跑&·2015-12-10 17:00

python 异步采集,网页爬虫编写 | 一步一步学python

python异步采集,网页爬虫编写|一步一步学pythonpython异步采集对于大量的数据采集除了多线程，就只有异步来实现了上一篇文章里我写了有关多线程的实现，对于异步的由于本人对python的学习还不是很深入还不能自己写出来
·2015-12-09 11:04

crawler jd

参与爬虫核心算法和策略优化研究  技能要求:  3年以上Linux环境下C/C++开发经验,熟练使用一门以上脚本语言(PHP/PYTHON/PERL等)  熟悉多线程、多进程、网络通信编程相关知识  2年以上大规模网页爬虫开发经验
·2015-12-09 11:02

Python带你轻松进行网页爬虫

在还没有学它的时候就听说用它来进行网页爬虫和自然语言
hippieZhou·2015-11-22 16:00

Java、C#双语版HttpHelper类

最省事的做法是去需要抓取的网站看看具体是什么编码，然后采用正确的编码进行解码就OK了，不过总是一个个页面亲自去判断也不是个事儿，尤其是你需要大量抓取不同站点的页面时，比如网页爬虫类的程序，这时我们需要做一个相对比较通用的程序
·2015-11-13 19:32

java正则表达式和网页爬虫的制作

正则表达式是一种专门用于对字符串的操作的规则。 1.在String类中就有一些方法是对字符串进行匹配，切割。 判断字符串是否与给出的正则表达式匹配的：boolean matches( String regex); 按照给定的正则表达式对字符串进行切割的：String[]    split(String regex); 将符合正则表达式的字符串替换成我们想要的其他字符串：
·2015-11-13 19:59

python --网页爬虫，文本处理，科学计算，机器学习，数据挖掘资料+附带工具包下载

Python网页爬虫工具：ScrapyScrapy,afasthigh-levelscreenscrapingandwebcrawlingframeworkforPython.不少同学肯定有耳闻，依靠Scrapy
a1b2c3d4123456·2015-11-13 13:00

Python-函数-第三方提供的函数

简单网页爬虫示例 PS： 用的是Python2.7，没有按照下面的方法，也成功的运行了程序，不知道什么原因 1.下载模块——下载需要使用的第三方提供的函数 2.解压下载的压缩包“httplib2
·2015-11-13 10:50

[resource-]Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱

reference: http://www.52nlp.cn/python-%e7%bd%91%e9%a1%b5%e7%88%ac%e8%99%ab-%e6%96%87%e6%9c%ac%e5%a4%84%e7%90%86-%e7%a7%91%e5%ad%a6%e8%ae%a1%e7%ae%97-%e6%9c%ba%e5%99%a8%e5%ad%a6%e4%b9%a0-%e6%95%b0%e6%8
·2015-11-13 08:02

正则表达式_网页爬虫

其实就一个程序用于在互联网中获取符合指定规则的数据。    爬取邮箱地址  爬取本地中的文件： import java.io.BufferedReader; import java.io.FileReader; import java.io.IOException; import java.io.InputStreamReader; import j
·2015-11-12 22:31

网页爬虫

/* 网页爬虫 */ import java.io.*; import java.net.*; import java.util.regex.*; class RegexTest2
·2015-11-12 21:46

android 开发：网页爬虫获取腾讯财经滚动新闻

服务器端做爬虫我是使用Jsoup这个jar包来对网页源码进行分析，但是在使用getElementsByClass获取新闻列表的时候，却始终为空。我直接查看了网页源码，发现源码上根本没有新闻列表的信息。然后我使用firebug去分析新闻列表的ajax地址，直接访问改地址，Access denied。。。 使用firebug分析请求头信息发现居然还有我的qq号在Cookie属性里面，直接复制请求头的
·2015-11-12 16:27

Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱 - 数客

曾经因为NLTK的缘故开始学习Python，之后渐渐成为我工作中的第一辅助脚本语言，虽然开发语言是C/C++，但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后，第一个作品课程图谱也是选择了Python系的Flask框架，渐渐的将自己的绝大部分工作交给了Python。这些年来，接触和使用了很多Python工具包，特别是在文本处理，科学计算，机器学习和数据挖掘领域，有很多很多优秀的Py
·2015-11-12 10:28

python 网页爬虫+保存图片+多线程+网络代理

以前对网页爬虫不了解，感觉非常神奇，但是解开这面面纱，似乎里面的原理并不是很难掌握。首先，明白一个概念，HTTP协议，为什么叫超文本协议。
·2015-11-12 09:09

.NET4.5 WFP中用WebBrowser获取/操作网页html代码

      那么作为网页爬虫程序，最重要的就是html源码的获取了，通常的获取方式有几种：HttpWebRequest、WebRequ
·2015-11-11 16:36

nodejs写的一个网页爬虫例子（坏链率）

    因为工作需要，用nodejs写了个简单的爬虫例子，之前也没用过nodejs，连搭环境加写大概用了5天左右，so。。。要多简陋有多简陋，放这里给以后的自己看~~     整体需求是：给一个有效的URL地址，返回该网页上所有无效链接的百分比（坏链率）     第一个文件：计算环链率 urlSpider.js   
·2015-11-11 15:13

网页抓取：PHP实现网页爬虫方式小结

来源：http://www.ido321.com/1158.html   抓取某一个网页中的内容，需要对DOM树进行解析，找到指定节点后，再抓取我们需要的内容，过程有点繁琐。LZ总结了几种常用的、易于实现的网页抓取方式，如果熟悉JQuery选择器，这几种框架会相当简单。 一、Ganon 项目地址： http://code.google.com/p/ganon/ 文档： ht
·2015-11-11 09:29

Python天气预报采集器 python网页爬虫

这个天气预报采集是从中国天气网提取广东省内主要城市的天气并回显。 本来是打算采集腾讯天气的，但是貌似它的数据是用js写上去还是什么的，得到的html文本中不包含数据，所以就算了   爬虫简单说来包括两个步骤：获得网页文本、过滤得到数据。  　　 1、获得html文本。 　　 python在获取html方面十分方便，寥寥数行代码就可以实现需要的功能。 
·2015-11-11 06:23

Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱

本文转自：http://www.52nlp.cn/python-%E7%BD%91%E9%A1%B5%E7%88%AC%E8%99%AB-%E6%96%87%E6%9C%AC%E5%A4%84%E7%90%86-%E7%A7%91%E5%AD%A6%E8%AE%A1%E7%AE%97-%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0-%E6%95%B0%E6%8D%AE%E
·2015-11-11 01:37

Python标准库之urllib，urllib2

典型的应用程序包括从网页抓取数据、自动化、代理、网页爬虫等。 在Python 2中，urllib功能分散在几个不同的库模块中，包括urllib、urllib2、urlparse等。
·2015-11-10 21:45

第一个网页爬虫程序

importreimportrequestsheaders={'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/45.0.2454.93Safari/537.36'}html=requests.get('http://tieba.baidu.com/',headers
古刹青灯·2015-11-09 12:23

第一个网页爬虫程序

importre importrequests headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/45.0.2454.93Safari/537.36'} html=requests.get('http://tieba.baidu.com/',head
lucky51222·2015-11-09 12:00

Java中正则表达式、模式匹配与信息抽取

正则表达式相关介绍详细参考： http://www.java3z.com/cwbwebhome/article/article8/Regex/Java.Regex.Tutorial.html 引言 记得几年前在做网页爬虫后的信息抽取时
·2015-11-08 11:57

使用html parser

html parser 是一个解析html的java框架 ，可以将你需要的内容从网页中提取出来，可以用来做一个网页爬虫或者简单的数据提取器。
·2015-11-07 14:25

Scrapy学习笔记

Python中Scrapy是一个非常方便的web抓取框架，由于个人在本学期才初步接触Python，学习过程中更多是秉承着实用的原则来进行学习，主要自学了用Python设计网页爬虫的部分，其中也被正则表达式弄得稀里糊涂
Kris_Chan·2015-11-04 17:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他