网页抓取

Java网页抓取错误总结

1）java.lang.IllegalArgumentException:hostparameterisnull 项目中使用到HttpClient调用接口，部署时出现此问题，后来经检查为配置项出错。即URL应为hhtp://www.baidu.com 但是实际配置成了 www.baidu.com所以出现此错误2）导包将所有在Httpclient下的包导入Java项目！！！
hu1020935219·2013-09-20 15:00

一个简单的基于java的网页抓取程序。

最近在刷水题时，意外找到了一个水题嗅探神器，在这儿：http://blog.csdn.net/hu1020935219/article/details/11697109，大婶说这个是网络爬虫，使用各种搜索方法做出来的，其实就是我们学习的数据结构的图或者树的遍历的原理而已。于是，遂对其十分感兴趣。在图书馆恰好找到一本三年内被借了两次的书：《自己动手写网络爬虫》，开始学习如何编写网络爬虫。看两天的书，
hu1020935219·2013-09-20 14:00

自己做一个网页爬虫用来抓取一个网站的地址

    以前做过全文检索加网页爬虫，针对的是整个因特网，不过，用的开源的网页抓取工具，hreitrix，研究其源码，但也只是稍微修改了部分源码，以达到业务需要，不过，后面，因为项目停了，这个工作我也就搁置了
·2013-09-17 13:00

网页爬虫中的多线程模式

内容如下：===问题细节说明===网页抓取：生产者消费者模式（多v多）===URL去重：读写锁模式===网页写入文件：生产者消费者模式（多v一）===关于多线程的几点
u010064842·2013-09-14 10:00

C#中HttpWebRequest与HttpWebResponse的使用方法

C#HttpHelper,帮助类,真正的Httprequest请求时无视编码，无视证书，无视Cookie,网页抓取1.第一招，根据URL地址获取网页信息  先来看一下代码get方法publicstaticstringGetUrltoHtml
xxglyy·2013-08-30 14:00

自从有了Phantomjs和Casperjs，后台网页抓取和交互变得异常的简单

 Casperjs是基于Phantomjs的，而PhantomJS是一个服务器端的JavaScriptAPI的WebKit。    这跟我一直想找个自带浏览器内核的后台东西的想法“暗合”。所以，在我发现这东西的时候就已经开始不由自主的兴奋起来了，研究一番之后，果不其然，后台连接网站和页面交互一下子变得异常简单起来。尤其是对需要登录才可进行的网页操作。    于是乎，我就用它来写了两个小例子用来做一
alexdream·2013-08-30 09:00

jsoup学习

转自：http://yijianfengvip.blog.163.com/blog/static/17527343220119283040546/ jsoup 网页抓取简介详解，java抓取&
annybz·2013-08-28 14:00

【百度社招】系统架构高级工程师（上海）

【百度社招】系统架构高级工程师（上海） 职位名称: 网页搜索部_系统架构高级工程师（上海）岗位职责:        -负责网页搜索产品服务架构和数据存储架构的设计与升级，包括，网页抓取；海量数据处理平台
猎头ellen·2013-08-28 13:00

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
fennvde007·2013-08-24 10:00

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
mingz2013·2013-08-19 16:29

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
oMingZi12345678·2013-08-19 16:00

linux下HTTP/FTP客户端开发库

来源：http://unix8.net/linux%e4%b8%8bhttpftp%e5%ae%a2%e6%88%b7%e7%ab%af%e5%bc%80%e5%8f%91%e5%ba%93.html网页抓取和
u010779194·2013-08-16 10:00

解析网页抓取所得gzip压缩数据

在进行网页数据抓取时，会遇到压缩数据，可能主要出于如下考虑：简单的防抓取方法没有经过分析就对抓取的网页内容直接进行文本解析，肯定会遇到问题，就像我开始的时候一样。。。压缩数据减少流量这个一般用于提供数据接口，将数据压缩后可以大大减少流量以下提供对抓取数据的处理方法：检测反馈内容是否压缩，并对压缩内容解压检测数据文本编码格式，解压后返回unicode文本检测编码格式所用工具：chardet#-*-c
powerlly·2013-08-12 14:00

基于Python的网页抓取工具

今天为了抓去杭电上的ACM,于是各种查资料,用python做成了一个自动抓取相应玩个信息的程序主要用到了Python的urllib模块和re模块 基本思路,先抓取网页的全部源代码,然后在用正则提取相应的内容  1:#-*-coding:utf-8-*-2: 3:importre4:importurllib5:importMySQLdb6: 7: 8:defdown(i):9:url='http:/
程序猿1号·2013-08-12 13:00

54.使用python做一个简单的网络爬虫

概述：这是一个简单的爬虫，作用也很简单：给定一个网址，抓取这个网址的页面，然后从中提取满足要求的url地址，把这些地址放入队列中，当把给定的网页抓取完毕后，就把队列中的网址作为参数，程序再次去抓取这个页面的数据
quanpower·2013-08-12 01:00

构建一个高性能的网页抓取器

互联网的发展，使人类提前进入了信息爆炸的年代，在浩瀚无边的信息海洋里，如何快速、准确找到对自己有用的信息，就成了一个很有价值的研究课题，于是，搜索引擎应运而生。现在，国内外大大小小的搜索引擎有很多，搜搜也是这搜索引擎大军中的一员悍将。笔者有幸参与了搜搜研发过程中的一些工作，在这里写一些自己的理解与看法，权当是抛砖引玉，希望能够得到业内前辈们的一些指点。    对于网页搜索引擎来说，它的基本处理流程
atco·2013-08-06 11:00

基于python的网页抓取

今天为了抓去杭电上的ACM,于是各种查资料,用python做成了一个自动抓取相应玩个信息的程序主要用到了Python的urllib模块和re模块 基本思路,先抓取网页的全部源代码,然后在用正则提取相应的内容  2: 3:importre4:importurllib5:importMySQLdb6: 1:#-*-coding:utf-8-*-7: 8:defdown(i):9:url='http:/
307458491·2013-08-03 00:20

网络爬虫(网络蜘蛛)之网页抓取举例说明(HttpClient,Jsoup,HtmlUnit,W...

当“蜘蛛”程序出现时，现代意义上的搜索引擎才初露端倪。它实际上是一种电脑“机器人”（ComputerRobot），电脑“机器人”是指某个能以人类无法达到的速度不间断地执行某项任务的软件程序。由于专门用于检索信息的“机器人”程序就象蜘蛛一样在网络间爬来爬去，反反复复，不知疲倦。所以，搜索引擎的“机器人”程序就被称为“蜘蛛”程序。现在有越来越多的人热衷于做网络爬虫（网络蜘蛛），也有越来越多的地方需要网
baisou·2013-08-02 22:00

CURL库在C++程序中的运用浅析

这个目录的文章转载freeeyes大牛的作品前一段时间自己写了一个抓取网页代码的类，来满目一些项目需求，结果发现并不稳定，在海量网页抓取的时候，存在一些异常导致抓取失败。
windows_nt·2013-07-30 17:00

MetaStudio产品介绍

MetaStudio是描述Web页面信息结构的工具，协助用户对目标网页的信息结构进行建模，为用户验证信息结构（模型）的正确性，并为建立正确的信息模型自动计算信息提取(网页抓取/抽取)规则，产生各种信息提取指令文件
lifan_3a·2013-06-26 17:00

DataScraper产品介绍

DataScraper是Web页面信息提取(网页抓取/抽取)工具，利用MetaStudio生成的信息提取指令文件，对属于相同语义类别的页面信息进行连续提取，生成XML格式的信息提取结果文件，并将信息提取结果文件存储在
lifan_3a·2013-06-26 17:00

网页抓取/数据抽取/信息提取软件工具包MetaSeeker

MetaSeeker是一个Web网页抓取/数据抽取/页面信息提取工具包，能够按照用户的指导，从Web页面上筛选出需要的信息，并输出含有语义结构的提取结果文件（XML文件），众所周知，Web页面显示的信息是给人阅读的
lifan_3a·2013-06-26 17:00

博客园的手机版(非官方)

     7.1.PC+Chrome     7.2.手机端   8.完结前言刚学jQuery.Mobile，想练手，但是没什么数据，正好自己想在公交上看博客，但是太费流量，自己动手做一个手机版的博客园利用网页抓取获取的信息
·2013-06-16 18:00

Python抓取中文网页

OK，开始~首先是简单的网页抓取程序：[python] vi
pi9nc·2013-06-13 10:00

python网页抓取

1#!/usr/bin/python使用魔法字符调用python2 3fromsysimportargv 导入sys是导入python解释器和他环境相关的参数4fromosimportmakedirs,unlink,sepos主要提供对系统路径，文件重命名和删除文件所需的函数makedirs是创建递归文件夹的函数。比如说我们要创建一个新的目录，/python/HTML/crawl,但是目前这三个文
pi9nc·2013-06-09 10:00

Nutch源代码研究 网页抓取 数据结构

今天我们看看Nutch网页抓取，所用的几种数据结构： 主要涉及到了这几个类：FetchListEntry，Page， 首先我们看看FetchListEntry类： publicfinalclassFetchListEntryimplementsWritable
atco·2013-06-05 11:00

Nutch源代码研究 网页抓取 下载插件

今天我们来看看Nutch的源代码中的protocol-http插件，是如何抓取和下载web页面的。protocol-http就两个类HttpRespose和Http类，其中HttpRespose主要是向web服务器发请求来获取响应，从而下载页面。Http类则非常简单，其实可以说是HttpResponse的一个Facade,设置配置信息，然后创建HttpRespose。用户似乎只需要和Http类打交
atco·2013-06-05 11:00

Nutch源代码研究 网页抓取 fetch

搜索引擎Nutch源代码研究之一网页抓取： Nutch的爬虫代码部分主要集中在：packageorg.apache.nutch.fetcher和插件protocol-file Protocol-ftpprotocol-httpprotocol-httpclient
atco·2013-06-05 11:00

HTTPClient模拟登陆人人网

目的：使用HTTPClient4.0.1登录到人人网，并从特定的网页抓取数据。
ewili·2013-05-27 14:00

网络爬虫(网络蜘蛛)之网页抓取

查看原文请移步《http://www.yshjava.cn/post/415.html》 现在有越来越多的人热衷于做网络爬虫（网络蜘蛛），也有越来越多的地方需要网络爬虫，比如搜索引擎、资讯采集、舆情监测等等，诸如此类。网络爬虫涉及到的技术(算法/策略)广而复杂，如网页获取、网页跟踪、网页分析、网页搜索、网页评级和结构/非结构化数据抽取以及后期更细粒度的数据挖掘等方方面面，对于新手来说，不是一朝一夕
杨胜寒·2013-05-20 10:00

网络爬虫(网络蜘蛛)之网页抓取

查看原文请移步《http://www.yshjava.cn/post/415.html》   现在有越来越多的人热衷于做网络爬虫（网络蜘蛛），也有越来越多的地方需要网络爬虫，比如搜索引擎、资讯采集、舆情监测等等，诸如此类。网络爬虫涉及到的技术(算法/策略)广而复杂，如网页获取、网页跟踪、网页分析、网页搜索、网页评级和结构/非结构化数据抽取以及后期更细粒度的数据挖掘等方方面面，对于新手
杨胜寒·2013-05-20 10:00

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
请叫我汪海·2013-05-13 23:28

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
iteye_19603·2013-05-13 23:00

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
iteye_4389·2013-05-13 23:00

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
wxg694175346·2013-05-13 23:00

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
runfeel·2013-05-13 23:00

WebClient 轻松实现文件下载上传、网页抓取

我们知道用WebRequest（HttpWebRequest、FtpWebRequest）和WebResponse（HttpWebResponse、FtpWebResponse）可以实现文件下载上传、网页抓取
fox123871·2013-05-10 17:00

一淘网技术简介

抓取系统的功能包括：网页抓取、抓取调度、域名解析、死链检
abc123456789cba·2013-04-26 01:00

httpclient4 网页抓取

最近在做全文检索。所以数据很纠结。没办法 抓一些行业新闻。于是乎用了 httpclient 上代码。分享下 TEbInformationModel model = new TEbInformationModel(); HttpClient httpclient = new DefaultHttpClient(); httpclient.getPa
Java_大猫·2013-04-25 18:00

网页抓取工具

TeleportUltraTeleportUltra所能做的，不仅仅是离线浏览某个网页(让你离线快速浏览某个网页的内容当然是它的一项重要功能)，它可以从Internet的任何地方抓回你想要的任何文件，它可以在你指定的时间自动登录到你指定的网站下载你指定的内容，你还可以用它来创建某个网站的完整的镜象，作为创建你自己的网站的参考。如果你也和我一样，曾想把整个网页捉回慢慢欣赏，如果你也曾像我一样费尽千辛
haima1998·2013-04-17 17:00

6行代码抓取网页

今天咱们利用apachecommonsio+输出流重定向的方式6行解决网页抓取问题(当然其实可以是5行呵呵) 准备：  下载apachecommons-io 传送门  然后将这个jar加入到你的项目中  
zhifeiyu2008·2013-04-15 23:00

6行代码抓取网页

今天咱们利用apache commons io + 输出流重定向 的方式6行解决网页抓取问题(当然其实可以是5行 呵呵)   准备：     下载apache
snkcxy·2013-04-15 08:00

6行代码抓取网页

今天咱们利用apachecommonsio+输出流重定向的方式6行解决网页抓取问题(当然其实可以是5行呵呵)准备：下载apachecommons-io传送门然后将这个jar加入到你的项目中//天气预报网址
snkcxy·2013-04-15 08:00

自己动手编写CSDN博客备份工具-blogspider

网络爬虫最重要的任务，就是从互联网搜索出需要的信息，将网页抓取下来并分析，很多搜索
wdzxl198·2013-04-07 22:00

使用scrapy的定制爬虫-第一章-前言

这个系列文章还在逐步完成中,可能会多次编辑这是一个系列文章,关于定制爬虫,使用scrapy.这是前言.爬虫,最广为所知用途是搜索引擎的网页抓取.也有很多其他的用途.诸如各类比价网站(etao,惠惠购物助手等
斑ban·2013-04-02 23:00

网页抓取与解析小记

  项目中用有人到了commons.httpclient爬取网页。封装成了工具，但是使用时发现传递过来的页面内容，预先苦思冥想的正则表达式突然find返回false。无奈，将页面内容输出到控制台，在拷贝到txt，存成和页面对应的格式，然后测试程序从文件中读，然后再用正则去匹配，发现效果很好。于是呼呼，就将工具中的代码改成了新版httpclient（查了之后才知道是新版），并按照之前的写法逐行读取，
SK-J·2013-03-19 18:00

十一Python网页抓取实战（网页抓取三）

 声明：本文只用于技术交流和学习使用，如果侵害到您的合法权利，请发邮件到[email protected]告知删除。  抓取的内容为osc的最新推荐博客列表，分析出博客的链接、标题、内容简介、作者和发布时间。   上图为ocs最新推荐的文章列表的html结构，由图可知所有的文章列表都在ul标签里面且ul的class="BlogList"，每一篇文章的基本信息都在ul下的li标签里，每一个li下的h3
dkz·2013-03-08 07:00

网络信息再利用项目的搭建与开发 （搭建）

从老师那里拿到了她博士期间的研究项目，网络信息再利用，看了一下主要就是网页抓取与数据包装的问题。现在来讲讲怎么搭建：文件清单如下： 需要的工具是tomcat  + eclipse1。 
hackerwin7·2013-03-07 22:00

一淘架构

一淘架构抓取系统：包括网页抓取、抓取调度、域名解析、死链检测、JavaScript执行等。目前，一淘的资讯、话题、问答combo中的大部分数据都是通过抓取系统从互联网获得的。
正弈·2013-03-06 23:23

java 常用操作工具

Java中，操作文件（读写内容）工具、读写properties文件工具、序列化工具、正则提取工具、网页抓取和解析工具。
SHPshao·2013-03-06 17:12
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他