网页抓取

index.php

网页抓取器 Web Grabber Url Get Save All List
flute小行·2014-03-31 21:00

Scrapy爬虫笔记【1-基本框架】

尽管Scrapy最初被设计用于屏幕抓取（准确地说是网页抓取），但您也可以仅使用它的API来提取数据（就像AmazonAssociatesWebServices）或作为通用的网页爬虫来使用。
yixiantian7·2014-03-08 20:00

HtmlAgilityPack.dll网页抓取数据

        根据公司的需求需要到指定网站抓取相关数据，即爬虫。               网上有很多的工具以及第三方的dll，也可以用WebClient等进行抓取网站内容 ，或者使用一些正则解析、截取字符串。          所以在网上搜索一下，发现HtmlAgilityPack这个第三方的dll很不错，都是封装 好的方法，直接调用即可。是将gtml转化成xml，然后进行解析。 官网：ht
lilinoscar·2014-03-04 13:00

Java、C#双语版HttpHelper类(解决网页抓取乱码问题)

在做一些需要抓取网页的项目时，经常性的遇到乱码问题。最省事的做法是去需要抓取的网站看看具体是什么编码，然后采用正确的编码进行解码就OK了，不过总是一个个页面亲自去判断也不是个事儿，尤其是你需要大量抓取不同站点的页面时，比如网页爬虫类的程序，这时我们需要做一个相对比较通用的程序，进行页面编码的正确识别。 乱码问题基本上都是编码不一致导致的，比如网页编码使用的是UTF-8，你使用GB2312去读取，
·2014-03-02 18:00

Java网页抓取

程序逻辑：从文件config.txt读取url链接，根据url打开输入流，将接收到的网页内容保存到文件。packagecom.changying.spider; importjava.io.BufferedReader; importjava.io.File; importjava.io.FileOutputStream; importjava.io.FileReader; importjava
HanTangSongMing·2014-03-01 21:00

用TinySpider进行网页抓取实例

非常感谢@李少龙的提醒本例中用到的maven坐标变化如下： org.tinygroup org.tinygroup.spider 0.1.0-SNAPSHOT 在百度中搜索笑话，看到这么一个网站：http://www.jok
悠悠然然·2014-03-01 19:00

如何在Windows+VS2005使用最新静态libcurl 7.35.0获取网页数据，支持HTTPS

//blog.csdn.net/hujkay作者：JekkayHu([email protected])关键词：Windows，curl，ssl, visualc++2005，libcurl,https,网页抓取时间
hujkay·2014-02-18 11:00

通过网页抓取github仓库的部分文件

有些github仓库非常大，如果网络条件不好，只想下载部分文件，用git无法实现,必须clone整个仓库。所以编写了这个脚本，提取仓库的部分文件。点击打开githubimportrequests frombs4importBeautifulSoup importos path="https://raw.github.com/mahongquan/OpenBird/master/" defsavef
mahongquan·2014-02-15 10:00

httpclient的一些学习心得

本项目中用到的第三方组件是apache的httpclient，一个非常强大的网页抓取工具（抓这个字用得可能不太好），这里和大家 一起讨论下
z69183787·2014-02-13 10:00

JAVA网页抓取

今天在看网页抓取，复习下JAVA，刚好没事情。
XiaoCon·2014-02-13 10:00

网页抓取及下载

downAndroidApk.php <?php /* 命令行 d: cd ApacheServer\php php.exe D:\ApacheServer\web\crawl\downAndroidApk.php --appidFile=D:\ApacheServer\web\crawl\youxi.txt --newDir=D:\ApacheServer\web\crawl
·2014-02-05 15:00

HttpClient的一些学校心得

  本项目中用到的第三方组件是apache的httpclient，一个非常强大的网页抓取工具（抓这个字用得可
zzc1684·2014-01-28 23:00

Python+Ghost抓取动态网页图片，并模拟页面Get请求

但是，并非所有的网页抓取都是这么简单的，有些网页就是动态网页，指的是，页面中的图片元素是通过js生成出来的，原本的html中并没有图片的src信息，所以我们希
zhenyu5211314·2014-01-20 10:00

搜索引擎技术

搜索引擎技术之概要预览前言  近些天在学校静心复习功课与梳理思路（找工作的事情暂缓），趁闲暇之际，常看有关搜索引擎相关技术类的文章，接触到不少此前未曾触碰到的诸多概念与技术，如爬虫，网页抓取，分词，索引
fengshizty·2014-01-17 16:00

python爬虫实践之网页抓取

python自带了urllib和urllib2模块，以及第三方的requests库来抓取网页，这里我们使用easy_install包管理工具下载requests库，BeautifulSoup库，在CMD命令行下，切换到easy_install的目录，运行命令easy_install包名称。easy_installrequests安装好requests包之后，我们就可以选择使用urllib，urll
figo829·2014-01-12 08:00

python爬虫实践之网页抓取

python自带了urllib和urllib2模块，以及第三方的requests库来抓取网页，这里我们使用easy_install包管理工具下载requests库，BeautifulSoup库，在CMD命令行下，切换到easy_install的目录，运行命令easy_install包名称。easy_installrequests安装好requests包之后，我们就可以选择使用urllib，urll
figo829·2014-01-12 00:00

python爬虫实践之网页抓取

python自带了urllib和urllib2模块，以及第三方的requests库来抓取网页，这里我们使用easy_install包管理工具下载requests库，BeautifulSoup库，在CMD命令行下，切换到easy_install的目录，运行命令easy_install包名称。easy_installrequests安装好requests包之后，我们就可以选择使用urllib，urll
figo829·2014-01-12 00:00

使用node.js cheerio抓取网页数据

@#$@#$…没关系网页抓取可以解决。什么是网页抓取？你可能会问。。。网页抓取是以编程的方式(通常不用浏览器参与)检索网页的内容并从中提取数据的过程。
kavensu·2014-01-04 21:21

使用node.js cheerio抓取网页数据

@#$@#$…没关系网页抓取可以解决。什么是网页抓取？你可能会问。。。网页抓取是以编程的方式(通常不用浏览器参与)检索网页的内容并从中提取数据的过程。
kavensu·2014-01-04 21:00

Hadoop监控方法总结

网页抓取首先，想到的办法是抓取网页
yinjs1989·2014-01-03 09:30

网页抓取工具

简介       Webdup能够把您想要浏览的信息(如网页和图片等)预先下载下来，保存在本地硬盘，使您可以从本地进行离线浏览，这样不仅可以大大减少上网时间，降低上网费用，还可以加快浏览速度；并且将来无须上网就可以很方便地查阅这些信息。不仅如此, Webdup更提供了备份历次下载记录和比较完善的管理功能，使您能够方便地分类保存和管理有价值的下载信息。原理&n
qinlinhai·2013-12-30 23:00

网页抓取工具

简介    Webdup能够把您想要浏览的信息(如网页和图片等)预先下载下来，保存在本地硬盘，使您可以从本地进行离线浏览，这样不仅可以大大减少上网时间，降低上网费用，还可以加快浏览速度；并且将来无须上网就可以很方便地查阅这些信息。不仅如此,Webdup更提供了备份历次下载记录和比较完善的管理功能，使您能够方便地分类保存和管理有价值的下载信息。原理    Webdup在下载项目时，从用户设定的"起始
qinlinhai·2013-12-30 15:00

网站优化 搜索引擎收录网页的四个阶段

网页收录第一阶段：大小通吃搜索引擎的网页抓取都是采取「大小通吃」的策略，也就是把网页中能发现的链接逐一加入到待抓取URL中，机械性的将新抓取的网页中的URL提取出来，这种方式虽然比较古老，但效果很好，这就是
佚名·2013-12-28 16:36

用scrapy进行网页抓取

最近用scrapy来进行网页抓取,对于pythoner来说它用起来非常方便,详细文档在这里:http://doc.scrapy.org/en/0.14/index.html要想利用scrapy来抓取网页信息
playStudy·2013-12-13 16:00

正则表达式

推荐大家一个正则表达式速成网址：http://deerchao.net/tutorials/regex/regex.htm下面是我的学习笔记在网页抓取中，我们经常需要分析html内容，而其内容庞大，节点多
ylf13·2013-11-23 21:00

htmlparser，轻量级网页抓取分析工具

htmlparser简小精悍，对于抓取普通的html页面，具有按照css查找节点的功能，如： public static void main(String[] args) throws IOException, ParserException { String site = "http://tech.qq.com/a/20131112/011680.htm
bjmike·2013-11-18 18:00

搜索引擎入门(三)

Author:元子*********************************************************************继续上一章，说了这么多，今天就简单实现下程序中网页抓取的过程
ylf13·2013-11-11 19:00

django-dynamic-scraper(DDS)网页抓取环境安装搭建

      之前了解了scrapy的强大和速率的惊人，django的便捷，苦于没有机会真正的接触，前几天大哥让研究一下这个框架，wow，DDS强大的把这两个得力的工具整合到了一起，这样只需简单的安装和配置，就可以顺利的爬网抓取页面了。废话不多说将环境搭建过程整理出来，以作备份，希望也能帮助到一些人；搭建django环境查看前一篇博客搭建Django开发环境安装scrapy最新版本是0.18，可以通
RocZhang·2013-11-11 16:00

实施Hadoop集群

那么龙头老大Google就弄出了一个GoogleFileSystem，一个分布式的存储系统，通过很多的小型PC机（很普通的计算机）分布式的将网页抓取、存储、调度，井井有条。
xzm_rainbow·2013-11-10 16:00

Python之HTML的解析（网页抓取一）

对html的解析是网页抓取的基础，分析抓取的结果找到自己想要的内容或标签以达到抓取的目的。    HTMLParser是python用来解析html的模块。
my2010Sam·2013-11-08 20:00

浅谈jsoup网页抓取技术

最近初步接触HTML的页面抓取技术，之前曾涉及较多的是XML解析，对于XML解析方法非常的多，使用dom4j是最方便的。HTML解析似乎用途会更多一些，对于HTML的页面解析却也不甚了解。查了一些资料，了解到了jsoup页面解析技术，jsoup是一款java的HTML解析器，可以直接解析某个URL地址、HTML文本内容，它提供了一套非常省力的API，可通过DOM,CSS以及类似于jquery的操作
tao_sun·2013-10-22 01:00

浅谈jsoup网页抓取技术

    最近初步接触HTML的页面抓取技术，之前曾涉及较多的是XML解析，对于XML解析方法非常的多，使用dom4j是最方便的。HTML解析似乎用途会更多一些，对于HTML的页面解析却也不甚了解。查了一些资料，了解到了jsoup页面解析技术，jsoup是一款java的HTML解析器，可以直接解析某个URL地址、HTML文本内容，它提供了一套非常省力的API，可通过DOM,CSS以及类似于jquer
tao_sun·2013-10-21 17:00

Bloom Filter原理及使用

有过搜索经验的同学们都知道，当进行网页抓取的时候都会遇到url排重的问题，当然这也是面试经常遇到的问题，同学们可能会想到很多的方法去解决这个问题，比如用数据库，kv系统，bitmap等等，但是都由于种种问题不能完全的解决掉排重的问题
wdxin1322·2013-10-18 13:00

Java网页抓取错误总结

1）java.lang.IllegalArgumentException:hostparameterisnull 项目中使用到HttpClient调用接口，部署时出现此问题，后来经检查为配置项出错。即URL应为hhtp://www.baidu.com 但是实际配置成了 www.baidu.com所以出现此错误2）导包将所有在Httpclient下的包导入Java项目！！！
hu1020935219·2013-09-20 15:00

一个简单的基于java的网页抓取程序。

最近在刷水题时，意外找到了一个水题嗅探神器，在这儿：http://blog.csdn.net/hu1020935219/article/details/11697109，大婶说这个是网络爬虫，使用各种搜索方法做出来的，其实就是我们学习的数据结构的图或者树的遍历的原理而已。于是，遂对其十分感兴趣。在图书馆恰好找到一本三年内被借了两次的书：《自己动手写网络爬虫》，开始学习如何编写网络爬虫。看两天的书，
hu1020935219·2013-09-20 14:00

自己做一个网页爬虫用来抓取一个网站的地址

    以前做过全文检索加网页爬虫，针对的是整个因特网，不过，用的开源的网页抓取工具，hreitrix，研究其源码，但也只是稍微修改了部分源码，以达到业务需要，不过，后面，因为项目停了，这个工作我也就搁置了
·2013-09-17 13:00

网页爬虫中的多线程模式

内容如下：===问题细节说明===网页抓取：生产者消费者模式（多v多）===URL去重：读写锁模式===网页写入文件：生产者消费者模式（多v一）===关于多线程的几点
u010064842·2013-09-14 10:00

C#中HttpWebRequest与HttpWebResponse的使用方法

C#HttpHelper,帮助类,真正的Httprequest请求时无视编码，无视证书，无视Cookie,网页抓取1.第一招，根据URL地址获取网页信息  先来看一下代码get方法publicstaticstringGetUrltoHtml
xxglyy·2013-08-30 14:00

自从有了Phantomjs和Casperjs，后台网页抓取和交互变得异常的简单

 Casperjs是基于Phantomjs的，而PhantomJS是一个服务器端的JavaScriptAPI的WebKit。    这跟我一直想找个自带浏览器内核的后台东西的想法“暗合”。所以，在我发现这东西的时候就已经开始不由自主的兴奋起来了，研究一番之后，果不其然，后台连接网站和页面交互一下子变得异常简单起来。尤其是对需要登录才可进行的网页操作。    于是乎，我就用它来写了两个小例子用来做一
alexdream·2013-08-30 09:00

jsoup学习

转自：http://yijianfengvip.blog.163.com/blog/static/17527343220119283040546/ jsoup 网页抓取简介详解，java抓取&
annybz·2013-08-28 14:00

【百度社招】系统架构高级工程师（上海）

【百度社招】系统架构高级工程师（上海） 职位名称: 网页搜索部_系统架构高级工程师（上海）岗位职责:        -负责网页搜索产品服务架构和数据存储架构的设计与升级，包括，网页抓取；海量数据处理平台
猎头ellen·2013-08-28 13:00

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
fennvde007·2013-08-24 10:00

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
mingz2013·2013-08-19 16:29

[Python]网络爬虫（二）：利用urllib2通过指定的URL抓取网页内容

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端，然后读取服务器端的响应资源。
oMingZi12345678·2013-08-19 16:00

linux下HTTP/FTP客户端开发库

来源：http://unix8.net/linux%e4%b8%8bhttpftp%e5%ae%a2%e6%88%b7%e7%ab%af%e5%bc%80%e5%8f%91%e5%ba%93.html网页抓取和
u010779194·2013-08-16 10:00

解析网页抓取所得gzip压缩数据

在进行网页数据抓取时，会遇到压缩数据，可能主要出于如下考虑：简单的防抓取方法没有经过分析就对抓取的网页内容直接进行文本解析，肯定会遇到问题，就像我开始的时候一样。。。压缩数据减少流量这个一般用于提供数据接口，将数据压缩后可以大大减少流量以下提供对抓取数据的处理方法：检测反馈内容是否压缩，并对压缩内容解压检测数据文本编码格式，解压后返回unicode文本检测编码格式所用工具：chardet#-*-c
powerlly·2013-08-12 14:00

基于Python的网页抓取工具

今天为了抓去杭电上的ACM,于是各种查资料,用python做成了一个自动抓取相应玩个信息的程序主要用到了Python的urllib模块和re模块 基本思路,先抓取网页的全部源代码,然后在用正则提取相应的内容  1:#-*-coding:utf-8-*-2: 3:importre4:importurllib5:importMySQLdb6: 7: 8:defdown(i):9:url='http:/
程序猿1号·2013-08-12 13:00

54.使用python做一个简单的网络爬虫

概述：这是一个简单的爬虫，作用也很简单：给定一个网址，抓取这个网址的页面，然后从中提取满足要求的url地址，把这些地址放入队列中，当把给定的网页抓取完毕后，就把队列中的网址作为参数，程序再次去抓取这个页面的数据
quanpower·2013-08-12 01:00

构建一个高性能的网页抓取器

互联网的发展，使人类提前进入了信息爆炸的年代，在浩瀚无边的信息海洋里，如何快速、准确找到对自己有用的信息，就成了一个很有价值的研究课题，于是，搜索引擎应运而生。现在，国内外大大小小的搜索引擎有很多，搜搜也是这搜索引擎大军中的一员悍将。笔者有幸参与了搜搜研发过程中的一些工作，在这里写一些自己的理解与看法，权当是抛砖引玉，希望能够得到业内前辈们的一些指点。    对于网页搜索引擎来说，它的基本处理流程
atco·2013-08-06 11:00

基于python的网页抓取

今天为了抓去杭电上的ACM,于是各种查资料,用python做成了一个自动抓取相应玩个信息的程序主要用到了Python的urllib模块和re模块 基本思路,先抓取网页的全部源代码,然后在用正则提取相应的内容  2: 3:importre4:importurllib5:importMySQLdb6: 1:#-*-coding:utf-8-*-7: 8:defdown(i):9:url='http:/
307458491·2013-08-03 00:20
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他