网页爬虫

模拟简单的网页爬虫原理

利用URL对象和正则表达式、Pattern实现网络爬虫的功能。什么是网络爬虫？网络爬虫又叫蜘蛛，网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。所
weixin_34413065·2013-08-05 23:59

python spider 爬虫

/usr/bin/env python#coding=utf-8####################################################  网页爬虫，版本:0.5#  开发人员
oMingZi12345678·2013-07-24 09:00

Common Crawl-给你谷歌级的免费数据

但是巨大的搜索结果来源于谷歌的网页爬虫程序对每个页面的收集，并将这些网页数据存储在自己的数据库中，但是这些海量的数据无法被普
chinaliping·2013-07-04 10:00

python+Selenium2+chrome构建动态网页爬虫工具

网页爬虫分为静态网页爬虫和动态网页爬虫，前者是指索要获取的网页内容不需要经过js运算或者人工交互，后者是指获取的内容必须要经过js运算或者人工交互。这里的js运算可能是ajax，人工交互不需要解释了。
cjsafty·2013-06-30 11:49

python+Selenium2+chrome构建动态网页爬虫工具

     网页爬虫分为静态网页爬虫和动态网页爬虫，前者是指索要获取的网页内容不需要经过js运算或者人工交互，后者是指获取的内容必须要经过js运算或者人工交互。
cjsafty·2013-06-30 11:00

网页爬虫抓取URL

importjava.io.InputStream; importjava.net.URL; importjava.util.ArrayList; /* Description:爬网页用 Author:long.tang */ publicclassSearchClawler{ publicStringmyGetHttpFile2(Stringurl){ StringurlSource=u
shenshen123jun·2013-06-01 17:00

java正则表达式简单使用和网页爬虫的制作代码

正则表达式是一种专门用于对字符串的操作的规则。1.在String类中就有一些方法是对字符串进行匹配，切割。判断字符串是否与给出的正则表达式匹配的：booleanmatches(Stringregex);按照给定的正则表达式对字符串进行切割的：String[]split(Stringregex);将符合正则表达式的字符串替换成我们想要的其他字符串：StringreplaceAll(Stringreg
·2013-05-14 14:17

用python编写网页爬虫

      一、前期准备    为了完成一个网页爬虫的小程序，需要有以下准备：    1了解基本的http协议    2urllib2库接口熟悉    3熟悉python正则表达式          二
ab198604·2013-05-13 09:00

C#网页爬虫学习笔记(1)

最近做的东西感觉是各种搜索，这次学习的爬虫技术。爬虫技术，又叫做网络蜘蛛（蚂蚁等），是借助计算机实现人类无法达到的速度不间断的对执行某些任务，在这里我们的目标是获取指定网站中的指定数据。既然要获取数据，我们首先要做的就是与网站取得通信建立连接，C#的System.Web为我们提供了建立通信的方法HttpWebRequestall_request=(HttpWebRequest)WebRequest
·2013-04-04 15:00

crawler4j java多线程网页爬虫

j网上对于crawler4j这个爬虫的使用的文章很少，Google到的几乎没有，只能自己根据crawler4j的源码进行修改。这个爬虫最大的特点就是简单易用，他连API都不提供。刚开始的时候实在恨不能适应。好在他的源码也提供了几个例子。对于一般的应用大可以直接修改它的例子。废话少说。源码可以从SVN直接下载： https://crawler4j.googlecode.com/svn/trunk/使
ewili·2013-02-26 15:00

网页爬虫

最近为了练手而且对网页爬虫也挺感兴趣，决定自己写一个网页爬虫程序。首先看看爬虫都应该有哪些功能。
RowandJJ·2013-02-23 12:00

采用python的pyquery引擎做网页爬虫，进行数据分析

python下的 pyquery 很给力的！！！pyquery可以让你用jquery语法来对xml进行查询。这个API和jquery十分类似。如果利用lxml，pyquery对xml和html的操作将更加快速。这个库并不是（至少还不是）一个可以和javascript互交的代码库。只是很喜欢jqueryAPI并且在使用python的过程中，我真的很怀念jquery，所以我告诉我自己“让我们在pyth
rfyiamcool·2013-02-07 00:22

采用python的pyquery引擎做网页爬虫，进行数据分析

python下的pyquery很给力的！！！pyquery可以让你用jquery语法来对xml进行查询。这个API和jquery十分类似。如果利用lxml，pyquery对xml和html的操作将更加快速。这个库并不是（至少还不是）一个可以和javascript互交的代码库。只是很喜欢jqueryAPI并且在使用python的过程中，我真的很怀念jquery，所以我告诉我自己“让我们在python
rfyiamcool·2013-02-07 00:22

Python天气预报采集器实现代码(网页爬虫)

爬虫简单说来包括两个步骤：获得网页文本、过滤得到数据。 1、获得html文本。 python在获取html方面十分方便，寥寥数行代码就可以实现我们需要的功能。 defgetHtml(url): page=urllib.urlopen(url) html=page.read() page.close() returnhtml 这么几行代码相信不用注释都能大概知道它的意思。 2、根据正则表达式等获得需
yidangui·2013-01-26 10:00

网页爬虫抓取URL简单实现

关键字：网页爬虫抓取URL简单实现 . //开始......
zhaoshijie·2012-12-26 11:00

一个简易的网页爬虫，可用于下载在线API文档

packagewkx; importjava.io.File; importjava.io.FileNotFoundException; importjava.io.FileOutputStream; importjava.io.IOException; importjava.util.HashSet; importjava.util.Set; importorg.apache.commons
Jack_Wong2010·2012-12-13 09:00

简易网页爬虫

这里需要你下载下相应的jar包。HttpClient需要的3个jar包：commons-httpclient-x.jarr包、commons-codec-x.jar、commons-logging-x.jarHtmlParser解析两个包htmlparser.jar、htmllexer.jar。(查看下面的附件)点击这里查看详细信息：https://www.ibm.com/developerwor
ciznx·2012-12-12 11:15

基于jsoup的网页爬虫

前阵子做了个网页抓取工具，可扩展性较差，今天发现google 的一个开源网页抓取工具jsoup，写了个测试，与大家分享下 package com.gump.net.html.test; import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.js
ganliang13·2012-11-05 23:00

Python天气预报采集器（网页爬虫）

python是一门很强大的语言，在实现爬虫方面也十分方便。这个天气预报采集是从中国天气网提取广东省内主要城市的天气并回显。本来是打算采集腾讯天气的，但是貌似它的数据是用js写上去还是什么的，得到的html文本中不包含数据，所以就算了。爬虫简单说来包括两个步骤：获得网页文本、过滤得到数据。 1、获得html文本。python在获取html方面十分方便，寥寥数行代码就可以实现我们需要的功能。1defg
·2012-10-07 11:00

Python天气预报采集器实现代码(网页爬虫)

爬虫简单说来包括两个步骤：获得网页文本、过滤得到数据。1、获得html文本。python在获取html方面十分方便，寥寥数行代码就可以实现我们需要的功能。复制代码代码如下:defgetHtml(url):page=urllib.urlopen(url)html=page.read()page.close()returnhtml这么几行代码相信不用注释都能大概知道它的意思。2、根据正则表达式等获得需
·2012-10-07 00:02

2012 百度实习生笔试(2)

4、网页爬虫，即从一个网页开始，查找出该页的所有url网址，并进入这些url，如此循环，直到某个时候连接回来或者到某个空白页为止。将这些连接url一一连接起来。
jiary5201314·2012-08-28 18:00

python-常用小程序-网页爬虫

1，下载网页单幅图片到本地文件夹#-*-coding:UTF-8-*-#!/usr/bin/python#下载网页图片到本地文件夹importos,urllib2,urllib#设置下载后存放的本地路径"E:\img\1.jpg"path=r'E:\img'file_name=r'1.jpg'dest_dir=os.path.join(path,file_name)#设置链接的路径url="htt
gexiaobaoHelloWorld·2012-08-24 13:43

python-常用小程序-网页爬虫

1，下载网页单幅图片到本地文件夹#-*-coding:UTF-8-*- #!/usr/bin/python #下载网页图片到本地文件夹 importos,urllib2,urllib #设置下载后存放的本地路径"E:\img\1.jpg" path=r'E:\img' file_name=r'1.jpg' dest_dir=os.path.join(path,file_name) #设置链接的
gexiaobaoHelloWorld·2012-08-24 13:00

网页爬虫抓取URL简单实现

package com.ogilvy.sayes.util; import java.io.InputStream; import java.net.URL; import java.util.ArrayList; import java.util.Hashtable; /* Description: 爬网页用 Author : long.ta
tanglong8848·2012-08-01 16:00

网页爬虫 mysh-crawler

去年写了个网页爬虫, 放在 https://code.google.com/p/mysh-crawler/, google code 常被政府墙掉, 搞不懂代码有啥好墙的
mysh·2012-07-19 23:00

python写的网页爬虫-scrapy

博客已搬家至360converter博客平台，此文链接：http://blog.360converter.com/archives/1161
huangxiansheng1980·2012-07-18 23:00

网页爬虫、中文分词、全文搜索及自动定时调度

   如题，实现网页爬虫，将制定URL下的网页内容进行爬查，去掉HTML代码后保存到本地，并对这些内容进行中文分词，建立索引，而后提供全文搜索服务。
东方红·2012-07-15 23:02

黑马程序员_网页爬虫

----------------------android培训、java培训、期待与您交流！----------------------importjava.io.*;importjava.util.regex.*;classpractice33{publicstaticvoidmain(String[]args)throwsException{BufferedReaderbr=newBuffer
a87848180·2012-06-16 15:30

2012百度实习生笔试（2）

4、网页爬虫，即从一个网页开始，查找出该页的所有url网址，并进入这些url，如此循环，直到某个时候连接回来或者到某个空白页为止。将这些连接url一一连接起来。
baikaishui525·2012-05-08 20:00

2012-5-6号参加的百度实习生笔试题目

算法设计1：网页爬虫搜索网页时，将所搜索过的网页形成
西昆仑·2012-05-07 20:00

网页爬虫

Heritrix Heritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和METArobots标签。http://crawler.archive.org/WebSPHINX WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。WebSPHINX由两部分组
swqqcs·2012-04-22 09:00

巧用IronPython做更灵活的网页爬虫

巧用IronPython做更灵活的网页爬虫-51CTO.COM巧用IronPython做更灵活的网页爬虫2011-02-2309:48胡浩胡浩的博客我要评论(0)字号：T|T如果有了IronPython
·2012-03-31 14:00

长期招聘：高级爬虫开发工程师

参与爬虫架构设计和研发参与爬虫核心算法和策略优化研究技能要求:3年以上Linux环境下C/C++开发经验,熟练使用一门以上脚本语言(PHP/PYTHON/PERL等)熟悉多线程、多进程、网络通信编程相关知识2年以上大规模网页爬虫开发经验
猎头sherry·2012-01-19 09:00

谷奥: 专门的 Googlebot-News 爬虫跟 Googlebot 合并

Google宣布不再使用单独的Googlebot-News爬虫来为GoogleNews抓取新闻内容，新闻爬虫将被Googlebot网页爬虫所代替，至此Google就只有这一种爬虫了。
(author unknown) Lionheart·2011-08-27 04:00

谷奥: 专门的 Googlebot-News 爬虫跟 Googlebot 合并

Google宣布不再使用单独的Googlebot-News爬虫来为GoogleNews抓取新闻内容，新闻爬虫将被Googlebot网页爬虫所代替，至此Google就只有这一种爬虫了。
(author unknown) Lionheart·2011-08-26 20:00

几个Java的开源爬虫

网页爬虫汇总HeritrixHeritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和METArobots标签。
lizhi200404520·2011-06-21 19:00

网页爬虫程序开发经验谈

现在是网络的时代，所有数据都可以在互联网上得到，所以能够自动抓取Web数据的网页爬虫程序（又叫网络机器人，WebRobot）就逐渐流行了起来。
tan625747·2011-06-13 22:00

蛙蛙推荐：利用IronPython做更灵活的网页爬虫

由于各种原因，我们经常需要去别的网站采集一些信息，.net下所有相关的技术都已经非常成熟，用Webrequest抓取页面，既支持自定义Reference头，又支持cookie，解析页面一般都是用正则，而且对方网站结构一变，还得重新改代码，重新编译，发布。如果有了IronPython，可以把抓取和分析的逻辑做成Python脚本，如果对方页面结构变了，只需修改脚本就行了，不需重新编译软件，这样可以用c
·2011-02-22 09:00

网页爬虫Html

package cn.gurong.gurongproduction.util; import java.net.HttpURLConnection; import java.net.URL; import java.util.regex.Matcher; import java.util.regex.Pattern; public class BaseHtmlParser {
空留一缕青烟·2011-02-12 09:00

ruby爬虫utf8编码相关

and-html-screen-scrapinghttp://www.rubyrailways.com/data-extraction-for-web-20-screen-scraping-in-rubyrails/ 想弄一个网页爬虫
·2011-01-16 22:00

一个简单的JAVA网页爬虫

public class Access implements Runnable{          HttpURLConnection huc;      InputStream is;  &
blessed24·2010-12-05 14:00

网页爬虫程序pageSpider

2009-05-0519:44该程序仅对单个URL所对应的page网页信息进行抓取（pageSpider.java）。程序流程图如下： importjava.io.BufferedReader;importjava.io.IOException;importjava.io.InputStream;importjava.io.InputStreamReader;importjava.net.Http
blessed24·2010-12-02 12:00

网页爬虫程序开发经验谈

现在是网络的时代，所有数据都可以在互联网上得到，所以能够自动抓取Web数据的网页爬虫程序（又叫网络机器人，Web Robot）就逐渐流行了起来。
solidfish·2010-08-25 08:00

爬虫 source <转>

阅读更多Spidr是一个Ruby的网页爬虫库，可以将整个网站、多个网站、某个链接完全抓取到本地。
waveeee·2010-08-05 11:00

爬虫 source <转>

Spidr 是一个Ruby 的网页爬虫库，可以将整个网站、多个网站、某个链接完全抓取到本地。
waveeee·2010-08-05 11:00

用 python 做简单的网页爬虫程序<转>

http://www.cnblogs.com/rchen/archive/2006/05/05/392275.html 今天看到一个网页，又因为在家里用电话线上网，一直在线阅读很麻烦。所以就写了个简单的程序把网页抓下来离线阅读，省点电话费：） 这个程序因为主页面链接到的页面都在同一个目录下，结构很简单，只有一层。因此写了一些硬编码做链接地址的分析。 代码如下： #!/usr/bin
waveeee·2010-08-05 10:00

用 python 做简单的网页爬虫程序<转>

阅读更多http://www.cnblogs.com/rchen/archive/2006/05/05/392275.html今天看到一个网页，又因为在家里用电话线上网，一直在线阅读很麻烦。所以就写了个简单的程序把网页抓下来离线阅读，省点电话费：）这个程序因为主页面链接到的页面都在同一个目录下，结构很简单，只有一层。因此写了一些硬编码做链接地址的分析。代码如下：#!/usr/bin/envpyth
waveeee·2010-08-05 10:00

网页爬虫程序开发经验谈 <转>

http://www.dnbcw.com/biancheng/dreamweaver/flrt75315.html 简介：这是网页爬虫程序开发经验谈的详细页面，介绍了和dreamweaver,网页爬虫有关的知识
waveeee·2010-08-05 10:00

网页爬虫程序开发经验谈 <转>

阅读更多http://www.dnbcw.com/biancheng/dreamweaver/flrt75315.html简介：这是网页爬虫程序开发经验谈的详细页面，介绍了和dreamweaver,网页爬虫有关的知识
waveeee·2010-08-05 10:00

Gerry版网页爬虫V0.01(Java语言版本)

import java.io.ByteArrayOutputStream;   import java.io.File;   import java.io.FileOutputStream;   import java.io.IOException;   import java.io.InputStre
ago520·2010-06-23 16:00
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他