你们都用什么来做爬虫的

看这里的回复 http://www.v2ex.com/t/62657

42 回复  |  直到 2013-03-18 23:08:21 PM
     1
for4   200 天前   ♥ 3
Python
+requests
+lxml
+celery
     2
xdeng   200 天前
@for4 -.-! 要学这么多东西啊
     3
for4   200 天前
@xdeng
第一个是编程语言
后面三个是可能需要用到的库

这是我认为的写一个爬虫最简单易学的搭配
     4
xieren58   200 天前
Node + jquery
     5
liuxurong   200 天前
我是 requests + pyquery

另外
@for4 celery通常用来做什么
     6
xdeng   200 天前
@xieren58
@liuxurong 这个网站里的全都是 做网页的么
     7
shinwood   200 天前   ♥ 2
试过python + Scrapy，感觉不错。

http://scrapy.org/
     8
greatghoul   200 天前
@shinwood 这个用起来的确骚爽。
     9
colincat   200 天前 via Android
java
     10
for4   200 天前   ♥ 1
@liuxurong
我是把爬虫的各个功能部分分成小任务, 然后按需放入任务队列中. 这样既能有效的降低爬虫的复杂度, 同时用队列也能提高爬虫的稳健度, 比如失败重做.
还有, 使用 celery后你的爬虫就变成分布式的了, 可以简单的布置在多台机器上跑
     11
wingoo   200 天前
scrapy
     12
twm   200 天前
JAVA PHP
     13
dulao5   200 天前
PHP + curl_multi_*

不过以后应该尝试nodejs了，并发容易实现，解析页面里的js更有优势。
     14
xjay   200 天前
scrapy
不解释
     15
PrideChung   200 天前
ruby+norogiri
http://nokogiri.org/
     16
amxku   199 天前
Python
+curl
+celery
     17
1up   199 天前
http://www.gregreda.com/2013/03/03/web-scraping-101-with-python/ Web Scraping 101 with Python
     18
cloverstd   199 天前
Python: urllib, urllib2, re
     19
sobigfish   199 天前
前几天 用nodejs写个玩，但不知道怎么部署在只有web服务的 PaaS上－，－
cheerio很好用阿，完全是jQuery的语法。

require('http');require('cheerio');require('iconv').Iconv;require('mongodb');
     20
chuck911   199 天前
还有人写个爬虫还非要用芹菜...

Scrapy爽是因为它基于事件驱动的Twisted，我以前也很爱Scrapy，后来用上Node写爬虫就感觉从重型土炮换到了肩扛火箭筒
     21
atom   199 天前
@twm
@colincat
同为javaer，能否推荐下是哪个库？
     22
sohoer   199 天前
@atom
JAVA?
HttpURLConnection + Regex = Spider
     23
Linxing   199 天前 via Android
python beautifulsoup urlib爬文章
     24
liuxurong   199 天前
@for4 谢谢。有没有celery的中文资料
     25
crazybubble   199 天前   ♥ 1
@atom 用regex来做html parsing不推荐，我推荐用jsoup。
     26
colincat   199 天前 via iPhone
@sohoer htmlparse httpclient
     27
workaholic   199 天前   ♥ 1
php+snoopy
     28
akalanala   199 天前
@crazybubble 同推荐.
     29
binux   199 天前
python + tornado AsyncHTTPClient + PyQuery
     30
sonicwu   199 天前
Java
+ jsoup

Python
+ Beautiful Soup
+ urllib
+ lxml
     31
dingyaguang117   199 天前
Python
+ Beautiful Soup
+ lxml
+ Scrapy
     32
atom   199 天前
@crazybubble
是个很棒的库，看到 http://try.jsoup.org/ 我就喜欢上它了
     33
zoran   198 天前
Java 可以试试这个 https://github.com/zhuoran/crawler4j
     34
yangxin0   198 天前
看过别人用C
     35
Xrong   198 天前
希望大家给推荐PHP的，毕业设计打算用这玩意写；都说用PHP写不大方便，但是还是希望大伙有写过的，提供源码参考下，有在线资源的也行。
     36
zdwalter   197 天前
phantomjs, casperjs
     37
zhouquanbest   196 天前
python + pyquery 是个好东西
会jquery就能写
     38
nojt7Zm   194 天前
php
     39
kingwkb   194 天前
之前用python，现在换到ruby

http://s.yanghao.org/
     40
gameending   194 天前
python跟java都写过，python很简洁，java的话我觉得也还不错
     41
lbj96347   194 天前
node.js or python. :-)
     42
kdepp   82 天前
node + cheerio