python大神们都在用的爬虫工具,你知道几个?

Python 爬虫的工具列表大全

  • 网络
    • 通用
    • 异步
  • 网络爬虫框架
    • 功能齐全的爬虫
    • 其他
  • HTML/XML解析器
    • 通用
    • 清理
  • 文本处理
    • 通用
    • 转换
    • 字符编码
    • Slug化
    • 通用解析器
    • 人的名字
    • 电话号码
    • 用户代理字符串
  • 特定格式文件处理
    • 通用
    • Office
    • PDF
    • Markdown
    • YAML
    • CSS
    • ATOM/RSS
    • SQL
    • HTTP
    • 微格式
    • 可移植的执行体
    • PSD
  • 自然语言处理
  • 浏览器自动化与仿真
  • 多重处理
  • 异步
  • 队列
  • 云计算
  • 电子邮件
  • 网址和网络地址操作
    • URL
    • 网络地址
  • 网页内容提取
    • HTML页面的文本和元数据
    • 视频
    • 维基
  • WebSocket
  • DNS解析
  • 计算机视觉
  • 代理服务器
  • 其他Python工具列表

即然提到了爬虫,就从网上理了一份python爬虫相关的包。包含与网页抓取和数据处理的Python库,需要的朋友可以参考下

网络

通用

  • urllib -网络库(stdlib)。
  • requests -网络库。
  • grab – 网络库(基于pycurl)。
  • pycurl – 网络库(绑定libcurl)。
  • urllib3 – Python HTTP库,安全连接池、支持文件post、可用性高。
  • httplib2 – 网络库。
  • RoboBrowser –

你可能感兴趣的:(基础入门,爬虫,python,python,编程语言,爬虫,开发工具)