我们为什么要做open-spider这个开源项目？一款开源网络爬虫

为什么要做这个开源项目？开源网络爬虫

• 做这个开源项目我们主要想解决 两个核心问题 ： 网络上有用的数据在哪儿？ & 怎么采集有用的数据？

• 1.有用的数据在哪儿？

互联网和移动互联网的信息量实在是太大了，很多有用的信息都在网上，但不是每个人都能准确的知道和找到。例如：我们需要获取国家最新的政策信息，需要从国务院、省级和市级的工信部、发gai委、财政厅、等网站获取，不是每个人都能精准的找到这些网站地址和具体栏目。

因此，我们会把对所有人有用的信息源都收集起来，并且一一对应、归档整理、定期更新，不断的把资源开放给大家。

• 2.怎么采集有用的数据？

网上有很多免费的数据采集工具，对于大多数人来说想在短时间内上手几乎不可能。原因不是他们的软件本身做的不好，而是无论怎么去开发这类的工具，对于一个普通用户来说，学习的成本太高了。

因此，我们会提供一个“采集应用市场”，让把大家上传、分享、交流经常需要采集的网站，随着分享和交流会有越来越多的用户能快速的获取自己需要采集网站的代码，还可以在自己的电脑、服务器、云端运行。

FIY： 充分利用过去和现在的信息&数据, 对未来的预测?！ 这是我们想为大家做的一点贡献！

开源项目地址：

Open-Spider: 不懂网络爬虫技术，也可轻松采集海量数据！简单易上手，人人可用的工具！

希望大家能多多指教，提出你宝贵的意见！

无论你是有相关经验、技术可以一起加入我们的开源项目。

优质信源集合

我们正在开源的项目

yuqing 舆情监控系统  
yuqing首页、文档和下载 - 舆情监控系统 - OSCHINA - 中文开源技术交流社区