Go语言打造分布式爬虫

Go Distributed Reptiles

相信这个项目，对于学习分布式系统或者爬虫的你来说，帮助是巨大的。
抓紧试试这个分布式爬虫吧！
项目的思路来自于慕课网的ccmouse老师链接
微服务教程学习吧
github apple-han
视频讲解 程序小样

技术栈

Go, Protobuf, Consul, Docker, Elasticsearch, BloomFilter

必须要做的

• git clone https://github.com/apple-han/island.git
• cd island
• 全局搜索192.168.31.231 换成你主机的IP地址(这里因为有json文件,不好做全局的配置)

Docker的方式部署

• cd crawler_distributed/persist

  • make build
  • make docker

• cd crawler_distributed/worker

  • make build
  • make docker

• cd crawler_distributed

  • make build
  • make docker

• cd crawler/frontend

  • make build
  • make docker

• cd island

• docker-compose up -d

• http://192.168.31.231:8888/search?q=大众(自己的ip)

小贴士

1. 由于系统是一个分布式的,所以整体下来 还是有一点难度
2. 希望大家，好好看一下，应该对你帮助会挺大的