今日最头条项目介绍

该项目使用springcloud、webmagic、kafka、elasticserach、redis、vue等框架，爬取新闻存储到mysql、elasticsarch中，并通过vue做前端展示并提供搜索功能，开发过程很漫长，慢慢搞

1、使用webmagic爬取数据

本来的想法是爬取zaker的新闻的，但写到一半发现zaker网站的下一页是异步请求，而且返回的json数据还是加密了的，就放弃了，其他网站也没啥好爬的，而且爬虫不是重点，就采取爬百度的资讯搜索，这样一来就简单很多了，具体的webmagic文档可以去官网查看 webmagic爬虫官网

2、爬取的数据处理

爬取的数据，通过kafka发送消息到dao的项目中，保存在mysql里，插入数据后获取到自增的id，再把数据通过kafka发送给es和redis，es用来搜索，redis还没想好干嘛，先放着吧，以后可以搞个热key

3、项目结构

整个项目采用springcloud/springboot框架，采用分布式结构，使用consul作为注册中心，每个子项目都可以单独部署。项目的结构没有刻意的规划，怎么简单怎么来

4、软件安装

软件安装采用的是docker的方式安装，docker还真是方便啊，安装方法在这里 docker安装各类软件
docker的安装也不多说了 Docker安装与入门

5、搜索数据的前端展示

本来想着搞一个vue项目，用于索引数据，但是网络问题一直没搞好，可能就用layui简单搞个页面展示了，这个也不重要