想利用爬虫做一个web界面的信息咨询服务平台整合一个智能化的生活数字化解决方案平台

想利用爬虫做一个web界面的信息咨询服务平台

一.界面

vue element ui 参考zheng-admin

二.技术架构

idea git maven spring boot spring cloud webmagic deeplearning4j activemq hadoop mysql vue jquery

三.数据库

mysql power designer

四:目的

zheng-admin的ui结合,java爬虫后台,效率用集群和分布式,微服务,存储这些用hadoop,数据分析用excel 和 mysql ,hadoop+deeplearning4j
条件->爬取数据-清理数据->分析数据–>提取有用信息–>得出结论

通过这个项目学到很多编程技术 ,重构,项目管理,excel,等东西,可以提升面试逼格,增强技术知识,学习,设计,需求,文档,开发,测试,运维,运营,设计模式的运用,底层的涉及
是可扩展的,随时可以扩展其他功能和其他系统兼容.利用webservice技术,做一些子系统进行交互扩展,最终目标,自己的大部分在网上的需求,都可以通过这个中枢系统配合其他专门的系统和服务来完成,通过浏览器,各个模块同步进行,一边做,一边设计,一边重构,一边吸收其他的优秀项目