《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇

本项目教程笔记源自多易教育《Titan综合数据仓库与数据运营系统》,在CSDN学院有相关视频教程购买链接,大数据企业级项目实战–Titan大型数据运营系统
本项目课程是一门极具综合性和完整性的大型大数据项目实战课程,课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。
学完本课程,你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER

本课程项目涵盖数据采集与预处理数据仓库体系建设、用户画像系统建设、数据治理(元数据管理、数据质量管理)、任务调度系统、数据服务层建设、OLAP即席分析系统建设等大量模块,力求原汁原味重现一个完备的企业级大型数据运营系统。

跟随项目课程,历经接近100+小时的时间,从需求分析开始,到数据埋点采集,到预处理程序代码编写,到数仓体系搭建…逐渐展开整个项目的宏大视图,构建起整个项目的摩天大厦。


一、工程创建

《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第1张图片《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第2张图片
创建一个父工程;
父工程中引入公共的依赖和插件;



    4.0.0

    cn.doitedu
    data_tiger
    pom
    1.0-SNAPSHOT
    
        dataware
        userprofile
        recommend
        streamingprocess
        common
    

    
        
            org.apache.spark
            spark-sql_2.11
            2.2.0
        

        
            org.scala-lang
            scala-library
            2.11.12
        

    

    
        
            ali-plugin
            http://maven.aliyun.com/nexus/content/groups/public/
            
                true
            
        
    


    
        
            
            
                org.apache.maven.plugins
                maven-compiler-plugin
                3.5.1
                
                    1.8
                    1.8
                
            

            
            
                net.alchim31.maven
                scala-maven-plugin
                3.2.2
                
                    
                        
                            compile
                            testCompile
                        
                        
                            
                                -dependencyfile
                                ${project.build.directory}/.scala_dependencies
                            
                        
                    
                
            

        
    

然后在父工程中创建各个子工程;
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第3张图片
编写demo代码,测试工程;
项目的码云git地址:

  • https://gitee.com/hunter_d/doyiee.git

二、补充:maven扩展知识

父子工程:
       父工程的pom中会包含module定义:
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第4张图片
       子工程的pom中会有parent定义:
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第5张图片
依赖继承:
父工程中引入的依赖,所有子工程都会自动继承
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第6张图片
依赖管理:
父工程通过dependencyManagement声明依赖的相关属性(版本),但并不会真正引入依赖;
子工程在引入dependencyManagement所声明的依赖时,不需要指定版本,直接继承dependencyManagement中声明的版本!
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第7张图片
属性定义
通过properties标签可以声明自定义属性(属性名、属性值)
在pom中的别的地方就可以用${属性名}来引用属性的值!
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第8张图片
传递依赖的排除
如果我们直接引入了依赖A/B/C,都有传递依赖D,而且对D依赖的版本各不相同!就有可能在运行时产生依赖冲突!可以通过排除掉一些传递依赖来避免冲突!
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第9张图片

三、拉取gitee上的项目

1、前提

机器上装好了git客户端
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第10张图片
idea上的git插件,修改了git程序的本地安装目录
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第11张图片
idea上装好了gitee插件,并配置了账号密码
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第12张图片

2、拉取

《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第13张图片
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第14张图片
项目的git地址:

  • https://gitee.com/hunter_d/doit12_yiee.git

以后,每当服务器上的项目有更新,本地可以通过pull命令来拉取、同步
《大型综合项目-基于大数据平台的数据仓库》学习笔记之(06):工程搭建篇_第15张图片


本项目教程笔记源自多易教育《Titan综合数据仓库与数据运营系统》,在CSDN学院有相关视频教程购买链接,大数据企业级项目实战–Titan大型数据运营系统
本项目课程是一门极具综合性和完整性的大型大数据项目实战课程,课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。
学完本课程,你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER

本课程项目涵盖数据采集与预处理数据仓库体系建设、用户画像系统建设、数据治理(元数据管理、数据质量管理)、任务调度系统、数据服务层建设、OLAP即席分析系统建设等大量模块,力求原汁原味重现一个完备的企业级大型数据运营系统。

跟随项目课程,历经接近100+小时的时间,从需求分析开始,到数据埋点采集,到预处理程序代码编写,到数仓体系搭建…逐渐展开整个项目的宏大视图,构建起整个项目的摩天大厦。

你可能感兴趣的:(大数据综合实战项目)