大数据课程L3——网站流量项目的系统搭建

文章作者邮箱：[email protected]              地址：广东惠州

 ▲ 本章节目的

⚪ 了解网站流量项目的运行环境；

⚪ 了解网站流量项目的日志采集系统搭建；

⚪ 了解网站流量项目的离线业务系统搭建；

⚪ 了解网站流量项目的Hive做离线数据处理；

⚪ 了解网站流量项目的日志服务器——Flume连通；

一、项目环境搭建

1. 所需资源

1. IDEA 集成开发环境。

2. maven 项目管理工具。

3. tomcat 应用服务器。

2. 实现步骤

1.创建Maven工程，选择webapp骨架。

2.创建FluxAppServer和FluxLogServer两个Module，也都是Maven的webapp骨架。

3.添加本地tomcat环境。

4.指定发布到Tomcat的web工程，并指定访问的路径。

5.修改启动端口。

6.添加FluxAppServer工程相关的js文件与网页文件。

<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>

7.添加FluxLogServer工程相关文件

并在pom.xml中添加如下内容：

      org.apache.tomcat

      tomcat-servlet-api

      7.0.63

      provided

 

log4j

log4j

1.2.17

org.apache.flume

flume-ng-core

1.9.0

org.apache.flume.flume-ng-clients

flume-ng-log4jappender

1.9.0

8.启动Tomcat

二、日志采集系统搭建

1. 搭建步骤

1. log4j配置说明：

log4j.rootLogger = info,stdout,flume

log4j.appender.stdout = org.apache.log4j.ConsoleAppender

log4j.appender.stdout.Target = System.out

log4j.appender.stdout.layout = org.apache.log4j.PatternLayout