xl132598798
xl132598798

大数据实战项目（1）-项目简介、开发技术、工具、架构等

项目目标

  • 完成大数据项目的架构设计，安装部署，架构继承与开发，用户可视化交互设计
  • 完成实时在线数据分析
  • 完成离线数据分析

具体功能

  • 捕获用户浏览日志信息（TB）
  • 实时分析前N名流量最高的新闻话题
  • 实时统计当前线上已曝光的新闻话题
  • 统计哪个时段用户浏览量最高
  • 报表展示

工具、技术、语言

开发工具

  • VMware Workstation
  • CentOS 6.4
  • Xshell 6
  • FileZilla
  • IntelliJ IDEA 2018
  • Notepad++
  • maven-3.6.0

项目技术点

  • zookeeper-3.4.5-cdh5.10.0
  • hadoop-2.6.0
  • hbase-1.0.0-cdh5.4.0
  • spark-2.2.0
  • kafka_2.11-0.10.0.0
  • flume-1.7.0-bin
  • hive-2.1.0
  • hue-3.9.0-cdh5.15.0
  • mysql
  • J2EE
  • Websocket
  • Echarts

项目语言

  • jdk1.8.0_191
  • scala-2.11.12
  • shell

架构、数据流程、资源规划

数据流程

大数据实战项目（1）-项目简介、开发技术、工具、架构等_第1张图片

（图片来自于所学课程）

集群资源规划

bigdata-pro01.bigDAta.com bigdata-pro02.bigDAta.com bigdata-pro03.bigDAta.com
HDFS NameNode DataNode NameNode DataNode DataNode
YARN RescourceManager NodeManager RescourceManager NodeManager NodeManager
ZooKeeper ZooKeeper ZooKeeper ZooKeeper
Kafka Kafka Kafka Kafka
HBase Master RegionServer Master RegionServer RegionServer
Flume 日志合并预处理 日志采集 日志采集
MySQL MySQL
Spark Spark worker Spark master worker Spark worker
Hive Hive
Hue Hue

大数据实战项目（2）-数据采集、处理、分发流程所涉及到的框架及配置
大数据实战项目（3）-离线处理及实时处理部分

你可能感兴趣的:(big_data)

  • sql server 批量循环写入的存储过程 wangqiaowq 服务器运维
    USE[big_data]GO/******Object:StoredProcedure[dbo].[sp_RefreshDWDByDateBATCHTEST]ScriptDate:2024/1/268:50:19******/SETANSI_NULLSONGOSETQUOTED_IDENTIFIERONGO--===========================================
  • 更改数据库名称时 存储过程的数据库名称如何改变 wangqiaowq 数据库
    在SQLServer中，当你更改数据库名称时，存储过程中的USE[big_data]语句不会自动更改。你需要手动更新所有引用旧数据库名称的存储过程。若要修改存储过程中的数据库引用，可以按照以下步骤操作：首先，使用ALTERDATABASE语句更改数据库名称：ALTERDATABASEbig_dataMODIFYNAME=big_data_test;然后，找出所有引用旧数据库名称（big_data）
  • 搭建Hadoop集群过程中常见错误的解决方案 撕得失败的标签 Hadoophadoop大数据Java集群
    格式化报错权限问题出现cannotcreatdirectory或cannotcreatfile类型如下报错信息：cannotcreatedirectoryPermissiondenied如果使用的是user用户，多数情况下是因为文件权限问题，hadoop3.3.1、big_data（存数据）、log_hadoop（存日志）文件都要将权限给user。9.1.2主机名问题不识别主机名称，如下报错信息：
  • openpyxl学习笔记（三） 自给自足财富自由
    一、读取大Excel文件内容#-*-coding:utf-8-*-"""CreatedonSatMay415:50:342019@author:86183"""#读取非常大的Excel文件，只读不编辑fromopenpyxlimportload_workbookwb=load_workbook(filename='lage.xlsx',read_only=True)ws=wb['big_data'
  • MySQL千万数据优化分页查询 三丶斤
    操作环境:MySQL:5.7.26NavicatforMySQL目的:MySQL千万级数据的优化查询1.创建1000w数据1.1建表建表SQL语句CREATETABLE`big_data`(`id`int(11)NOTNULLPRIMARYKEYAUTO_INCREMENT,`name`varchar(16)DEFAULTNULL,`age`int(11)DEFAULTNULL,PRIMARYKE
  • hive-3.1.3 部署 ubuntu20 Jason Yien hivehadoop数据仓库
    准备安装hadoop安装hivederby#上传scp-P22-rD:\00garbage\big_data\hive\[email protected]:/home/mybigdata/tar-zxvfapache-hive-3.1.3-bin.tar.gzmvapache-hive-3.1.3hive#环境变量vim~/.ba
  • CNN进行猫狗识别（PyTorch） csp_ #pytorch#cvpytorchcnn深度学习
    活动地址：CSDN21天学习挑战赛目录任务介绍数据预处理图像可视化建立模型进行训练任务介绍数据结构为：big_data├──train│└──cat│└──XXX.jpg（每个文件夹含若干张图像）│└──dog│└──XXX.jpg（每个文件夹含若干张图像）├──val│└──cat│└──XXX.jpg（每个文件夹含若干张图像）│└──dog└─────└──XXX.jpg（每个文件夹含若干张图
  • HBase2.1.1安装 天狼10010 HBase
    1、单机模式搭建1.1、下载http://archive.apache.org/dist/hbase/2.1.1/1.2、自带zookeeper-3.4.131.3、配置hbase环境变量vim/etc/profileexportHBASE_HOME=/usr/local/big_data/hbase/hbase/hbase-2.1.1PATH=$ZOOKEEPER_HOME/bin:$JAVA_
  • 在已经写好的静态的echarts图的基础上引用api接口调取并显示数据 做个前端工程师吧 小程序echarts
    在已经写好的静态的echarts图的基础上引用api接口调取并显示数据昨天已经写好了静态的echarts图今天给了几个接口来调用，需要修改js。在ec所指向的函数中加入新的代码块，并且引入了新的js：axios.jsconsturl='/admin/big_data/height_count';//这是个接口constbody={access_token:'aaaa'}//这三行我还没搞懂是啥意思
  • 检查程序运行错误日志并发送钉钉机器人播报 yekanghui 大数据
    1.使用shell脚本监听错误日志监听日志文件中含有”ERROR”的日志grep-E"ERROR"/big_data/log/log_bi_report/Report_$(date-d"$adaysago"+%Y-%m-%d).log/big_data/log/log_bi_report/Report_(date−d"adaysago”+%Y-%m-%d).log是程序运行输出的日志文件2.编写钉
  • 《写给大忙人的hadoop2》读书笔记（一）大数据定义 mr_power 读书笔记hadoop大数据
    本文主要内容摘记自电子工业出版社出版的《写给大忙人的Hadoop2》，DouglasEadline著，卢涛李颖译。如想深入了解相关内容，请购买正版书籍阅读。一、大数据的定义大数据不只是数据量大的意思，根据维基百科（http://en.wikipedia.org/wiki/Big_data）,大数据的定义有以下几个特点。1、数据量（Volume）:大的数据量明确界定了大叔与。在某些情况下，数据的庞大
  • 分布式事务(一) 两阶段提交及JTA 郭俊JasonGuo 分布式SQL数据库Java成神之路Kafka深度剖析
    原创文章，转载请务必将下面这段话置于文章开头处。本文转发自Jason’sBlog，原文链接http://www.jasongj.com/big_data/two_phase_commit/分布式事务分布式事务简介分布式事务是指会涉及到操作多个数据库（或者提供事务语义的系统，如JMS）的事务。其实就是将对同一数据库事务的概念扩大到了对多个数据库的事务。目的是为了保证分布式系统中事务操作的原子性。分布
  • 杭电1108题 杭电
    //求最小公倍数#include <iostream>#include <math.h>using namespace std;int big(int a,int b);int main(){ int a,b; while(cin>>a>>b) {  int big_data = big(a,b);&
  • 第81讲：Scala中List的构造是的类型约束逆变、协变、下界详解 duan_zhihua
    本视频由王家林老师采用代码案例实战的方式详细讲解了“Scala中List的构造是的类型约束逆变、协变、下界”。视频的知识点包括两大内容：一，List的::和:::详解二，List中的逆变、协变和下界在scala的DOS编辑窗口下分别定义抽象类Big_Data和Big_Data的子类Hadoop、Spark，代码如下：scala>abstractclassBig_DatadefinedclassBi
  • Flume: high qulity blogs ylzhj02 Flume
    基于Flume的美团日志收集系统(一)架构和设计 http://blog.newitfarmer.com/big_data/big-data_integration/flume-big-data-production/15472/repost-%E5%9F%BA%E4%BA%8Eflume%E7%9A%84%E7%BE%8E%E5%9B%A2%E6%97%A5%E5%BF%97%E6%94%B6
  • redis-2.8.13 安装 zhoujj303030
    一、下载须知软件准备：redis-2.8.13.tar.gz 下载地址：下载Redhat需要安装以下包：yuminstalltcl#redis需要安装tclyuminstallgcc#编译需要gccyuminstalljemalloc-devel二、安装步骤1.解压：[root@master ~]#cd/home/big_data[root@master big_data]# tarxvzfred
  • html页面js获取参数值 0624chenhong html
    1.js获取参数值js function GetQueryString(name) {      var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)");      var r = windo
  • MongoDB 在多线程高并发下的问题 BigCat2013 mongodbDB高并发重复数据
    最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫 展，重复去看 MongoDB 的 API , 终于有了新发现 ： com.mongodb.DB 这个类有
  • c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构C++
    #include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
  • 最近情况 麦田的设计者 感慨考试生活
       在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。   
  • linux系统中用pkill踢出在线登录用户 被触发 linux
    由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who   查出当前有那些终端登录（用 w 命令更详细） # who root     pts/0        2010-10-28 09:36 (192
  • 仿QQ聊天第二版 肆无忌惮_ qq
    在第一版之上的改进内容:  第一版链接: http://479001499.iteye.com/admin/blogs/2100893   用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑.   信息修改后上传至服务器再告诉所有用户,自己的窗口
  • java读取配置文件 知了ing
    1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
  • __attribute__ 你知多少？ 矮蛋蛋 C++gcc
    原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
  • jsoup使用笔记 alleni123 java爬虫JSoup
    <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
  • JAVA中的集合 Collectio 和Map的简单使用及方法 百合不是茶 listmapset
             List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念：     Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素  ，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
  • 杀LINUX的JOB进程 bijian1013 linuxunix
    今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉   系统环境：    ORACLE 10G    Linux操作系统   操作步骤如下： 第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
  • Spring AOP详解 bijian1013 javaspringAOP
            最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
  • [Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
    TypeAdapter的使用动机  Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。   以Date为例，在序列化和反序列化时，Gson默认使用java.
  • 【spark八十七】给定Driver Program， 如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
    Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分 作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。 计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
  • nginx 经验总结 ronin47 nginx 总结
    　　　深感nginx的强大，只学了皮毛，把学下的记录。 　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）            获取body,通过接口，再展开，根据Ｋ取Ｖ 　　　获取uri,以$arg_XX      &n
  • 轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
  • Netty源码学习-Java-NIO-Reactor bylijinnan java多线程netty
    Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助 参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
  • AOP通俗理解 cngolon springAOP
    1.我所知道的aop     初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和 我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而 已。 2.为什么用aop&nb
  • cursor variable 实例 ctrain variable
    create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
  • shell报bash: service: command not found解决方法 daizj linuxshellservicejps
    今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：   脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
  • 40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式PHP正则表达式oop
    你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准 ，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
  • Android逐帧动画的实现 dcj3sjt126com android
    一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
  • java远程调用linux的命令或者脚本 eksliang linuxganymed-ssh2
    转载请出自出处： http://eksliang.iteye.com/blog/2105862        Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar)   使用步骤如下： 1.导包 官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
  • adb端口被占用问题 gqdy365 adb
    最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。 一个比较彻底的解决办法就是修改
  • ASP.NET使用FileUpload上传文件 hvt .netC#hovertreeasp.netwebform
    前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上 传" />
  • 代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜IEEE
    在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。 浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说， 一点都不简单。 单单是说明 IEEE浮点数 就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。 一次面试 记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试， 多年以后，他已经称为了一名很出色的
  • 数据结构随记_1 lx.asymmetric 数据结构笔记
    第一章   1.数据结构包括数据的 逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是 顺序存储、链式存储 、索引存储 和 散列存储。 3.数据运算最常用的有五种，分别是  查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：  输入、输出、可行性、确定性和有穷性。 5.算法分析的
  • linux的会话和进程组 网络接口 linux
    会话： 一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？ 先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
  • 二维数组 元素的连续求解 1140566087 二维数组ACM
    import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
  • 也谈什么时候Java比C++快 windshome javaC++
      刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。   你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？   我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他