大数据项目第6页

《大型综合项目-基于大数据平台的数据仓库》学习笔记（13）：业务数据报表篇

本项目课程是一门极具综合性和完整性的大型大数据项目实战课程，课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。

江湖人称涛哥·2022-11-10 08:54

客快物流大数据项目学习框架

文章目录客快物流大数据项目学习框架前言一、项目简介二、功能介绍三、项目背景四、服务器资源规划五、技术亮点及价值六、智慧物流大数据平台客快物流大数据项目学习框架前言利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂

Lansonli·2022-11-10 08:18

客快物流大数据项目（八十二）：Kudu的读写原理

Kudu的读写原理一、工作模式Kudu的工作模式如下图，有些在上面的内容中已经介绍了，这里简单标注一下：每个kudutable按照hash或range分区为多个tablet；每个tablet中包含一个MemRowSet以及多个DiskRowSet；每个DiskRowSet包含BaseData以及DeltaStores；DeltaStores由多个DeltaFile和一个DeltaMemStore组

Lansonli·2022-11-10 08:18

这份BAT大厂大数据项目实战PDF你一定要看看，满满干货指导

Spring依赖注入常见java开发中，程序员在某个类中需要依赖其它类的方法，则通常是new一个依赖类再调用类实例的方法，这种开发存在的问题是new的类实例不好统一管理，spring提出了依赖注入的思想，即依赖类不由程序员实例化，而是通过spring容器帮我们new指定实例并且将实例注入到需要该对象的类中。依赖注入的另一种说法是“控制反转”，通俗的理解是：平常我们new一个实例，这个实例的控制权是

最新Java开发面试·2022-11-08 21:32

开源“摩尔定律”即将打破，《2022开源大数据热力报告》重磅发布

报告基于公开数据研究最活跃的102个开源大数据项目，探寻出开源大数据技术发展背后的“摩尔定律”：每隔40个月，开源项目热力值就会翻一倍，技术完成一轮更新迭代。在过去8年里，发

CSDN资讯·2022-11-07 15:27

三十五、《大数据项目实战之用户行为分析》Spark Streaming按批次累加单词数量

本例使用SparkStreaming实现一个完整的按批次累加的实时单词计数程序。数据源从Netcat服务器中获取（关于Netcat的安装，此处不做讲解），实现步骤如下：编写应用程序1.导入依赖库在Spark项目“SparkDemo”的pom.xml中导入以下依赖库： org.apache.spark spark-core_2.12 3.2.1 org.apache.spark spark

大数据张老师·2022-10-30 07:23

Spark-NLP：大规模自然语言理解

之前我个人做过大数据项目，使用的是Hadoop与Spark，也参与过NLP的项目，对此都有些了解，思考如何将这两点结合起来，使用开数据框架，分布式技术，分布在每台机器上，再使

小叶柏杉·2022-10-30 07:50

毕业设计之 - 大数据分析：基于时间序列的股票预测于分析

DanCheng-studio·2022-10-14 10:50

大数据项目需求分析

以大数据项目为主线，技术理论与项目实践相结合，按照大数据项目的开发流程逐步推进，本文主要讲解项目的需求分析、架构设计以及离线和实时数据流程设计，然后提前规划好大数据项目需要的集群，按照项目的实现逻辑，结合具体的技术组件详细讲解整个大数据项目的开发流程

梯度科技·2022-10-13 15:31

Zookeeper分布式协调服务

大数据项目最终需要运行在大数据平台之上，而构建Hadoop集群是构建整个大数据平台的核心。

梯度科技·2022-10-13 15:31

大数据精品栏目介绍

文章目录博客精品栏目介绍一、大数据入门核心技术二、数据湖基础+湖仓一体电商项目三、大数据OLAP技术体系四、客快物流大数据项目五、大数据进阶知识六、大数据调度系统七、数据治理博客精品栏目介绍一、大数据入门核心技术大数据入门核心技术栏目里集合

Lansonli·2022-10-12 07:38

Vue项目的部署(服务器)

服务器是朋友的，倒时候打不开会很正常，说不定又使用服务器玩大数据项目去了效果图：图一：图二：当然，温度也都是实时跟新的,而且根据气温高低，排出气温top5.这里项目就不详细说了，接下来和大家说一下项目部署的事情

抗争的小青年·2022-09-25 19:42

【名企面试经验-360-校招提前批】【大数据研发工程师】

360提前批-大数据岗offer一面：1、自我介绍2、大数据项目介绍，Olap主要是干嘛的？我都做了哪些工作。

许愿35岁退休·2022-09-24 07:52

大数据项目之Flink实时数仓(数据采集/ODS层)

项目概览实时大屏效果项目主要通过实时数仓的搭建来完成对Flink的进一步掌握和学习，Flink代码的编写使用的是Java，其中会涉及到Flink的很多知识点，FlinkCDC，FlinkSQL，开船，富函数等，用来学习Flink顺便过一下数仓还是很可以的。根据FlinkForward2021中的一些动态，FlinkSQL化已经势不可挡，流式数仓StreamHouse也开始慢慢推进。在这里实时数仓主

Keven He·2022-09-23 15:09

大数据项目算法自动化测试精度问题解决方案

2、但大数据项目，由于涉及的数据特别大，数据计算过程中可能由于精度问题，产生累积误差；所以，对大数据项目的指标正确性验证时，不能简单的使用等于关系，而应该采用约等于；3、据此，特别提出一种解决方案：通过自定义断言类

假程序员·2022-09-03 21:58

大数据项目，计算某均值场景的内存优化方案

普通数据读取，一般都是将数据完全读入内存之后，在根据某些特征分组后，再计算分组内的均值指标；此举要求，申请的内存需不小于读取的数据所占用的内存总和。现提出一个优化方案，数据读取时，先判断特征(特征可以是多个关键字组合)，如果特征不存在，那就把这条数据加入进去，并计数数据条数，如果特征已存在，则先根据数据条数求出原来的总和，并计算出新的均值，再计数数据条数，如此循环，可使用相对有限的内存读出，可以达

假程序员·2022-09-03 20:11

大数据项目中数据倾斜

一、数据倾斜包含：hadoop数据倾斜，hive中数据倾斜、spark数据倾斜【hadoop中的数据倾斜表现】1、有一个多几个Reduce卡住，卡在99.99%，一直不能结束。2、各种container报错OOM3、异常的Reducer读写的数据量极大，至少远远超过其它正常的Reducer4、伴随着数据倾斜，会出现任务被kill等各种诡异的表现。【hive中数据倾斜】一般都发生在Sql中group

万里长江横渡·2022-09-01 12:08

大数据项目离线数仓（全）一（数据采集平台）

搭建用户行为数据采集平台、搭建业务数据采集平台、搭建数据仓库系统、制作可视化报表本篇博客包括搭建用户行为数据采集平台、搭建业务数据采集平台搭建数据仓库系统在大数据项目离线数仓（全）二制作可视化报表在大数据项目离线数仓

一个人的牛牛·2022-08-31 12:16

大数据面试题2

大数据项目之企业级数据仓库实战第一章数据仓库概述1.1数据仓库简介1.1.1什么是数据库？数据库(Database)是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。

DHRJFH·2022-08-21 08:13

【毕业设计】Python B站数据分析用户情感分析 - 大数据项目

文章目录前言0数据分析目标1B站整体视频数据分析1.1数据预处理1.2数据可视化1.3分析结果2单一视频分析2.1数据预处理2.2数据清洗2.3数据可视化3文本挖掘（NLP）3.1情感分析前言Hi，大家好，这里是丹成学长的毕设系列文章！对毕设有任何疑问都可以问学长哦!这两年开始，各个学校对毕设的要求越来越高，难度也越来越大…毕业设计耗费时间，耗费精力，甚至有些题目即使是专业的老师或者硕士生也需要很

Mr_DC_IT·2022-08-14 07:46

出行大数据项目一

出行大数据一1、项目概述随着人们对出行的需求日益增加，出行的安全问题，出行的便捷问题等问题日益突出，特别是安全出行是我们每个人都迫切需要的，为了增加出行的编辑，提高出行的安全，对我们乘车的细节以及发生点我们迫切的需要及时知道，为此特地通过大数据的手段来处理我们海量的出行数据。做到：订单的实时监控，乘车轨迹的的细节回放，虚拟车站的科学制定，出行迁途的细节过程，订单报表的大屏展示，用户乘车行为统计用户

TUJC·2022-08-01 08:37

大数据项目实战——基于某招聘网站进行数据采集及数据分析（一）

大数据项目实战第一章项目概述文章目录大数据项目实战第一章项目概述学习目标一、项目需求和目标二、预备知识三、项目架构设计及技术选取四、开发环境和开发工具介绍五、项目开发流程总结学习目标掌握项目需求和目标了解项目架构设计和技术选型了解项目环境和相关开发工具理解项目开发流程在人力资源管理领域

一只笨猫猫·2022-07-08 11:05

大数据项目离线数仓（全）三（可视化工具版）

本篇文章参考尚硅谷大数据项目写成！可视化的代码版后期更新！敬请期待！！！

一个人的牛牛·2022-06-15 07:42

Python实现多脚本处理定时运行

目录前言：一、创建时间二、设定时间前言：管理多脚本，要实现大量统计计算以及大量脚本进行统计，定时运行并反馈结果是很多大数据项目场景中十分常见的，就该问题本篇文章提供思路方法以及部分代码。

·2022-06-02 12:43

大数据项目学习（一）

采集：Flume/Kafka/Sqoop存储：Mysql/Hasoop/Hbase计算：Hive/Tez查询：Presto/Druid/Kylin可视化：Superset任务调度：Azkaban全流程调度集群监控：Zabbix元数据管理：Atlas脚本：Shell数据仓库业务数据：在处理事务过程中产生的数据（存储在mysql中，用Sqoop处理到数据仓库中）用户行为数据：用户与客户端产品交互过程中

爱爱爱爱五月天·2022-05-28 02:50

Pythpn实现多脚本处理定时运行

前言管理多脚本，要实现大量统计计算以及大量脚本进行统计，定时运行并反馈结果是很多大数据项目场景中十分常见的，就该问题本篇文章提供思路方法以及部分代码。

fanstuck·2022-05-26 23:24

大数据项目-5.hadoop（六.hadoop安装）

一：官网下载地址hadoop3.3.2官网地址二：上传虚拟机。解压tar-axvfhadoop-3.2.2.tar.gz三：修改配置文件修改hadoop-env.sh，配置Java环境。cd/etc/hadoop/hadoop-3.2.2/etc/hadoopvimhadoop-env.sh根据自己环境的java路径来填写。启动hadoopcd/etc/hadoop/hadoop-3.2.2/bi

宇智波云·2022-03-25 07:57

大数据项目-5.hadoop（五.yarn）

一：为什么学习yarn？在前几篇中，我们学习了，hdfs用来存储数据。学习了map-reduce用来计算数据。但是，缺乏一个组织者。任务的安排者，所以，出现了yarn进行资源的分配的任务的分配。二：什么是yarn？1.0yarnClient发送MR任务到集群JobTracker接受client任务，并分配资源。保持和TaskTracKer的心跳。TaskTracker当分配资源之后，开始在本机分配

宇智波云·2022-03-25 07:27

大数据项目-5.hadoop（二. hdfs）

一：为什么学习hdfs？在没有hdfs之前，我们存储数据，将数据存放在硬盘中。这样有个问题，如果硬盘坏了怎么办？我们数据将会丢失。另外如果数据量非常大，我们的读写效率怎么保证。以上俩个大的问题，是我们作为存储数据要思考的非常关键的俩个点。二：hdfs是什么？1.0版本DataNode分布式（解决IO瓶颈）采用分布式方式进行存储。将我们的相连的数据，按照一定的规定进行切割放在不同的存储器中，才访问的

宇智波云·2022-03-25 07:26

大数据项目-5.hadoop（一.原理）

一：为什么出现hadoop？大数据这个行业，有俩块基础的需要我们进行思考，一个是计算，另外一个是存储。对于这俩个方面，不同组织都有自己的方式。在hadoop中，也提出来自己的理论，hdfs，map-reduce，yarn。二：hadoop是什么？目前大数据的基础，还是依靠hadoop作为底层的，以上图为例，很多组件都是依赖hadoop，所以，目前形成了hadoop生态圈。hdfs对于数据的存储。m

宇智波云·2022-03-25 07:26

大数据项目-1.安装虚拟机vm16+CentOs（六：安装java-jdk）

一：下载地址https://www.oracle.com/java/technologies/downloads/二：安装打开安装路径，并上传压缩包，解压。cd/usr/local/lib上传安装包。解压tar-zxvfjdk-17_linux-x64_bin.tar.gz2.修改配置。vim/etc/profile增加以下代码exportJAVA_HOME=/usr/local/lib/jdk-

宇智波云·2022-03-25 07:56

大数据项目-6.dolphinscheduler（一：安装）

Dolphinscheduler2.0.1安装文档参考文档和下载地址:https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/installation/pseudo-cluster.html一：安装步骤1：创建dolphinscheduler用户，给用户添加密码和对应的权限。#创建用户useradddolphinsc

宇智波云·2022-03-25 07:55

大数据项目-1.安装虚拟机vm16+CentOs（三：修改ip地址）

一：修改ip地址1.查看IP地址ipaddr2.修改IP打开虚拟机编辑器查看网关并记下来。在虚拟机命令行中输入：vim/etc/sysconfig/network-scripts/ifcfg-ens33修改参数将ONBOOT=no改为yes，将BOOTPROTO=dhcp改为BOOTPROTO=static,并在后面增加几行内容：IPADDR=192.168.10.11NETMASK=255.25

宇智波云·2022-03-25 07:55

大数据项目-5.hadoop（三：map-reduce）

一：为什么学习map-reduce？在我们大数据领域，主要研究俩块内容。一块为存储，另外一块为计算。在存储中我们使用hdfs，并且，hdfs在改良了三个版本之后，目前市面上基本都是由hdfs进行数据存储。在计算领域，hadoop也有自己的产品。map-reduce就是hadoop计算的核心框架。二：什么是map-reduce？整体框架。细分流程。map我们的数据存储在hdfs的block中，首先将

宇智波云·2022-03-25 07:34

广州 Footprint Analytics 区块链大数据项目后端开发工程师

关于我们FootprintAnalyticsPB级别的区块链大数据项目，100亿级大数据处理能力，领域覆盖元宇宙/NFT/GameFi/DeFi等，面向全球用户；已获得6家国际知名区块链风投基金千万级融资

·2022-03-09 13:24

电商数仓描述_尚硅谷大数据项目之电商数仓（系统业务数据仓库）

3.2.5Sqoop导入数据异常处理1)问题描述：执行Sqoop导入数据脚本时，发生如下异常java.sql.SQLException:Streamingresultsetcom.mysql.jdbc.RowDataDynamic@65d6b83bisstillactive.Nostatementsmaybeissuedwhenanystreamingresultsetsareopenandinu

知知呼呼·2022-02-28 15:04

33 大数据项目之电商数仓（电商数据仓库系统）

文章目录写SQL的规律第1章数仓分层1.1为什么要分层1.2数据集市与数据仓库概念1.3数仓命名规范1.3.1表命名1.3.2脚本命名第2章数仓理论2.1范式理论2.1.1范式概念2.1.2函数依赖2.1.3三范式区分2.2关系建模与维度建模2.2.1关系建模2.2.2维度建模2.3维度表和事实表（重点）2.3.1维度表2.3.2事实表2.4数据仓库建模（绝对重点）2.4.1ODS层2.4.2DW

Walter_bigdata·2022-02-28 15:31

大数据项目实战数仓4——总纲

文章目录一、数据仓库的概述二、项目需求及架构设计1.项目需求分析2.项目框架2.1技术选型2.2系统数据流程设计2.3框架发行版本选型2.4服务器选型2.5集群资源规划设计三、相关命令可视化报表Superset即席查询Kylin集群监控Zabbix全流程调度Azkaban权限管理Ranger元数据管理Atlas四、全流程调度+数据质量可视化一、数据仓库的概述数据仓库（DataWarehouse），

未来影子·2022-02-28 10:17

从头大数据项目_如何从头开始构建数据科学项目

从头大数据项目byJekaterinaKokatjuhha通过叶卡捷琳娜·科卡朱哈(JekaterinaKokatjuhha)如何从头开始构建数据科学项目(Howtobuildadatascienceprojectfromscratch

cumian8165·2022-02-28 07:39

青葱少年，时光不老（11）

最近她完成了一个在无网环境下部署大数据项目的任务，这个任务由开发人员在公司里做，忙里忙外还花了一周时间，盛夏带着闫琳琳，一天搞定。

勤奋姑娘·2022-02-19 23:32

flink学习笔记-Window那些事

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKcD11.Window

大数据研习社·2022-02-15 03:57

python大数据项目_(价值1280)大数据项目实战之Python金融应用编程

朱彤老师，2009年博士毕业于北京大学光华管理学院金融系，对金融、数据分析与统计有着较为深刻的理解，多年来一直持续跟踪和研究金融量化分析与数据统计相关领域的进展与发展，对概率论、随机过程及其在金融中的应用有着丰富的实践经验，擅长使用各类金融数据分析软件，包括MATLAB,R,PYTHON,SAS,STATA等，目前就职于某量化投资交易软件开发公司，从事软件设计与产品经理工作，对金融、统计与交易软件

weixin_39876739·2022-02-14 09:07

简介

前言公司的一个大数据项目是通过使用spark每隔一分钟统计一次15分钟内的日志信息,一般40~50s左右就可以统计完,但是偶尔会出现某几次任务时间超出一分钟的,而我的需求就是定位问题与解决问题,这里就特意写个文集来记录自己学习该大数据日志分析系统的心得目录

PigPIgAutumn·2022-02-13 06:55

想加薪吗？26项大数据专业认证能帮您

获得正确的技术本来就很有挑战，建立合适的团队并用适当的技能来发起大数据项目可能会更加困难。毫不奇怪，这一挑战反映在对大数据技能和认证的不断增长的需求上。

梦舞清愁·2022-02-12 10:17

客快物流大数据项目(三十四)：CDH开始安装

目录CDH开始安装CDH开始安装由于CDH需要使用CM的WebUI可视化界面配置集群，又是单节点安装，CM与CDH的安装包都在同一个节点中(均在Apache服务/var/www/html/下)，直接在浏览器中输入http://192.168.88.20:7180/cmf/login来访问即可，CM的默认用户名/密码是admin/admin操作步骤说明1打开后的页面如下2输入admin/admin登

Lansonli·2022-02-11 11:12

毕业设计之 - 大数据分析：电商产品评论数据情感分析

简介数据分析目的数据预处理评论去重数据清洗分词、词性标注、去除停用词提取含名词的评论绘制词云¶词典匹配评论数据情感倾向分析修正情感倾向LinearSVC模型预测情感¶最后1简介Hi，大家好，这里是丹成学长，今天向大家介绍一个大数据项目大数据分析

DanCheng-studio·2022-02-11 07:04

flink学习笔记-Flink初探

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：Flink大数据项目实战：http://t.cn/ExrHPl9

大数据研习社·2022-02-06 12:49

大数据项目失败的4个原因和成功的4个方法

几乎所有的大数据项目都以失败告终，尽管有各种成熟的技术。以下是如何让大数据工作真正成功的方法：大数据项目通常在规模和范围上都很大，而且非常雄心勃勃，但往往都是彻底的失败。

yoku酱·2022-02-05 20:58

推荐频道

大数据项目