大数据项目第3页

大数据项目实战（Sqoop安装）

一，搭建大数据集群环境1.4Sqoop安装1.sqoop安装（1）上传安装包（2）解压安装包tar-zxvfsqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz-C/export/servers（3）重命名mvsqoop-1.4.6.bin__hadoop-2.0.4-alphasqoop（4）复制cpsqoop-env-template.sh并修改名字为sqoop

瑾寰·2023-08-29 08:10

大数据项目实战（安装Hive）

一，搭建大数据集群环境1.3安装Hive1.3.1Hive的安装1.安装MySQL服务1）检查是否安装MySQL，如安装将其卸载。卸载命令rpm-qa|grepmysql2）搜索MySQL文件夹，如存在则删除find/-namemysqlrm-rf/etc/selinux/targeted/active/modules/100/mysqlrm-rf/usr/lib64/mysqlrm-rf/usr

瑾寰·2023-08-28 15:44

大数据项目实战（Hadoop集群搭建）

一，搭建大数据集群环境1.2Hadoop集群搭建1.2.1jdk安装1.下载jdk(1)在根目录下创建三个子目录以备后用。具体如下：mkdir-p/export/datamkdir-p/export/softwaremkdir-p/export/servers(2)下载路径：1、官网下载地址https://www.oracle.com/java/technologies/javase-downlo

瑾寰·2023-08-27 15:10

大数据项目【大型电商日志分析系统】

今天我们再公布一个大数据项目，为想找到大数据工作的堂粉提供弹药，把堂粉们个个喂得白白胖胖。

编程自习室·2023-08-27 08:57

尚硅谷大数据项目《在线教育之离线数仓》笔记004

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第9章数仓开发之DWD层P049P050P051P052P053P054P055P056P057P058P059P060P061P062P063P064P065P066P067P068P069P070

upward337·2023-08-25 17:16

大数据项目实战之国内大数据职位分析准备工作

apache-hive-1.2.1-bin.tar.gzapache-maven-3.3.9-bin.zipapache-tomcat-8.5.73-windows-x64.zipeclipse-jee-2021-06-R-win32-x86_64.ziphadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64-master.ziphad

一个猪肘·2023-08-25 09:14

大数据项目实战-招聘网站职位分析

目录第一章：项目概述1.1项目需求和目标1.2预备知识1.3项目架构设计及技术选取1.4开发环境和开发工具1.5项目开发流程第二章：搭建大数据集群环境2.1安装准备2.2Hadoop集群搭建2.3Hive安装2.4Sqoop安装第三章：数据采集3.1知识概要3.2分析与准备3.3采集网页数据第四章：数据预处理4.1分析预处理数据4.2设计数据预处理方案4.3实现数据的预处理第五章：数据分析5.1数

L卡夫卡·2023-08-25 09:43

大数据项目实战（安装准备）

一，搭建大数据集群环境1.1安装准备1.1.1虚拟机安装与克隆1.虚拟机的安装和设置以及启动虚拟机并安装操作系统（以下仅供参考）安装一台虚拟机主机名为：hadoop01的虚拟机备用VMware虚拟机安装Linux教程(超详细)_vmware安装linux虚拟机_七维大脑的博客-CSDN博客https://blog.csdn.net/weixin_52799373/article/details/1

瑾寰·2023-08-25 08:12

【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWM层

DWM层第1章DWS层与DWM层的设计1.1设计思路1.2需求梳理第2章DWM层-访客UV计算2.1需求分析与思路2.2代码实现2.2.1从Kafka的dwd_page_log主题接收数据2.2.2核心的过滤代码2.2.3将过滤处理后的UV写入到Kafka的dwm_unique_visit2.2.4测试第3章DWM层-跳出明细计算3.1需求分析与思路3.1.1什么是跳出3.1.2计算跳出行为的思路

在学习的王哈哈·2023-08-24 17:52

尚硅谷大数据项目《在线教育之离线数仓》笔记003

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录第8章数仓开发之DIM层P039P040P041P042P043P044P045P046P047P048第8章数仓开发之DIM

upward337·2023-08-24 17:51

尚硅谷大数据项目《在线教育之离线数仓》笔记002

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录P025P026P027P028P029P030P031P032P033P034P035P036P037P038P025在

upward337·2023-08-20 16:31

大数据开源项目 remark

电信大数据项目以通话数据去展示如何处理并分析大数据，并最终通过图表可视化展示。

小赖同学啊·2023-08-19 05:18

GT Code - 图译算法编辑器（集成QT、C++、C、Linux、Git、java、web、go、高并发、服务器、分布式、网络编程、云计算、大数据项目）

目录项目概述发文意义项目介绍功能分析设计概要功能展示项目文档项目概述“GTCode图译算法编辑器”是一款跨平台、轻量级的代码编辑器，主要面向软件开发人员，它实现了编辑、编译、绘制代码流程图、生成调试演示动画等功能，以满足了市场对于更加直观和易于理解的代码编辑器的需求。核心特点：采用图形化、演示模式将用户代码翻译出，以此提高代码的可读性。GTCode调试器集成多种编程语言的调试工具，具有断点、单步、

Warm wolf·2023-08-18 14:11

尚硅谷大数据项目《在线教育之离线数仓》笔记001

视频地址：尚硅谷大数据项目《在线教育之离线数仓》_哔哩哔哩_bilibili目录P003P004【数仓概念讲的颇为详细】P018P019P020P021P022P023P024P003时间切片：时间回溯

upward337·2023-08-16 03:37

优秀大数据GitHub项目一览

优秀大数据GitHub项目一览VMwareCEOPatGelsinger曾说：数据科学是未来，大数据分析则是打开未来之门的钥匙企业正在迅速用新技术武装自己以便从大数据项目中获益。

yaoxtao·2023-08-14 06:50

视频教程-SAS数据分析：从入门到企业实战-数据挖掘

SAS数据分析：从入门到企业实战10年一线开发及项目管理经验，6年以上大数据项目架构、实施、开发与运维经验，骨灰级大数据玩家，对Hadoop、Storm、Spark、Flink、Kylin、Druid等大数据技术有较深研究

weixin_33436282·2023-08-12 02:59

尚硅谷大数据项目《在线教育之采集系统》笔记005

视频地址：尚硅谷大数据项目《在线教育之采集系统》_哔哩哔哩_bilibili目录P057P058P059P060P061P062P063P064P065P066P067P068P069P070P071P072P073P057

upward337·2023-08-11 19:27

尚硅谷大数据项目《在线教育之采集系统》笔记004

视频地址：尚硅谷大数据项目《在线教育之采集系统》_哔哩哔哩_bilibili目录P047P048P049P050P051P052P053P054P055P056P047/opt/module/datax

upward337·2023-08-10 22:28

拜托，不要再说自己做大数据项目了！

2020年10月20日，同一时间有三个人在微信上向我咨询方案，三个人都说自己的项目是一个大数据项目！虽然后来发现三个人中有两个是一个来源，但也足以让我印象深刻了。

rolt·2023-08-10 12:22

大数据项目之仿天猫数据分析

简介项目简介此项目是实现仿大数据项目流程，包括，日志收集传输，日志格式化，数据实时分析，数据持久化到HDFS，数据离线报表统计，离线任务调度，日志记录搜索几大部分首先说一下这个项目的大致流程，这个项目是仿天猫数据分析

z七夜·2023-08-09 15:09

深度学习+大数据项目分享（24个）计算机毕业设计源码分享实战建议收藏

大家好，今天给大家分享24个有趣的深度学习/大数据实战项目，可以直接拿来实战练习，建议关注、收藏。邮箱：[email protected]欢迎交流学习，共同进步。项目名称主要技术deepsort道路车辆追踪+速度实时分析系统deepsortPytorchYOLOv5opencv员工人脸考勤系统opencvdlib基于Django动物识别系统在线动物识别检测平台、PaddleHub模型采用百度自建动

源码之家·2023-08-09 06:05

尚硅谷大数据项目《在线教育之采集系统》笔记003

视频地址：尚硅谷大数据项目《在线教育之采集系统》_哔哩哔哩_bilibili目录P036P037P038P039P041P042P043P044P045P046P036先启动zookeeper，在启动kafka

upward337·2023-08-09 01:16

还在费时ETL? HTAP数据库帮你解决

HTAP数据库HubbleHubble是天云在多年大型银行大数据项目实施经验基础上，针对海量数据实时在线、即时分析场景抽象出来的最佳实践，支持上万用户并发实时查询、多源异构、支持ANSI99/2003SQL

天云数据·2023-08-02 01:00

阿里、腾讯内部十二个大数据项目实战，你都做过吗？

下面给大家大概介绍一下在阿里的"双11"、"双12"、"双旦"即将到来的"618"与腾讯大数据都用上的十二个大数据项目：一个大数据分析项目关键构成如下：信息采集组、数据清洗组、数据融合组、数据挖掘组、数

Alukar·2023-07-31 07:03

尚硅谷大数据项目《在线教育之采集系统》笔记002

视频地址：尚硅谷大数据项目《在线教育之采集系统》_哔哩哔哩_bilibili目录P032P033P033P034P035P036P032P033#1、定义组件，为各组件命名a1.sources=r1a1

upward337·2023-07-28 06:16

2018年最强干货！年薪80万+的大数据开发【教程】都在这儿！

事实上，大数据工作者可以施展拳脚的领域非常广泛，从国防部、互联网创业公司到金融机构，到处需要大数据项目来做创新驱动。其实JAVA工程师转型大数据有着天然优势，不仅仅是前景和薪资等。

木易_1541·2023-07-27 07:15

尚硅谷大数据项目《在线教育之采集系统》笔记001

视频地址：尚硅谷大数据项目《在线教育之采集系统》_哔哩哔哩_bilibili目录P004P006P007P009P010P017P025P026P027P028P030P004将数据以图形图表的方式展示出来

upward337·2023-07-25 21:26

hdfs详解

hdfs简介hdfs是hadoop中分布式的文件存储系统；具有高容错、可扩展；广泛的用于大数据项目中（不仅仅是hadoop）优点容错性高数据自动保存多个副本（可设置）副本丢失后，自动恢复适合批处理移动计算而非移动数据数据位置暴露给计算框架适合大数据处理

水木清华_f221·2023-07-22 08:39

大数据项目篇--项目架构图

文章目录离线架构离线架构-表信息离线架构-ETL信息实时架构离线架构离线架构-表信息离线架构-ETL信息实时架构

在路上的小y·2023-07-21 14:33

五大步骤帮你实现Hadoop价值最大化

为了使大数据项目中Hadoop的价值最大化，企业需要重视一些关键步骤。你可能准

大数据架构师·2023-07-14 14:47

为什么85%的大数据项目总是失败？

企业在推行大数据项目时往往把项目规模和范围做得很大，但是事实却是，很多大数据项目通常都会失败。2016年，Gartner估算约60%的大数据项目都会失败。

产品经理自我修养·2023-06-23 04:14

【MongoDB】四、MongoDB副本集的部署

【MongoDB】四、MongoDB副本集的部署实验目的实验内容实验步骤实验小结实验目的能够通过部署副本集理解副本集机制，从而解决大数据项目中数据丢失的问题实验内容环境准备：根据表中的信息完成3台MongoDB

慢热型网友.·2023-06-22 17:19

【MongoDB】五、MongoDB分片集群的部署

Configserver配置ConfigServer副本集部署Shard部署mongos启动分片功能查看分片信息实验小结实验目的能够通过部署MongoDB分片集群熟悉MongoDB分片集群架构和基本操作，从而解决大数据项目中数据量爆发式增长的需求实验内容

慢热型网友.·2023-06-22 09:46

深度解读｜Spark 中 CodeGen 与向量化技术的研究

主题背景Spark项目是在2010年左右开源出来的，越来越多的人了解到了Spark这个开源大数据项目的存在。

shining_yyds·2023-06-21 04:18

大数据项目常识

大数据项目随着社会的进步，大数据的高需求，高薪资，高待遇，促使很多人都来学习和转行到大数据这个行业。学习大数据是为了什么？成为一名大数据高级工程师。而大数据工程师能得到高薪、高待遇的能力在哪？

彼得潘多·2023-06-18 11:44

新一代数据集成工具ETLCloud入门实践：实现MySQL到ClickHouse的快速迁移

大数据项目开发的首要任务就是采集海量数据，这就要求我们具备海量数据采集的能力。在实际工作中，数据一般有两种来源，一种来自日志文件，一种来自数据库。

Heartsuit·2023-06-16 20:41

大数据项目2

大数据项目1，离线数据处理：项目内容为通过对网站访问日志的采集和清洗，结合数据库中的结构化用户数据，统计并展示网站的PV、UV情况，以对网站的运行情况进行监控。

彼得潘多·2023-06-16 19:59

大数据项目实战之在线教育（04实时实现）

第1章项目需求及架构设计1.1项目需求分析一、数据采集平台搭建二、Kafka、Zookeeper中间件准备三、下游SparkStreaming对接Kafka接收数据，实现vip个数统计、栏目打标签功能、做题正确率与掌握度的实时计算功能。1.2项目框架1.2.1技术选型一、数据存储：Kafka、MySql二、数据处理：Spark三、其他组件：Zookeeper1.2.2流程设计第2章需求2.0原始数

okbin1991·2023-06-15 20:50

大数据项目实战之数据仓库：电商数据仓库系统——第9章数仓开发之DWD层

文章目录第9章数仓开发之DWD层9.1交易域加购事务事实表9.2交易域下单事务事实表9.3交易域取消订单事务事实表9.4交易域支付成功事务事实表9.5交易域退单事务事实表9.6交易域退款成功事务事实表9.7交易域购物车周期快照事实表9.8工具域优惠券领取事务事实表9.9工具域优惠券使用(下单)事务事实表9.10工具域优惠券使用(支付)事务事实表9.11互动域收藏商品事务事实表9.12互动域评价事务

yiluohan0307·2023-06-13 16:10

尚硅谷大数据项目【电商数仓5.0】学习笔记

尚硅谷大数据项目【电商数仓5.0】学习笔记大数据学习基础基础shell编程：大数据之基础shell集群快速安装教程：大数据集群快速安装教程注：如果您已经有大数据学习基础，可以通过上面教程快速搭建学习环境

yiluohan0307·2023-06-13 16:40

1.4 Apache Flink 开发环境搭建

Flink开发环境部署和配置Flink是一个以Java及Scala作为开发语言的开源大数据项目，代码开源在github上，并使用maven来编译和构建项目。

ducode·2023-06-12 12:28

毕业设计论文--外文翻译：JSP技术简介

作者简介：全栈开发工程，从事Java、Python、前端、小程序方面的开发和研究，对大数据应用与开发比较感兴趣，主要内容：Java项目、前端项目、Python项目、小程序开发、大数据项目、单片机收藏点赞不迷路关注作者有好处文末获取源码感谢您的关注

qq_469603589·2023-06-10 03:48

数栈数据中台专栏（一）：浅析数据中台策略与建设实践

在袋鼠云工作期间，深入了解客户需求，负责多个大数据项目的落地实施，如贵州茅台、新华书店、轻松筹、贵州交警等等，对于企业应用大数据的痛点具有清晰的了解和丰富的实践经验。数据中台是什么？

袋鼠云数栈·2023-06-06 23:55

常见的招标项目

1.基建保养项目2.交通工具采购项目3.仪器采购项目4.自媒体大数据项目5.工程电子设备项目

蒸倩杰魂·2023-04-21 18:08

大数据项目（基于spark）--新冠疫情防控指挥作战平台项目

大数据项目（基于spark）–新冠疫情防控指挥作战平台项目文章目录第一章项目介绍1.1项目背景1.2项目架构1.3项目截图1.4功能模块第二章数据爬取2.1数据清单2.2疫情数据爬取2.2.1环境准备2.2.1.1pom.xml2.2.1.2application.properties2.2.2

卢远东·2023-04-21 16:11

大数据项目实战之数据仓库：电商数据仓库系统——第8章数仓开发之DIM层

文章目录第8章数仓开发之DIM层8.1商品维度表8.2优惠券维度表8.3活动维度表8.4地区维度表8.5日期维度表8.6用户维度表8.7数据装载脚本8.7.1首日装载脚本8.7.2每日装载脚本第8章数仓开发之DIM层DIM层设计要点：（1）DIM层的设计依据是维度建模理论，该层存储维度模型的维度表。（2）DIM层的数据存储格式为orc列式存储+snappy压缩。（3）DIM层表名的命名规范为dim

yiluohan0307·2023-04-21 07:42

客快物流大数据项目（一百一十二）：初识Spring Cloud

文章目录初识SpringCloud一、SpringCloud简介二、SpringCloud基础架构图

Lansonli·2023-04-21 05:06

集团企业大数据治理解决方案word

一.1、数据平台逻辑架构一.2、数据平台部署架构一.1、建设目标以大数据项目建设作为契机，凝聚集团优势力量，全面梳理数据资源，完善数据体系架构，

数字化动态·2023-04-19 10:20

使用Docker部署Flink大数据项目

CheckChe·2023-04-18 18:56

大数据项目实战之数据仓库：电商数据仓库系统——第6章数据仓库环境准备

第6章数据仓库环境准备6.1数据仓库运行环境6.1.1Hive环境搭建1）Hive引擎简介Hive引擎包括：默认MR、Tez、Spark。HiveonSpark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。SparkonHive:Hive只作为存储元数据，Spark负责SQL解析优化，语法是SparkSQL语法，Spar

yiluohan0307·2023-04-17 21:08

推荐频道

大数据项目