大数据平台-架构基础第8页

大数据毕业设计选题推荐-无线网络大数据平台-Hadoop-Spark-Hive

✨作者主页：IT毕设梦工厂✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、部分代码设计五、论文参考六、系统视频结语一、前言随着无线通信技术的

IT毕设梦工厂·2023-11-06 05:51

大数据毕业设计选题推荐-智慧小区大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的快速发展，智

IT研究室·2023-11-06 04:50

Spark 任务常见错误以及解决方案

目前一直在做大数据平台的开发，所以有机会看到全公司的小伙伴们提交spark任务的时候，常见的错误。

小小小黄鸡·2023-11-06 04:43

数据仓库、大数据平台、数据中台演进之路

数据中台演进的四个阶段：数据库阶段(OLTP联机事务处理)、数据仓库阶段(OLAP联机分析处理)、大数据平台阶段、数据中台阶段。

dehuisun·2023-11-05 23:44

数据平台、大数据平台、数据中台

数字化运营不同阶段，运营手段各尽所能随着大数据技术的不断更新与迭代，数据管理工具得到了飞速的发展，从数据库、数据仓库、数据集市与数据湖，再到大数据平台与如今的数据中台，其实将它们比喻成一场“数据的旅程”

DemonHunter211·2023-11-05 23:37

大数据平台之数据存储

文章目录1.大数据生态技术2.数据存储3.数据存储的发展3.1数据仓库3.2数据湖4.数据存储的方式4.1批处理的数据存储4.2实时处理的数据存储1.大数据生态技术数据存储处理:清洗,关联,规范化,组织建模,通过数据质量的检测,数据分析然后提供相应的数据服务离线数仓:实时数仓:以Kafka,cancal/Maxwell/FlinkCdc为区分,离线数仓为Hive,Sqoop实时数仓:分层:Ods,

959y·2023-11-05 22:25

hadoop ubantu环境搭建_Ubuntu16.04+hadoop2.7.3环境搭建

1.JDK的安装hadoop是使用Java开发的一个大数据平台，自然少不了Java运行环境的安装了，当然使用hadoop不一定需要java语言，hadoo

lvero王·2023-11-05 20:51

Apache Flink 在实时金融数据湖的应用

摘要：本文由中原银行大数据平台研发工程师白学余分享，主要介绍实时金融数据湖在中原银行的应用。

Apache Flink·2023-11-05 17:51

hive分桶_Hive介绍与核心知识点大数据技术栈12

回顾：大数据平台技术栈(ps:可点击查看)，今天就来说说其中的Hive！作者：高广超，多年一线互联网研发与架构设计经验，擅长设计与落地高可用、高性能、可扩展的互联网架构。

weixin_39622138·2023-11-05 16:09

大数据分析的下一代架构--IOTA架构设计实践[下] 转

典型的Lambda架构如下：Lambda架构的核心思想是：数据从底层的数据源开始，经过各样的格式进入大数据平台，然后分成两条线进行计算。

生活的探路者·2023-11-05 02:48

Elasticsearch 实战应用系列

曾负责大数据平台日TB级实时高并发数据流架构，曾人工智能创业团队大数据开发组负责人，万方搜索引擎负责人，近几年专注Elasticsearch底层技术，高级Elasticsearch工程师。

啊桑桑·2023-11-05 02:24

大数据攻略案例分析及结论

中国企业家研究院对１０多家在大数据应用方面的领先企业进行了采访调研，更多家企业进行了书面资料调研，我们发现：■当前中国企业的大数据应用可以归类为：大数据运营、大数据产品、大数据平台三大=领域，前两者更多是企业内部的应用

iris_1992·2023-11-04 21:37

谁懂？这23个关于大数据的灵魂拷问！

在这些拷问的人群中，有一些是没有接触过大数据平台，有一些甚至已经是大数据老兵。那趁着这次机会，让我们索性一次把这些问题言简意赅的聊清楚。1、究竟什么是大数据？这么受企业追捧，是智商税不？

桥路丶·2023-11-04 16:07

datanode01：该主机已与 Cloudera Manager Server 建立联系。该主机未与 Host Monitor 建立联系。

问题描述：大数据平台的datanode01意外宕机，重启服务器后大数据平台告警，datanode01运行状况测试不良。

飞翔的驴·2023-11-04 15:11

大数据技能竞赛（需要提供相关答疑私信）

全国职业院校技能大赛模拟题（平台搭建，离线数据清洗，实时数据分析，可视化，综合分析）大数据平台搭建大数据技术与应用技能竞赛题目解析及代码分析实验Hadoop完全分布式安装配置/伪分布式安装配置Spark

笨鸟先-森·2023-11-04 13:03

字节测试开发面试分享，太难了...

我有个大数据平台项目，问了比较多，聊着聊着，提到自己研究过Selenium、TestNg源码，让我讲讲研究的心得，就扩展性地聊了下，其实在面试之前，已经想到面试官会问。

测试杂货铺·2023-11-04 09:37

CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2等服务的webui在CDH/CDP等大数据平台中，当开启kerberos安全后，如何访问HDFS/YARN/HIVESERVER2

明哥的IT随笔·2023-11-04 08:16

Hive 自定义函数

大数据平台下的数据仓库搭建过程中存在许多个性化的业务需求，或者说是系统需求，无法在Hive提供的内置函数中找到解决办法，为了解决这个问题，我们可以使用Hive自定义函数满足这种个性化需求。

Data-Developer·2023-11-04 06:52

大数据平台搭建——基于mysql上搭建hive（基于CentOS-7）

说明：hive搭建必须建立在hadoop的基础上，如果想要了解如何搭建hadoop集群下面文章对你可能会有帮助，本次hive搭建主要采用MySQL8.1.0版本，Hive为3.1.1版本。hadoop集群搭建教程一、搭建mysql客户端1、下载有关文件MySQL下载地址（官网）（1）因为搭建的平台基于CentOS-7系统，所以选择以下版本，读者可以根据自己虚拟机系统选择（2）选择以下文件下载：1）

爱吃炸鸡的boy~~·2023-11-03 15:07

大数据平台搭建——hadoop集群（基于CentOS-7）的搭建

爱吃炸鸡的boy~~·2023-11-03 15:06

大数据平台发展及Hudi简要复习

第一代数据仓库——Vertica最初，Uber使用MySQL作为他们的主要数据存储。然而，随着业务的扩展和数据量的增长，他们开始需要一个更强大的解决方案来进行大规模的数据分析和处理。因此，Uber选择了Vertica作为他们的第一代数据仓库。Vertica是一个高性能的列式存储数据库，专为分布式大规模数据分析设计，能处理PB级别的数据，并支持SQL和许多BI工具。它为Uber的数据分析提供了更快、

Joy T·2023-11-03 09:49

智云研·2023-11-03 02:44

京东大数据平台（京东数据分析）：9月京东牛奶乳品排行榜

鲸参谋监测的京东平台9月份牛奶乳品市场销售数据已出炉！9月份，牛奶乳品市场销售呈大幅上涨。鲸参谋数据显示，今年9月，京东平台牛奶乳品市场的销量为2000万+，环比增长约65%，同比增长约3%；销售额为23亿+，环比增长约138%，同比增长约73%。此外，市场中产品的均价也在上升，环比增长约45%，同比增长约66%。*数据源于鲸参谋-行业趋势分析（来自公开渠道获取，数据仅供参考）在热销品牌榜单中，排

jingcanmou_data·2023-11-02 20:51

竞赛选题深度学习大数据物流平台 python

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.

laafeer·2023-11-02 17:55

【金猿产品展】HashData云端数据仓库——存储、计算和连接有价值的商业数据...

大数据产业创新服务媒体——聚焦数据·改变商业作为公司旗舰产品，HashData云端数据仓库融合了MPP数据库的高性能和丰富分析功能、大数据平台的扩展性和灵活性，以及云计算的弹性和敏捷性，以创新性的元数据

数据猿·2023-11-02 16:05

酷克数据出席永洪科技用户大会携手驱动商业智能升级

过去，企业搭建大数据平台普遍采用传统MPP架构数据仓库，存在建设成本高、扩缩容不灵活、难以实现多云管理等“痛点”。随着云计算的兴起，越来越多的企业开始

HashData酷克数据·2023-11-02 16:33

大数据实时（2）-BK的FLink实时数仓实践

1、发展历史从业务团队和大数据团队烟囱式的开发，到构建大数据平台，18年开始行动，速度还是可以的。

天天沐沐·2023-10-31 16:08

从0到1搭建大数据平台之监控

大家好，我是脚丫先生(o^^o)大数据平台设计中，监控系统尤为重要。它时刻关乎大数据开发人员的幸福感。试想如果半夜三更，被电话吵醒解决集群故障问题，那是多么的痛苦！！！

数据指北Ai·2023-10-31 12:37

《从零开始学架构》读书笔记一：架构基础

系统的定义系统泛指由一群有的个体组成，根据某种运作，能完成个别元件的工作的群体。模块和组件模块：从逻辑层面拆分出来的单元，主要用于职责分离，比如订单模块，登录模块组件：从物理层面拆分出来的单元，主要用于单元复用，比如nginx，web服务器，mysql等架构设计的目的是为了解决系统复杂度带来的问题那么清楚为系统带来复杂度读度的原因是十分有必要的，工程中主要有如下五个维度高性能单机层面（多进程，多线

李子悟·2023-10-31 10:57

大数据之路-日志采集

数据采集作为大数据体系中的第一环节，对如何全面、高性能、规范完成海量数据的采集，并将其传输到大数据平台。

¤睿·2023-10-31 05:50

仅需三步，即可一键启动的TDH社区开发版来啦！！！一切尽在掌握

随着数据规模的超高速增长，企业往往需要建设大数据平台来发挥数据价值，将数据资源转换为数据资产。企业在进行大数据平台建设时

星环科技社区版TDH·2023-10-31 00:38

大数据产品推荐：星环人工智能平台

Sophon打通了大数据平台和人工智能平台，业务分析师和数据分析师可以通过内置的行业模版、通

乐投网·2023-10-31 00:38

CDH/HDP迁移星环大数据产品TDH

原企业版用户企业版不再更新Cloudera和Hortonworks合并后推出了新一代大数据平台CDP，CDH6和H

四月天03·2023-10-31 00:07

TDH 8.0 使用必读 1 ：为什么你需要存算解耦的多模型数据管理平台

引言星环科技于2021年3月发布了星环极速大数据平台TDH的8.0版本。相信很多用户都对这款新产品非常感兴趣。我们将用一系列文章，会向您逐一介绍最新发布的TDH8.0全新功能和技术创新。

资讯汇·2023-10-31 00:06

亚马逊云科技为奇点云打造全面、安全、可扩展的数据分析解决方案

超过1500家客户信赖的企业级大数据平台数据能够为业务带来实际的价值，已成为不同行业、不同规模企业的共识。奇点云致力于通过数据平台与应用产品，为客户建设并沉淀数据资产，让每个客户都拥有更高效

caijingshiye·2023-10-30 20:56

3.7 移动端TB(D)R架构基础

一、各类电子设备功耗对比桌面级主流性能平台，功耗一般为300W（R7/I7+X60级别显卡），游戏主机150-200W入门和旗舰游戏本平台功耗为100W主流笔记本为50-60W，超极本为15-25W，旗舰平板为8-15W旗舰手机为5-8W，主流手机为3-5W。桌面和移动端带宽比较二、名词解释Soc（SystemonChip）Soc是把CPU、GPU、内存、通信基带、GPS模块等等整合在一起的芯片的

s178435865·2023-10-30 08:11

大数据-玩转数据-大数据平台搭建工具 Ambari

一、Ambari是什么Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。目前最新的发布版本是2.0.1，未来不久将发布2.1版本。就Ambari的作用来说，就是创建、管理、监视Hadoop的集群，但是这里的Hadoop是广义，指的是Hadoop整个生态圈（例如Hive，Hbase，Sqoop，Zookeeper等），而并不仅

人猿宇宙·2023-10-30 03:04

CM+CDH构建企业大数据平台（2）-- 理论准备CM和CDH

如何实现CM+CDH构建企业级大数据平台当前边所有的准备工作都搞定之后，接下来我们就来正式的通过CM+CDH的方式来构建企业级大数据平台。那么CM是什么？CDH是什么？CM和CDH的关系是什么？等等。

Y先生的领地·2023-10-30 00:27

vr虚拟展馆3d展厅三维展示，数字化转型首选

线上展厅的出现给给企业和观众的带来了很多便利，3d虚拟先进技术的发展促进虚拟现实的多元化和可视化发展，商迪3D运用3D线上虚拟展示技术打造3D线上展厅，提升企业3d展厅的形象和优势，从而实现3D线上展厅企业数字化大数据平台的建设

商迪3D·2023-10-29 23:53

数字化转型系列主题：安全架构的设计原则

本文转自：安全架构基础概念指那些在安全业界实践中已证明是成功的优秀实践抽象而来的概念集合，设计师可以运用这些基本的设计准则来进行与软件语言、软件平台无关的架构级系统设计。

LarryHai6·2023-10-29 06:58

新手学习大数据技术如何入门?

【导语】对于已经就业的从业者来说，学习路线和方式与在读学生还是有较大区别的，在读的学生可以按照编程语言、操作系统、机器学习、大数据平台等内容陆续学习，那么新手学习大数据技术如何入门?

qq_38397646·2023-10-28 21:27

竞赛深度学习大数据物流平台 python

文章目录0前言1课题背景2物流大数据平台的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.

iuerfee·2023-10-28 11:15

互联网大数据平台究竟可以解决哪些问题?

互联网大数据平台究竟可以解决哪些问题？可以简单归类一下四点：1）产品优化。服务产品团队，优化产品的功能，交互等。

阿霖A00·2023-10-28 09:02

日均 6000+ 实例，TB 级数据流量，Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”？...

作者|胡泽康鄞乐炜Profile作者简介胡泽康联通（广东）产业互联网公司大数据工程师，专注于开源大数据领域，从事大数据平台研发工作鄞乐炜联通（广东）产业互联网公司大数据工程师，主要从事大数据平台的应用与引擎端开发

DolphinScheduler社区·2023-10-28 07:18

大数据和智能数据应用架构系列教程之：大数据与社交网络分析

而近几年来，随着互联网公司将大数据平台作为重要竞争力，越来越多的企业开始采用大数据技术进行社会业务的分析与决策。尤其是基于社交网络的分析与挖掘具有十分重要的价值。

禅与计算机程序设计艺术·2023-10-28 07:16

031-从零搭建微服务-监控中心（一）

源码地址（后端）：mingyue:基于SpringBoot、SpringCloud&Alibaba的分布式微服务架构基础服务中心源码地址（前端）：mingyue-ui:基于Vue3+TS+Vite+Elementplus

Strive_MY·2023-10-27 22:52

“新华三杯”全国大学生数字技术大赛预选赛备考资料

决赛包含个人赛和团队赛省预赛的难度在H3CNE级别，这里没说具体方向，按照2022年新华三就是包含，计算机网络基础知识、路由协议与以太网交换技术、H3C云计算技术、网络安全、H3C存储技术、WLAN技术、H3C服务器技术、H3C大数据平台技术

成全101·2023-10-27 22:10

怎么通过MQTT查看数据是否上云端_EMQ X+TDengine 搭建 MQTT 物联网可视化平台

物联网数据采集涉及到大量设备接入、海量的时序数据传输，EMQXMQTT服务器与TDengine大数据平台的组合技术栈完全能够胜任场景中的海量时间序列监测数据的传输、存储和计算。

weixin_39806779·2023-10-27 04:50

数据运营-数据管理平台

目录一、IDmaping二、用户标签管理三、数据规范四、运营分析五、人群操作六、数据脱敏七、营销应用系统对接一、IDmaping通过不同数据源，在技术上实现数据数据打通后，基于应用层技术为大数据平台后端服务提供可视化的交互能力

戰士·2023-10-27 03:56

数据管理解决方案 | 零售行业如何搭建全渠道大数据平台？

后疫情时代，面对艰难的市场竞争环境，零售企业愈发明白数字化的重要性。商品管理、库存管理、会员营销、门店运营......每天都在产生海量且高频次的业务数据，如何实现“数据驱动”是零售商们特别关注的问题。零售行业数据管理特点随着大数据技术的引进，零售商们的诉求集中在如何收集和利用与业务需求相关的数据，如何有效利用数据来促进业务增长等方面。但零售行业往往门店多、客户多、库存多，数据量大且繁杂，在数据管理

running_elephant·2023-10-27 01:40

推荐频道

大数据平台-架构基础