大数据平台CDH 第31页

数据中台建设方案-基于大数据平台

数据中台建设方案-基于大数据平台-1数据中台建设方案1.1总体建设方案通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技TranswarpDataHub（TDH

FRDATA1550333·2023-04-08 17:03

智慧水务大数据平台-智慧水务建设方案

平台概述智慧水务大数据平台是以物联感知技术、大数据、智能控制、云计算、人工智能、数字孪生、AI算法、虚拟现实技术为核心，以监测仪表、通讯网络、数据库系统、数据中台、模型软件、前台展示、智慧运维等产品体系为支撑

唐山柳林·2023-04-08 11:45

【大数据开发】sqoop报错汇总

cp/usr/local/hive/lib/hive-shims-*/usr/local/sqoop/lib/解决办法：cp/usr/local/hive/lib/hive-common-1.1.0-cdh5.13.2

这个妹妹我见过·2023-04-08 07:25

使用 ES-Hadoop 将 Spark Streaming 流数据写入 ES

一、开发环境1、组件版本CDH集群版本：6.0.1Spark版本：2.2.0Kafka版本：1.0.1ES版本：6.5.12、Maven依赖org.scala-langscala-library2.11.8org.apache.sparkspark-core

武念·2023-04-08 04:47

企业级Hadoop大数据平台实战（1）——认识Hadoop

文章目录一、什么是Hadoop二、Hadoop的优点三、核心架构四、HDFS交互关系五、Hadoop的常用模块六、HADOOP生态圈以及各组成部分的简介七、Hadoop的配置文件一、什么是HadoopHadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hado

CapejasmineY·2023-04-08 03:51

超算优化重在存储，DAOS助力瑞金打造先进的生信大数据平台

文章来源：头部科技【导读】「为什么说DAOS是为高算力匹配的高性能存储？」高性能计算（Highperformancecomputing，缩写HPC）又名超算，即以超强算力解决数据密集型的各类科学问题。早期的HPC主要用于解决国家级的、或重要基础学科里的科研项目难题，如美国在1960年代曾使用CDC超级计算机进行火箭设计等工作。而随着基于x86架构处理器的工业标准化集群的采用，HPC开始走向工业界，

大数网·2023-04-08 03:25

制作一个简单HTML游戏网页（HTML+CSS）仿龙之谷网络游戏官网

IT芷君·2023-04-07 18:53

第一次企业咨询复盘

百度指数，搜狗指数，头条指数，360指数，微博指数等等大数据平台，确认一下关心此类产品的用户的画像是什么？他们还关注哪些其他领域？

花老板不吃闸机·2023-04-07 17:50

【大数据是什么】

大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的？

BigDataTuTu·2023-04-07 16:11

linux 下 kettle（pdi）将 mysql 数据导入 hive parquet 表中

背景linux下使用kettle（pentahodataintegration）将mysql数据，通过ParquetOutput导入CDH6.2集群hive的parquet表中。

cooooper·2023-04-07 14:27

分布式技术剖析

随着企业数字化进程的进一步深入，企业为了解决大数据的“4个V”问题，往往需要构建多个不同技术栈的大数据平台，其中不乏会使用到分布式相关的存储、计算、资源管理技术。

星环科技·2023-04-07 13:04

【华为OD机试真题 python】连续字母长度【2022 Q4 | 100分】

示例1输入输出示例仅供调试，后台判题数据一般不包含示例输入AAAAHHHBBCDHHHH3输出2说明同一字母连续出现的最多的是A和H，四次；第

无痕de泪·2023-04-07 05:18

转行大数据未来发展怎么样？可行么

大数据开发工程师主要负责公司大数据平台的开发和维护、

我想去吃ya·2023-04-06 23:19

大数据平台核心架构图鉴，建议收藏！

我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同

架构文摘·2023-04-06 16:11

Thrift JDBC/ODBC Server安装

添加Clouderamaven镜像在spark的pom文件中添加CDH的maven镜像[1]，并添加Hadoopcdh5.6.1的profileclouderahttps://repository.cloudera.com

专职掏大粪·2023-04-06 16:29

2019年10月18日

今天也在公司无所事事混过了一整天，不过小区提取算法的时间效率终于引起了众怒（x）目前有继续优化代码效率和改成在大数据平台上读写hive两种结局方案，先试试前者，实在不行再后者吧。

真昼之月·2023-04-06 15:31

一文带你了解算法背后的基本原理 | 推荐收藏

众所周知，大数据平台只是提供了数据获取、存储、计算、应用的技术方案，真正挖掘这些数据之间的关系让数据发挥价值的是各种机器学习算法如今，算法已经成为许多数字平台的核心资产。

辰哥爱学习·2023-04-06 12:34

CentOS7安装CDH6.2.0

准备建议最少4台物理机或者虚拟机（一个控制节点，3个数据节点），4核16G，硬盘500G，挂载根目录如果用于学习，可以4核8G，如果是生产部署，推荐8核32G以上系统为CentOS7.6，使用root用户登录CDH

david9·2023-04-06 08:17

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

开源大数据平台E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks

阿里云技术·2023-04-06 04:31

电力物联网大数据平台架构及应用

随着物联网、互联网+时代的到来，尤其是泛在电力物联网建设的推进，电网数据也呈现出海量、多样性等趋势，挖掘电网数据价值，助力电网服务水平的提升，拓展电网数据的创新应用，成为国网公司的核心引擎及新增长极。在介绍泛在电力物联网的基础上，阐述了电网数据的特征，并提出了泛在电力物联网大数据分析平台架构，探讨了关键技术，最后介绍了泛在电力物联网大数据的潜在应用。一、电力物联网近年来，随着国家高科技战略转型的落

wespten·2023-04-06 03:28

linux下将新硬盘挂载到home的某个文件目录下

1、格式化硬盘sudomkfs.ext4/dev/sdb5(sdb5为硬盘名称)格式化为ext4格式2、设置开机挂载比如挂载到/home/mnt目录下cdhomemkdirmnt然后sudovi/etc

wa23333·2023-04-06 02:02

字节顺序-大端/小端、big-endian/little-endian

示例：存储0x1234ABCD到内存2000H开始的四个字节中Big-Endian存储，从2000H开始，依次为ABHCDH12H34H；Little-Endian存储，从2000H开始，依次为CDHABH34H12H

小地瓜重新去华容道工作·2023-04-06 01:34

万字详解大数据架构新概念

有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？

开源Linux·2023-04-05 17:20

hadoop版本、hdfs组成架构、hdfs文件块、优缺点、读写文件流程

https://archive.apache.org/dist/hadoop/common/2.ClouderaHadoop官网地址：https://www.cloudera.com/downloads/cdh

qzc_root·2023-04-05 14:54

我与ChatGPT又聊了聊：什么是真正的云原生大数据平台

图片来源|文心一格小智：传统大数据平台是什么样的？企业使用传统大数据平台有哪些弊端？小智：云原生为什么这么火？企业如何借助云原生实现数据驱动？

LinkTime_Cloud·2023-04-05 12:45

和ChatGPT聊了聊BDOS Online，结果……

PART.03你觉得BDOSOnline和其他大数据平台有什么区别？PART.04你能给我演示一下BDOSOnline的使用吗？小智说目前的大数据技术是强大的，但它们对于普通人来说仍然太难使用。

LinkTime_Cloud·2023-04-05 12:15

真正的云原生大数据平台，让Kubernetes又牛了一把

作为一款开源的容器编排引擎，始于2014年的Kubernetes一经推出就受到了开发者的喜爱，谁也不曾想到它会取得如此大的成功。如今，在云原生技术发展的浪潮中，Kubernetes作为容器编排领域的事实标准和云原生领域的关键项目，已经成为了云原生的标配。—1—Kubernetes横空出世：改写容器编排市场格局谈到Kubernetes，就绕不开Docker。2010年，一家名叫dotCloud的公司

LinkTime_Cloud·2023-04-05 12:14

智领云彭锋做客E企谈，深度分享云原生大数据技术在数字化转型的创新与发展前景（附视频）...

当前新一轮科技革命和产业数字化变革已步入高速发展阶段，云原生大数据平台作为企业发展的数字化底座，在保障数据安全、优化运维部署、降低经营成本等方面具有重要作用。

LinkTime_Cloud·2023-04-05 12:13

大数据实践的6个阶段，现在将大数据平台迁移至K8s上成为当务之急

原文作者|彭锋博士翻译|王龙飞2018年“Gartner数据管理技术成熟度曲线”报告中，DataOps的概念被首次提出，Gartner标记其目前在“极为初级”这个阶段里面，并预计需要5-10年的达到一个技术成熟时期。在最新的Gartner2022报告中，DataOps的概念已经进入第二阶段的“爆发增长”。Gartner预计一项技术从出现到公众熟知将经历以下的五个阶段：“极为初级”阶段一项潜在的技术

LinkTime_Cloud·2023-04-05 12:32

《前端框架开发技术》HTML+CSS+JavaScript 制作个人简历模板

IT芷君·2023-04-05 11:02

阿里巴巴大数据-大数据技术专家-平台架构

长期招聘，简历投递：[email protected]岗位职责：•参与阿里巴巴大数据平台和数据中台建设，承担大数据智能研发平台整体架构工作•负责基础平台架构，大数据组件技术应用，探索，

扶至钦·2023-04-05 09:40

构建AR视频空间大数据平台（物联网及工业互联网、视频、AI场景识别）

目录1.应用背景...22.系统框架...23.AI场景识别算法和硬件...34.AR视频空间管理系统...55.物联网及工业互联网系统...56.用户应用终端...77.应用效果...91.应用背景最近有三个项目的技术要求中明确有视频和AI图像场景识别的需求，并且占用了很大的篇幅描述场景需求，即包括硬件也包括软件。物联网、视频AI场景识别、业务应用的整体融合是发展的必然趋势。第一个项目是钢铁行业

iNeuOS工业互联网·2023-04-05 05:27

web前端 html+css+javascript游戏网页设计实例 (网页制作课作业)

STU学生网页设计·2023-04-05 04:10

CDH下配置Flume进行配置传输日志文件（尚硅谷版）

CDH下配置Flume进行日志采集配置说明：许多企业目前都在使用CDH进行大数据开发，CDH具有方便，高效，一键配置，方便管理和搭建大数据组件的特点，所以下面说一下尚硅谷的Flume配合Kafka进行日志文件的采集

Jecky不姓码·2023-04-05 03:50

flume配置文件详解

a1.sources=r1a1.sinks=k1a1.channels=c1##注意：不能往监控目中重复丢同名文件a1.sources.r1.type=spooldir(cdh)/exec(cdh)/taildir

宝罗·2023-04-05 03:27

Flume简介及安装

2.Flume架构二.Flume安装及环境配置1.准备安装包flume-ng-1.6.0-cdh5.14.0.tar.gz2.解压flume安装包3.修改配置文件一.Flume简介1.什么是Flume？

May--J--Oldhu·2023-04-05 03:19

软件测试2021年终总结

任职的是中级测试工程师新公司是一家估值200多亿的快递公司，我担任的是软件测试工程师但是入职后我发现更像大数据平台测试工程师。总

软件测试李同学·2023-04-05 01:00

178页7万字智慧乡村大数据平台建设项目解决方案2022

目录第一章系统背景和目标1.1系统背景1.2建设目标第二章智慧乡村大数据平台实施方案2.1建设目标2.2系统结构图2.3系统功能第三章各子系统实施方案3.1党建云子系统3.1.1建设目标3.1.2“互联网

数字化动态·2023-04-05 00:54

行业应用 | 政务大数据平台数据安全合规建设之道

伴随着社会及经济数字化转型的深入，数字政府的建设要求也在逐步提高。十四五规划中更是提出了要加快建设数字经济、数字社会、数字政府，以数字化转型整体驱动生产方式、生活方式和治理方式变革，推进网络强国的建设的目标。在提升政府数字化水平的过程中，各类信息技术将被广泛应用于政府管理服务和业务中，实现公共数据开放共享、推动政务信息化共建共用，提高决策科学性和服务效率。而《网络安全法》、《数据安全法》、《网络数

shipinginfo·2023-04-04 23:00

impala 基础知识及使用

是CDH平台首选的PB级大数据实时查询分析引擎。1.2Impala的优缺点1.2.1优点1）基于内存运算，不需要把中间结果写入磁盘，省掉了大量的I/O开销。2）无需转换为Mapr

¥程序猿¥·2023-04-04 23:03

impala 查询资源调度配置，执行器executor，协调器coordinator 角色组配置优化节点资源分配

作为计算引擎查询hive数据时，经常性的发现资源少的节点由于内存暴增而记录一下，在用impala作为计算引擎查询hive数据时，经常性的发现资源少的节点由于内存暴增而导致impalaDaemon挂掉，仔细查询cdh

第一次看海·2023-04-04 22:46

impala实战篇

是CDH平台首选的PB级大数据实时查询分析引擎。1.1Impala的优缺点1.1.1优点基于内存运算，不需要把中间结果写入磁盘，省掉了大量的I/O开销无需转换MapReduce，直接访

AllenGd·2023-04-04 22:36

企业级Hadoop大数据平台实战（1）——基础知识说明

1.什么是hadoop？Hadoop是一个由Apache基金会所开发的分布式系统基础架构用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFSHDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上而且它提供高吞吐量（highthro

温柔梦9527·2023-04-04 19:09

用户行为分析大数据平台之（一）项目介绍

文章目录一、项目概述二、业务模块介绍2.1用户访问session分析2.2页面单跳转化率统计2.3热门商品离线统计2.4广告流量实时统计一、项目概述本项目主要用于互联网电商企业中，使用Spark技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根

云祁·2023-04-04 19:26

DolphinScheduler大数据调度系统

一、背景在2017年，易观在运营自己6.8Pb大小、6.02亿月活、每天近万个调度任务的大数据平台时，受到ETL复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘，易观的技术团队渴望找到一个具有以下功能的数据调度工具

wapecheng·2023-04-04 18:04

阿里云Big Data - dataworks和dataphin两款产品的区别

DataWorks（数据工场）具备全栈数据研发能力（数据集成与开发、生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据应用搭建）的大数据平台；2、Dataphin

天地不仁以万物为刍狗·2023-04-04 18:02

大数据-玩转数据-阿里DataWorks开发治理平台

在阿里集团内部为大家所熟知的部分是D2，DataWorks（数据工场）具备全栈数据研发能力（数据集成与开发、生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据应用搭建）的大数据平台

人猿宇宙·2023-04-04 18:00

dataworks和dataphin两款产品的区别

DataWorks（数据工场）具备全栈数据研发能力（数据集成与开发、生产运维调度、离线与实时分析、数据质量治理与资产管理、安全防护、数据共享与服务、机器学习、数据应用搭建）的大数据平台；2

帕吉ʕ ᵔᴥᵔ ʔ·2023-04-04 18:37

智慧水务大数据可视化大屏（Axure高保真原型）

智慧水务大数据平台，基于大数据、人工智能、云计算、可视化搭建等技术，构建从数据汇集到数据分析应用的一站式管理模式，实现数据标准化、高质量管理，改变传统

Rany-·2023-04-04 14:13

阿里云大数据平台DataWorks(原DataX)

核心功能数据集成离线/实时数据同步复杂网络环境下，对丰富异构类型数据源高效稳定的移动和同步能力数据开发对MaxCompute中的数据进行加工(SQL，UTF，Graph，MR)、分析与发掘（数据分析、数据挖掘）等处理从而发现其价值数据应用对MaxCompute数据加工处理后，应用各种场景，如数据提取、数据交互、数据报表、数据分析数据服务提供为企业搭建统一的数据服务总线，帮助企业统一管理对内外的AP

hsabrina·2023-04-04 14:39

推荐频道

大数据平台CDH