大数据平台CDH 第14页

阿里经济体大数据平台的建设与思考

本文内容根据演讲视频以及PPT整理而成。双十一！=11.11首先从双11说起，双11已经成为阿里巴巴最大的单日促销活动。双11活动可能对于消费者而言只是一天而已，但是对于阿里巴巴和数百万商家而言，却是一个非常长线的工作。站在阿里巴巴的角度来看双11，其实无论是从业务线还是技术线，背后都存在着很多的思考。从“人、货、场”的角度看待双11。首先，对于“人”而言，双11需要回答什么样的消费者会看什么样的

zhaowei121·2023-10-23 12:25

Flink on Yarn三部曲之二：部署和设置

Java、Docker、Kubernetes、DevOPS等；本文是《FlinkonYarn三部曲》系列的第二篇，上一篇《FlinkonYarn三部曲之一：准备工作》已将所需的机器和文件准备完毕，可以部署CDH

程序员欣宸·2023-10-23 01:51

Sqoop的安装与配置

Sqoop安装准备安装Sqoop的前提是已经具备Java和Hadoop、Hive、ZooKeeper、HBase的环境安装步骤上传安装包sqoop-1.4.6-cdh5.14.2.tar.gz到虚拟机中解压

菜鸟也学大数据·2023-10-23 00:56

sqoop命令简记

长时间没有使用sqoop命令忘记了很多，这里简单记一下，方便以后查找import上传大数据平台数据–username用户名称–password密码–table表名–hive-databasehive上的数据库名

select_where·2023-10-22 22:04

Alluxio 简单使用

一、AlluxioHA下载tar包，这里选择了2.0版本，下载后解压到cdh01ssh免密配置：cpconf/alluxio-site.properties.templateconf/alluxio-site.properties

w1992wishes·2023-10-22 17:13

Hadoop 系列（七）—— HDFS Java API

如果是CDH版本的Hadoop，还需要额外指明其仓库地址：4.0.0com.heibaiyinghdfs-java-api1.0UTF-82.6.0-cdh5.15.2clouderahttps://repository.cloudera.com

heibaiying·2023-10-22 01:01

智慧河湖方案：AI赋能水利水务，构建河湖智能可视化监管大数据平台

一、方案背景我国江河湖泊众多，水系发达。伴随着经济社会快速发展，水生态水环境问题成为群众最关注的民生议题之一。一些河流开发利用已接近甚至超出水环境承载能力，一些地区废污水排放量居高不下，一些地方侵占河道、围垦湖泊等现象时有发生。二、方案概述旭帆科技依托智能高清摄像头、5G无人船、5G无人机等前端设备的数据与信息采集技术、视频监控与流媒体处理技术、人工智能识别技术、云计算、大数据、网络传输与通信等技

Black蜡笔小新·2023-10-21 19:01

【200页】CDH安装运维手册

摘要：1.200页CDH大数据集群运维手册2.内容涵盖大数据集群安装、节点管理、用户管理、资源管理和安全管理目录1.ClouderaManager使用【1】2.配置安装源【2】2.1.配置Linux源【

大数据研习社·2023-10-21 18:14

大数据测试

一.大数据平台测试简述大数据平台测试包括2部分：基础能力测试和性能测试Ⅰ).基础能力测试大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持大数据平台是否能够通过界面的形式方便用户进行非运行维护

是酱酱呀·2023-10-21 10:19

一.大数据平台：记账系统测试用例bug的软工测试

在软工测试方面，我们会设计多条测试用例，同时也会有许多bug产生，同时还有回归测试中修复的bug，但是怎么给设计人员清晰的展示测试用例的分布情况和修改案例呢，这里我们用finebi对软工测试结果最后评估实现数据分析。以下是测试的思路和流程。1.测试思路收到测试任务后：•第一步是去找测试的有关方法，之前学习到测试分为黑盒测试和白盒测试。实验里面也实现过白盒测试，但是白盒测试是对代码的测试，面对一个工

玻璃水的客观性·2023-10-21 10:11

认识大数据

大数据开发需要了解的几种语言HadoopSparkStorm大数据平台应用六大知识点一、大数据中的数据仓库和Mpp数据库如何选型?

三思而后行，慎承诺·2023-10-21 07:42

大数据平台开发经验

如果我是一个有着10年大数据平台开发经验的开发者，面试时可能需要准备以下知识大数据生态系统：**熟悉大数据技术栈，如Hadoop、Spark、Flink等，了解它们的原理、用途和优劣势。

三思而后行，慎承诺·2023-10-21 07:04

与领航者共话湖仓， StarRocks Summit 2023 技术专场分论坛剧透来了！

过去一年里，越来越多的企业开始为自有大数据平台引入湖仓一体数据架构方案，来解决实际的业务问题：微信实现多个平台数据需求统一，将平均数据查询速度提升3倍。

StarRocks_labs·2023-10-20 22:25

腾讯大数据平台质量保障之道

引言大数据时代，业界各巨头都在投入重兵打造自己的大数据平台，分析挖掘蕴藏在数据金矿中的价值。在腾讯，数平承建了公司级大数据平台，我们的测试团队也有幸一起搭上了大数据的航母。这是一种机遇，更是一种挑战。

test_soy·2023-10-20 20:42

hadoop基础结构

1.hadoop几个点HADOOP免费CDH收费HDP收费后2者合并成为CDP2.结构图HDFS就是分布式存储，包含NameNode（nn）、DataNode(dn)、SecondaryNameNode

阿里纳斯_0097·2023-10-20 20:09

游戏网页制作仿英雄联盟网页设计作业 HTML CSS游戏官网网页模板大学生游戏介绍网站毕业设计 DW游戏主题网页模板下载游戏娱乐网页成品代码英雄联盟网页作品下载

STU网页优选·2023-10-20 18:33

智慧水务大数据平台建设介绍

平升电子智慧水务/智慧水务大数据平台，综合水务公司对管网地理信息在线、供水调度SCADA、各环节数据互联互通、工单执行过程监督、运营情况分析等管理需求，建立了一套面向基层执行者、中层管理者、高层决策者等各层级管理人员的全面科学的解决方案

平升电子DATA86·2023-10-20 16:57

大数据技术系列（1）

1系统平台（Hadoop、CDH、HDP）1.1Hadoop ApacheHadoop是一个

爱吃西瓜的小菜鸟·2023-10-20 11:32

盘点哪些我拥有的课程（一）【文末分享

服务端+MVP架构+封装思想+主流框架3.Typescript+React高仿Antd从零到一打造自己的组件库设计，开发，测试，发布再到CI/CD，从0到1造轮子4.玩转热门框架用企业级思维开发通用够硬的大数据平台一次大厂开发流

weixin_51361104·2023-10-20 09:48

docker安装下airflow调度CDH中hive,报错ModuleNotFoundError: No module named ‘sasl‘

docker安装下airflow调度CDH中hive,报错ModuleNotFoundError:Nomodulenamed‘sasl’完整报错[2021-03-2514:38:48,763]{{models.py

Vivellice·2023-10-20 09:46

windows 配置kerberos访问启用spnego的CDH 集群web UI页面

一问题描述CDH集群启用HTTPWeb控制台的Kerberos身份验证后，FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070

weixin_34038652·2023-10-20 08:18

启用Kerberos后，Windows上浏览器访问CDH页面的那些事

前言在对Hadoop集群施加安全认证的过程中，往往会有需要开启对应服务组件WebUI认证的需求。在启用认证后，如果直接使用浏览器打开WebUI页面，都会提示需要进行认证。大部分情况下，都会用到下面几个步骤，来在Windows上打开需要认证的WebUI：安装Firefox浏览器安装MITKerberosWindows客户端配置krb5.ini文件配置Firefox的高级选项：network.nego

咕噜咕噜大数据·2023-10-20 08:47

Windows 配置kerberos访问并启动访问CDH 集群web UI页面

1、问题描述：CDH集群启用HTTPWeb控制台的Kerberos身份验证后，FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070

大大大大大大太阳·2023-10-20 08:14

CDH启用Kerberos导致hdfs,yarn等页面无法访问解决

CDH启用Kerberos，导致namenode和resourcemanager等页面无法访问，访问页面的时候报错Problemaccessing/cluster.Reason解决方案：将hdfs/yarn

me凡·2023-10-20 08:13

安装HAProxy实现Impala负载均衡(有Kerberos)

实现软均衡负载，具体方案；在客户端与服务端直接搭建HAProxy服务，监听相应接口，分发请求；以下是通过HAProxy实现impala均衡负载方案前提条件：impala服务正常本文impala版本3.2.0+cdh6.3.2

邢一·2023-10-20 08:12

openssl-key-exchange 基于ECDH (Elliptic-Curve Diffie–Hellman) 的密钥交换流程

openssl-key-exchange本文摘自我在GitHub的开源项目https://github.com/zhoupeng6d/openssl-key-exchange简介该方案介绍一种通过ECDH

zhoupeng6d·2023-10-20 07:27

ZooKeeper的安装与详解

安装zookeeper的注意事项：安装前需要安装好jdk检测集群时间是否同步检测防火墙是否关闭检测主机ip映射有没有配置##下载安装包、解压下载地址：CDH版本：http://archive.cloudera.com

大数据狂人·2023-10-20 06:19

数仓系列 | Flink 窗口的应用与实现

整理|祝尚（Flink社区志愿者）校对|邹志业（Flink社区志愿者）摘要：本文根据ApacheFlink系列直播整理而成，由ApacheFlinkContributor、OPPO大数据平台研发负责人张俊老师分享

Apache Flink·2023-10-20 00:33

基于mpvue的微信小程序全栈保姆式教程一

预览最终效果https://github.com/FFGF/XCDHBook/blob/master/static/XCDHBook.gif顺便推荐一个视频转gif的好工具https://ezgif.com

qq_17112235·2023-10-20 00:11

rust学习（一）rustc和cargo

（1.2）helloworld：mkdir+文件夹名XXX：创建空白文件夹XXX；例如mkdirhello_world（俩单词之间用“_”连接起来）cd+文件夹名XXX：进入文件夹XXX；例如cdhello_world

一只工程鸭·2023-10-19 23:42

maven指南

@(OTHERS)[maven]maven指南1maven下载出错2打包超级包shade与provided3依赖冲突NoSuchMethodErrorClassNotFoundException4添加CDH

jediael_lu·2023-10-19 22:40

压测九种工具

下载地址：http_load-12mar2006.tar.gz安装很简单#tarzxvfhttp_load-12mar2006.tar.gz#cdhttp

佳司海心·2023-10-19 19:22

聊聊企业大数据平台在企业运营中的作用

伴随着大数据时代的悄然来临，数据的价值得到人们的广泛认同，对数据的重视提到了前所未有的高度。移动互联网、社交媒体和其他来源的数据爆炸式增长，产生了海量的数据，企业会仔细收集这些数据，并将其存储起来，以便重复使用。数据已经作为企业重要资产被广泛应用于盈利分析与预测、客户关系管理、合规性监管、运营风险关理等业务当中。那么大数据在企业经营中有什么作用，下面我们对大数据在企业经营中的作用进行简要介绍。1.

garyond·2023-10-19 09:04

tomcat、nginx实现四层转发+七层代理+动静分离实验

1nginx3——20.0.0.31——代理服务器2动态页面：tomcat1——20.0.0.12——后端服务器1tomcat2——20.0.0.22——后端服务器2实验步骤：1、nginx1四层代理cdhtmlvimindex.html2

咩咩230·2023-10-19 08:14

在两个kafka集群同步topic

在两个kafka集群同步topic目标：把debezium节点所在集群上的kafka集群的名为sysdata的topic同步到目标集群cdh上的kafka集群上。

yostkevin·2023-10-19 04:19

大数据平台的优势与基本能力

大数据平台的独特优势和核心能力随着信息技术的迅猛发展，大数据平台在各行各业中扮演着至关重要的角色。大数据平台是一种集成了多种技术和工具的系统，用于收集、处理、存储和分析海量的结构化和非结构化数据。

抱紧大佬大腿不松开·2023-10-19 02:57

hue实现对hiveserver2 的负载均衡

如果你使用的是CDH集群那就很是方便的在ClouderaManager中，进入HDFSService进入Instances标签页面，点击AddRoleInstances按钮，如下图所示点击Continue

墨卿风竹·2023-10-18 19:12

vue普通加密以及国密SM2、SM3、sm4的使用

/package/sm-crypto介绍1.SM2是非对称加密算法它是基于椭圆曲线密码的公钥密码算法标准，其秘钥长度256bit，包含数字签名、密钥交换和公钥加密，用于替换RSA/DH/ECDSA/ECDH

hyduan200·2023-10-18 14:26

大数据架构和模式，第 2 部分

如何知道一个大数据解决方案是否适合您的组织简介在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。

断水流大湿兄·2023-10-18 13:54

用户之声 | 初探国产数据库之光——南大通用GBase

文|邢书恒「参加认证培训的原因」山东移动经营分析系统和大数据专题分析平台，从2012年开始引入国产数据库逐步替换原有数据库，分阶段建设、升级扩容大数据平台，采用GBase集群作为底层数据支撑。

GBASE数据库·2023-10-18 08:54

数仓建设（一）

想了想，我们的数仓的建设是基于大数据平台进行的，中间也经历了比较曲折的过程。每个行业都有自身的业务区别，不过很多还是比较相通的。

未来在这儿·2023-10-18 06:39

CDH5.15 安装spark2 ，启动报错，求解

[root@hadoop1csd]#spark2-shellExceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/hadoop/fs/FSDataInputStreamatorg.apache.spark.deploy.SparkSubmitArgumentsanonfun$mergeDefaultSparkPropert

秦记·2023-10-18 05:37

发布springboot-demo到私有HARBOR并使用k8s部署

type类型HARBOR新版本安装https://segmentfault.com/a/1190000022812745tar-xvfharbor-offline-installer-v2.5.0.tgzcdharborcpharbor.yml.tmplha

牧竹子·2023-10-18 02:57

CDH6.3.1离线安装（内含安装包）

一、安装前准备1、安装包链接：https://pan.baidu.com/s/1drZV1CtUn8h3DHt6wjeVvw?pwd=1234提取码：1234image.png2、服务器准备2.1配置host相互访问都用配置的host进行访问所有机器使用同一个配置[root@gy-dev-app~]#vim/etc/hosts127.0.0.1localhostlocalhost.localdom

黄蜂怪·2023-10-18 02:50

如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0

://dolphinscheduler.apache.org/en-us/Github:https://github.com/apache/incubator-dolphinscheduler部署环境CDH

青年夏日科技·2023-10-18 01:46

待看的优秀文章链接

苹果官方文档objchttps://opensource.apple.com/tarballs/objc4/runloophttps://opensource.apple.com/tarballs/CF/gcdhttps

洧中苇_4187·2023-10-17 23:41

HDFS Java API

如果是CDH版本的Hadoop，还需要额外指明其仓库地址：<?xmlversion="1.0"encoding="UTF-8"?</

shangjg3·2023-10-17 19:59

\OBJ\templiate.axf: Error: L6218E: Undefined symbol PcdHalt (referred from rc522.o).

keil5报错记录:…\OBJ\templiate.axf:Error:L6218E:UndefinedsymbolPcdHalt(referredfromrc522.o).先来百度翻一下：目标\模板.

Ydon?tkwhmeIS·2023-10-17 18:29

【kafka】Kafka 可视化工具Kafka Eagle安装和使用

因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。KafkaEagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。

Bogon·2023-10-17 11:56

Linux上使用SSH连接Git

git:[zhichao@localhost/]$yuminstallgit生成密钥:[zhichao@localhost/]$ssh-keygen打开密钥文件:[zhichao@localhost/]cdhome

思想永无止境·2023-10-17 07:08

推荐频道

大数据平台CDH