大数据平台CDH 第18页

Apache Spark 在爱奇艺的应用实践

01ApacheSpark在爱奇艺的现状ApacheSpark是爱奇艺大数据平台主要使用的离线计算框架，并支持部分流计算任务，用于数据处理、数据同步、数据查询分析等场景：数据处理：在数据开发平台中支持开发者提交

爱奇艺技术产品团队·2023-09-17 09:39

Hive参数与性能调优-V2.0

Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。

000X000·2023-09-16 21:54

Hexo 使用 Webhook 自动部署

shenbo.github.io一个用于放源码：hexo-source已配置好hexo的VPS服务器1.创建hexo-source仓库在hexo的source目录下（~/hexo/source）运行：cdhexo

shenbo·2023-09-16 17:05

110.用StreamSets实现数据实时写入Kudu

110.1演示环境介绍CM版本：5.13.1CDH版本：5.13.1MariaDB版本：5.5.56StreamSets版本：3.1.2.0110.2操作演示1.环境布置把MariaDB的Binlog日志开启修改

大勇任卷舒·2023-09-16 16:12

CDH集群部署

文章目录1.资源准备2.部署Mariadb数据库3.安装CM服务4.安装数据节点5.登录CM系统1.资源准备准备好CDH安装包资源，官方网站下载需要账号，如果没有账号可以去网上到处搜搜。

hzwy23·2023-09-16 16:48

大数据安全组件-Kerberos认证+Ranger权限研究

大数据的安全管控权限的管控，历来是大数据平台中最让人头疼的问题之一。管得严了，业务不流畅，用户不开心，放得宽了，安全没有底，你能放心？

振宅的博客·2023-09-16 12:40

【ODPS新品发布第1期】DataWorks全新发布：增强分析/数据建模个人版等新能力

DataWorks、Hologres为核心，致力于解决用户多元化数据的计算需求问题，实现存储、调度、元数据管理上的一体化架构融合，支撑交通、金融、科研、等多场景数据的高效处理，是目前国内最早自研、应用最为广泛的一体化大数据平台

阿里云大数据AI技术·2023-09-16 09:55

cdh安装教程

CDH免费版最高版本提供到了6.3.2，从6.3.3开始不提供免费版，为此整理了cdh6.3.2的离线安装包，大家可以点此下载：CDH6.3.2安装大体思路是将rpm压缩包解压到某个节点的本地目录，然后在这个节点开启

头顶榴莲树·2023-09-16 02:27

CDH完全卸载教程

适用于各版本CDH卸载1、停止集群2、停止clouderaManagementService3、卸载clouderamanagerserver(以下称为cmserver)以及clouderamanageragent

头顶榴莲树·2023-09-16 02:57

ssh免密报错:Could not resolve hostname : Name or service not known

如：192.168.128.129cdh1192.168.128.130cdh2192.168.128.131cdh3

jiedaodezhuti·2023-09-16 00:32

企业可以自己建立大数据平台吗？有哪些好处？

因此不少企业在问，企业可以自己建立大数据平台吗？有哪些好处？企业可以自己建立大数据平台吗？有哪些好处？答案肯定是可以的。有条件的企业可以建立属于自己的大数据平台。

行云管家·2023-09-15 17:23

TDengine 3.1.1.0 来啦！更新如下

写在前面伴随2023年9月官网改版，TDengine正式升级为高性能、分布式的物联网、工业大数据平台，提供TDengineEnterprise、TDengineCloud两大版本，在开源、云

涛思数据（TDengine）·2023-09-15 11:14

jdbc连接Impala

jar包依赖：image.pngCDH版本：5.15.1packageimpala;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement

圈半球·2023-09-15 02:15

网页期末作业基于HTML+CSS中国传统节日【清明节】带论文8000字

IT芷君·2023-09-14 14:11

【hbase】按时间段批量删除hbase数据

背景是华为大数据平台mrs，这里运用到HDFS、Hive、HBase；数据通过接口接入到hbase，用hive创建hbase外部表。需求是某段时间数据有问题，需要删掉重新补入。

彧覇不能·2023-09-14 10:37

Flume源码导入IDEA

1、下载flume-ng-1.6.0-cdh5.7.0-src.tar.gz地址：http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0

喵星人ZC·2023-09-14 09:24

Shell脚本中实现hbase shell命令调用

为了优化性能，大数据平台上的HBase表需要在脚本跑批过程中对创建的索引进行rebuild，因此说明下如何在shell中实现hbase语句调用。

八幡大老师·2023-09-14 08:45

CDH部署文档

_64.rpm-bundle.tarmysql-connector-java-5.1.36-bin.jarcloudera-manager-centos7-cm5.16.1_x86_64.tar.gzCDH

Heisenhower·2023-09-14 06:30

Hive数据仓库实战

Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。

充电了么·2023-09-14 02:28

k8s 二进制部署之部署 Etcd 集群

、环境准备2.1工具下载地址证书管理工具下载：Etcd包下载安全策略2.2、先下载软件2.3cfssl证书2.3.1创建工作目录2.3.2自签证书颁发机构（CA）2.3.3生成根证书2.3.4签发Etcdhttps

秋为春·2023-09-13 21:19

【SDC】StreamSets实战之路-28-实战篇- 使用StreamSets实时采集指定数据目录文件并写入库Kudu

内容概述1.测试环境准备2.准备测试数据3.配置StreamSets4.流程测试及数据验证测试环境1.RedHat7.42.CM和CDH版本为6.1.03.Kudu1.8.02测试环境准备1.通过Hue

菜鸟蜀黍·2023-09-13 20:01

cdh hue libmysqlclient_r.so.15

cdhhuelibmysqlclient_r.so.15错误：django.core.exceptions.ImproperlyConfigured:ErrorloadingMySQLdbmodule:

apolloin·2023-09-13 01:34

CDH5.12.1

CDH部署*Centos7中安装CDH5.12.1*hostnameipnode1(master)172.17.134.226node2172.17.134.226node3172.17.134.226

自由如风才是少年的梦·2023-09-13 00:16

大数据平台迁移后yarn连接zookeeper 异常分析

大数据平台迁移后yarn连接zookeeper异常分析XX保险HDP大数据平台机房迁移异常分析。

岁月的眸·2023-09-13 00:03

大数据平台环境部署手册(CDH6.0.0)

目录1系统环境-1-2文件下载-1-2.1Centos7-1-2.2ClouderaManager6.0.0-1-2.3CDH6.0.0-1-3环境准备（一）-1-3.1更改hosts-1-3.2关闭防火墙

Together_aec7·2023-09-12 20:54

大数据精准营销大数据平台应用场景有哪些，平台优势有哪些？

精准营销大数据平台应用场景有很多种，比如在银行领域，我通过相应的客户数据，也可以给客户推广一些银行业务。

浪浪的数据侠客·2023-09-12 18:52

领悟MMM

读懂MMMPostedon2017-04-12李庐年PostedinPMI培训教程,PMI推广,PMI讲座,心态运作,模式原理,精华荟萃MMM金融互助社区是陌生人之间互相帮助（捐款）的互联网+大数据平台

a大漠飞沙·2023-09-12 15:24

Hadoop下hive安装配置

hive安装确保虚拟机上有mysql1、将hive放入opt中解压tar-zxfhive-1.1.0-cdh5.14.2.tar.gz2、配置环境变量exportHIVE_PATH=/opt/hiveexportPATH

xin980724·2023-09-12 05:07

python画图x轴更改间隔_python matplotlib 设置x轴文本间隔显示（数字的话可以转为字符之后处理）...

fig1,ax=plt.subplots()ax.plot(totalSeed,df.loc[:,'MACDhist_1'])ax.plot(df.loc[:,'MACDhist_2'])ax.plot

weixin_39933438·2023-09-11 22:33

CDH节点扩展

修改交换内存系统配置,关闭透明大页等.4.更新和同步hosts文件,每台机器的hosts文件都要有这台新机器的IP.5.部署jdk1.8至/opt,参考其他机器.6.配置主节点到新机器的免密SSH.2.通过cdh

南知唔知·2023-09-11 20:55

解决Homebrew报错Error: Failure while executing；

cd"$(brew--repo)/Library/Taps/"rm-rfhomebrewmkdirhomebrewcdhomebrewgitclonegit://mirrors.ustc.edu.cn/

SMnK·2023-09-11 14:38

flink1.14 使用cdh 5.11 hive作为catalog，在编译时报错的问题

加入如下依赖即可，不需要再使用flink-shaded包了commons-configurationcommons-configuration1.10org.apache.htracehtrace-core3.1.0-incubatingorg.apache.htracehtrace-core44.0.1-incubatingorg.cloudera.htracehtrace-core2.04

xiaoyan5686670·2023-09-11 07:46

CDH6.2.0（别的也适用）编译flink1.14.3

（最好搞过javaEE和看得懂shell）1.3免费下载我打包好的程序CDH-6.2-FLINK_ON_YARN-1.14.3.jarCDH-6.2-FLINK-1.14.3-BIN-SCALA_2.12

jiayeliDoCn·2023-09-11 07:16

Flink 1.14.X集成Hudi 0.11.0详细步骤

Pflink-bundle-shade-hive1b.选中packaging/hudi-flink-bundlemvncleaninstall-DskipTests-Dhadoop.version=2.6.0-cdh5

代码之巅·2023-09-11 07:45

CDH6配置Flink(编译安装)

一、环境CDH6.1.1(Hadoop3.0.0)、Flink1.10.1、Centos7.4、Maven3.6.3、Scala-2.12和CDH的原生jdk1.8二、安装包1.flink1.10.1tar

雷雷飘过·2023-09-11 07:45

Flink-1.12.0/1.14.3-CDH6.3.2源码编译、CDH-Flink-Parcel制作、CDH6.3.2集成Flink1.12.0/1.14.3

flink-parcel制作过程以CDH6.3.2、FLINK1.9.1为例(1)下载制作包gitclonehttps://github.com/pkeropen/flink-parc

陈一诺.·2023-09-11 07:14

Mac/linux环境下如何使用 CMakeLists.txt 编译c++工程2019-10-01

1创建C++工程1.1创建工程目录及CMakeLists.txt文件$mkdirhello_world$cdhello_world$mkdirbin$mkdirlib$mkdirsrc$mkdirinclude

智车科技·2023-09-11 06:32

民航数据智能微应用集市

前言倘若有一个国内的全航空领域的大数据平台及集市，或者有国家相关职能部门所领导的建设方向。个人的架构实现建议及技术领域突破方向简要罗列如下。背景理解以一国家行为为驱使的特定行业数据中心及应用集市建设。

67fbeff17243·2023-09-11 00:14

漫谈“智慧税务”

作为一名税收信息化建设战线上的老兵，我参与了全国金税三期推广，参与了我省电子税务局的开发和大数据平台的建设。

风的流星·2023-09-10 20:58

大数据平台之数据治理

目录一、表治理二、文件治理三、任务四、监控本文仅在大数据平台角度对数据存储、cpu、内存角度进行数据治理，不包括业务角度。

9随遇而安·2023-09-10 07:54

年后开工，总是一波三折…

领导们三天一个小计划，五天一个大计划，天天喊口号号召，我们要做大数据平台，要做大运营，听说区块链不行了？那我们就赶上短视频风口，一定要有流量，不然都不行。然后呢？

伪装的柚子·2023-09-10 07:38

Nature Plants：将节节麦基因组导入小麦作为谷物改良的基础

此项研究中4个新参考基因组的组装数据和注释文件已存储于国家基因库生命大数据平台（CNGBdb），项目编号为：CNP0001325。研究背景增加作物产量对于养活世界上不

尐尐呅·2023-09-10 04:01

学习vue项目部署笔记

方式一：在windows本地部署1.准备vue项目打开终端，输入vuecreatehello命令来创建一个名为hello的vue项目用于部署cdhellonpmrunbuild来对hello项目进行打包

程序猿想成程序狮·2023-09-10 03:00

企业大数据平台面临的技术挑战

企业大数据的实施过程中，仍然面临很多技术挑战，涉及数据采集与获取、数据存储与查询、数据处理与计算、数据挖掘与学习、数据理解与应用、数据管理与扩展等方面。在数据理解与应用方面，存在以下几个方面的技术挑战：丰富的可视化。在数据工作的末端，数据可视化是帮助终端客户理解数据过程和结果的关键手段。传统的可视化主要通过三维以下的图、表等方式展现，并且数据容量较小。在海量数据规模下却很难应对，例如如何展示超过三

皮皮杂谈·2023-09-10 03:44

Web3.0时代，挖掘数据价值的第一步是网络数据采集

任何完整的大数据平台，一般包括以下的几个过程：数据采集–>数据存储–>数据处理–>数据展现(可视化，报表)。

雨与田·2023-09-09 21:48

linux 基础命令 cd /xxx 和 cd xxx 的区别

cd命令：用于改变当前工作目录的命令，作用：切换当前目录至其它目录用cd命令去home目录：cdhome/用cd命令去tony目录下cd../返回上级目录cd..

算力鬼才信·2023-09-09 20:27

CDH6 impala impala java.lang.OutOfMemoryError: GC overhead limit exceeded

刷新表连接超时问题现象：使用命令连接impala引擎后执行invalidatemetadatadefault.hjc03161408;起初报错如下：Error:Couldn’topentransportforcdh6

Cloud孙文波·2023-09-09 15:00

Spark大数据平台应用实战

对于一个具有相当技术门槛与复杂度的平台，Spark从诞生到正式版本的成熟，经历的时间如此之短，让人惊诧。2009年，Spark诞生于伯克利大学AMPLab，于2010年正式开源，2013年成为了Apache基金项目，2014年成为Apache基金的较高级项目，整个过程不到五年时间。2015年是Spark飞速发展的一年，Spark成为了现在大数据领域最火的开源软件，截止2015年，Spark的Con

yoku酱·2023-09-09 13:07

一点感受

（1）现状我评审的涉及底层技术平台：1、云原生（微服务）与低代码2、大数据平台-可视化报表图表3、BPM/Workflow数字化与集成其实这三个有关联性。

david_lv·2023-09-08 16:53

Openssh算法协议上的漏洞修复-Diffie-Hellman Key Agreement Protocol 资源管理错误漏洞(CVE-2002-20001)

mansshd_config|grep-A40-wKexAlgorithmsecho"KexAlgorithmscurve25519-sha256,[email protected],ecdh-sha2

wcy10086·2023-09-08 15:53

推荐频道

大数据平台CDH