CDH

kafka管理工具 | 监控 | 偏移量 | 堆积 | offset，必备技能

Kafka内部提供了许多管理脚本，这些脚本都放在$KAFKA_HOME/bin目录下，CDH版本放在/opt/cloudera/parcels/KAFKA-3.1.0-1.3.1.0.p0.35/lib
数据仓库与Python大数据·2023-02-01 00:05

CDH 升级SPARK2 与 问题

：本文中有chown授权，千万不要图方便直接chown-R/opt/cloudera否则会发生你意想不到的惊喜你懂的开始：以下操作基于主节点：也就是CHDSERVER节点1，关闭集群，关闭CMS，关闭CDHAGENT
会长大的幸福_8bf9·2023-01-31 00:02

大数据之CDH5.16.1集成Phoenix

CDH中预装的hbase是没有Phoenix的，需要我们手动来集成，下面我们就简单的记录一下笔者集成的流程。
LearnBigData·2023-01-30 21:59

kylin的入门使用

数据库以及表并加载以下数据将以上两份文件上传到node03服务器的/kkb/install路径下，然后执行以下命令，创建hive数据库以及数据库表，并加载数据cd/kkb/install/hive-1.1.0-cdh5.14.2
我还不够强·2023-01-30 20:51

虚拟机配置Hadoop

SSH配置免密登录1.创建密钥对三、安装和配置jdk(xshell操作)1.传输通道：sftpip（本地直接拖拽安装包即可上传虚拟机）2.修改全局配置文件四、Hadoop安装和部署（单节点伪分布）上传CDH
尢词·2023-01-30 15:18

安装生物序列去冗余软件cd-hit

cd-hit是一款生信常用于序列去冗余的工具，在https://github.com/weizhongli/cdhit下载后，需要自己编译，对于windows系统，工作步骤如下（以下以windows10
javafalcon·2023-01-29 21:48

ubuntu安装CD-HIT

gzip-dcd-hit-v4.8.1-2019-0228.tar.gztar-xvfcd-hit-v4.8.1-2019-0228.tar进入解压好的文件夹，进行编译（make），这里有时候会报错：Infileincludedfromcdhit-common.c
Gentlezzx·2023-01-29 21:18

apache2源码安装

2.4.23.tar.gz//解压后为httpd-2.2.9[root@local]#mkdir/usr/local/web/apache///在这个目录下建立文档，利于管理[root@local]#cdhttpd
嵌入式工作·2023-01-29 17:19

Ubuntu系统使用gcc和Makefile编译C程序以及Windows系统下编译C程序

Makefile方式编程主程序总结（一）Ubuntu系统下使用gcc编译c程序1.打开ubuntu系统下的终端2.找到合适的位置新建文件夹helloworld并打开mkdirhelloword//新建文件夹cdhelloword
斯蒂芬蛋黄·2023-01-29 03:45

[ERR] Sorry, can't connect to node cdh5:6379

问题：[root@cdh1cluster1]#/opt/model/redis-3.2.10/src/redis-trib.rbcreate--replicas1172.17.10.152:6379172.17.10.153
suolemen·2023-01-29 00:29

Kyuubi 解锁 Spark SQL on CDH 6

背景CDH最后一个免费版6.3.2发布一年有余，离线计算核心组件版本停在了Hadoop3.0.0，Hive2.1.1，Spark2.4.0。
517001e7cb6e·2023-01-28 19:10

CDH-节点扩展

python-2.7、修改hosts环境、安装ntp、关闭防火墙建目录，并将parcel-repo的包拷贝过来|--/opt|--/cloudera|--/parcels|--/parcel-repo|--/CDH
Grey____·2023-01-28 14:52

星环科技TDH多模型统一架构VS CDH架构

CDH是Cloudera的开源平台发行版，通过将Hadoop与其他十几个开源项目集成，为企业大数据业务提供服务。
·2023-01-28 12:49

centos离线安装CDH（4.1）: 安装大数据集群

阿里巴巴淘系技术部招聘大数据研发、数据分析、数据挖掘同学（P6-P8）。微信:18520269913备注:阿里巴巴淘系技术部-大数据大数据集群安装配置修改进入配置界面的方式：管理->设置配置parcel的地址配置parcel地址，能够让我们在后续安装的时候不从外网下载parcel文件，而是从内网下载，这个是相当节省时间的。搜索远程Parcel存储库URL把默认的配置全部删掉，配置前面配置的urlh
丁华0301·2023-01-28 04:00

CDH entropy was available 问题解决

问题CDH集群，出现Entropy不良问题，原因是系统熵值低于CDH检测的阀值引起的,所以解决思路是需要调大系统熵值。
aaron_ouyang·2023-01-27 09:34

HiBench 7.1的编译文末有源码以及编译后的jar

Intel-bigdata/HiBench3、配置mavenmaven的conf下settings.xml,镜像地址配置阿里云4、下载源码包，可以直接下载源码包，然后解压5、编译全量（也可以分开编译）cdHiBench-mastermvncleanp
你的努力时光不会辜负·2023-01-27 05:20

Hadoop安装部署详细介绍

IP地址的映射文件五、设置远程无密码登陆六、每台都关闭机器的防火墙七、jdk安装八、Hadoop安装九、修改Hadoop的配置文件公平调度容量调度器总结前言Hadoop有Apache社区版和第三方发行版CDH
充电了么·2023-01-26 23:55

Spark的Job Historyserver无法查看历史日志记录的解决

最近下载了个CDH的quickstartvm玩玩，发现个问题，spark的JobHistoryServer无法查看已经跑过的Spark任务。
润土1030·2023-01-26 11:28

Hadoop简单操作

因为cdh默认的超级用户是hdfs，所以首先要切换用户（添加超级用户组也可以）suhdfs1.创建文件夹命令hdfsdfs-mkdir/rsdata2.查看当前目录信息hdfsdfs-ls/3.上传文件命令
两只cows·2023-01-26 04:38

单机版本CDH6.3.2搭建教程

单机版本CDH6.3.2搭建教程已正常安装centos7虚拟机安装包链接：https://pan.baidu.com/s/1ZC7U1pu_5KApQn8JOz1aPQ提取码：ksic文档链接：https
qq_37401291·2023-01-19 15:21

头歌实训答案:Scrapy爬虫基础

Scrapy爬虫基础第1关：Scarpy安装与项目创建pipinstallscrapycd/rootscrapystartprojectHelloWorldcdHelloWorldscrapygenspiderworldwww.baidu.com
我不是卡夫卡·2023-01-18 10:22

CDH6.2.0不兼容CentOS8的问题

华为云安装的CentOS8系统，在上面安装CDH6.2.0，前面也遇到些问题，都解决了，最后遇到下面错误：[root@m182cm6]#sudoyuminstallcloudera-manager-daemonscloudera-manager-agentcloudera-manager-serverError
mylife512·2023-01-17 15:33

隐私计算互联互通成果正式发布，相关代码已在隐语社区上线！

会上中国信通院云计算与大数据研究所副主任闫树正式启动隐私计算联盟互联互通推进计划，蚂蚁集团成为首批加入该计划的成员；同时峰会还发布了"隐私计算跨平台开放算法协议第一部分：ECDH-PSI"，本次互联互通成果由蚂蚁集团
隐语SecretFlow·2023-01-17 09:54

隐语v0.7.18版本更新，构建跨机构分布式底座RayFed

详细更新内容如下：1、多方安全计算：互联互通：发布ECDH-PSI算法开放协议，开启通过开放算法协议实践，来实现和其他平台的互联互
隐语SecretFlow·2023-01-17 09:54

什么是瞬态集群？解读火山引擎EMR Stateless 的创新理念以及应用

从基于IDC机房通过CDH去部署的1.0阶段，演进到在公有云上面按照存算分离的办法去进行的2.0阶段。而在这些基础上，火山引擎数智平台VeDI的EMR团队又探索出了无状态的EMR3.0演进阶段。
CrisAppleYan·2023-01-11 11:21

简述MACD指标以及它的组成MACD、MACDsignal和MACDhist

做量化分析，MACD是最常用的指标之一。这个指标可用talib进行生成，talib的安装过程见前面的博文描述，这里不再赘述。生成MACD指标数据，首先需要获取bar（我的理解是k线）的收盘价。通过tushare库，例：df=tushare.pro_bar(xxx)获取k线数据，这个接口获取的数据是dataframe，然后需要获取close的列表参数close=df.close.valuesMACD
洛城-sola·2023-01-11 11:44

vue普通加密及国密SM2、SM3和sm4的使用例子

/package/sm-crypto介绍1.SM2是非对称加密算法它是基于椭圆曲线密码的公钥密码算法标准，其秘钥长度256bit，包含数字签名、密钥交换和公钥加密，用于替换RSA/DH/ECDSA/ECDH
·2023-01-11 05:24

Clickhouse+Spark+Flink一体化实时数仓（开源）

Clickhouse+Spark+Flink一体化实时数仓（开源）模拟环境配置2核心4g腾讯云（spark默认只有300mb内存占用最大处理200w行数据）因cdh6已经收费并且不开源。
qq_37401291·2023-01-08 13:19

ESXi主机上的虚拟机安装VMware Tools

选择VMwareTools镜像文件存储位置安装VMwareTools登录VMwarevSphereWebClient->Datacenter->所在机器->摘要挂载进入Console[root@cdh04
storm_fury·2023-01-08 03:44

clam简单使用

clam依赖node使用1，打开cmd2，全局安装clam：npm-ginstallclam3，切换到目的盘下，新建一个空的项目目录，例如hello_clam：mkdirhello_clamcdhello_clam4
weixin_30451709·2023-01-07 14:28

HTTPS】HTTPS过程详解，tcpdump抓包 全过程分析

RFC中的HTTPS交互过程如下：抓包分析ClientHello客户端支持的TLS最高版本号客户端生成的随机数客户端支持的加密套件主机名server_nameciphersuite怎么理解名字为ECDH-ECDSA-AES128
HarkAllen·2023-01-05 18:56

隐私计算互联互通成果正式发布，相关代码已在隐语社区上线！

会上中国信通院云计算与大数据研究所副主任闫树正式启动隐私计算联盟互联互通推进计划，蚂蚁集团成为首批加入该计划的成员；同时峰会还发布了"隐私计算跨平台开放算法协议第一部分：ECDH-PSI"，本次互联互通成果由蚂蚁集团
·2023-01-04 12:25

手把手教学 Centos 安装anaconda3 机器学习环境

//进入home文件夹cdhome//新建文件夹softmkdirsoft//进入soft文件夹
fuliya005·2023-01-02 22:11

【ARM实验Ⅷ RTC】

控制*/RTCCON=RTCCON|1;/*校准时间信息*/RTC.BCDYEAR=0x023;RTC.BCDMON=0x12;RTC.BCDDAY=0x7;RTC.BCDWEEK=0x31;RTC.BCDHOUR
自然醒欧·2023-01-01 12:58

32_杂项

文章目录TLSTLS安全密码套件证书TLS通讯过程open_file_cacheTLSTLS安全密码套件密钥交换：ecdhe；ECDH椭圆曲线交换身份验证：RSA对称加密：aes-128-gcm摘要算法
AntHub·2022-12-31 08:05

SM2椭圆曲线公钥加密/解密算法

SM2简介SM2是非对称加密算法它是基于椭圆曲线密码的公钥密码算法标准，其秘钥长度256bit，包含数字签名、密钥交换和公钥加密，用于替换RSA/DH/ECDSA/ECDH等国际算法。
AHlien·2022-12-27 13:25

Ambari3.0.0+BigTop3.2.0 SNAPSHOT初体验

简介Cloudera和Hortonworks两家公司合并后，CDH、HDP也合并成了CDP，并且不再开源。
泽芯·2022-12-26 09:47

CDH6.3.2集成Apache Atlas2.1.0

1环境准备1.1CDH6.3.2环境搭建参考文档如下ClouderaManager安装CDH6教程-（一）虚拟环境安装配置ClouderaManager安装CDH6教程-（二）搭建Cloudera和CDH6CM
CarsonBigData·2022-12-23 13:04

HTTPS协议

——验证域名5.HTTPS通信的大致流程6.TLS协议和SSL协议的区别7.TLS协议1)命名规范2)组成部分8.ECDHE四
fanren1122·2022-12-21 04:03

生产环境二进制部署高可用Kubernetes V1.20

集群的两种方式1.2环境准备1.3操作系统初始化配置（三台操作一致）二、部署Etcd集群2.1准备cfssl证书生成工具2.2生成Etcd证书2.2.1自签证书颁发机构（CA）2.2.2使用自签CA签发EtcdHTTPS
勇敢的打工人.·2022-12-19 13:16

端口号及作用

CDH端口说明7180ClouderaManager前端端口7182ClouderaManagerServer与Agent通讯端口8888Hue前端端口Hadoop端口说明9870HDFS前端端口8020NameNode
Kazi_1024·2022-12-19 09:10

大数据中hadoop中yarn的调度算法

CDH框架默认调度器是FairScheduler。不同的设置可以在yarn-default.xml文件中查看。1、先进先出调度器（FIFO）FIFO调度器（FirstInFirstO
独创之上·2022-12-18 22:47

ubuntu 运行scrapy 报错 AttributeError: module 'OpenSSL.SSL' has no attribute 'OP_SINGLE_ECDH_USE'

解决办法：执行命令sudoapt-getinstalllibssl-devpipinstallpyopenssl--upgrade
吕海洋·2022-12-18 14:18

基于CM管理的CDH集群集成Phoenix

基于CM管理的CDH集群集成Phoenix背景介绍：原有的CDH集群，以Hive+Hbase+Impala进行数据处理查询，Hbase而言语法难懂，不同于寻常的SQL，Impala而言速度查询速度太慢且无法进行记录的修改
百夜﹍悠ゼ·2022-12-17 10:57

自编译Spark3.X，支持CDH 5.16.2(hadoop-2.6.0-cdh5.16.2)

参考文章Kyuubi实践|编译Spark3.1以适配CDH5并集成Kyuubi-技术圈(proginn.com)https://jishuin.proginn.com/p/763bfbd67cf6https
四木の君·2022-12-15 12:12

编译适合CDH6.3.2的spark3.3.2

版本对应Spark版本3以上不再支持scala2.11环境：jdk:1.8.0_181maven:3.6.3scala2.12.0配置环境变量#jdkexport JAVA_HOME=/usr/java/jdk1.8.0_181-amd64export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/
东北偏西·2022-12-15 11:07

使用spark源码脚本编译CDH版本spark

需求描述个人开发环境中大数据所有软件版本都是基于CDH5.15.1版本安装，但是CDH版本spark还停留在1.x版本，并且CDH版本的spark不支持sparkSQL的功能。
weixin_44641024·2022-12-15 11:06

CDH6.3.2（cdh5适用）集成自制Kyuubi Parcel（自定义parcel部署到CM）

CDH6.3.2（cdh5适用）集成自制KyuubiParcel（自定义parcel部署到CM）前言参考文章一、部署前准备1.maven2.cm_ext-master二、环境安装1.maven环境2.上传并解压文件
佑白4399·2022-12-15 11:06

exists hive中如何使用_0644-5.16.1-如何在CDH5中使用Spark2.4 Thrift

1.文档编写目的Fayson在前面的文章中介绍过什么是SparkThrift，SparkThrift的缺陷，以及SparkThrift在CDH5中的使用情况，参考《0643-SparkSQLThrift
weixin_39902545·2022-12-15 11:33

CDH Parcel包制作流程详解

CDHParcel包制作流程详解背景介绍CDH可以很方便的添加一些大数据相关服务，但这仅限于cloudera公司提供。
诸葛余·2022-12-15 11:02
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他