CDH

一篇了解大数据架构及Hadoop生态圈

第一节集群规划大数据集群规划（以CDH集群为例），参考链接：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_host_allocations.htmlhttps
小神龙q·2020-09-11 09:51

CDH 踩坑之：时钟同步问题

CDH踩坑之：时钟同步问题今天我们来说一下CDH集群5.14.2版本，CentOS7.5的时钟同步问题最近发现在CentOS7的系统上使用ntp的方式同步后，CDH集群依然会告警，如下图：而此时集群内服务器都是往阿里云的时钟同步源做的
灵魂要吗·2020-09-11 09:30

居然两个NameNode都是备用，见了鬼了

@解决NameNode切换过程中出现两个备用先来看图：版本：CDH:5.7.1起因：1.一周前，ZK出现无缘无故的抖动，导致HBase一个计算节点挂掉了紧接着，这周出现该节点Redis频繁告警：查看服务器
灵魂要吗·2020-09-11 09:59

CDH主机网络接口似乎未以全速运行

CDH主机网络接口似乎未以全速运行主机网络接口似乎未以全速运行ClouderaManagerAgent无法确定双工模式或接口速度分两种情况：情况一：排查：ethtooleth0发现Speed:10Mb/
灵魂要吗·2020-09-11 09:59

CDH-HBASE启动报错

问题：2020-08-1020:10:09,475INFOorg.apache.hadoop.hbase.coordination.ZkOpenRegionCoordination:Openingofregion{ENCODED=>62aad16825cc68dbb15c7eb5ed3d01ad,NAME=>'invbiaos170411,04444444,1491878211908.62aad1
灵魂要吗·2020-09-11 09:27

Windows 上IDEA Spark 支持Hive的方法

enableHiveSupport()就会报错，网上找了很多文章均不能解决问题，折腾了半天终于解决了，做一个记录一、需要集群中Hive的配置hive-site.xml和hdfs-site.xml放到工程的resource目录下如果是cdh
微步229·2020-09-11 09:54

python 获取某一节点下的子孙节点「适用于父子层级组织架构」

读取hive数据处理父子层级架构准备原材料hive中表的数据如下：读取hive中的数据，转化为Listconn=hive.Connection(host='test-bigdata-cdh-01',port
若个书生万户侯·2020-09-11 08:33

Flume拦截器实现按照事件时间接入HDFS

采用Flume自定义拦截器可以实现按照事件时间Sink到HDFS目录，以应对数据的事件时间混乱问题1文档编写目的Flume自定义拦截器的开发和测试，应对日志事件时间混乱问题集群环境CDH5.16.22
Eights-Li·2020-09-11 08:24

如何将Flink应用的日志发送到kafka

因此，需要将flink应用的日志发送到外部系统，方便进行日志检索集群环境CDH-5.16.2Flink-1.10.1flinkonyarnperjob模式Flink应用日志搜集方案ELK全家桶是比较成熟的
Eights-Li·2020-09-11 08:24

SparkStreaming整合KafkaCDH6.3.2版本（Offset保存在zookeeper上，Spark2.4 + kafka0.10.X）

依赖UTF-81.81.81.82.112.11.82.4.0-cdh6.3.23.0.0-cdh6.3.22.2.1-cdh6.3.2com.emgetp-common0.0.1-SNAPSHOTorg.scala-langscala-library
风是外衣衣衣·2020-09-11 07:25

IDEA+MAVEN开发Spark 词频统计

org.apache.sparkspark-core_2.112.2.0org.scala-langscala-library2.11.8org.apache.hadoophadoop-client2.6.0-cdh5.7.0IDEA
shell33168·2020-09-11 07:05

IDEA搭建Spark开发环境

org.scala那一项pom文件scala版本官网上找配置文档添加scala依赖和spark依赖hadoop依赖变量如果看不到导入的jar包，需要pom文件重新reimport红色波浪线报错，原因默认cdh
幸福de人生·2020-09-11 07:00

Spark基础篇(六) - IDEA开发Spark代码

Spark-shell实现&&IDEA下实现2.2、Spark-Core求平均年龄&&男女人数&&最低、最高身高2.3、求男女人数、最低、最高身高一、Spark项目开发流程添加hadoop-client版本、添加cdh
Spark on yarn·2020-09-11 06:26

Hbase二级索引+CDH+Lily

1.更改表结构，允许复制已存在的表disable'tableName'alter'tableName',{NAME=>'fn',REPLICATION_SCOPE=>1}enable'tableName'不存在的表create‘table‘,{NAME=>‘cf‘,REPLICATION_SCOPE=>1}#其中1表示开启replication功能，0表示不开启，默认为02.创建相应的SolrCl
jast_zsh·2020-09-11 06:43

oozie修改为GMT时间

1，修改oozie-site.xml:oozie.processing.timezoneGMT+08002,修改/opt/setup/oozie-4.0.0-cdh5.3.6/oozie-server/
forrestxingyunfei·2020-09-11 06:21

二、部署etcd集群(k8s集群)

文章目录1准备cfssl证书生成工具2生成Etcd证书2.1自签证书颁发机构（CA）2.2使用自签CA签发EtcdHTTPS证书3从Github下载etcd二进制文件4部署Etcd集群4.1创建工作目录并解压二进制包
A zz·2020-09-11 05:54

Sqoop

1.sqoop安装cd/usr/localwgethttp://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.1.tar.gztar-zxvfsqoop
weixin_39182877·2020-09-11 05:31

3）CDH5.9 Hive整合Sentry权限管理

2019独角兽企业重金招聘Python工程师标准>>>第一章配置服务1.HUE必要配置2.Hive必要配置启动过时应用第二章配置HUE用户三种相关的用户关系是：linux用户->hue用户->hive角色如果要添加的HUE用户不是集群中已存在的用户（hdfs、hive、sentry等用户已事先存在），就必须先在集群上每一个节点添加相应的用户组和用户。否则添加的用户能进入HUE的HIVE查询页，但是
weixin_34417814·2020-09-11 05:42

hive使用spark引擎的几种情况

sparksqlcli)2>使用spark-thrift提交查询sql3>使用hiveonspark(即hive本身设置执行引擎为spark)针对第一种情况：1>ambari已经支持，不需要特殊配置；2>cdh
weixin_30275415·2020-09-11 04:26

Kafka 发布版本和发布历史

创始人于年离开linkedIn公司创建了confluence公司Kafka的发行版本：1.Apachekafka2.ConfluentPlatform：3.CDH
vkingnew·2020-09-11 04:14

CDH中的YARN 与HDFS 一点隐藏关系

CDH中的YARN与HDFS一点隐藏关系今天清明节假期第二天，上午日常远程连一下公司服务器，看看跑批作业是否OK然后发现CDHHadoop集群中提交到Yarn上的MapReduce作业跑的非常慢，而且经常是
简单的心1·2020-09-11 04:56

hive增加Update、Delete支持 (补充)

https://blog.csdn.net/qq_36864672/article/details/81868824步骤见上面这位博主的博客我稍微补充一下，在使用时走过的弯路在CDH的Hive的配置界面有这些类别
简单的心1·2020-09-11 04:55

远程链接HBase调试报错：Exception in thread "main" java.lang.ExceptionInInitializerError

一、问题描述1.环境CentOS6，CDH5.7.0，hbase-1.2.0-cdh5.7.02.报错描述外部连接hbase服务器，在创建admin时报错：StringnameSpace="Test";
RayBreslin·2020-09-11 04:10

HBase不同版本集群之间数据迁移

本文摘自：https://www.dazhuanlan.com/2019/10/20/5dac43ffeb75a/由于HBaseCDH4和CDH5数据格式不兼容，所以不能用“CopyTable”之类的方法来进行数据迁移
to.to·2020-09-11 03:36

TLS/SSL 协议详解 (22)会话复用

由于SSL握手的非对称运算无论是RSA还是ECDHE，都会消耗性能，故为了提高性能，对于之前已经进行过握手的SSL连接，尽可能减少握手roundtimetrip以及运算。
sosfnima·2020-09-11 03:15

TLS/SSL 协议详解 (20)加密套件的选择

其次，当服务器配置ECC证书时，加密套件只能选择XXX_ECDSA_XXX或者ECDH_XXX。当服务器配置RSA证
sosfnima·2020-09-11 03:44

【大数据】hadoop--linux单机版安装（伪分布式）

1、JDK(建议使用JDK1.8.11)2、将hadoop-2.6.0-cdh5.14.2.tar.gz拖到root下的opt文件夹3、输入：tar-zxfhadoop-2.6.0-cdh5.14.2.
snacksindesks·2020-09-11 03:10

【大数据】hadoop分布式数据库--HBase1.2.0伪分布式安装

伪分布式模式安装1.首先下载hbase1.2.0压缩包2.放到linux虚拟机的opt目录下[root@xxx~]#cd/opt3.解压压缩包[root@xxxopt]#tar-zxfhbase-1.2.0-cdh5.14.2
snacksindesks·2020-09-11 03:38

CDH 5.12 spark升级从1.6到2.2

CDH5.12对应spark版本下载Spark升级包CSD文件下载SPARK2_ON_YARN-2.1.0.cloudera1.jarparcels包下载因为我的Linux版本是centos7，因此下载下面的两个包
克念·2020-09-11 03:33

CDH+HBase Indexer+Solr为HBase数据创建二级索引

CDH+HBaseIndexer+Solr为HBase数据创建二级索引文章目录0.前期声明1.HBase建表并添加数据，并且确定HBase表开启REPLICATION功能（1表示开启replication
liwenbluesky·2020-09-11 02:28

Hive授权（Security配置）

/Hive/authdev.htmlhttp://grokbase.com/t/hive/user/11aksphhas/authorization-and-remote-connection-on-cdh3u1HIVE
五柳-先生·2020-09-11 01:03

JAVA byte 类型

centos6.5CDH5.15JDK1.8hbase1.2简介不管什么数据,计算机最终存储的是二进制的0和1,每个二进制占1位(bit);因为最早是老美发明的计算机,英语的所有字符使用8位二进制就能都表征了
zhiliang-chen·2020-09-11 01:56

CDH key value index lily安装配置

Key-ValueStoreIndexer这个组件非常关键，是Hbase到Solr生成索引的中间工具。LilyHBaseIndexer是一款灵活的、可扩展的、高容错的、事务性的，并且近实时的处理HBase列索引数据的分布式服务软件。它是NGDATA公司开发的Lily系统的一部分，已开放源代码。LilyHBaseIndexer使用SolrCloud来存储HBase的索引数据，当HBase执行写入、更
huguoping830623·2020-09-11 01:46

CDH的hive权限问题

目前使用的是cloudera的CDH5.1.0很多配置问题和网上主流的不太一样进行了文本分次之后的结果放入hive成功，但是查询的时候遇到如下问题org.apache.hadoop.security.AccessControlException
白神来了·2020-09-11 01:32

CDH5.8.4-hadoop2.6.0安装hive

1.安装MariaDB1.1使用yum源安装MariaDB[root@host151~]#yum-yinstallmariadbmariadb-server1.2启动MariaDB[root@host151~]#systemctlstartmariadb设置开机自启动[root@host151~]#systemctlenablemariadb1.2修改MariaDB配置文件修改/etc/my.cn
SimpleSimpleSimples·2020-09-11 00:23

SecureCRT无法登录Ubuntu服务器

Keyexchangefailed.Nocompatiblekeyexchangemethod.Theserversupportsthesemethods:curve25519-sha256,[email protected],ecdh-sha2
大囚长·2020-09-10 23:00

0010-Hive多分隔符支持示例

Fayson的github：https://github.com/fayson/cdhproject推荐关注微信公众号：“Hadoop实操”，ID：gh_c4c535955d0f，或者扫描文末二维码。
Hadoop_SC·2020-09-10 23:47

hbase-indexer环境搭建

基于此CDH就提供一个服务hbase-indexer。它的主要功能就是我们只需要操作hbase，hbase-indexer可以自动把索引添加到solr中。
weixin_34319374·2020-09-10 23:10

root用户无法切换到cdh的hive账号上

在/etc/passwd中看到hive账号是登录的终端是/bin/false，而正常的用户配置的都是/bin/bash，因此在root账号su到hive也是没有用的hive:x:111:111:Hive:/var/lib/hive:/bin/false在su时指定登录的终端为/bin/bash即可登录上去su-hive-s/bin/bash转载于:https://www.cnblogs.com/l
weixin_30457881·2020-09-10 23:45

CDH5.3 集成Hive，Hue权限控制

之前公司业务提出需求要对Hive进行权限控制hive版本1.2.1，升级过一次。1.HUE中添加用户bigdata给与hive访问权限新建一个用户组bigdata,将bigdata从default组移动到bigdata组。2.所有节点root用户登录useraddbigdatapasswdbigdatagpasswd-abigdatahadoop添加系统用户bigdata并添加到用户组hadoop
简单的心1·2020-09-10 23:52

HIVE: Authorization failed:No privilege 'Select' found for inputs

Authorizationfailed:Noprivilege'Select'foundforinputs本图上setsystem:user.name=hadoop为错误标注,不必理会Hadoop环境:CDH5.11
丶大白菜·2020-09-10 22:17

CDH5.8.4-hive的库表权限控制

1.查看hive的角色hive>showroles;FAILED:SemanticExceptionThecurrentbuiltinauthorizationinHiveisincompleteanddisabled.hive>sethive.security.authorization.task.factory=org.apache.hadoop.hive.ql.parse.authoriza
SimpleSimpleSimples·2020-09-10 22:08

CDH 给root 用户赋值 超级权限 和 hive 赋值操作 详细

cdh中给root赋值hdfs超级用户权限CDH环境下Hadoop平台最高权限用户是hdfs，属于supergroup组。
lianchaozhao·2020-09-10 22:02

Hive授权（Security配置）

/Hive/authdev.htmlhttp://grokbase.com/t/hive/user/11aksphhas/authorization-and-remote-connection-on-cdh3u1HIVE
iteye_1344·2020-09-10 22:52

Hexo搭建及部署

cdhexoserver/s更改主题主题:maupassant下载主题gitclonehttps://github
向小暖·2020-09-10 22:38

cordova安装的一些心得

二，cordova安装成功后，则开始创建项目，命令如下：cordovacreatehellocom.example.hello"HelloWorld"cdhellocordovaplatfor
zhaoqi5705·2020-09-10 22:31

Apache Kylin CDH版本安装部署

1.1Kylin安装步骤l下载Kylin安装包登录http://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-1.6.0/apache-kylin-1.6.0-cdh5.7
大数据令狐冲·2020-09-10 21:42

离线安装部署CDH6.3.2集群

目录准备工作安装关闭防火墙时钟同步数据库准备主节点部署JDBC安装CM安装CDH尾巴今天用虚拟机离线安装CDH6集群，现在CDP7已经出了，但没有社区版了，CDP7装起来只能用个60天，相比于CDH6的组件只有
王义凯_Rick·2020-09-10 21:25

libsvm 在dos下的使用，简单入门

下的应用解压libsvm在任意文件夹记住解压的路劲比如我这里在H:\chromedownload\libsvm-3.22\libsvm-3.22\windows然后在dos条件下也就是win+RCmdH:CdH
skyliuhc·2020-09-10 20:45

Apache Zeppelin0.9.0 CDH6.2.0 下 安装记录和spark示例运行

版本：Zeppelin：ApacheZeppelin0.9.0OS：CentOs7大数据组件：CDH6.2.0对应版本JAVA：1.8一、安装步骤1.下载ApacheZeppelin0.9.0wgethttps
终回首·2020-09-10 16:42
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他