CDH大数据环境搭建

项目中java连接cdh中的kafka报错java.io.IOException: Can‘t resolve address: node0X:9092的解决方案

问题docker容器日志报java.io.IOException:Can'tresolveaddress:node04:9092atjava.lang.Thread.run(Thread.java:748)[na:1.8.0_272]Causedby:java.nio.channels.UnresolvedAddressException:nullatsun.nio.ch.Net.checkAdd
阿啄debugIT·2021-02-07 18:47

Dbeaver连接Hive

这里只说明Hive是在CDH搭建且在CDH做的kerberos认证参考链接：https://www.cnblogs.com/fivedays/p/12808488.html参考链接：https://www.cnblogs.com
guoqing2017·2021-02-05 15:13

浅谈数据管理工具Cloudera Navigator

cdh版本5.16.2，navigator版本2.15.21.介绍whatClouderaNavigator也是CDH企业版的工具之一，定位为一个数据管理工具。目前随着CDP版本的推广，该组件已开源。
Bianca21·2021-01-29 15:41

Hadoop和hive-exec-3.1.2的Guava的版本冲突导致Flink任务启动异常

一、背景1、出现异常公司准备从CDH迁回社区版Hadoop集群，直接把Hadoop升级为比较新的3.30版本，Hive升级为3.12版本。
FishMAN__·2021-01-28 16:40

java.io.FileNotFoundException: File does not exist: hdfs://xxx

一、产生问题背景我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错：Causedby:org.apache.flink.yarn.YarnClusterDescriptor
FishMAN_已存在·2021-01-27 11:59

Hadoop和hive-exec-3.1.2的Guava的版本冲突导致Flink任务启动异常

一、背景1、出现异常公司准备从CDH迁回社区版Hadoop集群，直接把Hadoop升级为比较新的3.30版本，Hive升级为3.12版本。
FishMAN_已存在·2021-01-27 11:23

Impala详解

是CDH平台首选的PB级大数据实时查询分析引擎。1.2Impala的优缺点1.3Impala的组成1.4Impala的运行原理Impala执行查询的具体过程：1）当用户提交查询前
·2021-01-26 14:52

为了搞懂 HTTPS，我把大学的数学书拿了出来。。。

HTTPS常用的密钥交换算法有两种，分别是RSA和ECDHE算法。其中，RSA是比较传统的密钥交换算法，它不具备前向安全的性质，因此现在很少服务器使用的。而ECDHE算法具有前向安全，所以被广泛使用。
小林coding·2021-01-23 17:49

windows 环境 labelImg 安装

labelImg2、windows环境(base)C:\Users\Administrator>condaactivatepytorch(pytorch)C:\Users\Administrator>cdH
whqcfp·2021-01-23 09:22

【快速入门大数据】hadoop和它的hdfs、yarn、mapreduce

概述核心组件HDFS分布式文件系统资源调度系统YARNMapReduce优势发展史生态系统发行版本选择企业应用案例第3章分布式文件系统HDFS设计分布式文件系统架构副本机制环境搭建Mac上的仿xshellCDH
瑞 新·2021-01-15 13:43

hound + Alfred 打造快速搜代码流程

step1mkdirhoundstep2cdhoundstep3echo'{"max-concurrent-indexers":2,"dbpath":"data","title":"Hound","health-check-uri
西西爸de札记·2021-01-15 09:12

[运维日记 - 2][踩坑记录] 使用阿里云效作为Maven私有仓库

前言最近学院搭服务器集群供大数据学习使用，平台上的Hadoop全家桶使用CDH来搭建，由于国内没有CDH版本的Maven依赖，负责搭集群的大佬在国外镜像拉了依赖下来，但是整个仓库打包又太麻烦，于是我来协助建一个私有仓库
Yuc0114·2021-01-12 02:38

CDH安装手册（自整理）

文章目录前言1.组件版本2.集群规划（三台服务器为例）3.配置linux静态IP4.修改hosts文件，并实现免密登录5.创建集群分发脚本6.关闭防火墙和SELINUX（所有节点）7.配置NTP时钟同步8.安装jdk和mysql9.搭建本地yum源并安装10.在数据库中建库11.启动服务12.访问网页及集群操作总结前言Cloudera’sDistributionIncludingApacheHad
LeiKe_·2021-01-09 14:59

CDH5.16.2三节点安装部署

最小化安装vm设置好虚拟网络之后，先去电脑网络设置，将vmnet8的属性中Ipv4协议进行更改dns设置为先前设置的网关192.168.253.2配置好后进行虚拟机安装安装好后在hosts下配置映射二.安装cdh
酒伴果粒橙·2021-01-09 12:44

CDH 6 安装教程

环境情况IP10.1.1.2110.1.1.2210.1.1.23系统Centos7.9x64Centos7.9x64Centos7.9x64HostNamecdh01cdh02cdh03内存24G8G8G
YasinZhu·2021-01-08 23:36

再次运行hadoop碰到的坑——重启时需要格式化

下的文件（非必须步骤，该路径为core-site.xml文件中Hadoop.tmp.dir路径）3、随后格式化namenodehadoopnamenode-format4、最后再启动hdfs和yarncdhadoop
yimengtianya1·2021-01-07 14:34

yum安装部署ansible，和深入学习ansible的各个模块及组件及实际生产中使用案例详解

ansible其中经典应用，请详见，采用KubeSphere的kk，部署安装多节点服务的kubernetes-v1.18.6和kubesphere-v3.0.0的踩坑过程记录，及反思；ansible安装部署CDH
阿啄debugIT·2021-01-07 13:01

CDH环境搭建及部署

CDH环境搭建及部署一、概述Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件
这是方方方·2021-01-07 12:29

Hue--集成Hive与Impala

hue.ini：1000-1061行hive_server_host=node-03hive_server_port=10000hive_conf_dir=/export/servers/hive-1.1.0-cdh5.14
韩家小志·2021-01-04 03:44

使用SQL Server分析2020全国大学生数学竞赛河南赛区结果

3)将SQL查询结果导出为Excel最后本次所使用的数据链接：https://pan.baidu.com/s/1Dv3MdMWX2Zr58q96JcDhgQ提取码：zhk7背景昨天，也就是2
泰勒Peano·2021-01-01 15:27

2020-12-31

~~~xml格式报文请求后端1.这里本人使用postman来请求java后端，在postman中的设置2017-07-0615:47:3000920170627091902001test1234@abcdHXJK0000000000000002009TBA101110
破碎的拾荒者·2020-12-31 22:44

vue-cli4+vant+rem+sass+vuex+axios封装+webpack搭建移动端项目

wedpack4+vantui+sass+rem适调方案+axios封装，构架手机端模板手脚架启动项目gitclonehttps://github.com/teach-tian/h5-vue-cli4.gitcdh5
weixin_45948566·2020-12-31 07:00

rust入门篇-hello world

或者使用：cargo命令来新建一个项目cargonewhello_cargo$cdhello_cargo$cargobuildCompilinghello_carg
憨少·2020-12-30 01:23

CDH5.16.2离线安装（详细）

目录01CouderaManager02环境准备03CM安装01CouderaManager概念：拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使集群安装从几天时间缩短到几个小时，运维人员从几十人降低到几人，极大的提高集群管理的效率功能管理，对集群进行管理，如添加节点、删除节点监控，监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控诊断，对集群出现的问题进行诊断，对出现
Bingmous·2020-12-29 18:29

电商数仓描述_笔记-尚硅谷大数据项目数据仓库-电商数仓V1.2新版

CDH：国内使用最多，不开源，已开始收费。老版本不再进行组件后续兼容性的更新。HDP：开源，不稳定，已被CDH收购，合并为CDP。
VC-Sawa·2020-12-29 02:23

node.js通过Sequelize 连接MySQL的方法

在终端输入：$npminstall-gkoa-generator1.2使用koa-generator生成koa2项目$koa2HelloKoa2成功创建项目后，进入项目目录，并执行npminstall命令$cdHelloKoa2
·2020-12-28 14:33

vue-cli4+vant+rem+sass+vuex+axios封装+webpack搭建移动端项目

webpack4+vantui+sass+rem适配方案+axios封装，构建手机端模板脚手架启动项目gitclonehttps://github.com/teach-tian/h5-vue-cli4.gitcdh5
星空之火@田兴·2020-12-25 17:04

记录一次TDH的inceptor导出建表语句和数据

TDH是星环公司的一款大数据组件聚合平台，类似于CDH，但是TDH将一些组件自己做了封装，比如hive重新封装成了inceptor，公司的TDH测试环境要下线，需要备份inceptor中的数据，现在分步做一次记录
天吻蓝了海海染蓝了天_6e66·2020-12-22 11:48

sqoop建表_Sqoop基础教程

实现互相传输的工具另外注意的是,上面文字最后一行,Sqoop1(1.4X)和Sqoop2(1.99X)完全不兼容,生产上建议Sqoop1,Sqoop2有点不稳定2,Sqoop的安装下载好Sqoop之后,我的是Cdh
weixin_39625305·2020-12-20 14:49

电商数仓——项目需求及架构设计

➢2、框架版本如何选型(Apache、CDH、HDP)➢3、服务器使用**物理机还
bzxb1188·2020-12-19 13:59

环境篇：Atlas2.1.0兼容CDH6.3.2部署

环境篇：Atlas2.1.0兼容CDH6.3.2部署Atlas是什么?
咘雷扎克·2020-12-16 13:00

Apache Impala 的安装部署

cd/cloudera_datatar-zxvfcdh5.14.0-centos6.tar.gz4.2．配置本地yum源信息安装ApacheServer服务器yum-yinstallhttpdservicehttpdstartchkconfighttpdon
ChinaManor·2020-12-07 17:50

CMake入门-01-从HelloWorld开始

开始(1)新建hello目录，创建文件CMakeLists.txt、main.cpp$mkdirhello$cdhello$touchCMakeLists.txtmain.cpp$ll-rw-r--r-
binglingziyu·2020-12-05 13:03

mysql5.6安装sys库_Cloudera Manager 完整安装教程----2 （含大数据完整进阶教程）

大数据完整进阶资料(免费课程)无套路第3章CM安装部署CM下载地址：http://archive.cloudera.com/cm5/cm/5/离线库下载地址：http://archive.cloudera.com/cdh5
最暖最珍贵·2020-12-04 20:54

CDH 6.3 大数据平台搭建

一.CDH概述Cloudera版本（Cloudera’sDistributionIncludingApacheHadoop，简称“CDH”），基于Web的用户界面,支持大多数Hadoop组件，包括HDFS
只是甲·2020-12-04 18:18

CMake入门-03-还是HelloWorld

扩展-math目录里的文件编译成静态库再由main函数调用(0)初始化项目$mkdirhello$cdhello$mkdirmathbuild$touchCMakeLists.txtmain.cppmath
binglingziyu·2020-12-04 01:38

git操作记录

创建本地仓库//创建文件夹mkdirhello-git//改变工作目录到hello-gitcdhello-git//初始化Git相当将文件夹升级为仓库gitinit//此时，git命令会在文件夹下创建一个
黑天鹅·2020-11-25 20:22

二叉树的层次遍历

二叉树除了先序遍历、中序遍历、后序遍历以外还有层次遍历，比如说下面这颗二叉树的层次遍历的结果为：ABGCDHEF我们可以使用一个队列来对它进行层次遍历，根据队列先进先出的特点，可以有如下所示的过程来对一颗二叉树进行层次遍历
旺财要加油·2020-11-24 21:58

CDH6.3.1离线部署

本文主要记录CDH的离线部署，不对CDH中的概念做解释，所以阅读本文之前，需要对CDH有一定的了解。
QuoVadis_k·2020-11-22 01:34

大数据环境搭建hadoop，hive，spark，Python，anaconda

大数据环境搭建hadoop对于一些想从事大数据工作的童鞋们，在自己的电脑搭建一个大数据环境是很有必要的，直接开始吧。
君_临_天_下·2020-11-21 19:56

CDH 6.2.0 安装指导

1说明该操作书适用于CDH6.X+CentOS7.X。
tmljob·2020-11-13 18:31

spark 合并github (pull request)pr 的正确姿势

最近在做内部spark版本升级的工作，涉及到github上合并pr的工作，具体的是spark2.x升级到spark3.0.1时兼容hdfscdh-2.6.0-5.13.1，报编译错误[INFO]Compiling25Scalasourcesto
鸿乃江边鸟·2020-11-13 11:58

Kettle连接Hadoop配置过程

②hadoopversion,获取hadoop版本③打开kettle8.1，hadoop-configurations文件夹，将文件夹名改为hadoop的版本cdh632④将第二步中下载的文件替换到第三步文件夹中
嘀老年卡·2020-11-12 11:40

动脉组织-细胞类型markers

image.png##6.s根据经典markers鉴定细胞类型Fibroblasts<-c("Pdgfra")VSMC<-c("Cnn1","Myh11")EC<-c("Cdh5")Monocytes<
信你个鬼·2020-11-09 23:06

Centos7部署大数据CDH6.2.1集群

1、集群集群准备阿里云按需付费云主机即可，或者自己配置三台服务器，2C16G服务器操作系统：Centos7.2642、安装包JDK：jdk-8u181-linux-x64.tar.gz连接：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html下载地址：https://ar
qq_42869878·2020-10-30 15:49

习题课4-1(hash、回文串问题)

判断第二个矩阵在第一个矩阵哪些位置出现过输出位置的左上角有多个答案，按字典序输出解法1一行行一列列依次比较枚举两个矩阵，n的4次方，,50的4次方是1亿以内的解法2将一个矩阵转化成一个数字哈希字符串ebacdhash
Markland_l·2020-10-25 15:32

二叉树的之字形层次遍历

目录1、之字形层序遍历2、代码实现2.1两个栈实现二叉树的层次遍历1、之字形层序遍历如上如二叉树，之字形层序遍历：第一层：从左至右打印A第二层：从右至左打印GB第三层：从左至右打印CDH第四层：从右至左打印
像狗的猫·2020-10-20 14:43

Cloudera官方文档整理

要评估集群的硬件和资源分配，需要分析要在集群上运行的工作负载类型，以及将用于运行这些工作负载的CDH组件。
whzatsh·2020-10-18 23:35

《Centos7——playbook快速入门》

临时任务，不复杂任务1.mkdirhttpd&&cdhttpd&&vimhttpd.yml-----创建目录，进
逻辑思维菜鸟·2020-10-12 10:03

CDH离线安装攻略

环境准备因为环境不允许连接互联网所以要采用离线安装的形式，这也是大多数企业需要采用的安装形式cloudera-manager下载地址根据不同的服务器类型下载不同的文件配置Linux集群无密码访问，这个地方有坑，需要注意很多细节先复习一下设置ssh免密码操作的步骤：进入主目录cd生成公钥ssh-keygen-trsa-P''(注：最后是二个单引号，表示不设置密码)然后分发公钥到目标机器ssh-cop
yizhihu·2020-10-11 09:18
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他