E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
CDH集群安装
CDH
6.3.2防止被攻击,打补丁(未授权漏洞)
参考:
CDH
6.3.2Hadoop默认配置下存在未授权漏洞,禁止匿名访问-民宿-博客园这段时间公司的运维大佬扫描安全漏洞的时候,发现有漏洞会被攻击,原因是没有新增用户校验,允许匿名去访问。这样的话。
黑眼圈@~@
·
2023-03-30 02:27
架构
安全
hadoop
hdfs
如何编译Spark
tgz源码jdk-8u144-linux-x64.tar.gz JDK1.8以上 apache-maven-3.3.9-bin.tar.gzscala-2.11.8.tgzhadoop-2.6.0-
cdh
5.15.1
mm_ren
·
2023-03-30 01:19
docker
大数据
linux
java
hadoop
K8s集群部署
#部署方式有多种,本文采用kubeadm组件的方式来部署K8s
集群安装
要求:至少三台主机内存最少2G,CPU2核集群网络互通可以访问外网禁止swap分区环境说明:系统:ubuntu22.04.1版本信息
a rookie.
·
2023-03-30 01:14
K8s
kubernetes
docker
容器
cdh
hbase启动master报: failed on connection exception: org.apache.hbase.thirdparty.io.netty.channel
今天在
cdh
装hbase时,本来以为几分钟就完事了,结果,,,装完后,hmaster启动不起来,看日志报如下错误:ERRORorg.apache.hadoop.hbase.master.HMaster:
sujins5288
·
2023-03-30 00:40
HBase
CentOS7下安装
CDH
6.1
在CentOS7下安装
CDH
6.1环境CentOS7.8
CDH
6.1PostgreSQL安装步骤1.CentOS7配置1.1设置hostname,reboot重启之后即能显示(注意:不使用大写字符作为主机名
王顼
·
2023-03-30 00:16
HBase集群搭建
1.下载相应的jar包所有关于
CDH
版本的软件包下载地址如下http://archive.cloudera.com/
cdh
5/
cdh
/5/HBase对应的版本下载地址如下http://archive.cloudera.com
大数据老哥
·
2023-03-30 00:33
HBASE
HBASE
HBASE入门
HBASE环境搭建
1.9
CDH
搭建Hadoop集群(二)
总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录:https://www.jianshu.com/p/9428e443b7fd解压cloudera-managermkdir-p/usr/hdk/module/cloudera-managertar-zxvfcloudera-manager-centos7-cm5.12.1_x86_64.tar
寒暄_HX
·
2023-03-29 23:46
hadoop版本演化
一、第一代hadoop:hadoop1.01、包括三大版本,分别是0.20.x,0.21.x,0.22.x和
CDH
32、0.20.x最后演化成1.0.x,成为稳定版本3、0.21.x和0.22.x则增加
afahan
·
2023-03-29 20:56
hadoop
flink学笔记-flink重新编译、flink架构模型、部署运行模式
1:Flink重新编译由于实际生产环境当中,我们一般都是使用基于
CDH
的大数据软件组件,因此我们Flink也会选择基于
CDH
的软件组件,但是由于
CDH
版本的软件并没有对应的Flink这个软件安装包,所以我们可以对开源的
陈同学:
·
2023-03-29 19:26
fiink
大数据
flink
Hbase入门到实战-连载一(基本概念&
集群安装
&基本使用)
Hadoop的局限HBase是一个构建在Hadoop文件系统之上的面向列的数据库管理系统。要想明白为什么产生HBase,就需要先了解一下Hadoop存在的限制?Hadoop可以通过HDFS来存储结构化、半结构甚至非结构化的数据,它是传统数据库的补充,是海量数据存储的最佳方法,它针对大文件的存储,批量访问和流式访问都做了优化,同时也通过多副本解决了容灾问题。但是Hadoop的缺陷在于它只能执行批处理
顶尖高手养成计划
·
2023-03-29 12:59
Hbase
大数据
Apache DolphinScheduler
集群安装
详细步骤
ApacheDolphinScheduler
集群安装
流程1.基础软件安装(必装项)2.创建部署用户和hosts映射3.下载DolphinScheduler二进制tar.gz包4.配置hosts映射5.集群服务器免密登陆
最笨的羊羊
·
2023-03-29 10:01
大数据
数据中台开发实战总结
Apache
Dolphin
Scheduler
Hadoop + Hive + DolphinScheduler高可用集群部署
一、参考文档Zookeeper-3.5.7
集群安装
:https://blog.csdn.net/weixin_42631782/article/details/115691252Hadoop-3.1.3
csdn_gyb
·
2023-03-29 09:12
hadoop
hadoop
hive
大数据
kafka 基础架构和环境搭建
参考:Kafka、RocketMQ、RabbitMQ的比较
CDH
常用端口汇总kafkadocument配置参数消息队列的概念消息队列应用场景异步处理,将一些比较耗时的操作放在其他系统中,通过消息队列将需要进行处理的消息进行存储
zhojiew
·
2023-03-29 08:13
大数据
kafka
大数据
分布式
HBase RegionServer动态感知过程
本文基于hbase-1.2.0-
cdh
5.7.2版本进行讲述,不能的版本存在细微的差别,大体一致。
凡尔Issac
·
2023-03-29 07:30
基于Ambari的大数据平台搭建
同
CDH
部署类似,步骤分为ambari的部署和hdp的部署,先以1台为例(内存>6G,磁盘划分/至少40G,/data/10G),后续节点可以通过扩容方式加入集群,可参考:https://blog.csdn.net
数据社
·
2023-03-28 23:35
EC
CDH
原理
Alice:,是一个点的坐标,通常为形式Bob:,是一个点的坐标,通常为形式所以,Alice的公钥为,私钥为,Bob的公钥为,私钥为Alice的dh_shared_key为的X坐标,bob同理。
Otis4631
·
2023-03-28 22:53
spark消费kafka(
cdh
启用kerberos)
不生产博客,只是别人博客的裁缝一入kerberos深似海,从此节操是个玩意儿之前写过一篇spark消费kafka问题记录(
cdh
5.16.2),主要记录了安装spark2后,spark的问题,和本地可以执行
hadoop程序猿
·
2023-03-28 22:10
spark
kafka
spark
kafka
kerberos
数据库必知必会:TiDB(11)TiDB
集群安装
数据库必知必会:TiDB(11)TiDB
集群安装
TiDB
集群安装
单机环境上安装集群下载并安装TiUP工具安装TiUPcluster组件创建拓扑文件配置SSH免密登录检查安装要求创建安装目录部署集群启动集群验证集群启动使用命令验证通过
wux_labs
·
2023-03-28 22:35
#
TiDB
TiDB
数据库
数据分析
数据科学
WIFI密码破解
1.安装xcode,macport安装aircrack-ngsudoportinstallaircrack-ng安装Hashcat,
cdh
ashcat//进入目录sudomakesudomakeinstall
淡然z
·
2023-03-28 20:30
在虚拟机CentOs7中配置hadoop2.7.5伪分布式
因完全分布式的
集群安装
hive后hive出现了点问题导致无法用hive进行select查询,导致学习进度卡住,所以我决定去搭建一个伪分布式的hadoop集群,一下就是安装过程.搭建伪分布式集群准备条件第一部分安装前部署
LAllenKing
·
2023-03-28 20:18
大数据
阿里巴巴认证_Android开发规范
spm=5176.8764728.aliyun-edu-course-header.10.63ac57da
CDH
Akr#sku=yuncode2012000001阿里巴巴Android开发手册地址:https
小马哒哒001
·
2023-03-28 18:13
一、
CDH
6.2大数据平台安装手册
一、集群规划实际工作中搭建
CDH
集群的话,原则上来说,机子越多越好,如果资源有限的话,建议前期最好4台机子,4台机子的话,针对hadoop集群而言可以设置为1主3从,如果考虑到HA的话,就需要最少5台机子
阿靖哦
·
2023-03-28 16:25
大数据之
CDH
5.16.1集成Tez0.9.2
上两篇中,我们介绍完了
CDH
环境的基本搭建。在这篇中,我们讲述对hive的一个优化措施之一:执行引擎tez。
LearnBigData
·
2023-03-28 12:50
hadoop大数据教程 hadoop视频教程培训 hadoop最新实战教程
:http://demo.liuy88.cn/jp0858.html-------------------课程目录-------------------第一天hadoop的基本概念伪分布式hadoop
集群安装
天涯海角的小水滴
·
2023-03-28 11:02
CDH
平台-Hue集成Oracle报错:no oracle client library found on host:…
在Hue的编辑器中可以集成Oralce进行查询,集成过程中报错:nooracleclientlibraryfoundonhost:…可以通过以下方法解决:解决方法:在Hue服务的服务器上安装以下对应版本Oracle包:oracle-instantclient11.2-basic-11.2.0.4.0-1.x86_64.rpmoracle-instantclient11.2-devel-11.2.0
jay1122
·
2023-03-27 17:55
关于后台启动spark-submit的操作
主机环境:Centos7.33台hadoop版本:hadoop-2.6.0-
cdh
5.7.0hbase版本:hbase-1.2.0-
cdh
5.7.0spark版本:spark-2.2.0-bin-2.6.0
Hiwes
·
2023-03-27 05:44
Uk8s
集群安装
kubeCube
Kubecube最近在github寻找一款设计原生,轻量的多集群管理多租户管理,发现了网易开源的Kubecube,整套系统采用当前主流的VUE前端,Go后端,于是在Uk8s集群上做简单的部署对接测试,完整笔记如下Kubecube部署过程概述创建一个用于安装kubeCube的k8s集群,做准备工作,获取物料包kubecube-installer分发到所有master节点修改/etc/kubecube
行者深蓝
·
2023-03-26 22:20
nginx配置https证书后,ie8无法访问
查阅大量资料后,发现一位大佬表明ie8使用CBC3算法,找不到原文链接了,如果作者有看到,请联系我,本文仅做记录serverssl配置ssl_ciphersssl_ciphersEE
CDH
+AESGCM
上下而求索
·
2023-03-26 20:56
大数据随记 —— Hadoop 概述
大数据系列文章:目录文章目录一、Hadoop概述二、Hadoop组件介绍三、Hadoop版本介绍①ApacheHadoop②ClouderaHadoop(
CDH
)③HortonWorksHadoop(HDP
繁依Fanyi
·
2023-03-26 18:11
大数据
hadoop
大数据
hdfs
java.io.FileNotFoundException: File does not exist: hdfs://xxx
一、产生问题背景我们公司正在准备从
cdh
迁回社区版hadoop集群,启动flink任务的时候,还未运行就直接报错:Causedby:org.apache.flink.yarn.YarnClusterDescriptor
FishMAN__
·
2023-03-26 11:39
Hue 入门
2安装部署2.1、帮助文档http://archive.cloudera.com/
cdh
5/
cdh
/5/hue-
djm猿
·
2023-03-26 01:24
CDH
6.3.1在谷歌云的搭建
这两个礼拜,我分别试出了
CDH
在谷歌云和本地的搭建方法,堪称血泪史啊,话不多说,直接整活。1.为什么要用
CDH
官方回答:利用业界领先的现代数据管理平台
CDH
,可以最大程度地利用数据。
两只cows
·
2023-03-25 23:19
CDH
环境Kafka Manager安装配置
一、下载安装包下载地址:https://github.com/yahoo/kafka-managerkafka-manager-master.zip二、解压到指定目录unzipkafka-manager-master.zip–d/opt/kafka-monitor-tools/kafka-manager三、修改配置文件1.修改KafkaManager配置文件vi/opt/kafka-monitor
枫棱
·
2023-03-25 21:03
Hbase
集群安装
Version1.1.5
Hbase
集群安装
,基于版本1.1.5,使用hbase-1.1.5.tar.gz安装包。
木木与呆呆
·
2023-03-25 06:59
使用parquet-tools工具查看parquet文件
cdh
默认安装了。
代码足迹
·
2023-03-24 17:21
CDH
5.13.x文档翻译SQL Differences Between Impala and Hive
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/impala_langref_unsupported.html#langref_hiveql_deltaImpala的SQL语法遵循SQL-92标准,还包括了很多业界扩展比如内置函数。查看PortingSQLfromOtherDatabaseSystemstoImpala
gregocean
·
2023-03-24 07:10
关于CRT连接kali 2020 报错Key exchange failed问题
www.cnblogs.com/xjcn/p/13470254.html/etc/ssh/sshd_config最后一行写上:
[email protected]
,e
cdh
-sha2
3hua
·
2023-03-24 07:25
如何使用JMX_Expoter+Prometheus+Grafana监控Hadoop集群
JMX_Expoter监控因为目前
CDH
以及HDP后续要合并闭源,公司打算花时间自研一个类似的平台,我也对集群监控这块下了点功夫。
Mengkai Liu
·
2023-03-23 20:32
hadoop
大数据
jmx
Hadoop-Spark
集群安装
注意事项Hadoop是根据%JAVA_HOME%,%HADOOP_HOME%来确定位置的,所以需要在环境变量中设置这两个值,如下图:图片.pngHadoop路径设置好了,需要配置四个配置未见:core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml,同时这些文件编码格式需要为UTF-8,否则在执行hdfsnamenode-format指令时
奔跑地蜗牛
·
2023-03-23 11:40
Hadoop 完全分布式搭建(超详细)
Hadoop完全分布式搭建1.虚拟机安装系统安装网络设置2.安装Hadoop完全分布式前置环境设置免密登录设置
集群安装
规划开始安装1.上传安装包和JDK1.82.解压文件3.配置环境变量4.配置Hadoop-env.sh
月亮给我抄代码
·
2023-03-23 02:55
1024程序员节
分布式
hadoop
linux
Hadoop
集群安装
和搭建(从零开始超级超级详细的过程)(上)
Hadoop
集群安装
和搭建(从零开始超级超级详细的过程)(上)目录Hadoop
集群安装
和搭建(从零开始超级超级详细的过程)(上)前言一、Hadoop项目结构二、Hadoop安装方式三、VMware虚拟网络设置
派大星子fff
·
2023-03-23 02:17
大数据
hadoop
大数据
hdfs
分布式
centos
Hadoop 3.1.3 分布式集群搭建,超详细,保姆级教程
Hadoop3.1.3分布式集群搭建,超详细,保姆级教程1.环境准备2jdk1.8安装2.1卸载虚拟机自带的JDK2.2安装JDK1.83.在hadoop102安装Hadoop集群3.1
集群安装
准备3.2
姜之糖
·
2023-03-22 17:25
hadoop集群
hadoop
linux
big
data
vue项目的搭建
vueinitwebpackhello-vue2.然后我们需要安装依赖,依次安装你所需要的依赖,这里我们需要下载的有vue-router,element-ui,sass-loader和node-sass四个插件
cdh
ello-vue
MrH_永无BUG
·
2023-03-22 05:05
Cloudera Hadoop(
cdh
5.1.0)平台搭建2
选择免费的版本,因为免费的版本功能足够使用节点IP一般连续,采用图中的模式会比较好,然后搜索后目前有两个阶节点,选中,继续选择Parcel(离线)安装,但是
CDH
版本是5.3.0,我们安装的是5.1.0
鹰击长空123
·
2023-03-21 19:00
Zookeeper
集群安装
一linux环境配置虚拟机总共三台机器,ip分别是192.168.1.11,192.168.1.12,192.168.1.131.防火墙配置关闭防火墙:systemctlstopfirewalld.service禁止防火墙自动启动:systemctldisablefirewalld.service2.安全配置关闭selinux:setenforce0禁止selinux启动:vim/etc/seli
刘磊_3a3b
·
2023-03-21 19:21
【云原生】Kubernetes
集群安装
和配置之节点初始化(master和node)
Kubernetes
集群安装
和配置02一、初始化master1.1、拉取相关镜像。
Lion Long
·
2023-03-21 14:29
#
Kubernetes
kubernetes
云原生
容器
docker
linux
【云原生】Kubernetes
集群安装
和配置之环境准备及相关工具安装
Kubernetes
集群安装
和配置01一、环境准备二、docker容器运行时安装2.1、cri-dockerd安装2.1.1、方式一:二进制文件下载安装2.1.2、方式二:通过docker来构建2.2、
Lion Long
·
2023-03-21 14:56
#
Kubernetes
kubernetes
云原生
ubuntu
docker
linux
正确使用Impala的invalidate metadata与refresh语句
在
CDH
中默认是MySQL,我们可以通过showtablesinhive语句清晰地看到HiveM
LittleMagic
·
2023-03-21 13:13
Kubernetes 集群挂载高可用 NFS 网络文件存储
安装NFS高可用
集群安装
nfs-client-provisionercurl-fsSL-oget_helm.shhttps://raw.githubusercontent.com/helm/helm/master
hwholiday
·
2023-03-21 04:09
Hadoop
集群安装
部署
一、概述随着互联网的发展,各行各业的快速发展,大数据爆炸的时代,数据处理显得越来越重要了,因此学习大数据的分析也是让各位IT人员极为重要了。学习大数据的基础,就得从hadoop开始,后续要学习到的kafka、Hbase、Hive、flink等,都会多少使用到这个hadoop的相关内容,特别是HDFS和YARN两大组件功能。后续我们是先搭建hadoop的安全分布式环境。二、环境准备1、服务器准备,为
路过的南国风
·
2023-03-20 22:53
上一页
25
26
27
28
29
30
31
32
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他