CDH集群安装

Centos7单机部署Flink13.6及测试FinkCDC同步MySQL

一、背景公司CDH6.3.2里面的版本是Flink1.12.0。而因为FlinkCDC2.0.0只支持Flink1.13.0以后，版本不匹配，所以只能升级版本。
梦痕长情·2023-09-27 00:00

CDH6.3.2 的pyspark读取excel表格数据写入hive中的问题汇总

需求：内网通过Excel文件将数据同步到外网的CDH服务器中，将CDH中的文件数据写入hive中。
梦痕长情·2023-09-27 00:57

k8s集群安装v1.20.9后-1-部署自己的服务k8sApp

先部署无istio的服务，方便后续改造。k8s别名给kubectl命令起别名kc，方便后续查询[root@m~]#aliaskc='kubectl'[root@m~]#kcgetnsNAMESTATUSAGEdefaultActive233distio-systemActive6d18hk8s-demoActive16hkube-node-leaseActive233dkube-publicAct
cc-lady·2023-09-26 17:42

k8s集群安装v1.20.9后-2-改造部署自己的服务k8sApp，增加istio

1.环境准备：K8s集群，已经实现了k8s-app小例子，可以正常访问。（已包含docker）在此基础上对项目进行改进，实现istio流量切换。2.安装部署istio2.1安装go官网下载go和istio的安装包，上传到k8s集群虚拟机上（三个机器都安装）[root@node1~]#cd/root/Public/istio[root@masteristio]#lsgo1.20.6.linux-am
cc-lady·2023-09-26 17:10

springboot 2.6.2集成elasticsearch 7.16

前面说到elasticsearch7.16集群安装，本文介绍通过springboot2.6.2集成es的javaapi对其进行操作。
BigDataToAI·2023-09-26 12:19

pxe无人值守安装centos8

方案一：搭建dhcp，tftp，http服务器1.dhcp安装安装dhcp-server.x86_64:ProvidestheISCDHCPserver配置vim/etc/dhcp/dhcpd.conf
XUPT-BDAL-LAB-ML&OP·2023-09-26 12:51

liunx运维常用命令

语法：du[-abcDhHklmsSx][-L][-X][--block-size][--exclude=][--max-depth=][--help][--version][目录或文件]-a或-all
一码评川·2023-09-26 11:48

Storm集群安装Version1.0.1开启Kerberos

Storm集群安装，基于版本1.0.1，同时开启Kerberos安全认证，使用apache-storm-1.0.1.tar.gz安装包。
木木与呆呆·2023-09-26 08:49

Zookeeper集群安装(开启kerberos)

安装规划zookeeper集群模式，安装到如下三台机器10.43.159.237zdh-23710.43.159.238zdh-23810.43.159.239zdh-239Kerberos服务器10.43.159.240zdh-240Kerberos客户端zdh-237，zdh-238，zdh-239安装用户zookeeper/zdh1234useradd-ghadoop-s/bin/bash-
木木与呆呆·2023-09-26 08:49

Hadoop(HDFS,YARN)的HA集群安装

搭建Hadoop的HDFSHA及YARNHA集群,基于2.7.1版本安装。安装规划角色规划IP/机器名安装软件运行进程namenode1zdh-240hadoopNameNode、DFSZKFailoverController、ResourceManagernamenode2zdh-245hadoopNameNode、DFSZKFailoverController、ResourceManagerd
木木与呆呆·2023-09-26 08:49

Spark或Hive数仓生命周期管理

而更严重的问题是：如果CDH依赖某个目录的存储空间严重不够，就会导致Yarn的任务执行失败。所以对数仓的生命周期管理尤为重要。数仓的生命周期管理的核心目的就是用最少的存储成本来满足最大的业务需求
大模型大数据攻城狮·2023-09-26 06:50

华硕路由系统时间未与NTP服务器同步,cdh时间同步遇到的坑【NTP时间同步服务器】...

2使用ntp配置时间同步集群时间同步(主节点)1)rpm-qa|grepntpd》》没有安装则需要安装此服务》》yuminstallntp2)vi/etc/ntp.conf去掉这个注释，将地址改成网段地址restrict192.168.80.0mask255.255.255.0nomodifynotrap(ip改成自己主节点的ip)注释掉这几个#server0.centos.pool.ntp.or
weixin_39568172·2023-09-25 14:26

ECC加密——C++/OPENssl实现

本来想直接使用ECC完成密钥交换协议，但是现存的很多代码都是基于ECDH的，这完全不是基于ECC加密的。
牛三金·2023-09-25 13:59

Zookeeper 集群安装(linux )

1、规划节点名称安装软件hadoop01jdk1.8zookeeper3.4.6hadoop02jdk1.8zookeeper3.4.6hadoop03jdk1.8zookeeper3.4.62、下载jdk和zookeeper3、上传jdk和zookeeper到3台机器上解压目录：/opt/software/tar-zxvfjdk1.8.0_191.tar.gztar-zxvfzookeeper-
唐僧经常不洗头·2023-09-25 06:27

TLS/SSL(八) 基于ECC椭圆曲线的ECDH协议

一ECC椭圆曲线的特性①DH密钥交换两个问题1、计算过程含有大量的'乘法',运算速度比'较慢'2、安全性基于'大因数'分解比较困难,需要'比较长'的密钥'位数'说明：互联网主要使用'ECDH'的密钥交换协议
wzj_110·2023-09-25 02:24

TLS/SSL(九) TLS1.2与TLS1.3中的ECDH协议

一TLS1.2与TLS1.3中的ECDH协议'TLS1.3'相比于'TLS1.2'在'性能'和'安全性'有了很大的提升备注：当前'TLS1.2'是主流,暂时关注'1.2'即可国密TLStls1.3①TLS1.2
wzj_110·2023-09-25 02:24

Hexo 博客建议使用指南

6.13.4hexo：5.2.0hexo-cli：4.2.0我是从deepin系统切换到Windows中，并使用WSL搭建的Ubuntu环境安装nodejs从官网下载好指定版本的二进制包然后解压即可使用部署hexo$cdhexoBlog
MrXun_·2023-09-24 12:47

Spark学习笔记(三)：使用Java调用Spark集群

UTF-81.81.82.6.0-cdh5.14.21.1.0-cdh5.14.21.2.0-cdh5.14.22.11.82.4.4clouderahttps://repository.cloudera.com
bluesnail95·2023-09-24 09:24

CDH Service Monitor角色错误

Failedtoopenorcreatepartitioncom.cloudera.cmon.tstore.leveldb.LDBPartitionManager$LDBPartitionException:UnabletoopenDBindirectory/var/lib/cloudera-service-monitor/ts/stream/partitions/stream_2019-03-1
万事于足下·2023-09-23 18:11

cdh部署成功后无法安装集群无法进入安装向导

cdh部署成功之后，登录后本应该出现安装向导，但是中间却是一片空白，而上方的cloudera图标和右上角的功能都正常，右下角有返回按钮，旁边继续按钮是一个灰框，没有文字。
万事于足下·2023-09-23 18:40

OceanBase Docker体验

实验一：OceanBaseDocker体验通过OceanBaseDocker容器，快速的体验OceanBase的自动化部署过程，以及了解OceanBase集群安装成功后的目录特点和使用方法。
shijian0916·2023-09-23 09:10

Zookeeper部署运行_集群安装

环境准备服务器1192.168.154.128zknode1服务器2192.168.154.131zknode2服务器3192.168.154.130zknode3解压zookeepertar-zxvfapache-zookeeper-3.6.3.tar.gz-C/usr/local修改配置文件进入zookeeper的安装目录的conf目录cd/usr/local/zookeeper/config
CuteTTU·2023-09-23 07:10

【zookeeper】zk集群安装与启动踩坑点

zk安装我也踩了一些坑。特别是第一点，zk官网好像都没什么说明，导致直接下错了，搞了好几个小时。踩坑点如下：1，在zk官网下载包时，注意3.5以后的版本，要下载带-bin的，3.5之后，带-bin的是编译后的包，没有-bin的是未编译的包，解压后启动会报错找不到主类2，zk集群最少启动3台集群。曾经我也傻傻的启动2台，懒得启动第3台，结果就是启动没有fail，但是查询zkServer.shstat
不想睡觉的橘子君·2023-09-23 06:26

VS2017评估期已过的处理方法

NJVYC-BMHX2-G77MM-4XJMR-6Q8QFVisualStudio2017（VS2017）专业版Professional激活码key：KBJFW-NXHK6-W4WJM-CRMQB-G3CDHOffice
虫虫侠教育·2023-09-23 05:28

hive初始化mysql失败_hive 未初始化元数据库报错

启动hive-metastore和hive-server2用beeline连接hive报错[root@node04hive]#beelineBeelineversion0.13.1-cdh5.3.0byApacheHivebeeline
润姐姐Samantha·2023-09-23 04:43

CDH重新初始化Hive元数据库

初始化元数据需要使用cdhhive中的schematool脚本工具进行初始化，初始化脚本位置为cloudera/parcels/CDH/lib/hive/bin/接下来执行初始化命令.
头顶榴莲树·2023-09-23 04:11

CDH hive初始化mysql数据库

关注微信公共号：小程在线关注CSDN博客：程志伟的博客进入hive的bin目录下cd./hive/bin执行初始化数据库./schematool-initSchema-dbTypemysqlError:Syntaxerror:Encountered""atline1,column64.(state=42X01,code=30000)org.apache.hadoop.hive.metastore.
程志伟·2023-09-23 04:39

mysql+canal+kafka+elasticsearch构建订单搜索平台(kafka伪集群搭建)

kafka启动命令kafka启动命令本章介绍kafka伪集群搭建:依然采用brew安装方式brewinstallkafka安装路径:配置文件路径:由于是伪集群安装（3台机器），所以将server.properties
wz的技术窝·2023-09-22 10:22

重庆思庄技术分享——linux du 命令

语法du[-abcDhHklmsSx][-L][-X][--block-size][--exclude=][--max-depth=][--help][--version][目录或文件]参数说明：-a或
m0_61458430·2023-09-22 10:41

Zookeeper部署运行_伪集群安装

解压zookeepertar-zxvfapache-zookeeper-3.7.3.tar.gz-C/usr/local修改配置文件进入zookeeper的安装目录的conf目录cd/usr/local/zookeeper/configcpzoo_sample.cfgzoo.cfg修改zoo.cfg#ThenumberofmillisecondsofeachticktickTime=2000ini
CuteTTU·2023-09-22 07:34

大数据私房菜--漫漫长路之CDH6.2.0搭建

大数据私房菜--CDH6.2.0搭建的漫漫长路引言概述虚拟机准备安装准备1.配置JDK2.配置hosts3.关闭防火墙4.关闭SELinux5.修改Linuxswappiness参数6.禁用透明页7.配置
depa2018·2023-09-22 02:15

ECDH 密钥协商原理

端对端加密(E2EE)-参考文章DH交换实际上，在学习密码学原理的时候，有一个重点叫做零知识证明，在零知识证明中，利用大素数分解的原理，能够学习到双密钥体系，在这里也十分相同简单示例Alice希望与Bob建立一个密钥用于通信首先，他们约定一个p和一个g，假设，p=23,g=5Alice在不告诉Bob的情况下，秘密生成一个数字a=6，计算A=g^a*mod(p)并发送给BobA=5^6*mod(23
佳节明月·2023-09-21 11:04

Hadoop-3.3.6完全分布式集群安装

Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机IP地址主机名192.168.10.101master192.128.10.102worker1192.168.10.103worker2Step2：在克隆的虚拟机内输入命令：vim/etc/sysconfig/networ
m0_63480823·2023-09-21 08:32

zookeeper集群启动时报错：Cannot open channel to x at election address

首先必须强调一下，zookeeper的分布式集群安装很简单，一般只需要修改两个地方zoo.cfgmyid因此当zookeeper启动失败时，建议立马查看这两个文件是否出现配置正确。
Dmam Hasol·2023-09-21 08:17

电商数仓学习笔记(一）

准备编写集群分发脚本xsync模拟数据集群日志生成脚本第四章数据采集模块集群所有进程查看脚本Hadoop安装LZO压缩配置LZO创建索引Hadoop参数调优Zookeeper安装ZK集群启停脚本Kafka安装Kafka集群安装安装部署
芝士雪豹.·2023-09-21 06:01

配置HBase和zookeeper

/zookeeper-3.4.5-cdh5.14.2.tar.gz-C/opt/soft/tar-zxf./hbase-2.3.5-bin.tar.gz-C../soft/三、改名字mv.
罗刹海是市式市世视士·2023-09-21 05:25

Apple开源代码指引

资料仅供参考：objchttps://opensource.apple.com/tarballs/objc4/runloophttps://opensource.apple.com/tarballs/CF/gcdhttps
骑士的城堡·2023-09-20 20:10

2020-12-03《Presto分布式SQL查询引擎——kkb笔记复习》

Presto分布式SQL查询引擎一、课前准备jdk版本要求：Java8Update151orhigher(8u151+),64-bit安装好hadoop集群安装好hive二、课堂主题介绍prestopresto
爱学大树锯·2023-09-20 08:54

编译Android系统源码

#打开Android源码目录cdhome/user/android_srcstep2.#source命令即逐句执行脚本。加载编译环境和编译指令source.
Amber_9·2023-09-20 01:21

Kafka的安装与基本操作

Kafka的安装与基本操作一、前提工作二、Kafka安装三、Kafka基本操作一、前提工作必须安装了zookeeper单机可参考：zookeeper单机安装与配置集群可参考：Zookeeper的集群安装二
卢元东·2023-09-19 17:23

CDH + FlinkSQL1.13.2 + hive

[root@hadoop01conf]#catsql-client-defaults.yaml#################################################################################LicensedtotheApacheSoftwareFoundation(ASF)underone#ormorecontributorlice
胖胖胖胖胖虎·2023-09-19 11:55

HBase1.1.2编译

说明：1.HBase1.1.2社区版基于Hadoop2.6.0-cdh5.4.5编译、打包(不要问我为什么这么怪，一两句说不清,其他版修改为对应的version即可)操作步骤：一、源码下载http://
数大招疯·2023-09-19 04:16

Kafka自带zookeeper---集群安装部署

kafka简介kafka官网：http://kafka.apache.org/kafka下载页面：http://kafka.apache.org/downloadskafka配置快速入门：http://kafka.apache.org/quickstart首先让我们看几个基本的消息系统术语：•Kafka将消息以topic为单位进行归纳。•将向Kafkatopic发布消息的程序成为producers
magic33416563·2023-09-18 21:49

zookeeper源码(01)集群启动

本文介绍一下zookeeper-3.5.7集群安装。
xuguofeng2016·2023-09-18 15:42

Linux环境下安装Zookeeper3.5.7

1.概述2.数据结构3.应用场景二、Zookeeper的安装1.下载地址2.Zookeeper本地安装三、Zookeeper集群安装3.1集群安装一、Zookeeper是什么？
zoeil·2023-09-18 14:55

K8S简历（十五）

K8S集群安装好后默认没有包含Dashboard，我们需要额外创建它。
wlzyr·2023-09-18 07:14

python2访问CDH HBase Thrift2

同时保留了thrift和thrift2两个版本，thrift2适应了新的javaapi，cdh默认采用thrift。
凡尔Issac·2023-09-18 04:45

weex开发框架的搭建

weex-toolkitnpminstallweex-toolkit-g//升级[email protected]创建项目weexcreatehelloWorld进入项目并安装依赖运行cdhelloWorldnpminstallnpmstart
周乐林·2023-09-18 02:20

CDH整合Flink（CDH6.3.2+Flink1.12.0）

一、准备工作安装jdk1.8及maven，jdk使用CDH安装包中自带的jdk的rpm包即可安装完成后添加环境变量[root@linux201~]vim/etc/profile.d/custom.sh添加如下内容
mp9105·2023-09-18 00:06

统计一个列值超过两行的数据

sqlselectt.agt_cd,count(*)from(selectagt_cd,id_numfromtemp_agent_infogroupbyagt_cd,id_num)tgroupbyt.agt_cdhavingcount
归来少年Plus·2023-09-17 17:53
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他