CDH大数据环境搭建

ROS笔记Day02----使用vscode开发&launch文件

1.新建工作空间并编译mkdir-phelloworld_ws2/srccdhelloworld_ws2catkin_make2.进入工作空间目录下打开vscodecdhelloworld_wc2code
w沉默味道w·2023-12-20 10:21

Hadoop相关安装包上传到目录并完成安装

1.指定一个安装的目录/usr/local/自己的名字(mkdircdhong、rm-rf*)[root@cdhong01~]#cd/usr/local/[root@cdhong01local]#rm-rf
余生跟他走·2023-12-19 00:59

Laravel Homestead笔记

Homestead安装文档：https://xlswriter-docs.viest.me/zh-cn/an-zhuang/pecl-tui-jia让我们开始启动Homestead：cdHomestead
不二周助Rex·2023-12-17 18:17

SecureCRT远提示Key exchange failed，No compatible key exchange method. The server supports these methods

Keyexchangefailed.Nocompatiblekeyexchangemethod.Theserversupportsthesemethods:curve25519-sha256,[email protected],ecdh-sha2
二当家的素材网·2023-12-17 15:46

Hive学习笔记

修改配置文件/etc/profile（添加exportHIVE_HOME=/usr/local/hive-0.9.0-binexportHADOOP_HOME=/usr/local/hadoop-0.20.2-cdh3u5
weixin_30470857·2023-12-17 05:32

java操作cdh得hadoop出现java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProt...

这个问题是，java得操作Hadoop得api得版本跟haodoop得不一致导致得在hadoop中运行/bin/hadoopversion查看hadoop得版本之后将java得api中得jar包版本对应更换
PunkP·2023-12-17 03:21

ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver

Couldnotloaddbdriver问题产生原因缺少oracle驱动解决方案#需要在安装sqoopserver的节点上放oracle的驱动包cpojdbc6.jar/opt/cloudera/parcels/CDH
即墨澈·2023-12-16 05:19

pyspark on yarn

如果是搭建的CDH或者CDP可以直接从管理界面下载配置文件。直接下载hive组件的客户端配置就可以，它里面包含了hdfs和yarn的配置。
骑着蜗牛向前跑·2023-12-16 03:34

大数据各组件安装笔记汇总

/bin/bashecho"-----------------cdh01-------------------------"/opt/apps/jdk1.8.0_45/bin/jpsecho""for(
ZGFAgf·2023-12-16 00:11

kafka 常用命令【学习笔记】

Kafka环境变量配置exportKAFKA_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/kafkaexportPATH
专注代码七年·2023-12-15 21:24

大数据组件sqoop部署安装与测试练习

环境说明10.176.2.101master10.176.2.103zjx0310.176.2.105zjx05cent-os6.5zookeepercdh3.4.5hadoopapache2.7.7mysql5.17jdk1.8.191sqoop1.4.7
zwb_jianshu·2023-12-15 06:05

2.CENTOS安装CDH和Kudu-1

版本：CENTOS7.2CDH5.10Kudu1.22.1概述本文CENTOS7.2操作系统部署CDH企业版的过程。
大勇任卷舒·2023-12-15 01:40

用fabric-sdk-java调用Fabcar链码

一、启动fabcar1、设置go代理goenv-wGOPROXY=https://goproxy.io,directgoenv-wGO111MODULE=on2、启动fabcar测试网络cdhyperleger
小青蛙呱呱跳·2023-12-14 16:13

物联网架构之CDH

1、常规初始化操作三个节点都需要执行hostnamectlset-hostnamecdhmasteryum-yinstallvimlrzsznet-toolscat>>/etc/hosts>/etc/profile
叮咚网工·2023-12-14 14:58

Beyond Compare 3密钥序列号分享及密钥被撤销的解决办法

BeyondCompare3密钥：---BEGINLICENSEKEY---mv1nPlXAywBDCdhxFc9QOVv6TBcQHLAXBQUAKTh3ie4fqSEOnWrPsnVkFyt0wAkJHweoExRJWWVwwCniKNROSdJzJXE6YVapYW7f
nanke_yh·2023-12-07 00:15

巨量引擎APK

/keytool-printcert-fileE:\AndroidStudioProject\dcdhTT\android_studio\app\release\zip\META-INF\CERT.RSA
小春熙子·2023-12-06 14:37

数据仓库安全框架Sentry调研

CDH版本的Hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。其中，Kerberos主要负责平台用户的权限管理，Sentry则负责数据的权限管理。
大数据faner·2023-12-06 02:47

termux配置python安装kali_termux安装kali Nethunter(无需root)

如果您不在主目录中，请在终端中使用cdhome命令更改目录。设备上需要安装一些软件包和git才能使kaliLinux正常工作。
weixin_40004051·2023-12-06 00:55

HTTP 和 HTTPS的区别

2.默认端口号：4433.TCP三次握手即可+SSL/TTL四次握手(RSA算法和ECDHE算法)4.采用对称加密和非对称加密结合的「混合加密」方式：在通信建立前采用非对称加密的方式交换
_OLi_·2023-12-05 08:29

CDH6下线DataNode节点

CDH6下线DataNode节点1.版本说明2.找到HDFS的实例3.解除授权4.重启集群5.注意事项1.版本说明我这里使用的是CDH6,更高版本请参考https://www.dandelioncloud.cn
真香IT·2023-12-05 04:01

一个大数据架构师应该掌握的技能

1.行业平台1）大平台谷歌云亚马逊云阿里云腾讯云网易云华为云2）小平台国云国双青云勤思3）专业工具平台海致BDP永洪易观4）APP分析平台mixpanelgrowingIO神策诸葛IO2.技术选型1）CDH2
潘永青·2023-12-05 02:13

Spark读写Oracle性能深度调优

1、环境准备  在本次测试环境中，用6台机器搭建了CDH的Hadoop平台，Spark2.2版本搭配Yarn进行资
weixin_43370502·2023-12-04 21:16

初始化 Clouder Manager 数据库报错Unable to find JDBC driver for database type: MySQL

CDH部署初始化ClouderManager数据库报错。
Appreciate(欣赏)·2023-12-03 23:17

一劳永逸办法 Intellij idea 报错：Error : java 不支持发行版本5

在settings中找到FileandCodeTemplates在找到Mavenimage.png在pom.xml中添加此配置UTF-8UTF-89cdh5.5.299UTF-82.102.10.4添加这个配置
落雪无尘V·2023-12-03 21:42

Centos7源码安装Apache(httpd-2.4.53)及问题解决

编写测试网页参考出错解决安装HTTPD下载地址.wgethttps://dlcdn.apache.org/httpd/httpd-2.4.53.tar.gz#下载tar-zxvfhttpd-2.4.53.tar.gz#解压缩cdhttpd
Noneofmine·2023-12-03 18:53

修改 Python 的 JA3 ， 突破反爬虫指纹

而requests里面默认的加密算法如下：ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+HIGH:DH+HIGH
___n·2023-12-03 11:21

决策 Diffie-Hellman DDH 和 CDH

密码学中的Diffie-Hellman问题有几种变体：计算问题(CDH)和决策问题(DDH)。这篇文章将解释两者，并举例说明前者如何困难而后者如何简单。
vvoennvv·2023-12-03 04:59

大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析

一、CDH版本的介绍及环境部署-》Hadoop的三大发行版本-》ApacheHadoop-》clouderaHadoop：CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题
黄剑锋1996·2023-12-02 19:50

Kubernetes集群部署—部署etcd集群（二）

文章目录1准备cfssl证书生成工具2生成Etcd证书2.1自签证书颁发机构（CA）2.2使用自签CA签发EtcdHTTPS证书3从Github下载etcd二进制文件4部署Etcd集群4.1创建工作目录并解压二进制包
杰哥的技术杂货铺·2023-12-02 09:43

混合云案例：利用 Databend Cloud 高效加速私有 Databend 的策略与实施

目前，Databend在多个用户场景中得到广泛应用，包括：新媒体行业数据分析及大屏数据展示云上CDH替代以减少本地磁盘和资源占用性能明显提升的云上Greenplum替代方案降低用户管理复杂度的云上Clickhouse
Databend·2023-12-01 20:58

Spark写入es：EsHadoopRemoteException: version_conflict_engine_exception

背景介绍业务场景：spark批量写入es，基于es-hadoop组件实现批处理任务定时调度cdh5.5.3集群，spark2.3，elasticsearch6.4.3es中对应索引的_id由程序控制，保证全局唯一仅测试环境出现
weixin_34117522·2023-12-01 09:59

navicat连接mysql报错ssh_Navicat 连接SSH方式连接mysql报错 ssh:expected key exchange group packet...

只需要在sshd配置文件中加入以下行即可：[email protected],ecdh-sha2-nistp256,ecdh-sha2-nistp384,
徐德民·2023-11-30 16:00

大数据学习-离线数仓项目实战笔记（上）

1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-cdh5.5.0MySQL5.71.2
ys4tnaf·2023-11-30 15:24

数据仓库搭建

1.1什么是数据仓库1.2OLTP与OLAP2项目需求及架构设计3项目框架4框架版本选型4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版（CDH
赵广陆·2023-11-30 13:32

Hadoop入门笔记

2006Cloudera内部集成了很多大数据框架，对应产品CDH。2008Hortonworks文档较好，对应产品HDP。2011Horton
阳宝宝的向日葵·2023-11-30 05:44

Spark on YARN的部署

yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoopHDFS并且运行在yarn上，然后就可以开始部署sparkonyarn了，假设现在准备环境已经部署完毕，这里是在CDH
GoodInSun·2023-11-30 03:23

Java jmx学习---Hive metric

监控这里，目前已知的大数据平台组件比如FusionInsight、CDH对服务的监控做的就很好，无奈，我司的产品属于小本经营，自己从apache里面拿来hive源码，然后直接改点配置文件，就准备上线。
小可0306·2023-11-29 17:01

123.Impala查询缓慢问题与解决

ImpalaDaemon已启用-convert_legacy_hive_parquet_utc_timestampsHive创建测试表，其中“statsdate”字段为TIMESTAMP类型：[root@cdh4scripts
大勇任卷舒·2023-11-29 15:53

Linux安装flume并实现监控文件

flume的安装1.找到flume的安装包并复制到/usr目录下sudocpflume-ng-1.6.0-cdh5.6.0.tar.gz/usr步骤2.解压缩sudotar-zxvfflume-ng-1.6.0
思君_4cd3·2023-11-29 02:56

kerberos mysql配置_CDH安装Kerberos （包含主从配置）

很多企业CDH是没有集成kerberos，原因是kerberos部署后，服务使用起来变复杂，大部分只配置了sentry做权限管理；但真正的CDH多租户应该是身份验证+权限管理。
丰雅·2023-11-28 23:28

Kerberos高可用

文章目录1.备节点安装Kerberos服务2.修改主节点配置3.备节点配置4.节点数据同步至备节点5.节点数据同步至备节点6.配置主节点crontab任务定时同步数据1.备节点安装Kerberos服务cdh001
不饿同学·2023-11-28 23:56

Kerberos高可用HA配置

关于CDH6集成kerberos的配置参见我的另一篇文章：CDH6集成kerberos，感兴趣的朋友可以查阅。
Moon_魔宽·2023-11-28 23:56

0592-5.16.1-如何配置Kerberos高可用

本文主要讲述如何在CDH5.16.1中配置Kerberos服务的高可用。
Hadoop_SC·2023-11-28 23:54

环境准备（06）YARN环境搭建 & 提交作业到YARN

1.配置文件目录/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop2.mapred-site.xml[hadoop@hadoop001hadoop]$cpmapred-site.xml.templatemapred-site.xmlmapreduce.framework.nameyarn3
乌鲁木齐001号程序员·2023-11-28 15:13

HAProxy+KeepAlived高可用负载均衡搭建

KeepalivedforLinux-Version2.0.171、HAProxy安装与配置（基于Centos7）IP为192.168.10.91）解压tarxvfhaproxy-2.0.1.tar.gz2）编译安装haproxycdhaproxy
麦芽maiya·2023-11-28 10:52

2020-07-24

资料仅供参考：objchttps://opensource.apple.com/tarballs/objc4/runloophttps://opensource.apple.com/tarballs/CF/gcdhttps
super_2e20·2023-11-28 03:23

linux du -h按文件大小,linux中du的用法

语法：du[-abcDhHklmsSx0][-L][-XFile][--block-size=SIZE][--exclude=PATTERN][--max-depth=N][--help][--version
小儿外科裴医生·2023-11-28 03:46

perfetto命令 抓取 trace

1.启动Android模拟器进入到cmd中，敲入下面的命令H:cdH:\Sdk\emulator.\emulator.exe-list-avds.
hg2016·2023-11-27 16:00

openssl + ECDH + linux+开发详解（C++）

一、什么是ECDHECDH（EllipticCurveDiffie-Hellman）是一种基于椭圆曲线密码学的密钥交换协议，用于在通信双方之间安全地协商共享密钥。
N阶二进制·2023-11-27 07:39

nginx禁用3DES和DES弱加密算法

3DES和DES弱加密算法yuminstall-ynmapnmap-sV-p443--scriptssl-enum-ciphers127.0.0.1#注释下面的语句（用这个即可）#ssl_ciphersECDHE-RSA-AES128
securitor·2023-11-26 10:37
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他