CDH大数据环境搭建

CDH6.3.3 paywall版之前自定义http服务器放置parcels安装数据

当前大数据集群的工具选型上,巨头们都是自研大数据工具,中小微企业都是开源大数据组件搭积木,中间层级的厂商或买商业软件(MaxCompute/腾讯云/华为云)或在CDH基础上再集成商业套件(Dataphin
江畔独步·2021-11-09 18:14

大数据开发之HDFS的API操作过程

clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/org.apache.hadoophadoop-client2.6.0-mr1-cdh5.14.0org.apache.hadoophadoop-common2.6.0
·2021-10-28 11:08

go的基本操作

创建目录mkdirhellocdhello创建项目gomodinitexample/hellogo:creatingnewgo.mod:moduleexample/hello编写codepackagemainimport"fmt"funcmain
zXuan·2021-10-08 03:54

Hadoop——练习1(统计单词个数)

1、启动Hadoopcd/optcdhadoop.
小镭敲代码·2021-09-29 11:58

Hbase——练习1

1.进入hbasecdhbase.
小镭敲代码·2021-09-27 14:52

acwing查看做题总数

):self.base_url='https://www.acwing.com/problem/{}/'self.headers={'Cookie':'csrftoken=mixU7wxaV35yyyCDhqbXcIoW3z3Ms0NH31jbb
·2021-09-16 17:31

STM32：TFT—LCD显示屏操作：2021-08-26

STM32F103ZET6的外接TFT—LCD显示屏，并红绿蓝循环闪烁FSMC设置1：FSMC设置2：GPIO设置：添加.c.h文件：引入头文件：#include"lcd_header.h"主函数程序：//初始化LCDHAL_Delay
zhaohaobingniu·2021-08-26 22:51

ElasticSearch 安装采坑

这里有一个坑，不要在装在root用户下，我是在一个测试服务器上玩的，直接装在root下了，导致后面启动不了，后面又卸载重新装的或者你移动到非root目录中应该也可以我这里装在/home/elk目录下的进入目录：cdhome
·2021-08-25 19:32

CDH集群断电重启后DataNode无法连接到NameNode

周末公司断电，之后发现集群一个DataNode无法连接到NameNode，看了日志和页面报错一致。在网上查资料，尝试了刷新DataNode节点（hdfsdfsadmin-refreshNodes）、查看hosts、查看防火墙等方法，都没有效果。使用hdfsdfsadmin-report命令，发现该节点配置容量为0，又查找该问题。最终定位在IP问题上。使用ipaddr，发现该节点除了我自行设置的静态
等闲之辈莫等闲·2021-08-23 16:14

【转载】GeoServer+GeoMesa+HBase 时空大数据环境搭建

文章标签：javanosqlhadoopgis版权：CC4.0BY-SA版权声明：本文为CSDN博主「yangdengxian」的原创文章，遵循CC4.0BY-SA版权协议，转载请附上原文出处链接及本声明。文章版权分类.png原文链接：https://blog.csdn.net/yangdengxian/article/details/113727936GeoServer+GeoMesa+HBas
阿群1986·2021-08-11 11:47

docker安装CDH6.3.1集群版（内含安装包）

一、前言本次采用的在线安装方式，cdh为6.3.2版本，系统为centos7.4，docker节点可以为任意多个，下文将以3个docker容器为示例进行展示。
胖子捏肚子·2021-08-05 23:19

Flink on Zeppelin问题四则（并没有优雅的解决方案

Flink版本为1.13.0，Hadoop版本为CDH6.3.2自带的3.0.0。经过两天的探索，发现了一些问题，在百忙之中抽出点时间简要记录一下并不成功的troubleshooting过程。
LittleMagic·2021-07-30 20:19

搭建本地大数据研发环境（16G内存+CDH）

本文将从头开始详细的记录整个大数据环境的搭建过程，本文所使用的笔记本电脑内存为16G，将使用CDH6.3.2管理整个大数据集群。由于cl
·2021-07-27 20:24

编译支持 spark 读写 oss（cdh 5.x)

前言背景：使用spark读取hdfs文件写入到osshadoop:2.6.0-cdh5.15.1spark:2.4.1主要参考链接：https://blog.csdn.net/wankund...增加了注意点和坑点编译
·2021-07-27 19:46

在Win10中用Hyper-V虚拟机搭建CDH集群

Version:v0.1LastUpdate:July/23/2021Keywords：CDH，Hadoop，BigDataPlatform，Hyper-V，VirtualMachineAbstract
lionxcat·2021-07-23 13:04

spark thrift server 与 网易 kyuubi thrift server

默认情况下，cdh安装的spark没有包含thriftserver模块，因此我们需要重新编译spark。
__destory__·2021-07-13 15:50

【CDH安装】2、CDH 集群安装配置

bigdata001:7180admin/admin2、选择免费版或者试用版3、继续下一步4、选择当前管理主机cloudera-scm-agent正常启动后，可发现相应的节点，指定集群服务的安装节点5、选择CDH
粮忆雨·2021-06-27 21:28

娶老婆到底是为了什么，这个答案轰动朋友圈，看哭无数人

文|韩九叔·主播|培培来源：国学文化堂（ID:CDHGXZH）娶老婆到底为了什么？《爱情保卫战》中，涂磊的回答堪称完美：“老婆，不是用来生孩子的，而是一起相伴到老的。
書酱·2021-06-27 04:35

搭建Hive环境

下载hive：wgethttp://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz解压:tar-zxvf.......
Ace_Wang·2021-06-27 00:55

Apache Zeppelin 迁移 - Jar 包冲突解决与思考

最近整个公司大数据集群迁移（cdh->ambrihdp），随之Zeppelin也需要迁移，由于各个组件版本有变化，且Zeppelin源码是有过改动的，迁移起来很麻烦。
咬尘归·2021-06-26 05:43

Cloudera Manager（CDH）入门系列之三 （安装）

操作系统:CentOs6.4虚拟机（4核3G）主机：cdh01(server&agent)+cdh02(agent)CDH版本：cdh5.7.1jdk8准备工作关闭防火墙在两台主机上都运行一下命令serviceiptablesstop
Kooola大数据·2021-06-25 19:46

Flink SQL Client集成Hive

环境CDH-6.3.2Flink-1.12.2最后会补充说明Flink-1.13.1的使用方法准备在flink-1.12.2/lib目录需要放如下jar包flink-sql-connector-hive
Woople·2021-06-25 09:50

启用kerberos的环境下在CDH中使用Spark SQL On HBase

一、前言在大数据领域，海量存储与快速检索方面HBase早已有了自己的一席之地。MapReduce计算框架早已对接了HBase，以HBase作为数据源，完成批量数据的读写。而Hive默认底层以MapReduce作为计算引擎，支持以HBase作为外部表，通过HQL对HBase中的数据进行分析，HiveOnHBase也是很好的满足在某些场景下通过SQL对HBase表中的数据进行分析。如今即MapRedu
和腐朽说再见·2021-06-25 08:01

1.3 Hello, Cargo

一cargo用途构建系统和包管理工具，可以自动下载你的项目依赖库二查看cargo版本$cargo--versionimage.png三创建项目目录cargonewhello_cargocdhello_cargo
剑有偏锋·2021-06-25 01:32

hbase-window idea调试源码

个人觉得debug运行代码是理解代码最为有效的方式，所以今天说一下在window上使用idea进行调试运行hbase源码（使用的是cdh版本的hbase）。
Demo_zfs·2021-06-22 23:30

每天一个Linux命令（29）：du 命令

1、语法格式du[-abcDhHklmsSx][-L][-X][--block-size][--exclude=][--max-depth=][--help][--version][目录或文件]2、参数说明
奔跑的Tester·2021-06-22 23:19

git gitlab |sourcetree的使用入门

gitlab本身是一个git服务器，也是我们的gitcoderemoterepo，我们代码最终存储的地方，gitlab安装在cdhnode2这台机器上，gitlab本身也是有自己web操作端的一般我们使用
Helen_Cat·2021-06-22 23:57

puppeteer爬取house365租房数据

很简单,就是用css选择器扒1.puppeteer安装依赖1.新建项目$mkdirhouse365$cdhouse365$npminit$npminstallpuppeteer--save2.安装上的相关问题网络问题使用淘宝镜像
ZZES_ZCDC·2021-06-22 06:18

cdh6.3.2安装部署

#cdh6.3.2部署安装##版本信息|节点|ip地址|mysql|parcel文件离线源|cm|cdh||-------|---------------------------------------
爱学习的ren·2021-06-22 00:33

kafka的安装和使用（单节点单broker）

下载安装zookeeper下载地址：http://archive.cloudera.com/cdh5/cdh/5/（选择自己需要的版本）我下载的版本：http://archive.cloudera.com
匪_3f3e·2021-06-20 17:12

小伙想当程序员被员工怒怼：再说一次，不要靠技术吃饭，结果蒙了

原文地址：https://dwz.cn/8cDhpyUG作者：职场精英之术导读：当个程序员到底好不好？
web前端学习指南·2021-06-20 11:58

安装扩展包(Install External Libraries)

在CDH平台上为Streamsets导入扩展包前,先设置一个用来存储这些扩展包的目录在Cloundera管理平台界面中,选择StreamSets服务然后点击Configuration.在Configuration
熊_看不见·2021-06-20 03:00

从零开始搭建一个Koa服务器来一步一步理解浏览器的缓存机制

##搭建本地服务器1、新建文件夹并进入，命名为：httpmkdirhttp&&cdhttp2、初始化package.json文件，默认已经安装node以及npm（如需安装yarn，执行npminstall-gyarn
vettel_qin·2021-06-20 02:34

explain.sh(转发改进版)

source~/.bashrc#explain.shbeginsexplain(){if["$#"-eq0];thenwhileread-p"Command:"cmd;docurl-G--ciphersecdhe_ecdsa_aes
高小树·2021-06-20 01:23

CDH大数据安装手册--基础环境准备

CDH大数据安装手册1.基础环境准备机器硬件配置操作系统要求CentOS7.4。安装介质说明除了系统自带的OS源，我们会把其他安装包整合到一个独立的源。所有服务器都会使用该源，方便统一管理。
SmartNewSexy·2021-06-19 20:41

CDH—数据平台（6.2版本）

一、机器配置相关命令参考：https://blog.csdn.net/weixin_38642130/article/details/86291781系统：Centos7.6X5台内核：4C内存：8G存储：300G磁盘挂载（机器申请下发后并未进行磁盘挂载）参考：https://jingyan.baidu.com/album/aa6a2c14bd8cc70d4c19c4c8.html?picinde
imagine_1c27·2021-06-19 03:48

HBase基础概述

安装下载cdh版本的http://archive.cloudera.com/cdh5/cdh/5/hadoop安装的Hadoop2.6.0-cdh5.7.0,因此hbase安装的也需要是cdh5.7.0
_羊羽_·2021-06-19 02:56

nginx配置ssl以及80强制跳转https443端口配置示例

ssl_certificatecert/full_chain.pem;ssl_certificate_keycert/private.key;ssl_session_timeout5m;ssl_ciphersECDHE
我不吃姜·2021-06-16 10:41

HDFS数据平衡：节点间平衡与节点内平衡

节点间平衡：BalancerCDH在HDFS中提供了Balancer角色，使我们可以免于用命令行执行start-balancer.sh来手动配置。ClouderaManager里与Balancer有关
LittleMagic·2021-06-15 06:21

Hadoop本地开发环境搭建（eclispe、IDEA）

非常需要搭建一个Hadoop本地开发环境，下面简单将一个步骤：1.将集群上安装的Hadoop整个文件夹复制到本地2.本地设置Hadoop环境变量，我的本地Hadoop目录是：D:\hadoop-2.6.0-cdh5.14.0
千释炎·2021-06-15 05:38

Hive安装

一、安装hive1、下载、解压源文件并移动、重命名文件名，tar-zxvfhive-1.1.0-cdh5.6.0.tar.gzsudomvhive-1.1.0-cdh5.6.0/usr/app/hive112
Always_6778·2021-06-15 01:57

CDH遇到的问题

CDH添加高hdfs高可用后，hive，impala查询报错0:jdbc:hive2://localhost:10000/>selectcount(1)fromperson;Error:Errorwhilecompilingstatement
阿甘骑士·2021-06-14 12:26

nginx的优化配置

https优化ssl_ciphersTLS13-AES-256-GCM-SHA384:TLS13-CHACHA20-POLY1305-SHA256:EECDH+CHACHA20；ssl_ecdh_curveX25519
禅兜·2021-06-14 10:27

CDH6安装（二）——集群基础配置

创建主机用户添加cdh用户（全部机子）useraddcdhpasswdcdh->输入密码chmodu+w/etc/sudoersvi/etc/sudoers->添加cdhALL=(ALL)ALLchmodu-w
PandaEyes聊大数据·2021-06-14 03:41

CDH6.3.2取消静态资源池

ClouderaManager提供了向导式的方式为CDH集群启用静态资源池管理，但取消静态资源池管理却不能在同样的界面直接回退。本文主要介绍如何通过CM来禁用静态资源池管理。
碎川689·2021-06-13 01:29

Mac环境下搭建GitHub博客

local/bin:$PATH2.git下载（Windows自带）3.nodejs下载brewinstallnode4.安装hexosudonpminstall-ghexo-cli5.初始化hexo6.cdhexonpminstall
Casablanca_InGT·2021-06-12 22:23

史上最全！大数据开源框架技术扫盲

一目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、GlusterFS
华矩数诊台·2021-06-12 19:11

Apache源码编译安装及优化

下载httpd源码包wgethttp://archive.apache.org/dist/httpd/httpd-2.2.25.tar.gztar-xvfhttpd-2.2.25.tar.gzcdhttpd
Hi_One·2021-06-12 16:42

HBase分布式部署实践

$tarxfzhbase-1.4.11-bin.tar.gz$cdhbase-1.4.11/将Hadoop的配置信息复制一份到HBase$cp$HADOOP_CONF_DIR
三水nami·2021-06-12 13:07

CDH详细部署方案

token=d163a5b78d501c2dimage.png2以CDH5_12版本为例的部署方案部署方案为parcles离线部署官方参考手册https://www.cloude
littlebear_xbz·2021-06-12 05:21
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他