CDH大数据环境搭建

Geoserver+Geomesa+HBase时空大数据环境搭建

1.技术栈介绍随着互联网技术日益发展，庞大的数据量，传统关系型数据库已无法满足业务需求，需结合Nosql型数据库来应对时空海量数据和业务发展。针对日前互联网外出交通出行，位置点实时监控与轨迹播放等场景，提供一套有效的技术方案来满足需求。本文选型Geomesa+HBase技术栈，教大家搭建一套属于自己的单机版时空大数据环境，自下而上的技术组件介绍，希望能使大家清晰的掌握该组合技术栈。1.1Hadoo
峥嵘37·2022-02-28 10:57

CDH6 离线安装

本篇就介绍如何安装CDH，选择的版本为6.3.12、环境准备准备三台测试机，分别为centos01,centos02,centos04。我这里的测试机器的配置为16g内存，4CP
·2022-02-27 17:09

密钥协商算法的演变 —— RSA算法 - DH算法 - DHE算法 - ECDHE算法

文章目录1.RSA算法RSA握手过程RSA秘钥协商算法最大的缺陷2.DH算法3.DHE算法4.ECDHE算法ECDHE秘钥协商算法的TSL握手：1.RSA算法传统的TLS握⼿基本都是使⽤RSA算法来实现密钥交换的
故里有长安丶丶·2022-02-23 12:33

hbase集群同步

由于当前阶段需要对生产集群(cdh5.14,)的hbase数据进行灾备（备份集群cdh6.1），开始调研hbase的集群同步方案。主要是两种场景：需要hbase的存量数据。有些业务已经积累了大量数据。
xuefly·2022-02-21 08:58

CDH6安装简介

不清楚百度，一搜一大把）https://archive.cloudera.com/cm6/6.3.0/redhat7/yum/RPMS/x86_64/https://archive.cloudera.com/cdh6
PandaEyes聊大数据·2022-02-19 14:39

Hexo 安装与配置

node.jsgit1.安装、初始化Hexo$npminstall-ghexo-cli#创建博客主文件夹为：hexo$hexoinithexo$cdhexo$npminstall创建新post，新建的post
shenbo·2022-02-19 03:28

CDH6安装（一）——虚拟机搭建

虚拟机搭建新建虚拟机->选择对应的版本->界面上配置时区时间->配置root密码->磁盘分配->等待不了解点击（用英文不要用中文）相关资料链接虚拟机基础配置一、ip配置配置虚拟网络nat_config.pngcd/etc/sysconfig/network-scriptsnetwork-scripts.pngviifcfg-ens33ifcfg_config.png重启服务器servicenetw
PandaEyes聊大数据·2022-02-18 04:45

CDH 使用 Hive schematool

翻译：https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hive_schema_tool.html版本：5.14.2
金刚_30bf·2022-02-18 02:15

在 centos6.9 上 cdh-5.13.3的搭建报错

在centos6.9上cdh-5.13.3的搭建报错，报agent端[27/Jul/201810:52:19+0000]8858MainThreadutilERRORLineagefilenotfound
秦记·2022-02-17 13:44

端对端加密(E2EE)-参考文章

原理：端到端加密（E2EE）技术分析：在移动应用中实现安全通信的利器Signal前向安全端对端加密异步通信协议导读技术点：ECDH密钥协商原理密码学:设计一个安全的（没有中间人攻击）的Diffie-Hellman
佳节明月·2022-02-17 11:08

CDH组件简介

1.HDFS：Hadoop分布式文件系统被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目
豪大大大·2022-02-17 08:48

Next主题配置文件详解

$cdhexo$gitclonehttps://github.com/theme-next/hexo-theme-nextthemes/next配置以前写的文章对Hexo、nexT的配置文件没
逍遥_19de·2022-02-17 00:39

基于CDH5.13.2配置挂载HDFS文件系统

CDH5包含了FUSE(FilesysteminUserspace)接口到HDFS.hadoop-hdfs-fuse安装包让HDFS集群做为Linux的外部文件挂载到磁盘中.安装FUSE安装hadoop-hdfs-fuses
hbtszyt·2022-02-16 20:47

使用vue + fastapi在heroku上搭建线报网站

效果展示：最新线报Heroku注册heroku安装herokuclimkdirhaoyangmao&&cdhaoyangmaogitinitherokugit:remote-ahaoyangmao线报采集用
就是很无聊·2022-02-15 21:20

Linux 下安装 Oracle 客户端

[root@cdh01~]#mkdir/opt/oracle[root@cdh01~]#cd/opt/oracle[root@cdh01oracle]#ll/opt/oracletotal82032-rw-r
lei_charles·2022-02-15 13:39

P04_zookeeper-cdh5集群搭建

安装ZooKeeper包[CDH下载地址]（http://archive.cloudera.com/cdh5/cdh/5/）1、将课程提供的zookeeper-3.4.5-cdh5.3.6.tar.gz
Albert陈凯·2022-02-15 10:12

HAProxy+KeepAlived高可用负载均衡搭建

KeepalivedforLinux-Version2.0.171、HAProxy安装与配置（基于Centos7）IP为192.168.10.91）解压tarxvfhaproxy-2.0.1.tar.gz2）编译安装haproxycdhaproxy
LeaHea·2022-02-13 09:31

harbor2.0私有仓库搭建和使用

v2.0.0/harbor-offline-installer-v2.0.0.tgz2.解压安装包tar-xvfharbor-offline-installer-v2.0.0.tgz3.进入harbor文件夹cdharbor4
Sp0n·2022-02-13 07:46

第一个 LLVM Pass 体验 (小白笔录)

作为引子，clone其相关代码：>gitclone--recursive-brelease_80https://github.com/HikariObfuscator/Hikari.gitHikari>cdHik
CoderHG·2022-02-13 02:21

Cloudera spark 安装

翻译：https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_spark_installation.html版本：5.14.2Continuereading
金刚_30bf·2022-02-13 01:18

kafka =>SparkStreaming=>kudu集成kerberos

本文档主要介绍在cdh集成kerberos情况下，sparkstreaming怎么消费kafka数据，并存储在kudu里面假设kafka集成kerberos假设kudu集成kerberos假设用非root
阿甘骑士·2022-02-12 23:48

spark源码编译过程

对应不同的hadoop版本有不同的支持2.方便后期对源码的更改，并进行编译需要注意2.pngspark文件夹中的pom文件需要修改maven的路径3.pngpom文件修改，默认的是Apache的源，建议改成cdh
番茄ozz·2022-02-12 16:14

HBase编译安装(单机版)

1、环境描述jdk：jdk1.8.0_45maven：3.3.9hadoop:2.6.0-cdh5.14.0其他：因为前期编译过hadoop等组件，所以配套的git、Protobuf、Findbugs等都已经安装过了
刘子栋·2022-02-12 14:36

MySQL to HBase over Kafka Connect 实时同步实践 (2) 架构一览

image.png组件说明CDH6.1.1线上Hadoop集群最终采用了CDH发行版,版本是CDH6.0.0,后续升级到CDH6.1.1.上述组件中,Kafka,HBase,Hive,ClouderaManager
517001e7cb6e·2022-02-12 06:57

大数据平台CDH集群在线安装

标签：Cloudera-ManagerCDHHadoop部署集群摘要：管理、部署Hadoop集群需要工具，ClouderaManager便是其一。本文详细记录了以在线方式部署CDH集群>的步骤。
weixin_33724570·2022-02-11 11:48

客快物流大数据项目(三十四)：CDH开始安装

目录CDH开始安装CDH开始安装由于CDH需要使用CM的WebUI可视化界面配置集群，又是单节点安装，CM与CDH的安装包都在同一个节点中(均在Apache服务/var/www/html/下)，直接在浏览器中输入
Lansonli·2022-02-11 11:12

CDH离线安装

系统参数系统centos：CentOSLinuxrelease7.5.1804(Core)JDK：jdk-8u162-linux-x64ClouderaManager：5.15.0服务器5台，内存16g，磁盘50g，其中主节点磁盘不要小于50g，其他的可适当减少或增加配置1、提前下载各个离线安装包文件由于在线安装速度很慢，最好还是先把安装包先下载下载，为了方便安装以下安装包放在server01服务
豪大大大·2022-02-11 06:15

(5)Linux_软件管理_yum安装本地软件

软件管理通用安装源码包流程：(1)cdhttpd-2.2.32:.
至未来自己·2022-02-11 05:44

Dva In Mobile

安装依赖使用命令react-nativeinitHelloDva创建一个react-native项目，进入该项目根目录cdHelloDva，
Zack1994·2022-02-11 05:22

2020-11-27vs2017和vs2019专业版和企业版

专业版：Professional:KBJFW-NXHK6-W4WJM-CRMQB-G3CDH企业版：Enterprise:NJVYC-BMHX2-G77MM-4XJMR-6Q8QF激活成功了记得回来点赞哦
Nmao·2022-02-11 04:50

HBase/Spark Guava依赖冲突解决方案

前言版本guava版本Spark2.2.012.0.1HBase1.0.0-cdh5.6.020.0由于guava的版本在16.0以后，不向后兼容，所以Spark程序中集成HBase是会报找不到依赖的方法错误
zfylin·2022-02-10 10:05

开源实践 | OceanBase 在红象云腾大数据场景下的实践与思考

作者：童小军红象云腾(REDOOP)公司董事长兼CTO，中国首位ClouderaCCDH认证工程师，曾任ChinaHadoopSummit联合主席。
·2022-02-09 18:52

CDH安装hdfs后Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 的解决

newFilesudo-uhdfsyarnjarhadoop-examples.jarpi3100方法二、进入root用户，再suhdfs进入hdfs用户去执行方法三、在hdfs-site.xml中添加设置这种方法可让所有用户访问hdfs了，不用进入hdfs用户再执行命令下面是默认的配置CDH
Ahuuua·2022-02-09 16:12

用户画像大数据环境搭建——从零开始搭建实时用户画像(四)

image本章我们开始正式搭建大数据环境，目标是构建一个稳定的可以运维监控的大数据环境。我们将采用Ambari搭建底层的Hadoop环境，使用原生的方式搭建Flink，Druid，Superset等实时计算环境。使用大数据构建工具与原生安装相结合的方式，共同完成大数据环境的安装。Ambari搭建底层大数据环境ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管
大数据流动·2022-02-09 13:44

spark-submit解读

本文基于spark1.6-CDH5.7.2讨论当执行spark-submit时，会产出如下操作：1、设置HADOOP_HOME=/opt/cloudera/parcels/CDH-5.7.2-1.cdh5.7.2
凡尔Issac·2022-02-08 22:56

cdh6.3.2安装

1.数仓之ClouderaManager1.1CM简介1.1.1CM简介ClouderaManager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具，使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。CM功能管理：对集群进行管理，如添加、删除节点等操作。监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。诊断：
coderKeNan·2022-02-07 14:35

HomeBrew 安装说明

解决问题使用github镜像，如mirrors.ustc.edu.cn如何使用[email protected]:richard2010/homebrew-install.gitcdhomebrew-install
e357a1700e85·2022-02-07 10:26

2019-10-04 开发环境 开发工具 编译器 编辑器 解释器之间的区别

url=gO7UsA_Q5oAGHPW8WiI5Dz67jFxOkZlLE5pLeGrv5cdh6t9RmRGW7xzx64k7kZym&wd=&eqid=e8917cf10009a424000000035d96fea8
LingSmart·2022-02-06 21:58

CDH6.2安装教程（详细步骤）

一.安装介绍本文介绍CDH安装，安装版本以当前最新版CDH6.2为例。
绿叶悠·2022-02-06 21:24

Hadoop入门一(3.2.2版本)

一.大数据广义大数据：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境)狭义大数据：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址
comer_liu·2022-02-05 12:57

1. Hadoop：环境搭建以及 MapReduce 程序运行

针对这种情况，在学习Hadoop时，需要使用统一的版本，商业化的CDH正是其中之一，它将H
东方未曦·2022-02-05 08:25

CDH5.13.2集成phoenix测试

注意官方提供的没有sha文件，需要自己命令生成执行命令：sha1sumAPACHE_PHOENIX-4.14.0-cdh5.13.2.p0.3-el7.parcel>APACHE_PHOENIX-4.14.0
hbtszyt·2022-02-05 07:13

xcode11 没有了Products路径

在这里可以自行添加image点击加号，输入CONFIGURATION_BUILD_DIR方法2首先打开项目，然后进入到你的项目目录并打开project.pbxproj文件搜索productRefGroup关键字cdHqMacDevStuopenHqMacDevStu.xc
西充小凡哥·2021-12-29 09:02

搭建企业级实时数据融合平台难吗？Tapdata + ES + MongoDB 就能搞定

在大数据时代，几乎每家企业都有上一套数据平台的冲动，目前也有很多的离线解决方案，包括Hadoop体系的CDH、TDH，还有一些传统的数仓。但是有两大因素让企业无从下手：一是“实时”，二是“融合”。
·2021-12-02 15:33

记jupyter-notebook linux下 跨机器 环境迁移

背景：公司老集群升级（CHD5升级到CDH6），集群资源重新分配。
AmiWang·2021-11-30 13:53

Hadoop入门一(3.2.2版本)

一.大数据广义大数据：以hadoop软件为主的生态圈(Sqoop、Flume、Spark、Flink、Hbase、Kafka和cdh环境)狭义大数据：hadoop软件本身，开源的(在gitlab上可以看到源代码和地址
jiangliu·2021-11-27 18:46

【阿里云 CDP 公开课】 直播预告来袭！

扫描海报上的钉钉群二维码入群，线上观看直播，还可以与来自阿里云和Cloudera的技术专家交流~背景介绍CDP(ClouderaDataPlatform)是Cloudera和Hortonworks合并后，选择原CDH
·2021-11-25 13:46

如何运用vue结合elementUI

1、创建一个hello-vue的工程vueinitwebpackhello-vue2、安装依赖#进入工程目录cdhello-vue#安装vue-routernnpminstallvue-router--
咸鱼_翻身·2021-11-20 01:01

Apache Kyuubi 助力 CDH 解锁 Spark SQL

ApacheKyuubi(Incubating)（下文简称Kyuubi）是⼀个构建在SparkSQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供高可用、多租户能力。Kyuubi具有可扩展的架构设计，社区正在努力使其能够支持更多通信协议（如RESTful、MySQL）和计算引擎（如Flink）。Kyuubi的愿景是让大数据平民化。一个的典型使用场景是替换HiveServer2，
·2021-11-18 16:07

Hadoop Meetup 2021 回顾 - Apache Kyuubi 助力 CDH 解锁 Spark SQL

ApacheKyuubi(Incubating)（下文简称Kyuubi）是⼀个构建在SparkSQL之上的企业级JDBC网关，兼容HiveServer2通信协议，提供高可用、多租户能力。Kyuubi具有可扩展的架构设计，社区正在努力使其能够支持更多通信协议（如RESTful、MySQL）和计算引擎（如Flink）。Kyuubi的愿景是让大数据平民化。一个的典型使用场景是替换HiveServer2，
网易杭研·2021-11-17 11:48
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他