大数据平台CDH

CDH6.3.1离线安装（内含安装包）

一、安装前准备1、安装包链接：https://pan.baidu.com/s/1drZV1CtUn8h3DHt6wjeVvw?pwd=1234提取码：1234image.png2、服务器准备2.1配置host相互访问都用配置的host进行访问所有机器使用同一个配置[root@gy-dev-app~]#vim/etc/hosts127.0.0.1localhostlocalhost.localdom
黄蜂怪·2023-10-18 02:50

如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0

://dolphinscheduler.apache.org/en-us/Github:https://github.com/apache/incubator-dolphinscheduler部署环境CDH
青年夏日科技·2023-10-18 01:46

待看的优秀文章链接

苹果官方文档objchttps://opensource.apple.com/tarballs/objc4/runloophttps://opensource.apple.com/tarballs/CF/gcdhttps
洧中苇_4187·2023-10-17 23:41

HDFS Java API

如果是CDH版本的Hadoop，还需要额外指明其仓库地址：<?xmlversion="1.0"encoding="UTF-8"?</
shangjg3·2023-10-17 19:59

\OBJ\templiate.axf: Error: L6218E: Undefined symbol PcdHalt (referred from rc522.o).

keil5报错记录:…\OBJ\templiate.axf:Error:L6218E:UndefinedsymbolPcdHalt(referredfromrc522.o).先来百度翻一下：目标\模板.
Ydon?tkwhmeIS·2023-10-17 18:29

【kafka】Kafka 可视化工具Kafka Eagle安装和使用

因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。KafkaEagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。
Bogon·2023-10-17 11:56

Linux上使用SSH连接Git

git:[zhichao@localhost/]$yuminstallgit生成密钥:[zhichao@localhost/]$ssh-keygen打开密钥文件:[zhichao@localhost/]cdhome
思想永无止境·2023-10-17 07:08

实录分享 | Alluxio 在网易大数据的应用与优化

一、背景介绍网易有数大数据基础平台NDH：NDH是网易对标ClouderaCDH的一个内部实现，是网易内部广泛使用的一个基础平台。
Alluxio·2023-10-17 06:30

Spark读写HBase表数据

cloudera-reposorg.apache.sparkspark-core_2.112.3.3org.apache.commonscommons-lang33.7org.apache.hbasehbase-spark2.1.0-cdh6.2.0org.apache.spa
扎西的德勒·2023-10-17 04:14

搭建Atlas2.2.0 集成CDH6.3.2 生产环境+kerberos

首先确保环境的干净，如果之前有安装过清理掉相关残留确保安装atlas的服务器有足够的内存（至少16G），有必要的hadoop角色HDFS客户端—检索和更新Hadoop使用的用户组信息（UGI）中帐户成员资格的信息。对调试很有用。HBaseClient-Atlas存储其Janus数据库，用于初始导入HBase内容，因此它需要持续访问HBase服务中的两个表。Hive客户端-用于初始导入Hive内容。
Mumunu-·2023-10-16 21:49

大数据入门：Hadoop Yarn组件基础解析

在Hadoop框架当中，Yarn组件是在Hadoop2.0之后的版本开始引入，主要是为了解决资源管理和调度的相关问题，是在大数据平台的实际运用当中，根据实际需求而引入的解决方案。
成都加米谷大数据·2023-10-16 19:10

web课程设计——健身俱乐部健身器材网站模板(24页)HTML+CSS+JavaScript

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
IT黑马程序员·2023-10-16 11:38

web前端期末大作业：基于HTML+CSS+JavaScript制作鲜花礼品在线购物网站设计(19页)

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【Echarts大屏展示大数据平台可视化
STU网页优选·2023-10-16 11:08

大数据学习笔记，学习清单

大数据目前技术组件有很多，比如有hdfs,hive,spark,flink,kafka,clickhouse,cdh,nifi,streamset等等技术，主流的开发语言有Java，Scala，Python
平凡天下·2023-10-16 06:59

Linux环境下Hive的安装

一、安装Hive1.1下载并解压下载所需版本的Hive，这里我下载版本为cdh5.15.2。
Keven He·2023-10-15 17:27

Hive 系列（二）—— Linux 环境下 Hive 的安装部署

一、安装Hive1.1下载并解压下载所需版本的Hive，这里我下载版本为cdh5.15.2。
weixin_30362083·2023-10-15 17:56

linux下基于hadoop安装hive和Zeppelin安装

将包放在opt目录下/opt/soft/hive110/lib目录下[root@wqopt]#tar-zxfhive-1.1.0-cdh5.14.2.tar.gz[root@wqopt]#mvhive-
SKY_WU95·2023-10-15 17:17

基于Linux系统的HIVE安装

2、安装包解压tar-zxf/opt/zookeeper-3.4.5-cdh5.14.2.tar.gz3、将解压文件放到op
叶子不落·2023-10-15 17:46

【教程】使用vuepress构建静态文档网站，并部署到github上

VuePress(vuejs.org)构建项目我们跟着官网的教程先构建一个demo这里我把vuepress-starter这个项目名称换成了howtolive创建并进入一个新目录mkdirhowtolive&&cdhowtolive
橙子1111·2023-10-15 15:18

CDH 6.3.1 集成Atlas

备注:安装之前先要准备好JDK1.8ZookeeperKafkaHbaseSolr一.Atlas下载现在linux环境通过git下载:gitclone-brelease-2.1.0-rc3https://github.com/apache/atlas.git然后拷贝回到windows环境下，因为后期要用编译ATLAS源码。二.ATLAS源码编译2.1IntellijIDEA导入Maven项目选择O
只是甲·2023-10-15 11:48

大数据产品深度与广度并举，腾讯云为数据价值释放带来最优解

云原生正在重新定义大数据平台？目前看的确如此。
大数据在线·2023-10-15 08:41

百度智能云千帆大模型平台 2.0 产品技术解析

本文整理自2023年9月5日百度云智大会-智能计算&大模型技术分论坛，百度智能云AI&大数据平台总经理忻舟的主题演讲《百度智能云千帆大模型平台2.0产品技术解析》。
百度Geek说·2023-10-15 02:27

Spark 启动java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module 报错

自己试着找了一下包,Ok成功启动,在这里记下,避免其他人在这块费时间下面是异常信息,很明显是缺少类,之前一直以为是自己没有配置清楚,没有想到是缺包,博主的是在装的伪分布版本如下hadoop-2.6.0-cdh5.12.1
徴心·2023-10-15 00:50

kafka eagle（EFAK）的介绍和保姆级安装教程

本文主要介绍Apache和CDH平台下kafkaeagle的安装配置教程，ClouderaCDP平台可以选择自带的SMM，也可以像CDH一样配置kafkaeagle（推荐）。
炼数成器·2023-10-14 18:54

大数据入门：Hadoop Yarn组件基础解析

在Hadoop框架当中，Yarn组件是在Hadoop2.0之后的版本开始引入，主要是为了解决资源管理和调度的相关问题，是在大数据平台的实际运用当中，根据实际需求而引入的解决方案。
加米谷大数据张老师·2023-10-14 16:26

hive on spark僵死问题分析

背景：最近大数据平台为租户经分系统提供运算及存储能力，经分的资源需求如下Memory:6TCPU:1600c存储：600T文件系统：HDFS运算组件:hiveonspark权限管理：sentry问题描述
baker_dai·2023-10-14 14:59

识时务

空降因为某个项目需要搭建一个大数据平台，我们都比较没有经验，老总就决定从外面招一个比较有经验的人，然后从部门中选出一两个和他做大数据。
西城丶·2023-10-14 09:22

Ubuntu修改mtu

出现expectingSSH2_MSG_KEX_ECDH_REPLY。2、需要修改系统MTU，Ubuntu默认为1500；修改为1492。
jyong·2023-10-14 07:40

linux中ubuntu安装hashcat方法以及使用GPU破解

gitgitclonehttps://github.com/hashcat/hashcat.git#gitclonehttps://kgithub.com/hashcat/hashcat.git#国内镜像克隆cdhashcatmakemakeinstallnewgrp
云霄IT·2023-10-14 06:01

docker的启动脚本也许是个坑

最近项目需要为大数据平台配备监控告警系统，虽说之前折腾过很长时间的nagios，对其中的原理比较了解，但是最终还是决定选择zabbix，原因有两点：1、nagios的开源的UI实在是惨不忍睹，而客户特别是不懂技术的门外汉对产品的要求往往都集中在
蚂蚁都督·2023-10-14 04:39

Apache Doris系列：大数据平台安装与部署详细步骤

ApacheDoris系列：大数据平台安装与部署详细步骤ApacheDoris（前身为Palo）是一个适用于大数据分析的开源列式存储数据库。
我的小星星·2023-10-14 04:15

Mysql sql 拼接Sqoop和Phoenix语句

需求描述：需要从myslq导入数据到大数据平台hbase，但是由于有100多张表，如果一个表一个表导入的话，工作量大。如果写代码的话，需要的时间也比较多。
suolemen·2023-10-13 17:31

【Kylin】【Hive】【hive-testbench】tpch 数据集生成失败，提示报错class org.apache.hadoop.hdfs.web.HftpFileSystem ...

gitclonehttps://github.com/hortonworks/hive-testbench.gitcdhive-testbench/./tpch-build.sh./tpch-setu
JustinXTT·2023-10-13 09:24

调研了10家公司的技术架构，我总结出了一套大数据平台的套路

近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设
即将秃头的Java程序员·2023-10-13 06:11

Spark大数据平台

  ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖
Hi~晴天大圣·2023-10-13 05:16

Rust语言——cargo

语句cargonewhello_cargo来生成一个cargo项目(cargo项目可以实现大型的代码任务)，以下为cargo结构：cargo.toml为该cargo文件的配置文件随后在cmd中输入命令:cdhello_cargo
一只猪咪·2023-10-13 02:29

运维大数据平台的建设与实践探索

随着企业数字化转型的推进，运维管理面临着前所未有的挑战和机遇。为应对日益复杂且严峻的挑战，数字免疫系统和智能运维等概念应运而生。数字免疫系统和智能运维作为新兴技术，正引领着运维管理的新趋势。数字免疫系统和智能运维都借助大数据运维平台，实现数据驱动的运维策略，实时监控分析系统状态，自动识别异常行为、威胁和攻击，提供智能决策和预防性维护建议，实现自我保护和自我修复等，从根本上提高了系统安全性、稳定性和
H3C-Navigator·2023-10-12 22:40

Flink日志采集、集中存储、可视化查询实践

1.背景笔者的开发大数据平台XSailboat中包含基于Flink的可视化计算管道开发和运维功能。状态存储器中数据的查看和节点的日志查看功能是其重要的辅助支撑功能。
OkGogooXSailboat·2023-10-12 19:50

大一学生作品《前端框架开发技术》 期末网页制作 HTML+CSS+JavaScript 个人主页网页设计实例

获取更多优质源码】web前端期末大作业：【毕设项目精品实战案例(1000套)】程序员有趣的告白方式：【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码：【echarts大屏展示大数据平台可视化
STU学生网页设计·2023-10-12 14:17

可以提供写作素材的大数据平台

做市场调研，一般对于行业趋势、热点、权重等问题最为关注。关键词的热度及指数的反映便是对市场最好的反馈，这里推荐大家几个平台。1.微指数（http://data.weibo.com/index）微指数是新浪微博的数据分析工具，是基于微博的热点内容搜索生成的关键词指数及实时数据。这款工具通过关键词的热议度，以及行业、类别的平均影响力，来反映微博舆情的发展走势。微指数分为影响力指数和热词指数两个模块，另
徐徐思卿·2023-10-12 11:33

数据要素流通视角下数据安全保障研究报告

DATA001：大数据平台安
互联互通社区·2023-10-12 11:54

阿里巴巴大数据-Java微服务技术专家-平台架构

长期招聘，简历投递：[email protected]阿里巴巴大数据-Java微服务技术专家-平台架构岗位职责：•参与阿里巴巴大数据平台和数据中台建设，承担大数据智能研发平台整体架构工作
扶至钦·2023-10-12 10:21

什么是大数据运维？大数据运维的职责

大数据运维的职责包括以下几个方面：确保大数据平台的高可用性和稳定性，包括对硬件、软件和网络设备进行监控和故障排除。进行大数据集群的容量规划和资源管理，保证集群的规模和性能与业务需求相匹配。
蘑菇丁·2023-10-11 21:49

Hive源码调试

格式化namenode2.4启动hdoop3、编译Hive3.1编译3.2配置hive3.3初始化元数据库4、调试参考链接1、概述  最近用到了HiveHook的一些功能，每次打包后都要将jar包拷贝到CDH
0x3E6·2023-10-11 14:50

用大数据平台和人工智能打造“副脑”

工业4.0、物联网、人工智能其实是建立在大数据平台的基础之上的，可以说
轻禅漫隐·2023-10-11 08:09

【踩坑】hive脚本笛卡尔积严重降低查询效率问题

前一阵子查看我们公司的大数据平台的离线脚本运行情况,结果发现有一个任务居然跑了一天多,要知道这还只是几千万量级的表,且这个任务是每天需要执行的于是我把hive脚本捞出来看了下,发现无非多join了几个复杂的子查询
zzzgd816·2023-10-11 00:00

Cdhit的使用说明

最近在完成一项任务的时候要利用cdhit序列聚类软件对几万条的序列文件进行聚类，基本摸清了用法，在此记录一下，并在此感谢肥肥的帮助经历这件事，我吸取了教训，就是想要摸清一个软件的全部用法，不应该只是凭着在
不玩手机的蛇佬腔·2023-10-11 00:42

椭圆曲线介绍（四）：椭圆曲线安全性，与RSA对比

在上一篇博客中，我们已经介绍了两种椭圆曲线上面的密码学算法：ECDH和ECDSA。注意到两种算法的安全性都是基于了椭圆曲线中的离散对数问题。但是，还没有严谨的数学证明说明离散对数问题确实是困难的
AdijeShen·2023-10-10 22:53

第7节 hudi 0.9 与Flink 1.12.2 集成测试

Flink从hudi0.9的编译pom中查看，编译时用的flink版本是1.12.2,在官网下载Indexof/dist/flink/flink-1.12.2（1）上传到集群中因为是测试流程，先单节点上传至cdh06
第一次看海·2023-10-10 21:27

java.nio.channels.SocketChannel[connection-pending remote=/xx.xx.xx.xx:9866]

目录背景问题描述解决办法背景CDH集群在内网中部署，外网客户端需要正常提交任务到内网集群Yarn上，但外网客户端和内网网络不能直接连通，于是通过将内网中的每台主机绑定一个浮动ip，然后开通外网客户端和浮动
qiangzi_lg·2023-10-10 17:31
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他