E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
大数据平台CDH
大数据学习-离线数仓项目实战笔记(上)
1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0-
cdh
5.5.0MySQL5.71.2
ys4tnaf
·
2023-11-30 15:24
hadoop
大数据
数据仓库
hive
flume
在centos7上搭建hadoop
大数据平台
目录一、安装搭建java环境1、安装方法2、查看是否已安装3、卸载4、安装4.1检查yum中有没有java1.8包4.2开始安装5、验证二、Hadoop安装1、下载2、准备启动Hadoop集群2.1配置Hadoop守护进程的环境2.2配置系统环境变量2.3配置etc/hadoop/core-site.xml文件2.4配置etc/hadoop/hdfs-site.xml文件2.5配置etc/hado
船长灬普朗克
·
2023-11-30 13:03
大数据
hadoop
大数据
java
数据仓库搭建
1.1什么是数据仓库1.2OLTP与OLAP2项目需求及架构设计3项目框架4框架版本选型4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2.第三方发行版(
CDH
赵广陆
·
2023-11-30 13:32
bigdata
数据仓库
00Hadoop数据仓库平台
在这里是学习大数据的第一站什么是数据仓库常见
大数据平台
组件及介绍什么是数据仓库在计算领域,数据仓库(DW或DWH)也称为企业数据仓库(EDW),是一种用于报告和数据分析的系统,被认为是商业智能的核心组件
kk_io
·
2023-11-30 13:29
数据仓库
hadoop
数据仓库
大数据
论分布式存储系统架构设计
摘要2019年6月,我所在的公司中标某集团全国保险
大数据平台
搭建项目,该项目周期为2年,总投资为5000万人民币,通过该项目,搭建该集团大数据建设项目,实现该集团所有业务以及用户行为数据入库并解析,为集团提供精准营销
mischen520
·
2023-11-30 08:36
软考高级系统架构师
论文
分布式
hdfs
Hadoop入门笔记
2006Cloudera内部集成了很多大数据框架,对应产品
CDH
。2008Hortonworks文档较好,对应产品HDP。2011Horton
阳宝宝的向日葵
·
2023-11-30 05:44
大数据
hadoop
hdfs
big
data
Spark on YARN的部署
yarn来调度Spark,比默认的Spark运行模式性能要好的多,前提是首先部署好hadoopHDFS并且运行在yarn上,然后就可以开始部署sparkonyarn了,假设现在准备环境已经部署完毕,这里是在
CDH
GoodInSun
·
2023-11-30 03:23
spark
spark
on
yarn
信创
大数据平台
容灾项目
一、项目方案齐鲁银行自2017年开始建设
大数据平台
,为全行提供的各类数据服务与全行业务深度融合,大数据服务已成为推动业务发展不可或缺的环节。
四月天03
·
2023-11-30 02:39
信创
大数据
Java jmx学习---Hive metric
监控这里,目前已知的
大数据平台
组件比如FusionInsight、
CDH
对服务的监控做的就很好,无奈,我司的产品属于小本经营,自己从apache里面拿来hive源码,然后直接改点配置文件,就准备上线。
小可0306
·
2023-11-29 17:01
metric
hive
123.Impala查询缓慢问题与解决
ImpalaDaemon已启用-convert_legacy_hive_parquet_utc_timestampsHive创建测试表,其中“statsdate”字段为TIMESTAMP类型:[root@
cdh
4scripts
大勇任卷舒
·
2023-11-29 15:53
大数据平台
/大数据技术与原理-实验报告--部署ZooKeeper集群和实战ZooKeeper
实验名称部署ZooKeeper集群和实战ZooKeeper实验性质(必修、选修)必修实验类型(验证、设计、创新、综合)综合实验课时2实验日期2023.11.04-2023.11.05实验仪器设备以及实验软硬件要求专业实验室(配有centos7.5系统的linux虚拟机三台)实验目的1.理解ZooKeeper的系统模型,包括数据模型、版本机制、Watcher监听机制、ACL权限控制机制。2.理解Zo
jakeonil
·
2023-11-29 15:31
大数据
大数据
zookeeper
分布式
hadoop
大数据平台
/大数据技术与原理-实验报告--部署全分布模式HBase集群和实战HBase
实验名称部署全分布模式HBase集群和实战HBase实验性质(必修、选修)必修实验类型(验证、设计、创新、综合)综合实验课时2实验日期2023.11.07-2023.11.10实验仪器设备以及实验软硬件要求专业实验室(配有centos7.5系统的linux虚拟机三台)实验目的1.理解HBase数据模型。2.理解HBase体系架构。3.熟练掌握HBase集群的部署。4.了解HBaseWebUI的使用
jakeonil
·
2023-11-29 15:28
大数据
大数据
hbase
数据库
hadoop
分布式
线上异步任务突然不能回写100%
sql需要是在
大数据平台
,通过yarn调度,异步执行。kafka监听每个sql的执行状态,所有sql执行完成,更新作业进度和状态。系统运行一段时间之后,突然频繁出现作业进度不能更新到100%。
爱晒太阳的小老鼠
·
2023-11-29 12:23
java
#
问题排查
#
高并发
java
kafka
web前端期末大作业——HTML+CSS+JavaScript仿王者荣耀游戏网站设计与制作
获取更多优质源码】web前端期末大作业:【毕设项目精品实战案例(1000套)】程序员有趣的告白方式:【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码:【echarts大屏展示
大数据平台
可视化
STU网页优选
·
2023-11-29 11:57
web课程与设计
前端
网页设计
web前端期末大作业
html期末大作业
Linux安装flume并实现监控文件
flume的安装1.找到flume的安装包并复制到/usr目录下sudocpflume-ng-1.6.0-
cdh
5.6.0.tar.gz/usr步骤2.解压缩sudotar-zxvfflume-ng-1.6.0
思君_4cd3
·
2023-11-29 02:56
kerberos mysql配置_
CDH
安装Kerberos (包含主从配置)
很多企业
CDH
是没有集成kerberos,原因是kerberos部署后,服务使用起来变复杂,大部分只配置了sentry做权限管理;但真正的
CDH
多租户应该是身份验证+权限管理。
丰雅
·
2023-11-28 23:28
kerberos
mysql配置
Kerberos高可用
文章目录1.备节点安装Kerberos服务2.修改主节点配置3.备节点配置4.节点数据同步至备节点5.节点数据同步至备节点6.配置主节点crontab任务定时同步数据1.备节点安装Kerberos服务
cdh
001
不饿同学
·
2023-11-28 23:56
大数据
kerberos
大数据
运维
Kerberos高可用HA配置
关于
CDH
6集成kerberos的配置参见我的另一篇文章:
CDH
6集成kerberos,感兴趣的朋友可以查阅。
Moon_魔宽
·
2023-11-28 23:56
大数据
大数据
cdh
kerberos
0592-5.16.1-如何配置Kerberos高可用
本文主要讲述如何在
CDH
5.16.1中配置Kerberos服务的高可用。
Hadoop_SC
·
2023-11-28 23:54
Hadoop实操
解决Spark SQL读数据库时不支持某些数据类型的问题
在
大数据平台
中,经常需要做数据的ETL,从传统关系型数据库RDBMS中抽取数据到HDFS中。
alexlee666
·
2023-11-28 20:49
关于
大数据平台
的软件的总列
查询引擎一、Phoenix简介:这是一个Java中间层,可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan,并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器,对于简单查询来说,其性能量
sofeld
·
2023-11-28 16:44
大数据分析
大数据
大数据平台
测试-优秀员工申请模板
在企业里,优秀员工是需要申请的,下面分享一些模板:1、申请个人优秀奖-测试质量奖申报优秀员工-测试质量奖参考模板:推动XXX质量共建的优秀实践者,通过验证的产研流程把控,过程问题的据理力争,推动整体质量的大幅提升。在其强有力的执行和严格的把关下,XXX的质量管理工作取得了突出的质量建设成绩,过程质量需求BUG率从原来的127%左右下降到30%左右,生产问题数从原来的单月最多10个,到现在每月维持在
软件测试李同学
·
2023-11-28 16:40
大数据平台测试
大数据
大数据平台
软件测试
优秀员工
晋升
大数据平台
的软件有哪些?
查询引擎一、Phoenix简介:这是一个Java中间层,可以让开发者在ApacheHBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBasescan,并编排执行以生成标准的JDBC结果集。直接使用HBaseAPI、协同处理器与自定义过滤器,对于简单查询来说,其性能量
别盲目追风
·
2023-11-28 16:37
大数据
大数据平台
大数据学习
大数据开发
大数据平台
/大数据技术与原理-实验报告--部署全分布模式Hadoop集群
实验名称部署全分布模式Hadoop集群实验性质(必修、选修)必修实验类型(验证、设计、创新、综合)综合实验课时2实验日期2023.10.16-2023.10.20实验仪器设备以及实验软硬件要求专业实验室(配有centos7.5系统的linux虚拟机三台)实验目的1.熟练掌握Linux基本命令。2.掌握静态IP地址的配置、主机名和域名映射的修改。3.掌握Linux环境下Java的安装、环境变量的配置
jakeonil
·
2023-11-28 16:30
大数据
大数据
hadoop
大数据平台
测试-一次生产P2故障记录
项目介绍:某鉴权项目。公司为了数据安全,去年评审通过了一个基于中间件kafka的鉴权项目,大概的意思,消费topic的应用需要对接鉴权项目,订阅应用,启动端口9093消费(默认是9092端口),当时大家(开发)都觉得风险太大了,不适合接入公司核心kafka集群。万一出错影响太大。但是领导,技术委员会通过了,大家也没啥办法,谁叫大家都是执行者。。。先看出现生产事故的java代码:@Overridep
软件测试李同学
·
2023-11-28 16:27
大数据平台测试
Spring
Boot
kafka
Zookeeper
中间件
生产故障
大数据平台
/大数据技术与原理-实验报告--MapReduce编程
实验名称MapReduce编程实验性质(必修、选修)必修实验类型(验证、设计、创新、综合)综合实验课时2实验日期2023.10.30-2023.11.03实验仪器设备以及实验软硬件要求专业实验室(配有centos7.5系统的linux虚拟机三台)实验目的1.理解MapReduce编程思想。2.理解MapReduce作业执行流程。3.理解MR-App编写步骤,掌握使用MapReduceJavaAPI
jakeonil
·
2023-11-28 16:26
大数据
大数据
mapreduce
hadoop
大数据平台
/大数据技术与原理-实验报告--实战HDFS
实验名称实战HDFS实验性质(必修、选修)必修实验类型(验证、设计、创新、综合)综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室(配有centos7.5系统的linux虚拟机三台)实验目的1.理解HDFS体系架构。2.理解HDFS文件存储原理和数据读写过程。3.熟练掌握HDFSWebUI界面的使用。4.熟练掌握HDFSShell常用命令的使用
jakeonil
·
2023-11-28 16:25
npm
前端
node.js
大数据
hdfs
hadoop
python
环境准备(06)YARN环境搭建 & 提交作业到YARN
1.配置文件目录/home/hadoop/app/hadoop-2.6.0-
cdh
5.7.0/etc/hadoop2.mapred-site.xml[hadoop@hadoop001hadoop]$cpmapred-site.xml.templatemapred-site.xmlmapreduce.framework.nameyarn3
乌鲁木齐001号程序员
·
2023-11-28 15:13
HAProxy+KeepAlived高可用负载均衡搭建
KeepalivedforLinux-Version2.0.171、HAProxy安装与配置(基于Centos7)IP为192.168.10.91)解压tarxvfhaproxy-2.0.1.tar.gz2)编译安装haproxy
cdh
aproxy
麦芽maiya
·
2023-11-28 10:52
2020-07-24
资料仅供参考:objchttps://opensource.apple.com/tarballs/objc4/runloophttps://opensource.apple.com/tarballs/CF/g
cdh
ttps
super_2e20
·
2023-11-28 03:23
linux du -h按文件大小,linux中du的用法
语法:du[-ab
cDh
HklmsSx0][-L][-XFile][--block-size=SIZE][--exclude=PATTERN][--max-depth=N][--help][--version
小儿外科裴医生
·
2023-11-28 03:46
linux
du
-h按文件大小
滩涂植物的线上“档案馆”来啦!CNGBdb发布滩涂植物资源库
2020年10月13日,由国家基因库与中国农业科学院青岛特种作物研究中心共同开发的滩涂植物资源库在国家基因库生命
大数据平台
(CNGBdb)正式上线。
尐尐呅
·
2023-11-27 23:52
助力企业实现更简单的数据库管理,ATOMDB 与 TDengine 完成兼容性互认
近日,涛思数据旗下高性能、分布式的物联网、工业
大数据平台
TDengineV3.0版本与秦派软件旗下ATOMDB全平
涛思数据(TDengine)
·
2023-11-27 19:29
新闻
tdengine
数据库
时序数据库
大数据下的密码技术挑战
大数据系统通常由
大数据平台
、大数据应用以及处理的数据集合构成,下图给出了大数据系统的模型。大数据系统构成大数据系统的特征是数据体量大、种类多、聚
yoku酱
·
2023-11-27 17:57
perfetto命令 抓取 trace
1.启动Android模拟器进入到cmd中,敲入下面的命令H:
cdH
:\Sdk\emulator.\emulator.exe-list-avds.
hg2016
·
2023-11-27 16:00
Android音视频
android
深度学习大数据物流平台 python 计算机竞赛
文章目录0前言1课题背景2物流
大数据平台
的架构与设计3智能车货匹配推荐算法的实现**1\.问题陈述****2\.算法模型**3\.模型构建总览**4司机标签体系的搭建及算法****1\.冷启动**2\.
Mr.D学长
·
2023-11-27 14:39
python
java
车联网安全漏洞管理深度解读
2021-09-1719:38:20来源:中国
大数据平台
今日(2021年9月16日),工信部发布《关于加强车联网网络安全和数据安全工作的通知》(下称“《通知》”),强调加强智能网联汽车、车联网网络、车联网服务平台以及数据等多方面的安全防护
风禾万里
·
2023-11-27 12:52
汽车安全
网络
安全
web安全
【2023 云栖】阿里云刘一鸣:Data+AI 时代
大数据平台
建设的思考与发布
云布道师本文根据2023云栖大会演讲实录整理而成,演讲信息如下:演讲人:刘一鸣|阿里云自研大数据产品负责人演讲主题:Data+AI时代
大数据平台
应该如何建设今天分享的主题是Data+AI时代
大数据平台
应该如何建设
云布道师
·
2023-11-27 12:05
阿里云
openssl + E
CDH
+ linux+开发详解(C++)
一、什么是E
CDH
E
CDH
(EllipticCurveDiffie-Hellman)是一种基于椭圆曲线密码学的密钥交换协议,用于在通信双方之间安全地协商共享密钥。
N阶二进制
·
2023-11-27 07:39
#
openssl开发
linux
c++
密码学
ecdh
ECC
利用SparkSQL Logical Plan Parse 打造
大数据平台
SQL诊断利器
前言对一个开源项目来说,虽然各种卷,动不动去深入研究源码啥的,但是没有真正去参与开发的话,了解里头的原理又少那么点感觉。实际情况来说很少机会去参与源码的改造吧,这里我提供一些思路,就是基于源码倒腾一些小工具,这样子有作用而且加深那些原理的理解!利用我们的源码,打造一款SQL的扫描工具~~原理篇Spark被大家津津乐道的经典SQL解析流程Sql语句经过Antlr4解析,生成UnresolvedLog
敏叔V587
·
2023-11-27 03:34
Spark
大数据
工具分享
big
data
spark
【web前端期末大作业】html网上在线书城大学生静态网页 大学生html当当书城仿站 网上书城购物网页作业HTML
获取更多优质源码】web前端期末大作业:【毕设项目精品实战案例(1000套)】程序员有趣的告白方式:【HTML七夕情人节表白网页制作(110套)】超炫酷的Echarts大屏可视化源码:【Echarts大屏展示
大数据平台
可视化
IT芷君
·
2023-11-26 20:06
html网页设计
html
css
学生网页作业
js
平台环境部署的相关大数据
本文利用云服务器对
大数据平台
进行环境部署,包含:服务器使用、环境准备、Hadoop集群完全分布式安装、Zookeeper集群完全分布式安装、HBase完全分布式安装、Hive、Scala、Spark、Sqoop
云建站架构师rain
·
2023-11-26 19:45
腾讯云
服务器
云计算
2023年全国职业院校技能大赛-赛题第01套-GZ033 大数据应用开发
目录任务A:
大数据平台
搭建(容器环境)(15分)子任务一:Hadoop完全分布式安装配置子任务二:SparkonYarn安装配置子任务三:HBase分布式安装配置任务B:离线数据处理(25分)子任务一:
你可知这世上再难遇我
·
2023-11-26 13:48
各类赛项赛题比赛综合任务书
大数据
数据采集
数据挖掘
nginx禁用3DES和DES弱加密算法
3DES和DES弱加密算法yuminstall-ynmapnmap-sV-p443--scriptssl-enum-ciphers127.0.0.1#注释下面的语句(用这个即可)#ssl_ciphersE
CDH
E-RSA-AES128
securitor
·
2023-11-26 10:37
elasticsearch
服务器
大数据
3.CENTOS安装
CDH
和Kudu-2
版本:CENTOS7.2
CDH
5.10Kudu1.23.1Kudu安装
CDH
从5.10开始,打包集成Kudu1.2,并且Cloudera正式提供支持。
大勇任卷舒
·
2023-11-26 07:24
HBase详细部署流程
大数据平台
XSailboat简介_OkGogooXSailboat的博客-CSDN博客1、部署环境在安装HBase之前,首先应确保以下基础设施构建成功:JDK8版本安装设置成功:jdk8.0_161以上版本
yujianbujianqwe
·
2023-11-26 04:50
hbase
apache
服务器
java hdfs kerberos 认证超时 Receive timed out
背景
cdh
6集群为阿里服务器,三台机器搭建而成,并且开启了kerberos,现在想尝试一下用javaapi读取hdfs数据。
KK架构
·
2023-11-26 00:53
开发问题汇总
spark
大数据
big
data
SQL on Hadoop在快手
大数据平台
的实践与优化 | 分享实录
快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手
大数据平台
的实践与优化》演讲中的分享内容整理而成。
weixin_34292959
·
2023-11-25 19:46
大数据
面试
后端
HBase探索篇 _ OpenJdk15编译并部署
CDH
版HBase
文章目录1.前言2.准备工作3.项目配置3.1项目导入3.2编译配置3.3程序包javax.annotation不存在3.4maven-shade-plugin升级版本3.5程序包javax.xml.ws.http不存在3.6SomeEnforcerruleshavefailed.3.7hbase-spark模块编译报错3.8处理一些编译时的警告信息4.本地启动和功能测试4.1HMasterApp
大猿小猿向前冲
·
2023-11-25 14:20
HBase专题
hbase
CDH
-6.3.2完整安装附带资源包
#########创建文件夹############mkdir-p/opt/softwearmkdir-p/opt/module所有服务器都需要创建############安装百度网盘##############1、centos服务器安装百度云盘pipinstallbypy2、输入bypyinfo链接:https://pan.baidu.com/s/1ANDiUQIuZCgYiZOeFpFbxg提
sunnyboy_4
·
2023-11-25 14:49
hadoop
linux
运维
服务器
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他