E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop整理总结
Partitioner与自定义Partitioner
在一些集群应用中,例如分布式缓存集群中,缓存的数据大多都是靠哈希函数来进行数据的均匀分布的,在
Hadoop
中也不例外。image.png
Hadoop
内置Parti
piziyang12138
·
2023-12-22 15:09
【
hadoop
】解决浏览器不能访问
Hadoop
的50070、8088等端口?!
【
hadoop
】解决浏览器不能访问
Hadoop
的50070、8088等端口?!前言【
hadoop
】解决浏览器不能访问
Hadoop
的50070、8088等端口?!
博客小梦
·
2023-12-22 15:09
玩转LInux操作系统
hadoop
大数据
分布式
hadoop
集群的开启与关闭
背景很久没完
hadoop
l,连怎么开启关闭都不会了qwq1.进入安装
hadoop
的目录我这里是已经进入了2.开启集群sbin/start-dfs.sh3.关闭集群sbin/stop-dfs.sh
JSU_曾是此间年少
·
2023-12-22 13:41
hadoop
大数据
分布式
【架构】kylin 的工作原理及使用方法
ApacheKylin是一个开源的SQL查询引擎,它允许在
Hadoop
生态系统内执行SQL查询语句。它主要用于大数据分析,能够实现对大数据集的快速查询。
奔向理想的星辰大海
·
2023-12-22 13:03
大数据
架构
Apache
kylin
apache
中间件
大数据
Hadoop
伪分布式部署
准备工具:CentOS-6.4-x86_64-bin-DVD1.iso;
hadoop
-2.7.3-src.tar.gz;jdk-8u151-linux-x64.tar.gz;apache-maven-3.0.5
码戈
·
2023-12-22 11:37
Oracle数据库概述、SQL plus的使用、SQL分类
如redis、
hadoop
(hbase)等2.Oracle数据库概述O
特亿安
·
2023-12-22 11:20
Oracle数据库
oracle
sql
二,Hive运行机制与使用
hive介绍hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
__元昊__
·
2023-12-22 11:30
大数据指标中台构建核心技术解析
自2009年开始基于
Hadoop
构建数据分析及运维相关工作。在2
王知无(import_bigdata)
·
2023-12-22 11:56
大数据
拆书稿这件事可能比我想的复杂
特别适合不知道写些什么但又不能不写的时候,打开随便胡乱地写一写,一方面保持手感语感,一方面也算是
整理总结
自己的思绪。
汤汤的lifestyle
·
2023-12-22 10:27
Kafka核心逻辑介绍 | 京东云技术团队
分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储元数据信息),它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
京东云开发者
·
2023-12-22 09:33
技术分享
云计算
kafka
京东云
linq
Zookeeper3.8.0集群部署
部署Zookeeper2.1、修改配置2.2、配置环境变量2.3、启动1、环境准备集群部署zookeeper的节点数只能是奇数,在此部署3节点zookeeper集群,节点环境如下:主机名IP架构操作系统
hadoop
01192.168.194.133x86
架构与我
·
2023-12-22 09:21
大数据
linux
java
centos
zookeeper
hadoop
数据库课程总结--人大-中国mooc
新技术篇主要讲大数据相关的
Hadoop
框架和算法。关于SQL语句和数据库原理的理解,看视频和听例子解释比较快;实践是自己
LeeMin_Z
·
2023-12-22 09:30
hadoop
使用openJ9报错:unable to find LoginModule class: com.ibm.security.auth.module.LinuxLoginModule解决
为了节约内存,使用IBMJ9JDK跑
Hadoop
2.10.2,出现以下错误org.apache.
hadoop
.security.KerberosAuthException:failuretologin:
applebomb
·
2023-12-22 09:56
大数据
hadoop
openj9
jdk
hive
java
【湖仓一体尝试】MYSQL和HIVE数据联合查询
先来个完工环境照:mysql+
hadoop
+hive+flink+iceberg+trino得益于IBMOPENJ9的优化,完全启动后的内存占用:1)执行联合查询后的2)其中trino由于必须使用ORACLE
applebomb
·
2023-12-22 08:24
hadoop
hive
flink
iceberg
trino
01-黑马程序员大数据开发
一.
Hadoop
概述1.什么是大数据狭义上:对海量数据进行处理的软件技术体系广义上:数字化、信息化时代的基础支撑,以数据为生活赋2.大数据的核心工作:存储:妥善保存海量待处理数据;ApacheKUDU
S1406793
·
2023-12-22 08:06
大数据开发
大数据
centos spark单机版伪分布式模式
1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala,本来是不依赖于
Hadoop
的,但Spark自带的许多演示程序都依赖于
Hadoop
HDFS,因此我们也部署了伪分布式的
数据萌新
·
2023-12-22 07:17
Hbase的安装配置
注:本文默认已经完成
hadoop
的下载以及环境配置1.上传zookeeper和hbase压缩包到指令路径并且解压(理论上讲,hbase其实内置了zookeeper,我们也可以不另外下载,另外下载的目的在于减少组件间依赖性
printcsr
·
2023-12-22 07:15
hbase
hive报metadata.HiveException: Hive Runtime Error while processing row (tag=0)错误
今天跑一条统计的SQL出现Causedby:org.apache.
hadoop
.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
weixin_42412645
·
2023-12-22 07:45
hive
hive
tag=0
远程连接:hive 报错:Permission denied: user=anonymous, access=EXECUTE
远程连接hiveError:Failedtoopennewsession:java.lang.RuntimeException:java.lang.RuntimeException:org.apache.
hadoop
.security.AccessControlException
serendipityLee
·
2023-12-22 07:45
hive
hive
hadoop
linux
hive 插入数据报错 org.apache.
hadoop
.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransport
问题描述执行语句createtabletest(idint);然后向新创建的表中插入数据insertintotestvalues(1);控制台报错org.apache.
hadoop
.hive.ql.metadata.HiveException
云端筑梦 .
·
2023-12-22 07:13
hive
hive
org.apache.
hadoop
.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session
问题描述Logginginitializedusingconfigurationinjar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.propertiesAsync:trueHiveSessionID=0c953008-3c72-4e36-bcaf-47e92a5b9759FAILED:SemanticExceptio
qq_41504585
·
2023-12-22 07:13
大数据分享
hive
HDFS NFS Gateway(环境配置,超级详细!!)
HDFSNFSGateway简介:HDFSNFSGateway是
Hadoop
DistributedFileSystem(HDFS)中的一个组件,它允许客户端通过NFS(NetworkFileSystem
syst1m'
·
2023-12-22 07:41
大数据
hdfs
gateway
hadoop
解决:hive用hiveserver2连接jdbc出现问题 Error: Could not open client transport with JDBC Uri:jdbc:hive2://
解决:hive用hiveserver2连接jdbc出现问题Error:CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://
hadoop
1:10000在用
Andy86666
·
2023-12-22 07:35
大数据
jar
linux
hadoop
hive
hbase用shell命令新建表报错ERROR: KeeperErrorCode = NoNode for /hbase/master
再看一下HMaster,如果仍和下图一样没有,就基本找到问题了本人问题原因:hbase-site.xml的配置中,例如:hbase.rootdirhdfs://localhost:9000/HBase然而在
hadoop
什么都不太会的研究生
·
2023-12-22 07:32
报错处理
hbase
数据库
大数据
Ambari-
Hadoop
集群、Elasticsearch集群及nginx安装
环境初始化hostnamevi/etc/hosts打通yumntplimit参数初始化防火墙jdkmysql-connectormysqlambariHDP安装ELK环境nodeeses-headkibanalogstashfilebeatnginx写在前面的话,安装这些东西的话,最好用脚本,不容易出错,下面写的是手动部署的过程环境初始化一定要先挂载好磁盘hostnamehostnamevi/et
客尘烦恼
·
2023-12-22 06:05
linux
大数据
Ambari
Hadoop安装
elasticsearch安装
nginx
ELK配置
hive 用户自定义函数udf,udaf,udtf
udf:一对一的关系udtf:一对多的关系udaf:多对一的关系使用Java实现步骤自定义编写UDF函数注意:1.需要继承org.apache.
hadoop
.hive.ql.exec.UDF2.需要实现
Logan_addoil
·
2023-12-22 05:47
大数据学习之旅
hive
hadoop
数据仓库
SSH免密码登录设置
在
Hadoop
等应用,通常要设置SSH免密码登录来管理集群。这里记录一下Linux配置免密码登录设置。
norvid
·
2023-12-22 05:06
Hbase--面试题整理-01
01-Hbase的特点以下五点需要准确说出的,如果可以还可以将一下Hbase的写入比读取快的原因(1)Hbase一个分布式的基于列式存储的数据库,基于
Hadoop
的hdfs存储,zookeeper进行管理
李小李的路
·
2023-12-22 03:51
Impala 基于hive的交互式实时分析工具(二) 概念及原理介绍
impala和hive的区别概括:hive是【基于
hadoop
】的适合【离线批处理复杂sql分析的数仓工具】,impala是【基于hive】的适合【实时交互简单sql的数仓工具】执行计划1.hive:hive
章云邰
·
2023-12-22 01:34
Linux安装
Hadoop
软件
书到用时方恨少1.首先在/home/下创建一个文件夹叫
hadoop
image.png2.进入到
hadoop
文件夹下,下载
hadoop
包image.png3.解压刚刚下载的
hadoop
文件包image.png4
olaH
·
2023-12-22 00:35
大数据处理与分析
掌握分布式并行编程框架MapReduce掌握基于内存的分布式计算框架Spark理解MapReduce的工作流程、Spark运行原理熟悉机器学习概念一.MapReduce
Hadoop
MapReduce是一个软件框架
僖僖cc
·
2023-12-21 22:34
大数据
大数据处理与分析-Spark
导论(基于
Hadoop
的MapReduce的优缺点)MapReduce是一个分布式运算程序的编程框架,是用户开发“基于
Hadoop
的数据分析应用”的核心框架MapReduce是一种用于处理大规模数据集的编程模型和计算框架
僖僖cc
·
2023-12-21 22:03
spark
大数据
分布式
SSH无密登陆配置
基本语法:ssh域名/IP地址示例:(1)从
hadoop
100服务器上远程连接
hadoop
101服务器[
hadoop
@
hadoop
100~]$ssh
hadoop
101如果出现如下内容Areyousureyouwanttocontinueconnecting
程序员储物箱
·
2023-12-21 21:26
安装教程
ssh
运维
Linux环境安装
Hadoop
(1)下载
Hadoop
安装包并上传下载
Hadoop
安装包到本地,并导入到Linux服务器的/opt/software路径下(2)解压安装包解压安装文件并放到/opt/module下面[root@
hadoop
100
程序员储物箱
·
2023-12-21 21:55
linux
hadoop
运维
VMware克隆虚拟机
要求:利用模板虚拟机
hadoop
100,克隆出
hadoop
101虚拟机。
程序员储物箱
·
2023-12-21 21:22
安装教程
linux
HBase基础知识(二):HBase集群部署、HBaseShell操作
/bin/bashcase$1in"start"){foriin
hadoop
100
hadoop
101
hadoop
102doecho----------zookeeper$i启动------------ssh
依晴无旧
·
2023-12-21 21:48
大数据
python
开发语言
hbase
大数据----33.hbase中的shell文件操作
一、数据库操作1、进入hbase客户端、帮助命令[root@
hadoop
06hbase]#bin/hbaseshell[root@
hadoop
06hb
学无止境的大象
·
2023-12-21 19:10
大数据
hbase
oracle
大数据----31.hbase安装启动
三台机器都执行:zkServer.shstart
Hadoop
正常部署
Hadoop
集群的正常部署并启动。
学无止境的大象
·
2023-12-21 19:40
#
大数据
大数据
hbase
数据库
大数据--- 14.MapReduce的本地操作和集群计算与打包到
hadoop
运行
MapReduce的本地操作和集群计算与打包到
hadoop
运行通过MapReduce处理本地手机销量1.通过MapReduce来操作我们上面文件的统计;其实就是使用框架来做计算;他的优点就是吧之前我们处理数据和
学无止境的大象
·
2023-12-21 19:39
#
大数据
hadoop
大数据
mapreduce
大数据---33.HBase数据结构
一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库(即非关系型数据库),依托
Hadoop
分布式文件系统HDFS提供分布式数据存储,利用MapReduce来处理海量数据,用Zookeeper
学无止境的大象
·
2023-12-21 19:07
大数据
hbase
数据结构
计算机毕业设计
hadoop
+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 体育赛事分析 足球分析 推荐系统 体育赛事推荐系统 大数据毕业设计
开发技术:selenium(Python爬虫)、spark、
hadoop
、scala、hive、sqoop、Flask、echarts、mysql分析流程:python爬取直播数据存到.csv文件、mysql
计算机毕业设计大神
·
2023-12-21 19:26
Hadoop
进阶2-
Hadoop
权威指南C1-C6阅读笔记
本文是
Hadoop
权威指南-第三版的阅读笔记,内容包括第1-6章内容记录了一些个人认为重要的知识点。
neo_ng
·
2023-12-21 18:02
【大数据优质案例】基于大数据分析的物流数据可视化平台
SpringBoot优质案例推荐IT源码社-小程序优质案例推荐IT源码社-Python优质案例推荐文末获取源码项目名基于大数据分析的物流数据可视化平台技术栈Python+Django+Spark+Hive+
Hadoop
极客的Code
·
2023-12-21 18:50
[IT源码社]Python项目
大数据
数据分析
信息可视化
课程设计
毕业设计
【大数据项目】基于大数据分析的全国信息教育平台
SpringBoot优质案例推荐IT源码社-小程序优质案例推荐IT源码社-Python优质案例推荐文末获取源码项目名基于大数据分析的全国信息教育平台技术栈Python+Django+Spark+Hive+
Hadoop
极客的Code
·
2023-12-21 18:50
[IT源码社]Python项目
大数据
数据分析
数据挖掘
课程设计
毕业设计
【大数据项目】基于大数据分析的餐饮行业数据分析平台
SpringBoot优质案例推荐IT源码社-小程序优质案例推荐IT源码社-Python优质案例推荐文末获取源码项目名基于大数据分析的餐饮行业数据分析平台技术栈Python+Django+Spark+Hive+
Hadoop
极客的Code
·
2023-12-21 18:50
[IT源码社]Python项目
大数据
数据分析
数据挖掘
【大数据优质项目】基于数据分析的保险行业可视化分析平台
SpringBoot优质案例推荐IT源码社-小程序优质案例推荐IT源码社-Python优质案例推荐文末获取源码项目名基于数据分析的保险行业可视化分析平台技术栈Python+Django+Spark+Hive+
Hadoop
极客的Code
·
2023-12-21 18:49
[IT源码社]Python项目
大数据
数据分析
数据挖掘
课程设计
毕业设计
关于oracle数据库中出现ORA-00907: 缺失右括号的解决方法
00907:缺失右括号”的问题,但是如果直接把sql语句直接在数据库或PL/SQL中执行时,却又能够正常查询,为了解决这个问题,折腾了半天,查找了一些资料,所以就对各种导致出现“缺失右括号”的情况进行了
整理总结
第一种
HuaWei&&WeiHua
·
2023-12-21 18:08
Oracle
数据库
oracle
sql
2023大数据应用开发赛题02套
目录2023年全国职业院校技能大赛赛题第02套任务A:大数据平台搭建(容器环境)(15分)子任务一:
Hadoop
完全分布式安装配置子任务二:Flume安装配置子任务三:FlinkonYarn安装配置任务
长风有续X
·
2023-12-21 17:54
大数据
Flume多路复用模式把接收数据注入kafka 的同时,将数据备份到HDFS目录
启动
hadoop
、在hdfs中创建需要访问的目录配置
Hadoop
的核心配置文件core-site.xml:设置
Hadoop
的核心配置参数,例如NameNode的地址、数据块大小、副本数量等。
HaveAGoodDay.
·
2023-12-21 17:52
Flume
大数据应用开发赛项
Hadoop
大数据
flume
kafka
hadoop
hdfs
2023大数据应用开发赛题03套
目录任务A:大数据平台搭建(容器环境)(15分)子任务一:
Hadoop
HA安装配置子任务二:Hive安装配置子任务三:Kafka安装配置任务B:离线数据处理(25分)子任务一:数据抽取子任务二:数据清洗子任务三
长风有续X
·
2023-12-21 17:52
大数据
上一页
30
31
32
33
34
35
36
37
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他