E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop学习积累
hadoop
使用openJ9报错:unable to find LoginModule class: com.ibm.security.auth.module.LinuxLoginModule解决
为了节约内存,使用IBMJ9JDK跑
Hadoop
2.10.2,出现以下错误org.apache.
hadoop
.security.KerberosAuthException:failuretologin:
applebomb
·
2023-12-22 09:56
大数据
hadoop
openj9
jdk
hive
java
【湖仓一体尝试】MYSQL和HIVE数据联合查询
先来个完工环境照:mysql+
hadoop
+hive+flink+iceberg+trino得益于IBMOPENJ9的优化,完全启动后的内存占用:1)执行联合查询后的2)其中trino由于必须使用ORACLE
applebomb
·
2023-12-22 08:24
hadoop
hive
flink
iceberg
trino
01-黑马程序员大数据开发
一.
Hadoop
概述1.什么是大数据狭义上:对海量数据进行处理的软件技术体系广义上:数字化、信息化时代的基础支撑,以数据为生活赋2.大数据的核心工作:存储:妥善保存海量待处理数据;ApacheKUDU
S1406793
·
2023-12-22 08:06
大数据开发
大数据
centos spark单机版伪分布式模式
1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala,本来是不依赖于
Hadoop
的,但Spark自带的许多演示程序都依赖于
Hadoop
HDFS,因此我们也部署了伪分布式的
数据萌新
·
2023-12-22 07:17
Hbase的安装配置
注:本文默认已经完成
hadoop
的下载以及环境配置1.上传zookeeper和hbase压缩包到指令路径并且解压(理论上讲,hbase其实内置了zookeeper,我们也可以不另外下载,另外下载的目的在于减少组件间依赖性
printcsr
·
2023-12-22 07:15
hbase
hive报metadata.HiveException: Hive Runtime Error while processing row (tag=0)错误
今天跑一条统计的SQL出现Causedby:org.apache.
hadoop
.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
weixin_42412645
·
2023-12-22 07:45
hive
hive
tag=0
远程连接:hive 报错:Permission denied: user=anonymous, access=EXECUTE
远程连接hiveError:Failedtoopennewsession:java.lang.RuntimeException:java.lang.RuntimeException:org.apache.
hadoop
.security.AccessControlException
serendipityLee
·
2023-12-22 07:45
hive
hive
hadoop
linux
hive 插入数据报错 org.apache.
hadoop
.hive.ql.metadata.HiveException: org.apache.thrift.transport.TTransport
问题描述执行语句createtabletest(idint);然后向新创建的表中插入数据insertintotestvalues(1);控制台报错org.apache.
hadoop
.hive.ql.metadata.HiveException
云端筑梦 .
·
2023-12-22 07:13
hive
hive
org.apache.
hadoop
.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session
问题描述Logginginitializedusingconfigurationinjar:file:/opt/module/hive/lib/hive-common-3.1.2.jar!/hive-log4j2.propertiesAsync:trueHiveSessionID=0c953008-3c72-4e36-bcaf-47e92a5b9759FAILED:SemanticExceptio
qq_41504585
·
2023-12-22 07:13
大数据分享
hive
HDFS NFS Gateway(环境配置,超级详细!!)
HDFSNFSGateway简介:HDFSNFSGateway是
Hadoop
DistributedFileSystem(HDFS)中的一个组件,它允许客户端通过NFS(NetworkFileSystem
syst1m'
·
2023-12-22 07:41
大数据
hdfs
gateway
hadoop
解决:hive用hiveserver2连接jdbc出现问题 Error: Could not open client transport with JDBC Uri:jdbc:hive2://
解决:hive用hiveserver2连接jdbc出现问题Error:CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://
hadoop
1:10000在用
Andy86666
·
2023-12-22 07:35
大数据
jar
linux
hadoop
hive
hbase用shell命令新建表报错ERROR: KeeperErrorCode = NoNode for /hbase/master
再看一下HMaster,如果仍和下图一样没有,就基本找到问题了本人问题原因:hbase-site.xml的配置中,例如:hbase.rootdirhdfs://localhost:9000/HBase然而在
hadoop
什么都不太会的研究生
·
2023-12-22 07:32
报错处理
hbase
数据库
大数据
Ambari-
Hadoop
集群、Elasticsearch集群及nginx安装
环境初始化hostnamevi/etc/hosts打通yumntplimit参数初始化防火墙jdkmysql-connectormysqlambariHDP安装ELK环境nodeeses-headkibanalogstashfilebeatnginx写在前面的话,安装这些东西的话,最好用脚本,不容易出错,下面写的是手动部署的过程环境初始化一定要先挂载好磁盘hostnamehostnamevi/et
客尘烦恼
·
2023-12-22 06:05
linux
大数据
Ambari
Hadoop安装
elasticsearch安装
nginx
ELK配置
hive 用户自定义函数udf,udaf,udtf
udf:一对一的关系udtf:一对多的关系udaf:多对一的关系使用Java实现步骤自定义编写UDF函数注意:1.需要继承org.apache.
hadoop
.hive.ql.exec.UDF2.需要实现
Logan_addoil
·
2023-12-22 05:47
大数据学习之旅
hive
hadoop
数据仓库
SSH免密码登录设置
在
Hadoop
等应用,通常要设置SSH免密码登录来管理集群。这里记录一下Linux配置免密码登录设置。
norvid
·
2023-12-22 05:06
Hbase--面试题整理-01
01-Hbase的特点以下五点需要准确说出的,如果可以还可以将一下Hbase的写入比读取快的原因(1)Hbase一个分布式的基于列式存储的数据库,基于
Hadoop
的hdfs存储,zookeeper进行管理
李小李的路
·
2023-12-22 03:51
Impala 基于hive的交互式实时分析工具(二) 概念及原理介绍
impala和hive的区别概括:hive是【基于
hadoop
】的适合【离线批处理复杂sql分析的数仓工具】,impala是【基于hive】的适合【实时交互简单sql的数仓工具】执行计划1.hive:hive
章云邰
·
2023-12-22 01:34
Linux安装
Hadoop
软件
书到用时方恨少1.首先在/home/下创建一个文件夹叫
hadoop
image.png2.进入到
hadoop
文件夹下,下载
hadoop
包image.png3.解压刚刚下载的
hadoop
文件包image.png4
olaH
·
2023-12-22 00:35
大数据处理与分析
掌握分布式并行编程框架MapReduce掌握基于内存的分布式计算框架Spark理解MapReduce的工作流程、Spark运行原理熟悉机器学习概念一.MapReduce
Hadoop
MapReduce是一个软件框架
僖僖cc
·
2023-12-21 22:34
大数据
大数据处理与分析-Spark
导论(基于
Hadoop
的MapReduce的优缺点)MapReduce是一个分布式运算程序的编程框架,是用户开发“基于
Hadoop
的数据分析应用”的核心框架MapReduce是一种用于处理大规模数据集的编程模型和计算框架
僖僖cc
·
2023-12-21 22:03
spark
大数据
分布式
SSH无密登陆配置
基本语法:ssh域名/IP地址示例:(1)从
hadoop
100服务器上远程连接
hadoop
101服务器[
hadoop
@
hadoop
100~]$ssh
hadoop
101如果出现如下内容Areyousureyouwanttocontinueconnecting
程序员储物箱
·
2023-12-21 21:26
安装教程
ssh
运维
Linux环境安装
Hadoop
(1)下载
Hadoop
安装包并上传下载
Hadoop
安装包到本地,并导入到Linux服务器的/opt/software路径下(2)解压安装包解压安装文件并放到/opt/module下面[root@
hadoop
100
程序员储物箱
·
2023-12-21 21:55
linux
hadoop
运维
VMware克隆虚拟机
要求:利用模板虚拟机
hadoop
100,克隆出
hadoop
101虚拟机。
程序员储物箱
·
2023-12-21 21:22
安装教程
linux
HBase基础知识(二):HBase集群部署、HBaseShell操作
/bin/bashcase$1in"start"){foriin
hadoop
100
hadoop
101
hadoop
102doecho----------zookeeper$i启动------------ssh
依晴无旧
·
2023-12-21 21:48
大数据
python
开发语言
hbase
大数据----33.hbase中的shell文件操作
一、数据库操作1、进入hbase客户端、帮助命令[root@
hadoop
06hbase]#bin/hbaseshell[root@
hadoop
06hb
学无止境的大象
·
2023-12-21 19:10
大数据
hbase
oracle
大数据----31.hbase安装启动
三台机器都执行:zkServer.shstart
Hadoop
正常部署
Hadoop
集群的正常部署并启动。
学无止境的大象
·
2023-12-21 19:40
#
大数据
大数据
hbase
数据库
大数据--- 14.MapReduce的本地操作和集群计算与打包到
hadoop
运行
MapReduce的本地操作和集群计算与打包到
hadoop
运行通过MapReduce处理本地手机销量1.通过MapReduce来操作我们上面文件的统计;其实就是使用框架来做计算;他的优点就是吧之前我们处理数据和
学无止境的大象
·
2023-12-21 19:39
#
大数据
hadoop
大数据
mapreduce
大数据---33.HBase数据结构
一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库(即非关系型数据库),依托
Hadoop
分布式文件系统HDFS提供分布式数据存储,利用MapReduce来处理海量数据,用Zookeeper
学无止境的大象
·
2023-12-21 19:07
大数据
hbase
数据结构
计算机毕业设计
hadoop
+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 体育赛事分析 足球分析 推荐系统 体育赛事推荐系统 大数据毕业设计
开发技术:selenium(Python爬虫)、spark、
hadoop
、scala、hive、sqoop、Flask、echarts、mysql分析流程:python爬取直播数据存到.csv文件、mysql
计算机毕业设计大神
·
2023-12-21 19:26
Hadoop
进阶2-
Hadoop
权威指南C1-C6阅读笔记
本文是
Hadoop
权威指南-第三版的阅读笔记,内容包括第1-6章内容记录了一些个人认为重要的知识点。
neo_ng
·
2023-12-21 18:02
【大数据优质案例】基于大数据分析的物流数据可视化平台
SpringBoot优质案例推荐IT源码社-小程序优质案例推荐IT源码社-Python优质案例推荐文末获取源码项目名基于大数据分析的物流数据可视化平台技术栈Python+Django+Spark+Hive+
Hadoop
极客的Code
·
2023-12-21 18:50
[IT源码社]Python项目
大数据
数据分析
信息可视化
课程设计
毕业设计
【大数据项目】基于大数据分析的全国信息教育平台
SpringBoot优质案例推荐IT源码社-小程序优质案例推荐IT源码社-Python优质案例推荐文末获取源码项目名基于大数据分析的全国信息教育平台技术栈Python+Django+Spark+Hive+
Hadoop
极客的Code
·
2023-12-21 18:50
[IT源码社]Python项目
大数据
数据分析
数据挖掘
课程设计
毕业设计
【大数据项目】基于大数据分析的餐饮行业数据分析平台
SpringBoot优质案例推荐IT源码社-小程序优质案例推荐IT源码社-Python优质案例推荐文末获取源码项目名基于大数据分析的餐饮行业数据分析平台技术栈Python+Django+Spark+Hive+
Hadoop
极客的Code
·
2023-12-21 18:50
[IT源码社]Python项目
大数据
数据分析
数据挖掘
【大数据优质项目】基于数据分析的保险行业可视化分析平台
SpringBoot优质案例推荐IT源码社-小程序优质案例推荐IT源码社-Python优质案例推荐文末获取源码项目名基于数据分析的保险行业可视化分析平台技术栈Python+Django+Spark+Hive+
Hadoop
极客的Code
·
2023-12-21 18:49
[IT源码社]Python项目
大数据
数据分析
数据挖掘
课程设计
毕业设计
2023大数据应用开发赛题02套
目录2023年全国职业院校技能大赛赛题第02套任务A:大数据平台搭建(容器环境)(15分)子任务一:
Hadoop
完全分布式安装配置子任务二:Flume安装配置子任务三:FlinkonYarn安装配置任务
长风有续X
·
2023-12-21 17:54
大数据
Flume多路复用模式把接收数据注入kafka 的同时,将数据备份到HDFS目录
启动
hadoop
、在hdfs中创建需要访问的目录配置
Hadoop
的核心配置文件core-site.xml:设置
Hadoop
的核心配置参数,例如NameNode的地址、数据块大小、副本数量等。
HaveAGoodDay.
·
2023-12-21 17:52
Flume
大数据应用开发赛项
Hadoop
大数据
flume
kafka
hadoop
hdfs
2023大数据应用开发赛题03套
目录任务A:大数据平台搭建(容器环境)(15分)子任务一:
Hadoop
HA安装配置子任务二:Hive安装配置子任务三:Kafka安装配置任务B:离线数据处理(25分)子任务一:数据抽取子任务二:数据清洗子任务三
长风有续X
·
2023-12-21 17:52
大数据
生产经验——分区的分配以及再平衡
bin/kafka-topics.sh--bootstrap-server
hadoop
102:9092--alter--topicfirst--partitions7复制CustomConsumer类,
zmx_messi
·
2023-12-21 15:03
kafka
Hive入门+部署
看黑马视频做的笔记目录概念1.基本概述2.基础架构总架构部署1.安装MySQL2.配置
Hadoop
3.下载解压Hive4.下载MySQLDriver包注意!
Y蓝田大海
·
2023-12-21 14:32
大数据开发
hive
hadoop
数据仓库
hive与
hadoop
的版本对应问题
以hive-3.1.2为例,查看hive-3.1.2对应的
Hadoop
版本号的方式是:下载apache-hive-3.1.2-src.tar.gz链接:https://mirrors.bfsu.edu.cn
qiaoqiao2332
·
2023-12-21 14:32
hive
hive
Hive环境搭建(ubuntu 20.04 + java 1.8.0_281 +
hadoop
3.1.0 + hive 3.1.2)
Hive依赖于
Hadoop
,而
Hadoop
依赖于Java。因此搭建Hive环境需要先装java,然后装
hadoop
,然后才是hive。
qiaoqiao2332
·
2023-12-21 14:02
hive
hive
hdfs如何把一整个目录都复制到本地, 包括目录中的子目录和子文件
在
Hadoop
分布式文件系统(HDFS)中,你可以使用
hadoop
fs-copyToLocal命令将整个目录复制到本地。该命令支持递归复制,包括目录中的子目录和子文件。
言之。
·
2023-12-21 14:27
hdfs
hadoop
大数据
【大数据项目】企业经营数据可视化平台
欢迎各位前来交流讨论精彩专栏推荐订阅不然下次找不到哟天码编程-SpringBoot项目案例推荐天码编程-SSM项目案例推荐天码编程-Python项目案例推荐天码编程-小程序项目案例推荐天码编程-大数据项目案例推荐文末获取源码项目名企业经营数据可视化平台技术栈
Hadoop
天码编程
·
2023-12-21 12:53
[大数据可视化项目]
[Python项目]
大数据
信息可视化
课程设计
毕业设计
python
基于大数据可视化的智慧人才数据分析平台
SpringBoot项目案例推荐天码编程-SSM项目案例推荐天码编程-Python项目案例推荐天码编程-小程序项目案例推荐天码编程-大数据项目案例推荐文末获取源码项目名基于大数据可视化的智慧人才数据分析平台技术栈
Hadoop
天码编程
·
2023-12-21 12:53
[大数据可视化项目]
[Python项目]
信息可视化
数据分析
数据挖掘
毕业设计
课程设计
《父母最艰巨的工作》线下书友会复盘
(期望的结果)招募到6个人,通过在参加线上书友会
学习积累
的经验,把整个书友会按流程不要激动清晰的进行。达成的结果是什么?
可爱的珠珠
·
2023-12-21 11:31
《PySpark大数据分析实战》-14.云服务模式Databricks介绍基本概念
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-21 11:45
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-13.Spark on YARN模式代码运行流程
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-21 11:44
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《PySpark大数据分析实战》-16.云服务模式Databricks介绍运行案例
对大数据技术栈
Hadoop
、Hive、Spark、Kafka等有深入研究,对Data
wux_labs
·
2023-12-21 11:08
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
Sqoop入门:如何下载、配置和使用
下载和配置Sqoop是Apache的一个开源工具,主要用于在
Hadoop
和关系数据库之间传输数据。
冷月半明
·
2023-12-21 11:00
软件or报错
大数据
sqoop
hadoop
hive
Hadoop
/Spark 太重,esProc SPL 很轻
Hadoop
/Spark就是其中重要的软件技术,由于开源免费而广受欢迎。
码农翻身
·
2023-12-21 10:07
hadoop
spark
大数据
分布式
上一页
30
31
32
33
34
35
36
37
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他