E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
研磨hadoop
大数据之LibrA数据库常见术语(七)
NAMENODENamenode是
hadoop
系统中的一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。
红烧小肥杨
·
2023-10-26 19:52
大数据
数据库
开发MapReduce算法,实现统计分析——单词统计
三、在idea里编写代码:1>编写WordCountMapperimportorg.apache.
hadoop
.io.*;impor
墨染盛夏呀
·
2023-10-26 19:19
案例操作
hadoop
mapreduce
java
云计算中的大数据处理:尝试HDFS和MapReduce的应用
和MapReduce的应用一、前言二、第一题1、命令方式2、javaAPI方式三、第二题1、创建CSV文件并将其上传到HDFS2、编写利用MapReduce框架的java代码3、打包java项目4、在
Hadoop
-北天-
·
2023-10-26 19:48
大数据学习
云计算
hadoop
大数据
Hadoop
实验4:MapReduce编程
目录一.【实验准备】1.工作目录2.打开eclipse并配置工作空间二、准备工作1.新建项目2.准备测试数据3.添加MapReduce编程框架三、Map过程四、Reduce过程五、执行MapReduce任务六、实验结果七、准备工作1.新建项目2.准备relation.dat3.添加MapReduce编程框架(1).MyMapper(2).MyReducer(3).MyRunner八、Map过程九、
所念皆星河115
·
2023-10-26 19:48
hadoop
mapreduce
eclipse
Hadoop
:MapReduce编程之统计单词的数目
MapReduce编程之统计单词的数目要求:统计出每个单词的数目,显示结果为单词单词的长度单词的数目分析:由于MapReduce中的数据传输只能以形式传输,只能传递两列数据,因此为了实现三列数据的传输,我们可以通过两种方法解决:字符串拼接和自定义数据类型封装JavaBean。文章目录MapReduce编程之统计单词的数目一、字符串拼接二、自定义数据类型封装JavaBean三、自定义数据类型实现比较
Xiao Miao
·
2023-10-26 19:47
Hadoop
hadoop
mapreduce
azkaban学习部署
假如,我有这样一个需求,某个业务系统每天产生20G原始数据,每天都要对其进行处理,处理步骤如下所际:●通过
Hadoop
先将原始数据同
只想挣钱,5毛以上活动莫叫我
·
2023-10-26 19:17
linux
【智能大数据分析】实验1 MapReduce实验:单词计数
实验1MapReduce实验:单词计数文章目录【智能大数据分析】实验1MapReduce实验:单词计数一、实验目的二、实验要求三、实验原理1MapReduce编程2JavaAPI解析四、实验步骤1启动
Hadoop
2
-北天-
·
2023-10-26 19:05
大数据学习
数据分析
mapreduce
大数据
sqoop和flume简单安装配置使用
1.Sqoop1.1Sqoop介绍Sqoop是一个在结构化数据和
Hadoop
之间进行批量数据迁移的工具结构化数据可以是MySQL、Oracle等关系型数据库把关系型数据库的数据导入到
Hadoop
与其相关的系统把数据从
_woami
·
2023-10-26 19:14
sqoop
flume
hadoop
通过kettle循环变量方式将关系型数据库表插入hive表分区
示例在本作业中,涉及到的关键组件是表输入、复制记录到结果、从结果获取记录、设置变量、
Hadoop
fileoutput、执行SQL脚本等。
shenzhibiao
·
2023-10-26 18:04
Kettle
kettle
hive
hadoop
flink学习(一)
flink时没有系统性的复习,现在不多BB就是为了复习flink(从头再来)1.1flink的引入计算引擎分为几代有些争议,这里我选择的是四代第一代计算引擎,MapReduce(首先第一代的计算引擎,无疑就是
Hadoop
Daivei_lai
·
2023-10-26 18:25
flink
flink
Windows下利用Eclipse连接HDFS
将
hadoop
-eclipse插件复制到Eclipse下的plugins目录中image.png解压Windows环境下的
Hadoop
压缩包image.png将解压后的
hadoop
-3.1.1中bin目录下的
上杉丶零
·
2023-10-26 17:22
Hadoop
所有命令详解
FSShell调用文件系统(FS)Shell命令应使用bin/
hadoop
fs的形式。所有的的FSshell命令使用URI路径作为参数。URI格式是scheme://authority/path。
FantJ
·
2023-10-26 16:00
import org.apache.
hadoop
.conf.Configuration无法import;The import org.apache cannot be resolved
查找网上许多方法都没用,最后自己从包处解决importorg.apache.
hadoop
.conf.Configuration;importorg.apache.
hadoop
.fs.FileSystem
chrisleequeen
·
2023-10-26 15:34
java
jar
hadoop
eclipse
java
jar
hadoop
storm--流式分布式系统介绍
1诞生在2011年Storm开源之前,由于
Hadoop
的火红,整个业界都在喋喋不休地谈论大数据。
Hadoop
的高吞吐,海量数据处理的能力使得人们可以方便地处理海量数据。但是,Ha
bupt_小新
·
2023-10-26 15:13
storm
big
data
distributed
system
big
data
storm
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
转载至:http://www.aboutyun.com/thread-6855-1-1.html个人观点:大数据我们都知道
hadoop
,但并不都是
hadoop
.我们该如何构建大数据库项目。
向往的生活Life
·
2023-10-26 15:06
hadoop
storm
hadoop
大数据
storm
flume-ng
kafka
来看看年薪80W的大数据大牛是如何理解 hbase 的架构及设计原理
它是Apache软件基金会
Hadoop
项目的一部分,运行于HDFS文件系统之上,为
Hadoop
提供类似于BigTable规模的服务。
Java程序员YY
·
2023-10-26 13:13
flink on k8s 访问hive
hadoop
1.13及以后的版本好像有一些改动,
hadoop
配置文件目录好像有一定改动,需要自己确认一下flinkonk8s的APP模式下flinkonk8s的APP模式下,读取
hadoop
需要先添加依赖jar包,
Yaphets丶混世大魔王
·
2023-10-26 12:09
#
flink
flink
hive
hadoop
Hadoop
HDFS 数据流
HDFS写数据流程HDFS写数据流程.png客户端通过DistributedFileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。NameNode返回是否可以上传。客户端请求第一个block上传到哪几个datanode服务器上。NameNode返回3个datanode节点,分别为dn1、dn2、dn3。客户端通过FSDataOutputSt
yljphp
·
2023-10-26 09:51
25款大数据入门与实战电子书+视频教程(全程干货)
本资源由菜鸟窝大数据教研团队整理的,共有1.3GB学习资源(电子书)含
Hadoop
大数据与挖掘实战、Hbase实战、Spark大数据处理技术、Spark高级数据分析、大数据存储MongoDB实战、大数据架构师指南
菜鸟窝
·
2023-10-26 07:50
Hadoop
3.0大数据处理学习3(MapReduce原理分析、日志归集、序列化机制、Yarn资源调度器)
MapReduce原理分析什么是MapReduce前言:如果想知道一堆牌中有多少张红桃,直接的方式是一张张的检查,并数出有多少张红桃。而MapReduce的方法是,给所有的节点分配这堆牌,让每个节点计算自己手中有几张是红桃,然后将这个数汇总,得到结果。概述官方介绍:MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MapReduce是分布式运行的
Huathy-雨落江南,浮生若梦
·
2023-10-26 07:33
Hadoop
大数据
学习
mapreduce
大数据
Hadoop
3.0大数据处理学习4(案例:数据清洗、数据指标统计、任务脚本封装、Sqoop导出Mysql)
案例需求分析直播公司每日都会产生海量的直播数据,为了更好地服务主播与用户,提高直播质量与用户粘性,往往会对大量的数据进行分析与统计,从中挖掘商业价值,我们将通过一个实战案例,来使用
Hadoop
技术来实现对直播数据的统计与分析
Huathy-雨落江南,浮生若梦
·
2023-10-26 07:33
Hadoop
大数据
学习
sqoop
mysql
Hadoop
3.0大数据处理学习1(Haddop介绍、部署、Hive部署)
Hadoop
3.0快速入门学习步骤:三大组件的基本理论和实际操作
Hadoop
3的使用,实际开发流程结合具体问题,提供排查思路开发技术栈:Linux基础操作、Sehll脚本基础JavaSE、Idea操作MySQL
Hadoop
Huathy-雨落江南,浮生若梦
·
2023-10-26 07:02
Hadoop
大数据
hive
hadoop
Hadoop
3.0大数据处理学习2(HDFS)
一、简介HDFS:
Hadoop
DistributedFileSystem。
Hadoop
分布式存储系统一种允许文件通过网络在多台主机上分享的文件系统,可以让多机器上的用户分享文件和存储空间。
Huathy-雨落江南,浮生若梦
·
2023-10-26 07:25
Hadoop
大数据
hdfs
hadoop
大数据测试v 1.0
v1.0-序:本次测试从6-12到7-12号整整历时1个月,除去休息,真正大约20个工作日,在这20个工作日里面,中途周末加过几次班,满打满算应该20多天,接触并经历了大数据功能测试、一体机性能测试、大数据
Hadoop
HDFS
武晓兵
·
2023-10-26 06:17
大数据
云计算
大数据技术之
Hadoop
-入门
第1章
Hadoop
概述1.1
Hadoop
是什么分布式:多台服务器共同完成某一项任务。
华尔街的幻觉
·
2023-10-26 06:14
hadoop
大数据
hdfs
第五课 Hbase存储详解
与
hadoop
一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。Hbase中的表一般
Arroganter
·
2023-10-26 05:38
Spark课程记录---Ubuntu_New虚拟机以及与本机连接
hadoop
用户密码:
hadoop
打开终端获取inet地址$ifconfig打开FileZilla,两种方式连接本地window主机。
咖喱要加力
·
2023-10-26 04:08
ubuntu
hadoop
linux
大数据系列之Spark集群环境部署
作为一种大数据分布式计算框架,已经构建SparkStreaming、SparkSQL、SparkML等组件,与文件系统HDFS、资源调度YARN一起,构建了Spark生态体系,如下图所示:以下部分将主要介绍
Hadoop
solihawk
·
2023-10-26 04:51
大数据系列
#
spark
大数据
spark
Hadoop
分布式安装
首先准备好三台服务器或者虚拟机,我本机安装了三个虚拟机,安装虚拟机的步骤参考我之前的一篇virtualBox虚拟机安装多个+主机访问虚拟机+虚拟机访问外网配置-CSDN博客jdk安装参考文档:Linux环境下安装JDK1.8并配置环境变量_linux安装jdk1.8并配置环境变量_Xi-Yuan的博客-CSDN博客一台机器配置完成jdk之后,我们将已经解压完成的jdk分发到另外两台虚拟机上我们的h
wmy102125
·
2023-10-26 03:26
1024程序员节
hadoop
大数据
基于UGI鉴权的Hive Metastore Client 并发访问方式
定义一个基类:packageorg.jeff.r.tools;importorg.apache.commons.lang.StringUtils;importorg.apache.
hadoop
.hive.conf.HiveConf
井地儿
·
2023-10-26 02:03
Hadoop
+Zookeeper+Spark+Hbase集群式部署
前期准备
hadoop
-2.7.6.tar.gzhbase-1.2.6-bin.tar.gzjdk-8u161-linux-x64.tar.gzzookeeper-3.4.10.tar.gzsqoop-1.99.7
Go ku
·
2023-10-26 01:17
Hadoop
363——究极咖啡
改进通过
研磨
度,调细。3、拉花
AlphaGuo
·
2023-10-25 23:47
大数据面试题汇总
2.
hadoop
和spark使用场景?3.spark如何保证宕机迅速恢复?4.
hadoop
和spark的相同点和不同点?5.RDD持久化原理?6.checkpoint检查点机制?
kuntoria
·
2023-10-25 20:28
spark数据倾斜以及解决方案
对Spark/
Hadoop
这样的分布式大数据系统来讲,数据量大并不可怕,可怕的是数据倾斜。对于分布式系统而言,理想情况下,随着系统规模(节点数量)的增加,应用整体耗时线性下降。
陈二狗想吃肉
·
2023-10-25 16:09
hadoop
集群搭建
hadoop
有三种部署方式1、Local(Standalone)Mode(单机模式)数据存储在本地2、Pseudo-DistributedMode(伪集群模式)数据存储在HDFS3、Fully-DistributedMode
有人看我吗
·
2023-10-25 16:51
#
hadoop
hadoop
大数据
分布式
Hive 遇到 Class path contains multiple SLF4J bindings
分别是在
Hadoop
和hive的安装目录。删除一个就好。转载于:https://www.cnblogs.com/Jesse-Li/p/7809485.html
相太阳
·
2023-10-25 15:35
大数据
Class path contains multiple SLF4J bindings.解决方案
错点:SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/home/
hadoop
/soft/apache-hive
xiaotai@
·
2023-10-25 15:03
hive
MR——worldcount案例
springboot程序1、导入依赖junitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.
hadoop
hadoop
-common2.6.0org.apache.
hadoop
hadoop
-client2.6.0org.apache.
hadoop
hadoop
-hdfs2.6.02
尘缘未了-
·
2023-10-25 13:57
hadoop
java
Hadoop
核心机制详细解析
Hadoop
核心机制详细解析
Hadoop
的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。
Amao_come_on
·
2023-10-25 09:18
1024程序员节
Kafka---将kafka中的数据导入HBase
importorg.apache.
hadoop
.conf.Configuration;importorg.apache.
hadoop
.hbase.HBaseConfiguration;importorg.apache.
hadoop
.hbase.HConstants
Shall潇
·
2023-10-25 06:11
kafka
kafka
大数据
hbase
spark读kafka数据 hbase存储
utilsimportkafka.common.TopicAndPartitionimportkafka.message.MessageAndMetadataimportkafka.serializer.StringDecoderimportkafka.utils.ZkUtilsimportorg.apache.
hadoop
.hbase.client
mllhxn
·
2023-10-25 06:08
spark
【大数据】
Hadoop
文章目录概述
Hadoop
组成HDFSMapReduce写MapReduce程序(
Hadoop
streaming)YARN
Hadoop
启动工作方式
Hadoop
的主从工作方式
Hadoop
的守护进程运行模式本地运行模式伪分布式运行模式完全分布式运行模式
软泡芙
·
2023-10-25 06:22
开发
1024程序员节
hadoop
大数据
hadoop
伪分布式安装部署
首先jdk安装完毕jdk安装文档参考:Linux环境下安装JDK1.8并配置环境变量_linux安装jdk1.8并配置环境变量_Xi-Yuan的博客-CSDN博客准备好
hadoop
的安装包我的下载地址如下
wmy102125
·
2023-10-25 06:46
Hadoop
hadoop
linux
大数据
1024程序员节
hive知识点总结
Hive一、Hive简介什么是HiveHive由FaceBook实现并开源基于
Hadoop
的数据仓库工具可以将结构化的数据映射为一张数据库表并提供HQL(HiveSql)查询功能底层数据是存储在HDFS
看着天上飞的猪
·
2023-10-25 01:53
大数据开发
hive
hadoop
大数据
【HIve的ES映射表数据同步-org.elasticsearch.
hadoop
.rest.Es
Hadoop
RemoteException: strict_dynamic_mapping_excep】
1、在hive对ES中建映射表进行数据同步报如下错误:org.elasticsearch.
hadoop
.rest.Es
Hadoop
RemoteException:strict_dynamic_mapping_exception
有语忆语
·
2023-10-25 01:51
大数据之Hive
hadoop
hive
elasticsearch
UDFJson反斜杠解析出错记录
这个类在org.apache.
hadoop
.hive.ql.udf包下,使用org.codehaus.jackson三方库解析Json字符串。
tomson8975
·
2023-10-25 01:51
hive
大数据计算模式:批处理&流处理
企业搭建大数据平台,目前行业当中的主流选择,集中在
Hadoop
成都加米谷大数据
·
2023-10-25 01:00
win10下
Hadoop
安装
准备工作1、
Hadoop
官方下载地址:http://
hadoop
.apache.org/releases.htmlimage.png选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载,
天道灬酬勤
·
2023-10-25 00:42
hive插入动态分区数据时,return code 2报错解决
目录一、完整报错二、原因三、其他一、完整报错Errorwhileprocessingstatement:FAILED:ExecutionError,returncode2fromorg.apache.
hadoop
.hive.ql.exec.mr.MapRedTask
zkkkkkkkkkkkkk
·
2023-10-24 23:46
报错解决
sql
hive
数据仓库
sql
Hadoop
+Hive+Spark+Hbase开发环境练习
1.练习一1.数据准备在hdfs上创建文件夹,上传csv文件[root@kb129~]#hdfsdfs-mkdir-p/app/data/exam查看csv文件行数[root@kb129~]#hdfsdfs-cat/app/data/exam/meituan_waimai_meishi.csv|wc-l2.分别使用RDD和SparkSQL完成以下分析(不用考虑数据去重)开启sparkshell[r
不吃香菜lw
·
2023-10-24 23:45
hadoop
hive
spark
hbase
上一页
69
70
71
72
73
74
75
76
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他