E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
细细品味Hadoop
springboot整合
hadoop
遇错
错误一:Causedby:java.io.FileNotFoundException:
HADOOP
_HOMEand
hadoop
.home.dirareunset.解决:下载:https://github.com
S梦天涯S
·
2023-12-30 08:50
hadoop
java
大数据
大数据竞赛MR培训与题型
MapReduce编程模板1.自定义Mapper类继承类并重写map方法:importorg.apache.
hadoop
.io.IntWritable;importorg.apache.
hadoop
.io.LongWritable
背帆
·
2023-12-30 08:52
大数据
大数据
mr
hadoop
Hadoop
分布式集群搭建(三台虚拟机)
一.准备工作搭建好VMwareWorkstationPro(我这里装的版本是16)二.新建虚拟机
hadoop
01搭建
hadoop
集群需要三台虚拟机1.新建虚拟机——>自定义(高级)2.不用改动,点击下一步
# Ling
·
2023-12-30 07:00
hadoop
大数据
分布式
IDEA使用HDFS的JavaApi
1.准备工作1.1创建测试类创建测试类,并定义基本变量publicclassHDFSJAVAAPI{//定义后续会用到的基本变量publicfinalStringHDFS_PATH="hdfs://
hadoop
00
向之 所欣
·
2023-12-30 07:59
Hadoop
intellij-idea
hdfs
java
Hadoop
完全分布式搭建 - 第二章 CentOS集群安装配置
CentOS7.6.1080一些其他博主的参考+原创一、准备工作将安装好的CentOS7克隆多两台出来关闭防火墙:systemctlstopfirewalld.service禁用防火墙:systemctldisablefirewalld.service查看防火墙状态firewall-cmd--state重启reboot二、实现三台机器ssh免密登录前提:确保三台机的名称与IP1.修改IP(设置为手
Dehan.Dan
·
2023-12-30 07:29
CentOS系统部署
Hadoop
完全分布式集群
查看当前使用的CentOS版本及JDK、
Hadoop
版本,结果如下截图:
Hadoop
全分布部署与伪分布的单机部分完全相同,唯有
hadoop
的文件配置略有不同,本文建立在伪分布部署的基础上重新修改配置文件
ScriptFlying
·
2023-12-30 07:28
Hadoop平台
基于centos7.6搭建
hadoop
-3.1.2集群
基于centos7.6搭建
hadoop
-3.1.2集群
hadoop
单节点安装。
Hadoop
单节点的安装不需要守护进程,所以不需要安装zookeeper。
mo_5201314
·
2023-12-30 07:27
hadoop
Hadoop
集群搭建教程(完全分布式)
环境准备:本案例使用VMwareWorkstationPro虚拟机创建服务器来搭建
Hadoop
集群,所用软件及版本及简要配置方法如下:1.VMwareWorkstationPro15.5.1(推荐使用15
这是一个死肥宅
·
2023-12-30 07:27
hadoop
hadoop
大数据
基于vmware workstations 10 、centos6.4和
hadoop
-2.7.1的
hadoop
完全分布式集群的开发环境搭建
1.准备安装包环境:win1064位Vmware10Centos6.4jdk-7u80-linux-x64.rpm
Hadoop
-2.7.1.tar.gzEclipse-java-neon-R-linux-gtk-x86
ronaldo4511
·
2023-12-30 07:57
大数据
hadoop集群配置
三台CentOS7.6虚拟机搭建
Hadoop
完全分布式集群(三)
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例,已成功搭建完全分布式集群,并测试跑实例。9安装hbase温馨提示:安装hbase先在master主节点上配置,然后远程复制到slave01或slave02,在配置环境即可。9.1解压并配置环境变量9.1.1解压安装包1)使用WinSCP将hbase-2.2.2-bin.tar.gz的压缩包从windows系统传
666-LBJ-666
·
2023-12-30 07:56
大数据
分布式
hadoop
大数据
在CentOS7上安装
Hadoop
分布式系统
项目背景:
Hadoop
原来是ApacheLucene下的一个子项目,它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。
栗子艾李子
·
2023-12-30 07:26
hadoop
linux
hdfs
分布式
CentOS 7.6搭建
Hadoop
2.9.2完全分布式集群,狠详细!
一、概述本文基于宿主机Win10笔记本(8G+256固态,连接无线wifi)+三台虚拟机进行搭建。以下为搭建的详细过程,接近于现场直播Live。二、软件环境准备使用到具体软件及版本如下:虚拟机VMwareVMware-workstation-full-12.5.7-5813279.exe下载地址https://my.vmware.com/web/vmware/details?productId=5
cichu1740
·
2023-12-30 07:26
大数据
java
运维
三台CentOS7.6虚拟机搭建
Hadoop
完全分布式集群(二)
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全分布式集群的案例,已成功搭建完全分布式集群,并测试跑实例。6.安装JDK以下操作现在master上操作,然后远程复制到slave01、slave02即可。6.1将压缩包发送到master节点机器上,并解压利用WinSCP,将JDK压缩包从windows系统传至master主节点机器上,并将其放于/opt/software目录注意
666-LBJ-666
·
2023-12-30 07:54
大数据
分布式
hadoop
大数据
读书之乐
电子书还是费眼睛,小小的手机同时使用太多的功能,远远不方便,还要找来找去,不若纸质书,一枚书签一插,随手拿了看一段,方便惬意,看到引起同感共鸣处,
细细品味
,其中乐趣,简直是自得其乐,不足为外人道,若因此得了一二句好的话
寒梅枝头傲
·
2023-12-30 06:37
Hadoop
架构概述
HDFS架构概述HDFS(
Hadoop
DistributedFileSystem)的架构概述NameNode(nn):存储文件的元数据,如文件名、文件目录结构、文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的
青涩的芒果汁
·
2023-12-30 06:31
技术分享
Ambari入门及安装
Ambari简述什么是AmbariApacheAmbari项目旨在通过开发用于配置,管理和监控Apache
Hadoop
集群的软件来简化
Hadoop
管理。
青涩的芒果汁
·
2023-12-30 06:30
技术分享
Spark Streaming
批量计算和实时计算(三)流计算概念(四)流计算框架(五)流计算处理流程二、SparkStreaming(一)SparkStreaming设计(二)SparkStreaming与Storm的对比(三)从“
Hadoop
Francek Chen
·
2023-12-30 06:54
Spark编程基础
spark
大数据
分布式
Spark
Streaming
配置log4j和slf4j爬过的坑
现在将错误记录一下[WARNING]failedorg.mortbay.jetty.plugin.Jetty6PluginWebAppContext@3fd05b3e{/adgame_ms,/home/
hadoop
zerone-f
·
2023-12-30 06:18
log4j
slf4j
java
log4j
slf4j
测试:如何查看节点进程?
对于
Hadoop
集群在
Hadoop
集群中,您可以使用`jps`命令来查看正在运行的Java进程。
AnyaPapa
·
2023-12-30 05:58
测试
运维
虚拟机上进行
Hadoop
伪分布式部署并进行大数据处理
本文章基于的大数据文件:https://download.csdn.net/download/qq_60567426/87940872?spm=1001.2014.3001.5503引言:虚拟机经常卡死,卡死就按这个重新启动VMware虚拟机下载:1:首先安装VMware,官网链接:VMware-DeliveringaDigitalFoundationForBusinesses2:点击Produc
软件开发技术局
·
2023-12-30 03:38
分布式
linux
大数据
ubuntu
python
java
spark
实话实说
而且对于好书,我都喜欢
细细品味
,不想错过它的每一个段落,每一句话。目前我能感受到书中的每一句话都是金句,并无虚言和废话。让人看时有种把心底平时工作中想说而不敢说的话都倒腾出来,大快人心。
原来是西瓜酱
·
2023-12-30 01:23
Hadoop
和大数据:60款顶级开源工具
说到处理大数据的工具,普通的开源解决方案(尤其是Apache
Hadoop
)堪称中流砥柱。
weixin_33905756
·
2023-12-30 01:25
大数据
操作系统
java
优雅白毛衣,这样穿不显胖
它的美,是需要
细细品味
的。有人说白色容易显胖。
文艺掠影
·
2023-12-29 23:50
大数据框架介绍
大数据学习必备三个框架
Hadoop
,Spark,Storm大数据的主要特点为数据量大(Volume),数据类别复杂(Variety),数据处理速度快(Velocity)和数据真实性高(Veracity)
mikecg
·
2023-12-29 23:06
执行
hadoop
jar 或者是yarn jar 报Exception in thread “main“ java.lang.NoClassDefFoundError:XXX
找到上传的目录,执行yarnjar或者
hadoop
jar报一下的错。报错的原因可能是:在idea打包的过程中没有相关的类,那你在打包的时候,没有把相关依赖都打进去。
爱吃肉的白熊
·
2023-12-29 22:36
笔记
hadoop
mapreduce
java
给linux(centos)操作系统设置主机名的几种方式
镜像下载、域名解析、时间同步请点击阿里云开源镜像站一、前言就是我们需要集群部署
hadoop
,Flink时,写ip地址太长了,然后大家想的就是能不能用比如:node1,node2,node3去代替IP地址
萌褚
·
2023-12-29 21:13
HDFS常用命令
1.hdfsdfs与
hadoop
fs命令的形式:hdfsdfs-linux命令这与linux中命令操作是一样的。
langzitianya
·
2023-12-29 21:15
大数据
hdfs
hadoop
大数据
HBASE的应用场景
2018/08/31HBase是如何与
Hadoop
嵌入在一起的,那么他的作用又是什么。这显然跟我原来理解的那些个数据库不太一样,就比如mango这种。现在比较关注的就是他的数据导入,是怎么样的。
VChao
·
2023-12-29 16:49
Kafka 初识
kafka是由LinkedIn公司开发的,是一个分布式、支持分区的、多副本的,基于zookeeper协调的分布式消息系统,它的最大特点就是可以实时的处理大量数据以满足各种需求场景:比如基于
Hadoop
的批处理系统
Advancer-lbh
·
2023-12-29 14:56
消息中间件
kafka
分布式
消息中间件
跟着苏霍姆林斯基进行一次心灵之旅
它的魅力究竟何在,我们不妨利用假期拿起那些他的或者与他相关的著作
细细品味
,所有的感悟一定会在情不自禁
b40813c82fd4
·
2023-12-29 13:20
Spark集群- 连接
hadoop
、hive集群
目的使spark代码提交到集群运行时,能够操作hdfs、hive等保证所有spark机器都能解析
hadoop
集群的机器名称如果spark和
hadoop
部署在同样的集群,则可以省略这一步如果spark和
hadoop
heichong
·
2023-12-29 13:59
简单的 MapReduce 程序的示例代码,用于统计 HBase 中的成绩表中的单科排名和总分排名,并将结果上传到 HDFS 中。...
MapReduce程序的示例代码,用于统计HBase中的成绩表中的单科排名和总分排名,并将结果上传到HDFS中:```importjava.io.IOException;importorg.apache.
hadoop
.conf.Configuration
weixin_42601702
·
2023-12-29 10:19
hbase
hdfs
mapreduce
hadoop
大数据
利用hbase来两张表的联立,求出一个班学生的总分并把结果写到hbase(java 代码实现)
importorg.apache.
hadoop
.conf.Configuration;importorg.apache.
hadoop
.hbase.HColumnDescriptor;importorg.apache.
hadoop
.hbase.HTableDescriptor
CC072615
·
2023-12-29 10:14
hbase
java
hadoop
大数据
big
data
MR实战:分科汇总求月考平均分
Maven项目2、添加相关依赖3、创建日志属性文件4、创建学生实体类5、创建科目平均分映射器类6、创建科目平均分归并器类7、创建科目平均分驱动器类8、启动应用,查看结果一、实战概述在本次实战中,我们将利用
Hadoop
MapReduce
howard2005
·
2023-12-29 10:42
Hadoop分布式入门
mr
分科汇总求月考平均分
今夜,我只看到了月亮
以前从没在意过月亮,今天躲在后座
细细品味
,才悟出来月亮是最古老的属性。它照亮古世前人,也照亮当下的我们以及未来者。它是历史兴衰的参与者,是星辰大海,浮生若梦的缔造
认真生活的幸儿
·
2023-12-29 09:02
Spark相关
3、Yarn:采用
Hadoop
的资源调度器。国内大量使用。
大数据点滴
·
2023-12-29 09:29
#
Spark相关
spark
大数据
分布式
Hadoop
用户权限管理及hdfs权限管理
1.创建用户student1,所属分组为studentschown-Rstudent1:students/home/
hadoop
/
hadoop
-2.7.6root用户将
hadoop
的相关操作权限授予student12
临界爵迹
·
2023-12-29 09:35
大数据
hadoop
【2023】通过docker安装
hadoop
以及常见报错
目录1、准备2、安装镜像2.1、创建centos-ssh的镜像2.2、创建
hadoop
的镜像3、配置ssh网络3.1、搭建同一网段的网络3.2、配置host实现互相之间可以免密登陆3.3、查看是否成功4
方渐鸿
·
2023-12-29 07:08
数据分析
docker
hadoop
容器
数据分析
python
elasticsearch-
hadoop
.jar 6.8版本编译异常
##背景重新编译elasticsearch-
hadoop
包;GitHub-elastic/elasticsearch-
hadoop
at6.8编译7.17版本时很正常,注意设置下环境变量就好,JAVA8_
zmc@
·
2023-12-29 07:31
elasticsearch
hadoop
Hadoop
YARN CGroup 实践
文章目录
Hadoop
YARNCgroups实践什么是cgroupscgroups概念YARN使用cgroups背景cgroups在YARN中的工作原理cgroups在YARN中的实践步骤参考
Hadoop
YARNCgroups
Shyllin
·
2023-12-29 06:26
Hadoop
hadoop
网络
大数据
Hadoop
之MapReduce 详细教程
MapReduce仅作了解,生产上很少使用该计算程序1、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”,适用于大量复杂的任务处理场景(大规模数据处理场景)。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想,而不是自己原创。1、Map负责“分”,即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆
白鸽呀
·
2023-12-29 06:50
大数据
hadoop
mapreduce
大数据
Zookeeper-Zookeeper特性与节点数据类型详解
1.Zookeeper介绍ZooKeeper是一个开源的分布式协调框架,是Apache
Hadoop
的一个子项目,主要用来解决分布式集群中应用系统的一致性问题。
长情知热爱
·
2023-12-29 03:57
zookeeper
分布式
云原生
Hadoop
安装笔记2单机/伪分布式配置_
Hadoop
3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
紧接着上一篇博客:
Hadoop
安装笔记1:
Hadoop
安装笔记1单机/伪分布式配置_
Hadoop
3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理-CSDN
Stitch .
·
2023-12-29 02:00
我的大学笔记
Hadoop
linux
hadoop
jvm
Spark 集群搭建
yarn-site.xmlspark-env.sh官网求π(PI)案例启动spark-shell通过浏览器查看显示查看Spark的网页信息展示搭建前准备下载地址:Indexof/dist/spark(apache.org)配置好
hadoop
撕得失败的标签
·
2023-12-29 00:42
大数据技术
spark
大数据
分布式
hadoop
yarn
hdfs
[BUG]
Hadoop
-3.3.4集群yarn管理页面子队列不显示任务
1.问题描述使用yarn调度任务时,在CapacityScheduler页面上单击叶队列(或子队列)时,不会显示应用程序任务信息,root队列可以显示任务。此外,FairScheduler页面是正常的。Nomatchingrecordsfound2.原因分析CapacitySchedulerPage中使用的$(‘#apps’).dataTable().fnFilter基于索引值为4的列进行筛选(索
tuoluzhe8521
·
2023-12-29 00:00
Hadoop
bug
hadoop
大数据
yarn
最全
Hadoop
实际生产集群高可用搭建
1.环境准备1.1集群规划序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005IPxxxxxxxxxxxxxxx组件
hadoop
1
hadoop
2
hadoop
3
hadoop
4
hadoop
5
tuoluzhe8521
·
2023-12-29 00:30
Hadoop
hadoop
大数据
hdfs
yarn
spark
大数据技术之
Hadoop
入门一
1.从
Hadoop
框架讨论大数据生态名字起源该项目的创建者,DougCutting解释
Hadoop
的得名:“这个名字是我孩子给一个棕黄色的大象玩具命名的项目起源
Hadoop
由ApacheSoftwareFoundation
在远方的你等我
·
2023-12-28 19:54
How to solve gzip: stdin: not in gzip format error
目录一.问题说明二.问题解决三.命令复习一.问题说明当执行tar-xzf/tmp/
hadoop
-3.3.5.tar.gz-C/home/taiyi/yarn命令时出现:gzip:stdin:notingzipformattar
roman_日积跬步-终至千里
·
2023-12-28 19:11
linux
linux
服务器
运维
ClickHouse基础知识(二):ClickHouse 安装教程
1.准备工作1.1确定防火墙处于关闭状态1.2CentOS取消打开文件数限制(1)在
hadoop
101的/etc/security/limits.conf文件的末尾加入以下内容sudovim/etc/security
依晴无旧
·
2023-12-28 18:30
大数据
clickhouse
大数据
三台CentOS7.6虚拟机搭建
Hadoop
完全分布式集群(一)
1.安装CentOS7.6虚拟机1.1安装完虚拟机发现没有sudo命令和
hadoop
用户执行命令失败我在安装CentOS7.6虚拟机后,我发现不能执行sudo命令,同时
hadoop
用户执行命令失败。
666-LBJ-666
·
2023-12-28 18:55
大数据
分布式
hadoop
大数据
上一页
30
31
32
33
34
35
36
37
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他