E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
研磨hadoop
hadoop
安装包解压之后的操作
Hadoop
解压完成之后配置流程修改
hadoop
-env.sh和yarn-env.sh进入
hadoop
-3.2.4/etc/
hadoop
/修改这两个文件增加:JAVA_HOME={java的路径}修改配置文件
冲鸭嘟嘟可
·
2023-12-19 00:55
hadoop
大数据
分布式
集群概念,帮你快速理解集群是什么
一、Cluster常见集群类型在生成环境中使用最多的是LB和HA集群,而HPC也开始活跃起来,例如
hadoop
就是并行处理集群1、LB:LoadBalancing,负载均衡(增加处理能力),有高可用能力
weixin_34202952
·
2023-12-18 23:29
后端
前端
运维
ViewUI
麻婆豆腐加1物,惊艳了我的味蕾
5克、辣椒粉半勺、柠檬汁30ml、白糖半勺适量:淀粉、蒜蓉、姜蓉、盐2.制作过程:开水加1小勺盐浸泡豆腐块5分钟去豆腥味图片来源于卿本溏心视频摄影热锅炒香花椒至微微发焦即可图片来源于卿本溏心视频摄影用
研磨
机将炒香的花椒磨碎成粉末图片来源于卿本溏心视频摄影锅里热芝麻油
卿本溏心
·
2023-12-18 23:04
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用
StreamPark的介绍、安装、使用1)框架介绍与引入1.1.什么是StreamPark1.2.Features1.3.组成部分1.4.引入StreamPark2)安装部署2.1.环境要求2.2.
Hadoop
2.3
bmyyyyyy
·
2023-12-18 23:50
其他
apache
flink
大数据
Hadoop
升级和回滚
现在软件更新非常快,当在一个已有集群上升级
Hadoop
时,像其他的软件升级一样,可能会有新的bug或一些会影响到现有应用的非兼容性变更出现。
Summer_1981
·
2023-12-18 22:43
大数据技术11:
Hadoop
原理与运行机制
前言:HDFS(
Hadoop
DistributedFileSystem)是
Hadoop
下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。
Java架构何哥
·
2023-12-18 21:56
大数据治理
hadoop
大数据
分布式
Hadoop分布式系统基础框架
基于
Hadoop
的农产品价格信息检测分析系统
基于
Hadoop
的农产品价格信息检测分析系统前言数据处理模块1.数据爬取2.数据清洗与处理3.数据存储数据分析与检测模块1.农产品价格趋势分析2.农产品价格检索3.不同市场价格对比创新点前言为了更好地了解农产品市场价格趋势和不同市场之间的价格差异
爱欲无极
·
2023-12-18 21:24
数据分析与挖掘
数据可视化
hadoop
大数据
分布式
hdfs文件复制方法
hdfs文件复制,并拷贝修复数据--1、复制表结构createtablet1liket2;--2、复制文件数据
hadoop
distcp-update-skipcrccheck-m300hdfs://ns1
菜鸟冲锋号
·
2023-12-18 20:54
数据仓库
hdfs
hadoop
HBase查询的一些限制与解决方案
ApacheHBase是一个开源的、非关系型、分布式数据库,它是
Hadoop
生态系统的一部分,用于存储和处理大量的稀疏数据。
KevinAha
·
2023-12-18 19:05
hbase
数据库
大数据
Hadoop
Single Node Cluster的安装
Hadoop
SingleNodeCluster的安装安装JDK查看java-version更新本地软件包安装JDK查看java安装位置设置SSH无密码登录安装
hadoop
下载安装设置
hadoop
环境变量修改
艾醒(AiXing-w)
·
2023-12-18 16:50
hadoop
hadoop
大数据
分布式
如何写出一篇爆款文案?每天一篇书评NO.42《爆款文案》
公开18种文案写法,75篇实战案例,100多篇释义插图,前奥美金牌广告人精心
研磨
,手把手教你写出爆款销售文案。爆款文案的根本目的是促进成交,成交的关键是满足客户的需求。
焦老师高效阅读变现
·
2023-12-18 16:33
SLF4J: Class path contains multiple SLF4J bindings.
问题截图问题原因这里就是由于hbase安装路径下的一个文件和
hadoop
安装路径下的文件起冲突了解决办法我的路径:这个一定要看自己电脑上的路径/usr/local/hbase/lib/client-facing-thirdparty
To Shine
·
2023-12-18 14:56
hadoop
hadoop
hbase
DK
hadoop
大数据平台基础框架方案概述
大数据作为当下最为热门的事件之一,其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据,那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源,已经是越来越得到国家和企业的高度重视,我们从大数据被上升到国家战略层面就可窥见一二!现在关于大数据的知识分享可以说已经是铺天盖地了,作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富,毕竟学习的时间也
yoku酱
·
2023-12-18 14:57
Flink实时电商数仓(一)
常用的存储系统是
Hadoop
的HDFS文件系统,使用Hive进行数据计算,并将结果导入HDFS。离线数仓最明显的特点是T+1模式,今天只能算昨天的数据,时效性不够优秀。
十七✧ᐦ̤
·
2023-12-18 14:14
flink
大数据
基于
hadoop
下的spark安装
目录简介安装准备spark安装配置文件配置简介Spark主要⽤于⼤数据的并⾏计算,⽽
Hadoop
在企业主要⽤于⼤数据的存储(⽐如HDFS、Hive和HBase等),以及资源调度(Yarn)。
necessary653
·
2023-12-18 14:43
hadoop
spark
大数据
spark介绍及简单使用
起初,
Hadoop
MapReduce是大数据处理的主流框架,但其存在一些限制,如不适合迭代算法、高延迟等。为了解决这些问题,Spark在2010年推出,提供了高效的内存计算和更灵活的数据处理方式。
necessary653
·
2023-12-18 13:08
spark
大数据
分布式
【
Hadoop
】HDFS设计思想
HDFS设计思想为什么HDFS上的块为什么远远大与传统文件系统?HDFS设计思想首先需要明确HDFS部署在集群之上。假设有一个50G的文件,在HDFS中分布式的存储这个文件,首先需要将50G文件分成多个数据块,块的大小可以设置,比如128M。数据块以多副本的行式存储在各个节点上,再使用一个文件把哪个数据块存储在哪些节点上的映射关系存储起来。有了这样的映射关系,用户读取文件的时候就会很容易读取到。数
不怕娜
·
2023-12-18 12:53
hadoop
hdfs
大数据
是金子总会发光
如果你是金子,你要提高你的含金量,到一定程度才能成为发光的金子,当你被挖掘出来,你要经过很痛苦的
研磨
冲刷,浸泡要让你身上的杂质不好的习惯
暖阳小薇
·
2023-12-18 10:49
Hadoop
(MapReducer)面试题
一、单选题1、Shuffle中Partitioner分区发生在哪个过程(A)A.溢写过程B.本地MergeC.reduce函数阶段D.map函数阶段2、在整个maprduce运行阶段,数据是以(A)形式存在的A.key/valueB.LongWritableC.TextD.IntWritable3、下列哪个方法提交job任务的入口方法(B)A.JoB.addCacheFile()B.JoB.wai
zyj_369
·
2023-12-18 09:55
Hadoop
hadoop
大数据
Hadoop
系列(8):数据存储之数据分区及放置策略
1、分区的定义及作用定义:将表、索引或索引编排细分为更小的段,数据库对象的每一个段称为区。作用:分区操作可以并行执行;分区之间相互独立,系统可用性高;查询操作可以仅查询部分分区而不是整个数据库。2、分区方式(1)范围分区范围分区:按照数据表中某个值得范围进行分区,根据值得范围决定数据所在分区。主要特点:能够根据数据的范围,将不同范围的数据存储在不同的分区。适用:按照时间范围存储数据的系统(日志)(
顾大静
·
2023-12-18 09:25
分布式系统
99-104-
Hadoop
-MapReduce-排序:
99-
Hadoop
-MapReduce-排序:WritableComparable排序排序是MapReduce框架中最重要的操作之一。MapTask和ReduceTask均会对数据按照key进行排序。
镇魂Boby
·
2023-12-18 09:24
java
大数据
hadoop
hadoop
mapreduce
大数据
Hadoop
的mapreduce之分区Partitioner
1.本文讲讲
Hadoop
的mapreduce之分区Partitioner1.1默认情况下MR输出文件个数在默认情况下,不管map阶段有多少个并发执行task,到reduce阶段,所有的结果都将有一个reduce
严同学正在努力
·
2023-12-18 09:24
hadoop
mapreduce
大数据
java
分布式
Hadoop
_HDFS实践 (一)=>(架构、Shell相关操作、API、NN/2NN工作原理、DataNode工作机制等)
目录
Hadoop
_HDFS、
Hadoop
_MapReduce、
Hadoop
_Yarn实践(一)一、
Hadoop
_HDFS1、概述、背景、优缺点1.1、概述1.2、架构1.3、优缺点1.4、块大小2、HDFS
常名先生
·
2023-12-18 09:23
hadoop
hdfs
mapreduce
Hadoop
_Yarn实践 (三) => (Yarn的基础架构、原理、容量/公平调度器、Tool接口、Yarn常用命令、核心参数)
目录
Hadoop
_HDFS、
Hadoop
_MapReduce、
Hadoop
_Yarn实践(三)一、
Hadoop
_HDFS二、
Hadoop
_MapReduce三、
Hadoop
_Yarn1、Yarn资源调度
常名先生
·
2023-12-18 09:23
hadoop
大数据
hdfs
Hadoop
_MapReduce实践 (二) => (核心架构、序列化、Inputformat/切片、Shuffile/分区/排序、outputformat、join、ETL、压缩)
目录
Hadoop
_HDFS、
Hadoop
_MapReduce、
Hadoop
_Yarn实践(二)一、
Hadoop
_HDFS二、
Hadoop
_MapReduce1、MapReduce概述1.1、MapReduce
常名先生
·
2023-12-18 09:52
hadoop
mapreduce
架构
搭建
Hadoop
集群之环境配置系列-配置静态ip
说在前面的话由于老师给我们学生布置了一个Linux作业,虽然有几个可选的题,但是最后我还是觉得选择
Hadoop
应用开发,毕竟我一直想尝试这个新东西,趁着这个机会学点东西挺好的。
pSomng
·
2023-12-18 09:15
一些小坑
学习笔记
linux
centos
zookeeper和nacos区别是什么,注册中心用zookeeper还是nacos
以下是它们的主要区别:设计目标和适用场景:Zookeeper最初是为
Hadoop
的分布式协调而设计,主要用于服务注册和发现
greedy-hat
·
2023-12-18 07:02
实习
zookeeper
分布式
云原生
Windows10安装
Hadoop
3.1.3环境
Windows10安装
Hadoop
3.1.3环境文章目录1.安装包下载1.1.
hadoop
官网下载1.2下载winutils1.3安装文件2.配置安装2.1安装配置JDK环境2.2解压
hadoop
压缩包
大飞哥~BigFei
·
2023-12-18 07:29
hadoop
Ubuntu-报错
Hadoop
-Eclipse-java:耽误进度的几个报错错误1:桥接模式与NAT模式相互切换后导致两种模式都不能访问互联网(1)具体错误:(2)错误原因:(3)解决方案:(4)问题解决:错误2:Exceptioninthread"main"org.apache.
hadoop
.hdfs.server.namenode.SafeModeException
春风LiuK
·
2023-12-18 06:23
Linux
ubuntu
linux
【Spark面试】Spark面试题&答案
(☆☆☆☆☆)3、简单说一下
hadoop
和spark的shuffle相同和差异?(☆☆☆☆☆)4、Spark工作机制(☆☆☆☆☆)5、Spark的优化怎么做?
话数Science
·
2023-12-18 06:52
面试
Spark
大数据
spark
面试
大数据
【
Hadoop
面试】
Hadoop
面试题汇总附答案
题目介绍下
Hadoop
Hadoop
的特点说下
Hadoop
生态圈组件及其作用
Hadoop
主要分哪几个部分?他们有什么作用?
Hadoop
1.x,2x,3.x的区别
Hadoop
集群工作时启动哪些进程?
话数Science
·
2023-12-18 06:22
大数据
Hadoop
面试
hadoop
面试
大数据
【
Hadoop
面试】HDFS读写流程
HDFS(
Hadoop
DistributedFileSystem)是GFS的开源实现。
话数Science
·
2023-12-18 06:16
大数据
面试
Hadoop
hadoop
hdfs
大数据
hbase
环境安装java坏境centos安装java
hadoop
环境
hadoop
安装hbase配置vi/etc/profile.d/
hadoop
-eco.sh写入:HBASE_HOME=/opt/hbasePATH
心里没有一点AC数
·
2023-12-18 05:31
hbase
hadoop
big
data
十七、如何将MapReduce程序提交到YARN运行
1、启动某个节点的某一个用户
hadoop
@node1:~$jps13025Jps
hadoop
@node1:~$yarn--daemonstartresourcemanager
hadoop
@node1:~
弦之森
·
2023-12-18 04:48
Hadoop
linux
服务器
hdfs
hadoop
mapreduce
大数据
DIY精油口红
精油口红:1.量杯内➕8g多特瑞椰子油+适量色粉,搅拌
研磨
均匀;2.加入3g蜂蜡,隔水加热,搅拌至蜂蜡融化;3.
范晴母乳哺育指导
·
2023-12-18 03:29
Hadoop
(海量数据存储及计算) 基本概念
Hadoop
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
ronmy
·
2023-12-18 02:51
大数据
Hadoop
大数据
海量数据
存储
Hadoop
完全分布式搭建 详细流程
Hadoop
的完全分布式搭建是一项复杂的任务,其中包含了很多步骤和细节。以下是一个简要的流程,供参考:确定
Hadoop
版本和操作系统首先,您需要确定要安装的
Hadoop
版本和所使用的操作系统。
palma_he
·
2023-12-18 01:53
hadoop
Hadoop
入门学习之二:一步一步运行WordCount
WordCount是学习
Hadoop
的经典入门范例。下面通过一步步的操作,来编译、打包、运行WordCount程序。
小_强
·
2023-12-18 00:39
Hadoop
hadoop
wordcount
入门
Hadoop
入门学习之一:Ubuntu12.04下
Hadoop
1.0.4的伪分布式安装
一、安装JDK1、下载并安装sudoapt-getinstallopenjdk-6-jdk(安装JDK7为:sudoapt-getinstallopenjdk-7-jdk)要求输入当前用户密码时输入密码,回车;要求输入YES/NO时,输入YES,回车,一路向下安装完成;2、在命令行输入JAVA-VERSION查看是否安装成功3、配置环境变量编辑文件/etc/profile,在文件最下面加入以下三行
小_强
·
2023-12-18 00:09
Hadoop
hadoop
Hadoop
hadoop1.0.4
ubuntu12.04
伪分布式安装
Hadoop
问题:启动
hadoop
时报namenode未初始化:java.io.IOException: NameNode is not formatted.
1、启动
Hadoop
ubuntu@ubuntu:~/
hadoop
-1.0.4/bin$.
小_强
·
2023-12-18 00:09
Hadoop
hadoop
Hadoop
Namenode
NameNode
namenode
入门
Linux安装
Hadoop
超详细教程
本机的配置环境如下:
Hadoop
(3.1.1)UbuntuLinux(64位系统)二、安装ssh服务ubuntu中默认是没有安装sshserver的,只有sshclient,可以使用如下命令安装:sudoapt
Jagger-Q
·
2023-12-18 00:37
大数据
hadoop
hdfs
提交Application的两种方式
Application的两种方式分别是client方式和cluster方式1.client方式这种方式,Driver进程是在client端启动启动代码样例spark-submit--masterspark://
hadoop
1
0_9f3a
·
2023-12-17 23:54
备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
MySQLhttps://www.mysql.com/软件名称版本ubuntu18.0464位
Hadoop
:
hadoop
-3.1.3.tar.gz3.1.3Jdk:jdk-8u212-linux-x64
Stitch .
·
2023-12-17 22:18
我的大学笔记
MySQL
笔记
大数据
mysql
scala
HBase 使用JDK21
HBase使用JDK21启动zookeeper和
hadoop
创建软件目录mkdir-p/opt/softcd/opt/soft下载软件wgethttps://dlcdn.apache.org/hbase
李昊哲小课
·
2023-12-17 21:40
数据库
大数据
云计算
hbase
数据库
大数据
java
数据分析
MapReduce运行模式
$
HADOOP
_HOME/etc/
hadoop
/mapred-site.xml文件中设置相关配置(默认就是该配置)。
皮卡丘要进化
·
2023-12-17 21:34
Flume在企业大数据仓库中数据收集架构
数据仓库架构文件数据和关系数据企业大数据仓库之数据收集架构||linux企业大数据仓库之数据收集架构||window总结实时收集文件框架有很多,但是其中Flume使用最广泛,主要由于其架构设计和使用简单清晰明了,又支持
Hadoop
明明德撩码
·
2023-12-17 20:45
基于
Hadoop
的智慧社区大数仓库系统设计与开发
基于
Hadoop
的智慧社区大数仓库系统设计与开发DesignandDevelopmentofaSmartCommunityDataWarehouseSystembasedon
Hadoop
目录目录2摘要3
wusp1994
·
2023-12-17 18:45
hadoop
大数据
分布式
分布式文件系统之HDFS
2)HDFS定义HDFS(
Hadoop
Distribu
僖僖cc
·
2023-12-17 17:41
hdfs
hadoop
大数据
分布式数据库HBase
HBase是依赖
Hadoop
的。为什么HBase能存储海量的数据?因为HBase是在HDFS的基础之上构建的,HDFS是分布式文
僖僖cc
·
2023-12-17 17:41
分布式
数据库
hbase
从传统型数据库到非关系型数据库
一什么是数据库数据库顾名思义保存数据的仓库,其本质是一个具有数据存储功能的复杂系统软件,数据库最终把数据保存在计算机硬盘,但数据库并不是直接读写数据在硬盘,而是中间隔了一层操作系统,通过文件系统把数据保存为本地文件系统的数据文件;我们讲过
Hadoop
僖僖cc
·
2023-12-17 17:38
数据库
nosql
上一页
34
35
36
37
38
39
40
41
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他