E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop成长史
Hadoop
集群搭建
搭建
Hadoop
集群涉及多个步骤,包括准备硬件环境、安装和配置
Hadoop
以及验证集群的安装。
终将老去的穷苦程序员
·
2024-02-04 19:53
hadoop
HDFS常用命令
hdfsdfs-putwc.input/user/anna/input查看上传的文件是否正确bin/hdfsdfs-cat/user/anna/input/wc.input运行mapreduce程序bin/
hadoop
jarshar
须臾之北
·
2024-02-04 18:41
Fink CDC数据同步(六)数据入湖Hudi
数据入湖HudiApacheHudi(简称:Hudi)使得您能在
hadoop
兼容的存储之上存储大量数据,同时它还提供两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。
大数据_苡~
·
2024-02-04 16:21
flink
hadoop
如何解决“
hadoop
:未找到命令”?
原因是未将
hadoop
命令添加至执行路径。
听风347
·
2024-02-04 15:17
eclipse
hadoop
大数据
做大数据需要学习哪些东西啊
Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解
hadoop
、hi
kuntoria
·
2024-02-04 14:02
大数据技术未来发展前景及趋势分析
Storm加速了流数据处理的过程,为
Hadoop
批处理提供实时数据处理。Spark:Spark是一个兼容
Hadoop
数据源的内存数据处理平台,运行速度相比于
Hadoop
MapReduce更快。
丨程序之道丨
·
2024-02-04 12:54
django基于
Hadoop
的小额信贷平台系统(程序+开题)
本系统(程序+源码+数据库+调试部署+开发环境)带文档lw万字以上,文末可获取系统程序文件列表开题报告内容研究背景:随着互联网技术的快速发展,小额信贷平台系统在金融领域得到了广泛应用。传统的小额信贷模式存在信息不对称、审批流程繁琐等问题,而小额信贷平台系统通过整合用户、银行和信贷公示等多方资源,实现了借款申请、撤销借款以及用户信用分等功能,为用户提供了更加便捷和高效的金融服务。意义:小额信贷平台系
liu10662
·
2024-02-04 12:36
django
python
后端
Hbase2.1 集群搭建
>Hbase在大数据的体系中扮演着DB角色,不得不说是重要的一员,在上一篇,大猪已经给大家演示了[
Hadoop
3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki4
·
2024-02-04 11:08
Ranger-Yarn插件安装
登陆hdfs安装的用户,garrison/zdh1234(用户组
hadoop
),获取安装包解压安装scp/home/backup/ranger/ranger-0.6.0-yarn-plugin.tar.gz.tar–zxvfr
木木与呆呆
·
2024-02-04 10:22
Hadoop
详解
架构设计NameNodeNameNode:文件系统的命名空间(面试题)1.文件名称2.文件目录结构3.文件的属性(权限创建时间副本数)4.文件对应哪些数据块-->数据块对应哪些分布在哪些DN节点上列表不会持久化存储这个映射关系,是通过集群的启动和运行时,DataNode定期发送blockReport给NameNode,以此NameNode在【内存】中动态维护这种映射关系。作用:管理文件系统的命名空
ly稻草
·
2024-02-04 09:34
Hadoop
3.x基础(3)- Yarn
来源:B站尚硅谷目录Yarn资源调度器Yarn基础架构Yarn工作机制作业提交全过程Yarn调度器和调度算法先进先出调度器(FIFO)容量调度器(CapacityScheduler)公平调度器(FairScheduler)Yarn常用命令yarnapplication查看任务yarnlogs查看日志yarnapplicationattempt查看尝试运行的任务yarncontainer查看容器ya
魅美
·
2024-02-04 09:36
大数据基础
大数据
hadoop
转载-58同城离线计算平台设计与实践
58同城离线计算平台设计与实践编者荐语:58离线计算平台基于
Hadoop
生态体系打造,单集群4000+台服务器,数百PB存储,日40万计算任务,面临挑战极大。
无色的叶
·
2024-02-04 09:14
完结,从零开始学python(十八)想成为一名APP逆向工程师,需要掌握那些技术点?
我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+Matplotlib
Hadoop
Spark5
爬完虫变成龙
·
2024-02-04 07:52
python
python开发
APP逆向
python
开发语言
python爬虫
python开发
java
APP逆向
NDK
Hive 主要内容一览
Hadoop
使用HDFS进行存储,使
大数据左右手
·
2024-02-04 07:13
Hive
大数据
面试
大数据
大数据本地环境搭建03-Spark搭建
需要提前部署好Zookeeper/
Hadoop
/Hive环境1Local模式1.1上传压缩包下载链接链接:https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?
OnePandas
·
2024-02-04 06:31
Spark
大数据集群环境搭建
大数据
spark
分布式
Hadoop
大数据实战系列文章之Hive
hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据可以将
测试帮日记
·
2024-02-04 05:45
spark运维问题记录
环境:spark-2.1.0-bin-
hadoop
2.71.Spark启动警告:neitherspark.yarn.jarsnotspark.yarn.archiveisset,fallingbacktouploadinglibrariesunderSPARK_HOME
lishengping_max
·
2024-02-04 05:11
Spark
spark
解决“Spark context stopped while waiting for backend“ issue
在配置为4C16G的虚拟机上安装
hadoop
生态全家桶,在安装Spark2,使用了社区版2.3的版本。
江畔独步
·
2024-02-04 05:10
Spark
bigdata
大数据组件部署下载链接
Hadoop
2.7下载连接:https://archive.apache.org/dist/
hadoop
/core/
hadoop
-2.7.6/Hive2.3.2下载连接:http://archive.apache.org
运维道上奔跑者
·
2024-02-04 05:13
大数据
zookeeper
hbase
kafka
hadoop
hive
【大数据开发运维解决方案】
Hadoop
+Hive+HBase+Kylin 伪分布式安装指南
Hadoop
2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意:######################################
运维道上奔跑者
·
2024-02-04 05:43
大数据
hadoop
分布式
Hadoop
2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测
#################################################################最新消息:关于spark和Hudi的安装部署文档,本人已经写完,连接:
Hadoop
2.7.6
运维道上奔跑者
·
2024-02-04 05:43
分布式
hbase
zookeeper
hadoop
2021-07-02
Hadoop
集群构建配主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=
hadoop
012.配置IP映射vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
谢尔比比
·
2024-02-04 02:40
笔记
一个93年女孩的辛酸且又快乐的
成长史
今天早上的话起来是9点多,还是下雨,所以早上是没有起来跑步,每次我早上起来总觉得,嗯就一定要赖个床,是非常不好的一个习惯。但起来的时候好困啊,这是为什么呀?今天早上去剪了一个头发,实在无法忍受自己的一个头发,比较凌乱地搭在后面,我觉得还是要干练一点比较好一些,而且的话比较好打理。你就不用管他什么,短发的话就比较干净利落一点。那个理发师。在剪我头发的时候咔嚓咔嚓好听的心有点慌,我就怕他把头发给剪得特
耳朵0516
·
2024-02-04 00:13
hadoop
、spark、flink集群修改默认ssh端口号
大数据集群在实际搭建过程中,其默认ssh端口不一定都是22,这时需要根据各自的配置文件进行适配。ssh端口号默认为22,以centos7.x为例,可以在/etc/ssh/sshd_config中进行修改,如下示例将22改为22222:#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链
·
2024-02-03 21:12
大数据
分布式技术
ssh
hadoop
spark
flink
Zookeeper集群安装
简介ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件。
万总有点菜
·
2024-02-03 21:14
2019-10-08 大数据开发进阶之路
市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握
Hadoop
生态主流技术,如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术,如Spark架构/RDD
红瓦李
·
2024-02-03 20:39
Hadoop
框架下MapReduce中的map个数如何控制
一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为:一、将待处理的文件进行逻辑切片(根据处理数据文件的大小,划分多个split),然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下:1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
piziyang12138
·
2024-02-03 20:13
Hadoop
MapReduce 各阶段理解
Hadoop
的MapReduce是一个很经典的分布式并行计算框架,一直对各个阶段的具体含义有些模糊。花时间看了下stackoverflow上的理解,记录一下。
phusFuNs
·
2024-02-03 16:10
阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,
Hadoop
、Spark集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择,
阿里云最新优惠和活动汇总
·
2024-02-03 15:07
hadoop
2.0之环境搭建详细流程
1、在安装
hadoop
2.0之前,需要准备好以下软件(如下图1)图1:然后将这两个软件共享到centos上(如下图2红箭头指向和图3红箭头指向所示)在vm这上面有个虚拟机,点击虚拟机后有个硬件和选项,点选项
hhf_Engineer
·
2024-02-03 14:51
hadoop
使用公平调度器
数据量不大,做离线一个晚上就能轻松调度完,那时候使用的
hadoop
自带的调度器,容量调度器。但默认配置没有改,就会发生什么!root主leaf下面只有default。
向他一样rap
·
2024-02-03 13:22
kylin
hadoop
hadoop
大数据
分布式
我的地推
成长史
(十五)
做地推半个月过去了,我今天才真的意识到了什么叫做状态好。上午九点半下去开始工作,到一点半吃饭,我全程没有坐过,也没有想过要去坐。一点儿偷懒的念头都没有,甚至脸上一直还挂着甜甜的笑容,跟自己捡到宝了一样。团队中的姐姐还说我今天走路都带风,那样的自己,我真的好喜欢。三点店长叫我们全部回馆打电话,打到六点多,让我们下楼吃饭,然后七点开始准时派单。七点开始到现在,我也没有想过要和往常一样想找个地方坐下来偷
覃家有女初长成
·
2024-02-03 11:38
【数据开发】pyspark入门与RDD编程
spark与pyspark的关系spark是一种计算引擎,类似于
hadoop
架构下mapreduce,与mapr
小哈里
·
2024-02-03 08:58
#
后端开发
python
spark
pyspark
后端
大数据
(四)hive的搭建2
1.元数据服务的方式1.1编辑hive-site.xmlsudovihive-site.xml在文件最后增加以下内容hive.metastore.uristhrift://
hadoop
-master:90831.2
调试大师
·
2024-02-03 08:18
大数据
Hadoop
hive
hadoop
数据仓库
(三)
hadoop
之hive的搭建1
下载访问官方网站https://hive.apache.org/点击downloads点击Downloadareleasenow!点击https://dlcdn.apache.org/hive/选择最新的稳定版复制最新的url在linux执行下载命令wgethttps://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz2.
调试大师
·
2024-02-03 08:48
Hadoop
大数据
hadoop
hive
大数据
hadoop
50070 无法访问问题解决汇总
解决办法1:[root@djt002
hadoop
]#vi/etc/selinux/config改为:SELINUX=disabled解决办法2:查看你的$
HADOOP
_HOME/etc/
hadoop
下的
無法複制
·
2024-02-03 08:13
linux
hadoop
Hadoop
:学习HDFS,看完这篇就够了!
HDFS(
Hadoop
DistributedFileSystem)是Apache
Hadoop
生态系统中的分布式文件系统,用于存储和处理大规模数据集。
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
学习
hdfs
大数据
云计算
Hadoop
:HDFS学习巩固——基础习题及编程实战
一HDFS选择题1.对HDFS通信协议的理解错误的是?A.客户端与数据节点的交互是通过RPC(RemoteProcedureCall)来实现的B.HDFS通信协议都是构建在IoT协议基础之上的C.名称节点和数据节点之间则使用数据节点协议进行交互D.客户端通过一个可配置的端口向名称节点主动发起TCP连接,并使用客户端协议与名称节点进行交互BHDFS通信协议构建在TCP/IP协议基础之上2.HDFS的
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
hdfs
学习
hadoop
3.x 案例5:Flink SQL运行报错
文章目录一.问题描述二.解决方案参考:一.问题描述启动yarnsession后,运行FlinkSQL,报错。命令:--启动yarn-session/home/flink-1.15.2/bin/yarn-session.sh-d--在yarnsession模式下启动flinksql/home/flink-1.15.2/bin/sql-client.shembedded-syarn-session--
只是甲
·
2024-02-03 06:31
大数据和数据仓库
#
Hadoop大数据平台
sql
hadoop
flink
apache
hadoop
2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)
工作需要,要开始搞
hadoop
了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。
夜魔009
·
2024-02-03 00:56
技术
windows8
hadoop
64bit
库
hdfs
Hadoop
生态圈-组件介绍
Hadoop
是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。
Hadoop
的核心组件是HDFS、MapReduce。
苏尔伯特
·
2024-02-03 00:19
测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)
vim/etc/hostnamexdso-
hadoop
-test-001vim/etc/hosts192.168.50.60xdso-
hadoop
-test-001192.168.50.61xdso-ha
宇智波云
·
2024-02-03 00:15
大数据项目
大数据
搭建
hadoop
单机环境
hadoop
笔记sbin:一些启动脚本【服务端的serverbin】logs:存放
hadoop
相关日志bin:客户端的脚本etc:
hadoop
相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P
.Passion
·
2024-02-02 23:12
hadoop
hadoop
hdfs
大数据
Hadoop
单机环境搭建
Hadoop
单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压
Hadoop
五、配置
Hadoop
环境变量六、修改
Hadoop
配置文件七、关闭防火墙八、初始化九、启动十、Yarn
三暮辰
·
2024-02-02 23:42
Hadoop
hadoop
大数据
docker搭建单机
hadoop
docker搭建单机
hadoop
前言一、docker是什么?二、
hadoop
是什么?
阿桔是只猫
·
2024-02-02 23:41
大数据
hadoop
docker
大数据
手把手教
Hadoop
环境搭建,学不会你咬我~
之前后台小伙伴私信我想了解
hadoop
的单机环境安装,以方便用于
hadoop
学习,今天给大家安排上了,废话不多说,直接上干货。
程序IT圈
·
2024-02-02 23:11
hadoop
jdk
linux
centos
hdfs
hadoop
单机模式搭建
1.新建虚拟机给虚拟机命名,选择存放路径接着指定磁盘大小,因为我们不止搭建单机模式还要搭建伪分布模式,这里我们选择80G这里会看到创建虚拟机完成,我们点击自定义硬件,选择合适的内存,处理器,还有映像文件,这里我们用不到声卡和打印机可以给他移除根据自己电脑配置选择合适的,这里我们选择完之后是这样的然后我们开启虚拟机
H6666W
·
2024-02-02 23:10
hadoop
hadoop
java
大数据
HADOOP
_MAPRED_HOME=${full path of your
hadoop
distribution directory}
场景在
Hadoop
3.13的YARN上运行MapReduce报错信息终端界面提示FAILED:ExecutionError,returncode2fromorg.apache.
hadoop
.hive.ql.exec.mr.MapRedTask
小基基o_O
·
2024-02-02 23:10
Hadoop
单机搭建
hadoop
环境(包括hdfs、yarn、hive)
单机可以搭建伪分布式
hadoop
环境,用来测试和开发使用,
hadoop
包括:hdfs服务器yarn服务器,yarn的前提是hdfs服务器,在前面两个的基础上,课可以搭建hive服务器,不过hive不属于
howard_shooter
·
2024-02-02 23:39
大数据
hadoop
大数据
分布式
Hadopp未授权访问导致RCE
前言:
Hadoop
是一个开源的分布式计算框架,用于处理大规模数据集的存储和处理。
安鸾彭于晏
·
2024-02-02 22:27
web安全
安全
网络
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他