E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop管理命令
1.0
Hadoop
教程
Hadoop
是一个开源的分布式计算和存储框架,由Apache基金会开发和维护。
二当家的素材网
·
2024-02-05 06:38
Hadoop
教程
hadoop
大数据
分布式
3.0
Hadoop
概念
本章着重介绍
Hadoop
中的概念和组成部分,属于理论章节。如果你比较着急可以跳过。但作者不建议跳过,因为它与后面的章节息息相关。
二当家的素材网
·
2024-02-05 06:38
Hadoop
教程
hadoop
大数据
分布式
基于
hadoop
+spark的大规模日志的一种处理方案
而且CDN上的访问日志一般都非常大,需要用大数据处理架构来进行处理,本文描述了一种利用
hadoop
+spark来处理大量CDN日志的方法,当然本方
码农心语
·
2024-02-05 06:36
日志处理
大规模
大数据
hadoop
spark
cdn
linux中如何输入控制字符
看以下实例:以下文本中的字段用^A分隔,[leo@
hadoop
orgplan]$sed"s/^A//g"orgplan一定要注意^并不是数字键6上的
发狂的蜗牛
·
2024-02-05 01:47
linux
运维
服务器
Flink1.18.0集成Yarn-session模式部署
上次部署了
Hadoop
集群
Hadoop
3.3.6(HDFS、YARN、MapReduce)完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是:客户端把Flink应用提交给Yarn的ResourceManager
china-zhz
·
2024-02-04 21:34
flink
yarn
hadoop
大数据
Hadoop
3.3.6(HDFS、YARN、MapReduce)完全分布式集群安装搭建
目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、
Hadoop
部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件
china-zhz
·
2024-02-04 21:33
hdfs
mapreduce
hadoop
yarn
企业级大数据安全架构(九)FreeIPA管理员密码忘记后如何修改
作者:楼高1重置DirectoryServer管理员密码1.1停止directoryserver服务[root@ipaschema]#start-dirsrvHDP-
HADOOP
如果你不知道你的实例名,
云掣YUNCHE
·
2024-02-04 20:36
企业级大数据安全架构
大数据
安全架构
安全
Hadoop
集群搭建
搭建
Hadoop
集群涉及多个步骤,包括准备硬件环境、安装和配置
Hadoop
以及验证集群的安装。
终将老去的穷苦程序员
·
2024-02-04 19:53
hadoop
HDFS常用命令
hdfsdfs-putwc.input/user/anna/input查看上传的文件是否正确bin/hdfsdfs-cat/user/anna/input/wc.input运行mapreduce程序bin/
hadoop
jarshar
须臾之北
·
2024-02-04 18:41
Fink CDC数据同步(六)数据入湖Hudi
数据入湖HudiApacheHudi(简称:Hudi)使得您能在
hadoop
兼容的存储之上存储大量数据,同时它还提供两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。
大数据_苡~
·
2024-02-04 16:21
flink
hadoop
如何解决“
hadoop
:未找到命令”?
原因是未将
hadoop
命令添加至执行路径。
听风347
·
2024-02-04 15:17
eclipse
hadoop
大数据
做大数据需要学习哪些东西啊
Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解
hadoop
、hi
kuntoria
·
2024-02-04 14:02
大数据技术未来发展前景及趋势分析
Storm加速了流数据处理的过程,为
Hadoop
批处理提供实时数据处理。Spark:Spark是一个兼容
Hadoop
数据源的内存数据处理平台,运行速度相比于
Hadoop
MapReduce更快。
丨程序之道丨
·
2024-02-04 12:54
django基于
Hadoop
的小额信贷平台系统(程序+开题)
本系统(程序+源码+数据库+调试部署+开发环境)带文档lw万字以上,文末可获取系统程序文件列表开题报告内容研究背景:随着互联网技术的快速发展,小额信贷平台系统在金融领域得到了广泛应用。传统的小额信贷模式存在信息不对称、审批流程繁琐等问题,而小额信贷平台系统通过整合用户、银行和信贷公示等多方资源,实现了借款申请、撤销借款以及用户信用分等功能,为用户提供了更加便捷和高效的金融服务。意义:小额信贷平台系
liu10662
·
2024-02-04 12:36
django
python
后端
Hbase2.1 集群搭建
>Hbase在大数据的体系中扮演着DB角色,不得不说是重要的一员,在上一篇,大猪已经给大家演示了[
Hadoop
3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki4
·
2024-02-04 11:08
Ranger-Yarn插件安装
登陆hdfs安装的用户,garrison/zdh1234(用户组
hadoop
),获取安装包解压安装scp/home/backup/ranger/ranger-0.6.0-yarn-plugin.tar.gz.tar–zxvfr
木木与呆呆
·
2024-02-04 10:22
Hadoop
详解
架构设计NameNodeNameNode:文件系统的命名空间(面试题)1.文件名称2.文件目录结构3.文件的属性(权限创建时间副本数)4.文件对应哪些数据块-->数据块对应哪些分布在哪些DN节点上列表不会持久化存储这个映射关系,是通过集群的启动和运行时,DataNode定期发送blockReport给NameNode,以此NameNode在【内存】中动态维护这种映射关系。作用:管理文件系统的命名空
ly稻草
·
2024-02-04 09:34
Hadoop
3.x基础(3)- Yarn
来源:B站尚硅谷目录Yarn资源调度器Yarn基础架构Yarn工作机制作业提交全过程Yarn调度器和调度算法先进先出调度器(FIFO)容量调度器(CapacityScheduler)公平调度器(FairScheduler)Yarn常用命令yarnapplication查看任务yarnlogs查看日志yarnapplicationattempt查看尝试运行的任务yarncontainer查看容器ya
魅美
·
2024-02-04 09:36
大数据基础
大数据
hadoop
转载-58同城离线计算平台设计与实践
58同城离线计算平台设计与实践编者荐语:58离线计算平台基于
Hadoop
生态体系打造,单集群4000+台服务器,数百PB存储,日40万计算任务,面临挑战极大。
无色的叶
·
2024-02-04 09:14
完结,从零开始学python(十八)想成为一名APP逆向工程师,需要掌握那些技术点?
我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+Matplotlib
Hadoop
Spark5
爬完虫变成龙
·
2024-02-04 07:52
python
python开发
APP逆向
python
开发语言
python爬虫
python开发
java
APP逆向
NDK
Hive 主要内容一览
Hadoop
使用HDFS进行存储,使
大数据左右手
·
2024-02-04 07:13
Hive
大数据
面试
大数据
大数据本地环境搭建03-Spark搭建
需要提前部署好Zookeeper/
Hadoop
/Hive环境1Local模式1.1上传压缩包下载链接链接:https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?
OnePandas
·
2024-02-04 06:31
Spark
大数据集群环境搭建
大数据
spark
分布式
Hadoop
大数据实战系列文章之Hive
hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据可以将
测试帮日记
·
2024-02-04 05:45
spark运维问题记录
环境:spark-2.1.0-bin-
hadoop
2.71.Spark启动警告:neitherspark.yarn.jarsnotspark.yarn.archiveisset,fallingbacktouploadinglibrariesunderSPARK_HOME
lishengping_max
·
2024-02-04 05:11
Spark
spark
解决“Spark context stopped while waiting for backend“ issue
在配置为4C16G的虚拟机上安装
hadoop
生态全家桶,在安装Spark2,使用了社区版2.3的版本。
江畔独步
·
2024-02-04 05:10
Spark
bigdata
大数据组件部署下载链接
Hadoop
2.7下载连接:https://archive.apache.org/dist/
hadoop
/core/
hadoop
-2.7.6/Hive2.3.2下载连接:http://archive.apache.org
运维道上奔跑者
·
2024-02-04 05:13
大数据
zookeeper
hbase
kafka
hadoop
hive
【大数据开发运维解决方案】
Hadoop
+Hive+HBase+Kylin 伪分布式安装指南
Hadoop
2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意:######################################
运维道上奔跑者
·
2024-02-04 05:43
大数据
hadoop
分布式
Hadoop
2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测
#################################################################最新消息:关于spark和Hudi的安装部署文档,本人已经写完,连接:
Hadoop
2.7.6
运维道上奔跑者
·
2024-02-04 05:43
分布式
hbase
zookeeper
hadoop
2021-07-02
Hadoop
集群构建配主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=
hadoop
012.配置IP映射vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
谢尔比比
·
2024-02-04 02:40
笔记
hadoop
、spark、flink集群修改默认ssh端口号
大数据集群在实际搭建过程中,其默认ssh端口不一定都是22,这时需要根据各自的配置文件进行适配。ssh端口号默认为22,以centos7.x为例,可以在/etc/ssh/sshd_config中进行修改,如下示例将22改为22222:#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链
·
2024-02-03 21:12
大数据
分布式技术
ssh
hadoop
spark
flink
Zookeeper集群安装
简介ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件。
万总有点菜
·
2024-02-03 21:14
2019-10-08 大数据开发进阶之路
市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握
Hadoop
生态主流技术,如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术,如Spark架构/RDD
红瓦李
·
2024-02-03 20:39
Hadoop
框架下MapReduce中的map个数如何控制
一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为:一、将待处理的文件进行逻辑切片(根据处理数据文件的大小,划分多个split),然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下:1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
piziyang12138
·
2024-02-03 20:13
Hadoop
MapReduce 各阶段理解
Hadoop
的MapReduce是一个很经典的分布式并行计算框架,一直对各个阶段的具体含义有些模糊。花时间看了下stackoverflow上的理解,记录一下。
phusFuNs
·
2024-02-03 16:10
阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格
2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8,这种配比的云服务器一般适用于数据分析与挖掘,
Hadoop
、Spark集群和数据库,缓存等内存密集型场景,因此,多为企业级用户选择,
阿里云最新优惠和活动汇总
·
2024-02-03 15:07
hadoop
2.0之环境搭建详细流程
1、在安装
hadoop
2.0之前,需要准备好以下软件(如下图1)图1:然后将这两个软件共享到centos上(如下图2红箭头指向和图3红箭头指向所示)在vm这上面有个虚拟机,点击虚拟机后有个硬件和选项,点选项
hhf_Engineer
·
2024-02-03 14:51
hadoop
使用公平调度器
数据量不大,做离线一个晚上就能轻松调度完,那时候使用的
hadoop
自带的调度器,容量调度器。但默认配置没有改,就会发生什么!root主leaf下面只有default。
向他一样rap
·
2024-02-03 13:22
kylin
hadoop
hadoop
大数据
分布式
【数据开发】pyspark入门与RDD编程
spark与pyspark的关系spark是一种计算引擎,类似于
hadoop
架构下mapreduce,与mapr
小哈里
·
2024-02-03 08:58
#
后端开发
python
spark
pyspark
后端
大数据
(四)hive的搭建2
1.元数据服务的方式1.1编辑hive-site.xmlsudovihive-site.xml在文件最后增加以下内容hive.metastore.uristhrift://
hadoop
-master:90831.2
调试大师
·
2024-02-03 08:18
大数据
Hadoop
hive
hadoop
数据仓库
(三)
hadoop
之hive的搭建1
下载访问官方网站https://hive.apache.org/点击downloads点击Downloadareleasenow!点击https://dlcdn.apache.org/hive/选择最新的稳定版复制最新的url在linux执行下载命令wgethttps://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz2.
调试大师
·
2024-02-03 08:48
Hadoop
大数据
hadoop
hive
大数据
hadoop
50070 无法访问问题解决汇总
解决办法1:[root@djt002
hadoop
]#vi/etc/selinux/config改为:SELINUX=disabled解决办法2:查看你的$
HADOOP
_HOME/etc/
hadoop
下的
無法複制
·
2024-02-03 08:13
linux
hadoop
Hadoop
:学习HDFS,看完这篇就够了!
HDFS(
Hadoop
DistributedFileSystem)是Apache
Hadoop
生态系统中的分布式文件系统,用于存储和处理大规模数据集。
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
学习
hdfs
大数据
云计算
Hadoop
:HDFS学习巩固——基础习题及编程实战
一HDFS选择题1.对HDFS通信协议的理解错误的是?A.客户端与数据节点的交互是通过RPC(RemoteProcedureCall)来实现的B.HDFS通信协议都是构建在IoT协议基础之上的C.名称节点和数据节点之间则使用数据节点协议进行交互D.客户端通过一个可配置的端口向名称节点主动发起TCP连接,并使用客户端协议与名称节点进行交互BHDFS通信协议构建在TCP/IP协议基础之上2.HDFS的
爱写代码的July
·
2024-02-03 08:09
大数据与云计算
hadoop
hdfs
学习
hadoop
3.x 案例5:Flink SQL运行报错
文章目录一.问题描述二.解决方案参考:一.问题描述启动yarnsession后,运行FlinkSQL,报错。命令:--启动yarn-session/home/flink-1.15.2/bin/yarn-session.sh-d--在yarnsession模式下启动flinksql/home/flink-1.15.2/bin/sql-client.shembedded-syarn-session--
只是甲
·
2024-02-03 06:31
大数据和数据仓库
#
Hadoop大数据平台
sql
hadoop
flink
第十一章 网络管理
考点:1、网络管理体系架构2、SNMPV1,V2,V3(重点)3、MIB,ROMCN4、网络
管理命令
(重点)1、网络管理基础1.1网络管理体系结构网络管理软件VS网络监控软件网络管理五大功能域:故障管理
@睡眠艺术家
·
2024-02-03 05:17
软考网络工程师(中级)
笔记
apache
hadoop
2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)
工作需要,要开始搞
hadoop
了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。
夜魔009
·
2024-02-03 00:56
技术
windows8
hadoop
64bit
库
hdfs
Hadoop
生态圈-组件介绍
Hadoop
是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。
Hadoop
的核心组件是HDFS、MapReduce。
苏尔伯特
·
2024-02-03 00:19
测试环境搭建整套大数据系统(一:基础配置,修改hostname,hosts,免密,时间同步)
vim/etc/hostnamexdso-
hadoop
-test-001vim/etc/hosts192.168.50.60xdso-
hadoop
-test-001192.168.50.61xdso-ha
宇智波云
·
2024-02-03 00:15
大数据项目
大数据
搭建
hadoop
单机环境
hadoop
笔记sbin:一些启动脚本【服务端的serverbin】logs:存放
hadoop
相关日志bin:客户端的脚本etc:
hadoop
相关的配置文件格式化文件系统配置免密码登录ssh-keygen-trsa-P
.Passion
·
2024-02-02 23:12
hadoop
hadoop
hdfs
大数据
Hadoop
单机环境搭建
Hadoop
单机环境搭建一、jdk环境二、IP地址和主机名映射三、生成公私钥授权四、下载解压
Hadoop
五、配置
Hadoop
环境变量六、修改
Hadoop
配置文件七、关闭防火墙八、初始化九、启动十、Yarn
三暮辰
·
2024-02-02 23:42
Hadoop
hadoop
大数据
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他