E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
【hadoop】
Hadoop
安装笔记2单机/伪分布式配置_
Hadoop
3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
紧接着上一篇博客:
Hadoop
安装笔记1:
Hadoop
安装笔记1单机/伪分布式配置_
Hadoop
3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理-CSDN
Stitch .
·
2023-12-29 02:00
我的大学笔记
Hadoop
linux
hadoop
jvm
Spark 集群搭建
yarn-site.xmlspark-env.sh官网求π(PI)案例启动spark-shell通过浏览器查看显示查看Spark的网页信息展示搭建前准备下载地址:Indexof/dist/spark(apache.org)配置好
hadoop
撕得失败的标签
·
2023-12-29 00:42
大数据技术
spark
大数据
分布式
hadoop
yarn
hdfs
[BUG]
Hadoop
-3.3.4集群yarn管理页面子队列不显示任务
1.问题描述使用yarn调度任务时,在CapacityScheduler页面上单击叶队列(或子队列)时,不会显示应用程序任务信息,root队列可以显示任务。此外,FairScheduler页面是正常的。Nomatchingrecordsfound2.原因分析CapacitySchedulerPage中使用的$(‘#apps’).dataTable().fnFilter基于索引值为4的列进行筛选(索
tuoluzhe8521
·
2023-12-29 00:00
Hadoop
bug
hadoop
大数据
yarn
最全
Hadoop
实际生产集群高可用搭建
1.环境准备1.1集群规划序号bigdata-001bigdata-002bigdata-003bigdata-004bigdata-005IPxxxxxxxxxxxxxxx组件
hadoop
1
hadoop
2
hadoop
3
hadoop
4
hadoop
5
tuoluzhe8521
·
2023-12-29 00:30
Hadoop
hadoop
大数据
hdfs
yarn
spark
大数据技术之
Hadoop
入门一
1.从
Hadoop
框架讨论大数据生态名字起源该项目的创建者,DougCutting解释
Hadoop
的得名:“这个名字是我孩子给一个棕黄色的大象玩具命名的项目起源
Hadoop
由ApacheSoftwareFoundation
在远方的你等我
·
2023-12-28 19:54
How to solve gzip: stdin: not in gzip format error
目录一.问题说明二.问题解决三.命令复习一.问题说明当执行tar-xzf/tmp/
hadoop
-3.3.5.tar.gz-C/home/taiyi/yarn命令时出现:gzip:stdin:notingzipformattar
roman_日积跬步-终至千里
·
2023-12-28 19:11
linux
linux
服务器
运维
ClickHouse基础知识(二):ClickHouse 安装教程
1.准备工作1.1确定防火墙处于关闭状态1.2CentOS取消打开文件数限制(1)在
hadoop
101的/etc/security/limits.conf文件的末尾加入以下内容sudovim/etc/security
依晴无旧
·
2023-12-28 18:30
大数据
clickhouse
大数据
三台CentOS7.6虚拟机搭建
Hadoop
完全分布式集群(一)
1.安装CentOS7.6虚拟机1.1安装完虚拟机发现没有sudo命令和
hadoop
用户执行命令失败我在安装CentOS7.6虚拟机后,我发现不能执行sudo命令,同时
hadoop
用户执行命令失败。
666-LBJ-666
·
2023-12-28 18:55
大数据
分布式
hadoop
大数据
数据仓库架构以及数据模型的设计
分别是:数据仓库技术、
Hadoop
。当数据为
添柴少年yyds
·
2023-12-28 18:24
数据仓库
架构
数据库
linux服务网卡速率查看,linux 下查看网卡工作速率
[root@
hadoop
058~]#mii-tooleth0:negotiated100baseTx-FD,linkok100Mlinux下查看网卡工作速率Ethtool是用于查询及设置网卡参数的命令。
Reset12138
·
2023-12-28 18:22
linux服务网卡速率查看
(赠源码)java+mysql
hadoop
高校固定资产管理系统74965-计算机毕业设计项目选题推荐
摘要在信息飞速发展的今天,网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布,为此,高校固定资产管理系统开发的必然性,所以本人开发了一个基于Tomcat(服务器)模式的高校固定资产管理系统,该系统以B/S/Java语言、MySql数据库等为开发技术,实现了添加、修改、查看、删除系统数据。本系统采取组件化的方式对系统进行拆分,并对数据库中各个表的增删查改、表与表之间的约束关
bysjlw985
·
2023-12-28 17:57
java
mysql
hadoop
python
小程序
spring
php
macOS
hadoop
+spark+scala安装教程
macOS
hadoop
+spark+scala安装教程环境搭建操作系统:macOS10.13.6JDK:1.8.0_201
hadoop
:2.8.5Spark:2.4.3Scala:2.13.0一、文件准备
飞翔客栈
·
2023-12-28 15:43
Flink开发利器StreamX
背景
Hadoop
体系虽然在目前应用非常广泛,但架构繁琐、运维复杂度过高、版本升级困难,且由于部门原因,数据中台需求排期较长,我们急需探索敏捷性开发的数据平台模式。
Apache StreamPark
·
2023-12-28 15:34
StreamX
Flink
flink
大数据
big
data
Hadoop
:Flink on Yarn服务配置与设置
于是打算单独配置服务下载两个文件文件flink-1.10.1文件:https://archive.apache.org/dist/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz
Hadoop
william_cheng666
·
2023-12-28 13:14
Hadoop
hadoop
flink
Apache Flink 1.14.4 on yarn ha环境搭建
本地单机模式,学习测试时使用Standalone—独立集群模式,Flink自带集群,开发测试环境使用StandaloneHA—独立集群高可用模式,Flink自带集群,开发测试环境使用OnYarn—计算资源统一由
Hadoop
YARN
一位搬砖工
·
2023-12-28 13:14
flink
flink
Flink1.8 on yarn 环境搭建及使用
tgz,然后解压下载地址https://flink.apache.org/downloads.html或https://www.apache.org/dyn/closer.lua/flink/二、下载
hadoop
magic_kid_2010
·
2023-12-28 13:42
Flink
flink1.8
yarn
HDFS 短路读的实现(全网最全面深入讲解)
文章目录前言1.知识准备1.1关于域套接字(DomainSocket)什么是DomainSocketDomainSocket通信在ShortCircuitRead中做了什么DomainSocket在
Hadoop
小昌昌的博客
·
2023-12-28 13:38
大数据架构
实现
hadoop
java
短路读
hdfs
ShortCircuit
hadoop
域套接字
Domain
Socket
mmap
Hadoop
2.4 完全分布式环境安装与配置
依赖项Java1.从http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html下载tar.gz格式的,32位和64位机器对应下载,这里下的是64位的wgethttp://download.oracle.com/otn-pub/java/jdk/7u51-b13/jdk-7u51-linux-
王下邀月熊-WxChevalier
·
2023-12-28 13:06
hadoop
2.4
yarn
hdfs
mapreduce
springboot远程连接HDFS-
hadoop
3.0
一.
hadoop
前置环境:
hadoop
3.0+CDH6.1这里默认已经在linux环境配置好;如何安装hodoop不在本次范围内;注意:此时集群没有开启Kerberos认证我的环境:win10+IDEA2019.3
尚云峰
·
2023-12-28 13:33
spring
boot
springboot
hadoop
HDFS
java.net.UnknownHostException:
hadoop
搭建完成
hadoop
使用zookeeper作为群集管理器的HA后。用eclipse客户端连接
hadoop
。
綠竹清水之福荫
·
2023-12-28 13:33
hadoop
mycluster
hadoopha
hadoopclu
Hadoop
源码分析---Namenode和Datanode
一、
Hadoop
RPC框架1.
hadoop
ipc框架代码位于org.apache.
hadoop
.ipc包内,有一个抽象类Server,实现监听服务的功能。
编程小王子啊
·
2023-12-28 13:33
CSDN大数据专栏
java
hadoop
大数据
hdfs
hadoop
面试问题
1当前你们公司使用的
Hadoop
版本是什么
Hadoop
cdh-5.7.6/
hadoop
-2.6.02HDFS常见的数据压缩格式有哪些,介绍其中一种详细的实现方式Gzip优点是压缩率高,速度快。
code学习社
·
2023-12-28 13:31
【
Hadoop
】RPC在client端的源码解析
最近在看《
Hadoop
2.XHDFS源码剖析》这本书(其实看了挺久的,但是进度比较慢),要看懂
hadoop
源码真的是需要一定的代码和框架的基础,用到的东西还真是蛮多的,真的厉害,哎,我太菜了~我们会用
hadoop
lsr40
·
2023-12-28 13:01
hadoop
2.X版本的一个通病问题
【概述】对于配置了HA模式的RM或者NN,客户端如果向standby的节点发送请求,会因为不可连接或standby拒绝提供服务导致请求失败,转而向Active的节点发送请求,这个转换是
hadoop
客户端内部自动完成的
陈猿解码
·
2023-12-28 13:29
hadoop
hdfs
java
分布式
zookeeper
spring
hadoop
HDFS2.x之RPC流程分析
HDFS2.x之RPC流程分析1概述
Hadoop
提供了一个统一的RPC机制来处理client-namenode,namenode-dataname,client-dataname之间的通信。
can007
·
2023-12-28 13:59
Hadoop
Java大杂烩
hadoop2.0
HDFS
Hadoop
RPC
探究Presto SQL引擎(1)-巧用Antlr
从
Hadoop
生态的Hive,Spark,Presto,Kylin,Druid到非
Hadoop
生态的Clic
vivo互联网技术
·
2023-12-28 12:14
Hadoop
安装笔记_单机/伪分布式配置_
Hadoop
3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2:离线数据处理
将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码,使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变,同时添加静态分区,分区字段为etl_date,类型为String,且值为当前日期的前一天日期(分区字段格式为yyyyMMdd)。使用hivecli执行showpartitio
Stitch .
·
2023-12-28 12:32
我的大学笔记
Hadoop
分布式
大数据
hadoop
笔记
「Kafka」入门篇
「Kafka」入门篇基础架构Kafka快速入门集群规划集群部署官方下载地址:http://kafka.apache.org/downloads.html解压安装包:[atguigu@
hadoop
102software
小成同学_
·
2023-12-28 12:30
Kafka
kafka
中间件
分布式
后端
Hadoop
之HDFS 详细教程
1、HDFS概述
Hadoop
分布式系统框架中,首要的基础功能就是文件系统,在
Hadoop
中使用FileSystem这个抽象类来表示我们的文件系统,这个抽象类下面有很多子实现类,究竟使用哪一种,需要看我们具体的实现类
白鸽呀
·
2023-12-28 11:29
大数据
hadoop
hdfs
大数据
hadoop
hive spark flink 安装
下载地址Indexof/distubuntu安装
hadoop
集群准备IP地址主机名称192.168.1.21node1192.168.1.22node2192.168.1.23node3上传
hadoop
nsa65223
·
2023-12-28 11:59
hadoop
hive
spark
Spark从入门到精通23:Spark SQL简介
我们知道Hive是
Hadoop
生态中的一个数据分析引擎,它可以将HiveSQL转换成MapReduce任务提交到
Hadoop
集群中执行,大大简化了编写MapReduce程序的
金字塔下的小蜗牛
·
2023-12-28 09:20
构建高效数据中台:集群规划与搭建的最佳实践指南
然而,
Hadoop
也支持通过调整队列的权重和使用抢占策略来优化资源的使用。例如&
数据与后端架构提升之路
·
2023-12-28 04:20
#
数据中台
大数据
win7配置
hadoop
-2.7.7详细教程
Date:2019/09/27Version:
hadoop
2.7.7;java1.8.0_221;流程安装java下载并解压
hadoop
压缩包修改配置文件下载winutil,并覆盖启动
hadoop
0.安装
pluo1717
·
2023-12-28 04:02
Hive
Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张表(类似于RDBMS中的表),并提供类SQL查询功能;Hive是由Facebook开源,用于解决海量结构化日志的数据统计。
之古
·
2023-12-28 02:58
Hadoop
集成对象存储和HDFS磁盘文件存储
1.环境配置1.1版本说明组件版本是否必须其他事项
Hadoop
3.3.0+是
hadoop
3.3.0之后原生支持国内主要对象存储Hive3.1.3否实测没有Hive也可以使用sparksql,使用hive
tuoluzhe8521
·
2023-12-28 02:38
Hadoop
hadoop
hdfs
大数据
阿里云
Hadoop
集群找不到native-
hadoop
1.问题描述========hive运行中的问题,需要把把native复制进去/usr/lib2023-02-1519:59:42,165WARNscheduler.TaskSetManager:Losttask11.0instage1.0(TID3,common4,executor2):java.lang.RuntimeException:HiveRuntimeErrorwhileclosing
tuoluzhe8521
·
2023-12-28 02:38
Hadoop
hadoop
大数据
分布式
EMR集群迁移自建
Hadoop
(元数据及HDFS数据)
1.背景老集群采用的腾讯emr集群,使用过程中磁盘扩容成本费用高且开源组件兼容性存在问题,因此决定采用自建
hadoop
集群,需要将emr的元数据和hdfs基础数据迁移过来。
tuoluzhe8521
·
2023-12-28 02:37
Hadoop
hadoop
hdfs
大数据
大数据开发之Sqoop详细介绍
测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop(SQL-to-
Hadoop
)项目旨在协助RDBMS与
Hadoop
之间进行高效的大数据交流。
lcz-2000
·
2023-12-27 23:31
大数据
sqoop
hadoop
Hive 部署
Hive构建在Apache
Hadoop
之上,并通过hdfs支持S3,adls,gs等存储。Hive允许用户使用SQL读取、写入和管理PB级数据。官网地址二、架构Hive中主要包
有人看我吗
·
2023-12-27 23:54
hive
hadoop
数据仓库
大数据-Zookeeper 安装步骤(亲测保成功)
第2章Zookeeper本地安装步骤1.上传到
hadoop
01上面的apps包下面[root@
hadoop
01current]#cd/opt/apps2.解压该文件tar-zxvfzookeeper-3.4.6
王哪跑nn
·
2023-12-27 21:39
大数据
linux
linux
zookeeper
大数据
Hadoop
集群shell常用命令
1.启动
hadoop
所有进程start-all.sh#等价于start-dfs.sh+start-yarn.sh但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。
Youngmon
·
2023-12-27 21:10
MATLAB入门
设计和问题求解而设计的桌面环境用于可视化数据的图形和用于创建自定义绘图的工具用于曲线拟合、数据分类、信号分析、控制系统优化和许多其他任务的APP用于各种工程和科学应用程序的附加功能工具箱用于构建包含自定义用户界面的应用程序的工具用于C/C++、Java、Net、Python、SQL、
Hadoop
Litle_Pudding
·
2023-12-27 21:39
MATLAB学习笔记
matlab
算法
Hadoop
期末考试自用
绪论大数据定义从字面意思来看,大数据指的是巨量数据最早提出“大数据”这一概念的是全球知名咨询公司麦肯锡,他是这样定义大数据的:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型以及价值密度四大特征。大数据的基本特点大量(Volume)多样(Varity)时效性(Velocity)结果准确性(Veracity)价
Yolo_jin
·
2023-12-27 20:04
hadoop
【大数据存储与处理】开卷考试总复习笔记
7.
hadoop
批量数据导入before三、MongoDB数据库操作0.
friklogff
·
2023-12-27 20:31
大数据
笔记
oracle
数据库
信息可视化
机器学习
python
计算机视觉
Spark与PySpark(1.概述、框架、模块)
目录1.Spark概念2.
Hadoop
和Spark的对比3.Spark特点3.1运行速度快3.2简单易用3.3通用性强3.4可以允许运行在很多地方4.Spark框架模块4.1SparkCore4.2SparkSQL4.3SparkStreaming4.4MLlib4.5GraphX5
还是那个同伟伟
·
2023-12-27 18:06
Spark
spark
大数据
分布式
python
将本地镜像推送到阿里云
文章目录创建仓库镜像登录并上传下载上传的创建仓库镜像利用下面的脚本进行配置登录并上传[root@
hadoop
100~]#dockerlogin--username=13thmregistry.cn-hangzhou.aliyuncs.comPassword
我是小水水啊
·
2023-12-27 16:18
docker
docker
Gearman-任务分发系统
简介Gearman是一个分发任务的程序框架,可以用在各种场合,与
Hadoop
相比,Gearman更偏向于任务分发功能。
瞎胡侃
·
2023-12-27 15:58
其他
gearman
开源
任务调度
并行处理
server
There are 4 missing blocks. The following files may be corrupted
Thereare4missingblocks.ThefollowingfilesmaybecorruptedPleasecheckthelogsorrunfsckinordertoidentifythemissingblocks.Seethe
Hadoop
FAQforcommoncausesandpotentialsolutions
玖玖1704
·
2023-12-27 14:53
hadoop
etl
Spark与
Hadoop
的关系和区别
在大数据领域,Spark和
Hadoop
是两个备受欢迎的分布式数据处理框架,它们在处理大规模数据时都具有重要作用。本文将深入探讨Spark与
Hadoop
之间的关系和区别,以帮助大家的功能和用途。
晓之以理的喵~~
·
2023-12-27 12:13
Spark
spark
hadoop
大数据
Hadoop
生产集群各种维护命令
1.HDFS运维1.1HDFS集群操作命令#HDFS集群启停start-dfs.shstop-dfs.sh#获取HDFS集群信息hdfsdfsadmin-report#namenode和datanode启动停止命令hdfs--daemonstopdatanodehdfs--daemonstopnamenodehdfs--daemonstartnamenodehdfs--daemonstartdat
tuoluzhe8521
·
2023-12-27 12:12
hadoop相关
hadoop
大数据
分布式
上一页
25
26
27
28
29
30
31
32
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他