E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop初体验
HDFS文件系统的根目录和用户主目录解析
HDFS文件系统的根目录是/,用户主目录是/user/[
hadoop
用户名]根据上面的截图,所有的文件都放在根目录及其子目录下。
问君何能尔?心远地自偏
·
2024-01-28 21:57
大数据
Name node is in safe mode
相信
hadoop
用户经常为安全模式头痛,但是又是难以避免的。安全模式开启通常是由于hdfs文件系统数据完整性缺失造成。所以核心就是想办法让hdfs文件系统数据变得完整,相对没有损坏。
大数据东哥(Aidon)
·
2024-01-28 21:27
大数据
hadoop
safemode
safemode
hadoop
safe
mode
Name
node
is
in
safe
记一次HDFS Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘
tpreviewthefile.NetworkError:Failedtoexecute‘send’on‘XMLHttpRequest’:Failedtoload‘http://slave1:9864/webhdfs/v1/Hello
Hadoop
.txt
一花一世界~
·
2024-01-28 21:55
Linux-Centos
x.x
Hadoop
大数据
hadoop
hdfs
大数据
经验分享
centos
Java技术栈 ——
Hadoop
入门(二)
Java技术栈——
Hadoop
入门(二)一、用MapReduce对统计单词个数1.1项目流程1.2可能遇到的问题1.3代码勘误1.4总结一、用MapReduce对统计单词个数1.1项目流程(1)上传jar
键盘国治理专家
·
2024-01-28 21:51
Java技术栈
java
hadoop
开发语言
养猫
初体验
上周六在宠物店看到一只超可爱的小猫,才2个月大的英短,抱在怀里也不挣扎不乱叫,太喜欢了就领回了家。小家伙适应能力超强,现在已经能在房间里爬上跳下,欢实得很。有了小猫后,真的多了一份牵挂。这几天早上起床动力超足,想马上到次卧看看小猫在干嘛。晚上下班也着急回家,想快点见到小猫,陪它玩一玩,摸摸抱抱它。其实之前我是一个怕猫的人,朋友家的猫我都不太敢摸,更不敢抱。但这只小猫真的太小太可爱,毫无攻击性,没想
帅气的那打
·
2024-01-28 21:27
flink架构
它集成了使用所有常见的群集资源管理器,例如
Hadoop
YARN和Kubernetes,但也可以设置为作为独立集群,甚至作为库。
m0_66520412
·
2024-01-28 20:29
flink
架构
大数据
剧本杀
初体验
本来好好的周末不想跟不熟的同事在一起玩剧本杀,结果还是被逼跑过去了,本就不太情愿,玩的时候也是划水居多。剧本感觉一般,也没啥扮演的感觉。就是大家读故事,然后找线索,还带打架赚钱什么的,感觉就是个游戏的大杂烩。最后的结果也是很神奇,本来觉得我们这一派系应该不会输的,但没想到输的挺惨。本来也是佛系玩,那就佛系的认了吧。但是一想到自己浪费了5-6个小时在这样的无趣游戏里,就觉得挺难受。这时间我干点啥不好
arrcmis
·
2024-01-28 18:55
数据湖技术之发展现状篇
首先是随着
Hadoop
生态相关技术的大量应用,批处理架构应运而生,借助离线计算引擎的能力很好的满足了业务对大规模数据分析处理场景的需求。
风筝Lee
·
2024-01-28 18:56
数据湖
hive
hadoop
spark
大数据处理系统的架构
Lambda架构的主要组成部分包括:批处理层(BatchLayer):存储:使用分布式存储系统(如Apache
Hadoop
HDFS)
demo123567
·
2024-01-28 14:58
大数据
架构
阳之
初体验
周日有事出门,便去坐了地铁。所有的扫码标志全被撤销了,进站要求秒回三年前。一入车厢,就听到了此起彼伏的咳嗽声,心里顿感不妙:我这是羊入虎口死定了,应该打车出来的。果不其然,晚上回去嗓子发痒,全身发冷,我知道自己难逃此劫了。趁着病情还未完全发作,赶紧下单买了些菜,把前期累积的衣服给洗了,然后躺下来等发烧。很快,当晚就直飚39度。吃过退烧药,按照网上学习的方法用吹风机吹被窝,出一身透汗,感觉稍好。第二
倚门望月
·
2024-01-28 14:19
[SparkSQL] Rdd转化DataFrame 通过StructType为字段添加Schema
1、开发环境spark-2.1.0-bin-
hadoop
2.62、Rdd转换成DataFrame,为字段添加列信息参数nullable说明:Indicatesifvaluesofthisfieldcanbenullvaluesvalschema
林沐之森
·
2024-01-28 13:51
Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)
Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)本文的Metadata定义SQLon
Hadoop
系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang
·
2024-01-28 12:38
Presto
Impala元数据简介
Impala元数据简介背景Impala是一个高性能的OLAP查询引擎,与其它SQL-on-
Hadoop
的ROLAP解决方案如Presto、SparkSQL等不同的是,Impala对元数据(Metadata
stiga-huang
·
2024-01-28 12:05
Impala
Hadoop
的基础操作
Hadoop
的基础操作HDFS是
Hadoop
的分布式文件框架,它的实际目标是能够在普通的硬件上运行,并且能够处理大量的数据。
陆卿之
·
2024-01-28 12:27
大数据
hadoop
大数据
hdfs
【NodeJS】004- NodeJS的模块化与包管理工具
编码时是按照模块一个一个编码的,整个项目就是一个模块化的项目1.3模块化好处1.减少命名冲突2.高复用性3.高维护性2.模块暴露数据2.1模块
初体验
1.创建me.j
℡古壹
·
2024-01-28 11:02
前端
javascript
vue.js
浅谈Hive和HBase有哪些区别与联系及适用场景
Hive是运行在
Hadoop
上的一个工具,准确地讲是一个搜索工具。当对海量数据进行搜索时,
Hadoop
的计算引擎是MapReduce。但是对Map
尚学先生
·
2024-01-28 11:19
Hive常见问题汇总
Hive和
Hadoop
的关系Hive构建在
Hadoop
之上,HQL中对查询语句的解释、优化、生成查询计划是由Hive完成的所有的数据都是存储在
Hadoop
中查询计划被转化为MapReduce任务,在
Hadoop
不加班程序员
·
2024-01-28 09:37
Hadoop相关
ETL
hive
hive
hadoop
数据仓库
mac上搭建hbase伪集群
/blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+hdfs(
hadoop
寂夜了无痕
·
2024-01-28 08:15
大数据
macos
hbase
Hive面试题*精选*!附答案!!!
HIVE面试一、Hive的基本概念1.什么是hiveHive是一款开源的基于
hadoop
的用于统计海量结构化数据的一个数据仓库,它定义了简单的类似SQL的查询语言,称为HQL,允许熟悉SQL的用户查询数据
yhy_only
·
2024-01-28 07:36
hive
学习
大数据
阿茶亭主读书群分享稿
首先非常感谢亭主邀请我分享,非常荣幸,这句话也不是客套话,是真诚的致谢~这是我第一次被群主邀请分享,以前都是自己加入付费社群去争取的,这是完全不同的,是我宝贵的
初体验
,是我更新迭代自己,确认是2.0版本的一个开端
茶与茶签
·
2024-01-28 07:56
hive面试题总结(大数据面试)
Hive概述Hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射成为一张数据库表,并提供类SQL的查询功能。可以将sql语句转化为MapReduce任务进行运行。
404个问号
·
2024-01-28 07:02
大数据
大数据
hive
java
【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;
2022-10-2010:43:59,633ERRORorg.apache.
hadoop
.hdfs.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor
叹了口丶气
·
2024-01-28 06:02
HDFS全方位实战
Java语言积累
java
nio
jvm
Ubuntu22.04三台虚拟机
Hadoop
集群安装和搭建(全面详细的过程)
虚拟机Ubuntu22.04
Hadoop
集群安装和搭建(全面详细的过程)环境配置安装安装JDK安装
Hadoop
三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙
Hadoop
WuRobb
·
2024-01-28 06:41
hadoop
大数据
分布式
java
面试整理
数据分析/
hadoop
/机器学习面试题集锦,可能是最全的了…发表于:2017-09-2115:17阅读:178评论:0无论你是想从事大数据相关职位的职场小白,还是准备往高处走的牛牛。
qq_20962187
·
2024-01-28 06:09
Js逆向之网洛者-反反爬练习平台第七题(JSVMPZL -
初体验
)
链接:网洛者-反反爬练习平台第七题(JSVMPZL-
初体验
)(提示:该平台注册需要注册码,可以加这位大佬的vx,记得注明来意,vx号:wx1670044143)内容分析:本题目标:采集100页的全部数字
时光亦不回首
·
2024-01-28 05:14
js逆向实战案例集
爬虫
js逆向
python
GPT4+Python近红外光谱数据分析及机器学习与深度学习建模
GPT4+Python近红外光谱数据分析及机器学习与深度学习建模第一:GPT4入门基础1、ChatGPT概述(GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4模型的演变)2、ChatGPT对话
初体验
慢腾腾的小蜗牛
·
2024-01-28 05:54
python
数据分析
机器学习
近红外光谱
遥感
gpt
【Java与网络3】Java网络编程之
初体验
我们平时极少使用Java来直接写网络通信相关的程序,一般都使用TomcatWeb服务或者Netty等框架来帮助我们做,不过呢,要想将技术学到家,我们研究一下基本的网络编程还是非常必要的,这样可以让我们将很多内容融会贯通,更加通透。本文,我们就来练习一下相关内容。目录1.感受一下Java的网络编程2.IP地址的类型3.使用NetworkInterface类获得网络接口信息1.感受一下Java的网络编
纵横千里,捭阖四方
·
2024-01-28 03:06
HTTP与Tomcat
一个项目征服Java
java
开发语言
Hadoop
集群部署流程
前置要求需要3台虚拟机,系统为Centos7,分别host命名为node1,node2,node3,密码均为root请确保这三台虚拟机已经完成了JDK、SSH免密、关闭防火墙、配置主机名映射等前置操作在3台虚拟机的/etc/hosts文件中,填入如下内容:(同时这也是三台虚拟机的ip地址)192.168.88.131node1192.168.88.132node2192.168.88.133nod
正在绘制中
·
2024-01-28 02:09
hadoop
大数据
分布式
20190824 课堂笔记
20190824课堂笔记设置快捷键设置编译创建项目选择quickstartGAV设置项目设置修改添加
hadoop
-version,repositoryUTF-81.81.82.6.4clouderahttps
赛尔木
·
2024-01-27 23:37
Hadoop
-分布式
分布式分步+并行处理+汇总结果
Hadoop
分布式一台计算机存储不了了,也计算不了了
Hadoop
把多台计算机资源(存储资源:硬盘;计算资源:CPU,内存)连接在一起,形成集群输入文件,拆分成块,多个节点存储计算任务
日月交辉
·
2024-01-27 23:48
Hadoop
分布式
hadoop
大数据
用户行为数据采集
Flume——
Hadoop
——VMVM环境准备安装JDK安装
Hadoop
Hadoop
运行模式本地模式伪分布式完全分布式集群启动组件逐一启动。模块启动
日月交辉
·
2024-01-27 23:18
数仓DW
hive
大数据
“九九六”工作
初体验
—— 难得下厨
这是我每天写一篇原创文章的第273天image第一天到新入职的公司上班,中午跟几个新同事出去吃午餐,大家相互寒暄了几句,相互了解了下大家是什么岗位的?之前在什么公司呆过?哪里人?现在住哪里?当谈到住哪里?发现好几个同事就住这附近,我说就我住的远一点了。然后有个同事就说,“你也可以考虑搬这附近来住嘛?”“拖家带口的,不能随意搬家啊!”我说道,然后环视了下几个同事,看长相和谈话大概知道有的年龄比我大几
欧大帅Allen
·
2024-01-27 20:31
鸿蒙开发
初体验
文章目录前言一、环境配置1.1安装DevEcoStudio1.2安装相关环境二、工程创建三、工程结构介绍四、代码实现4.1初识ArkTs4.2具体实现参考资料前言HarmonyOS是华为公司推出的一种操作系统,旨在为不同设备提供统一的操作系统和开发平台。鸿蒙开发的出现为用户提供了更多的选择,也为开发者提供了更多的机会。从技术角度来看,鸿蒙开发也代表了华为在操作系统领域的技术实力和创新能力。因此,可
笑的像个child
·
2024-01-27 19:21
开发
harmonyos
华为
ClickHouse(22)ClickHouse集成HDFS表引擎详细解析
用法实施细节配置可选配置选项及其默认值的列表libhdfs3支持的ClickHouse额外的配置限制Kerberos支持虚拟列资料分享系列文章clickhouse系列文章知乎系列文章HDFS这个引擎提供了与Apache
Hadoop
张飞的猪大数据
·
2024-01-27 17:35
clickhouse
hdfs
大数据
hadoop
数据仓库
数据库
apache 前30个开源项目
个具有代表性的项目序号项目名称功能描述业务范围活跃度(参考性描述)1ApacheHTTPServer高性能Web服务器提供HTTP服务支持非常活跃2ApacheTomcatJava应用服务器部署JavaWeb应用程序非常活跃3Apache
Hadoop
临水逸
·
2024-01-27 17:35
apache
开源
HBase基础知识与架构概述
1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable论文设计,并作为
Hadoop
生态系统的一部分。
OpenChat
·
2024-01-27 17:31
hbase
架构
数据库
大数据
分布式
【云原生进阶之PaaS中间件】第三章Kafka-2-安装部署
1安装部署1.1kafka的分布式kafka是依靠zookeeper来实现分布式的,所以再启动前需要先启动zookeeper,如下图1.2集群部署官方下载地址:ApacheKafka(1)安装和
Hadoop
江中散人
·
2024-01-27 16:16
云原生进阶-PaaS专栏
云原生
paas
中间件
kafka
zookeeper
【云原生进阶之PaaS中间件】第三章Kafka-3-命令操作
1命令操作1.1主题命令操作查看操作主题命令参数:[atguigu@
hadoop
102kafka]$bin/kafka-topics.sh参数描述--bootstrap-server,连接的KafkaBroker
江中散人
·
2024-01-27 16:16
云原生进阶-PaaS专栏
云原生
paas
中间件
Kafka
消息队列
Linux静态ip配置重启后 ip 恢复的问题(CentOS 6.7)
Linux静态ip配置重启后ip恢复的问题(CentOS6.7)文章目录Linux静态ip配置重启后ip恢复的问题(CentOS6.7)一、配置静态IP二、重启后IP恢复解决方案一、配置静态IP在学习
Hadoop
Travis_del
·
2024-01-27 16:50
linux学习
linux
centos
【数据可视化技术】数据可视化概述&工具
在
Hadoop
生态群中,核心部件(如
Francek Chen
·
2024-01-27 16:39
大数据技术基础
信息可视化
数据可视化
大数据
数据分析
vue3
初体验
据vue作者尤雨溪去年发布的vue3.0正式版本发布以来一直没时间看,今天就来体验一下vue3.0。围绕右大大最新发布的vue-compisition-api,来讲解大家最关心的、同时也是vue3.0最重要的一些新特性,例如setup()函数、reactive()、ref()等这些VueHooks。一、首先你要有一定的基础1.了解常见的ES6新特性ES6的导入导出语法、解构赋值、箭头函数等等...
邹小小白
·
2024-01-27 13:50
YARN 工作原理
1、
Hadoop
2新增了YARN,YARN的引入主要有两个方面的变更:其一、HDFS的NameNode可以以集群的方式部署,增强了NameNode的水平扩展能力和高可靠性,水平扩展能力对应HDFSFederation
无羡爱诗诗
·
2024-01-27 13:43
『子弹笔记』—爱你
初体验
图片发自App《子弹笔记》阅读进度:/300页作者:(美)赖德·卡罗尔这本书,是我无意中在一款读书APP上看到的,当时正在参与众筹。我发现关注的人挺多的,就随手点开看了一下本书的简介看了一会,内容写的挺吸引人的。因为开通了读书会员,每个月可以免费获得一本书,于是就把这本书拿下了。子弹笔记的作用它能帮助我们培养更好的自我意识。帮助我如何利用“时间和精力”,并剔除无意义的事,专注有意义的事。可以帮助我
小破狼先生
·
2024-01-27 12:23
一台虚拟机上的文件怎么复制给另一台虚拟机
1.想要将zookeeper文件复制给另一台虚拟机2.使用终端命令压缩该文件3.压缩完毕4.将压缩文件传至另一台虚拟机的
hadoop
账户上5.显示传送完毕6.文件已传送到另一台虚拟机上7.使用终端命令将压缩文件解压缩文件复制完毕
白嫖叫上我
·
2024-01-27 11:44
工具技巧
vmware
大数据
zookeeper
hadoop
深入浅出hdfs源码
1、
hadoop
基本介绍2、周边生态图3、hdfs读源码解析4、hdfs写源码解析5、hdfs副本机制解读6、hdfs常见管理源码解析7、hdfs高可用源码解析-ha8、hdfs监控源码解析-dnmetrics-nnmetrics
大数据之家
·
2024-01-27 10:39
hdfs
hadoop
大数据
2021-03-07
解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于
Hadoop
残月冷无声
·
2024-01-27 10:39
深入浅出hdfs-
hadoop
基本介绍
一、
Hadoop
基本介绍
hadoop
最开始是起源于ApacheNutch项目,这个是由DougCutting开发的开源网络搜索引擎,这个项目刚开始的目标是为了更好的做搜索引擎,后来Google发表了三篇未来持续影响大数据领域的三架马车论文
大数据之家
·
2024-01-27 10:03
hdfs
hadoop
大数据
Hadoop
三大核心组件,
hadoop
原理
Hadoop
的三大核心组件分别是:HDFS(
Hadoop
DistributeFileSystem):
hadoop
的数据存储工具。
你敢和我比剑吗
·
2024-01-27 09:03
hadoop
大数据
mapreduce
Hadoop
2.0架构及其运行机制,HA原理
文章目录一、
Hadoop
2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.HDFS2.MapReduce3.Yarn1.组件2.调度流程一、
Hadoop
2.0
Toner_唐纳
·
2024-01-27 09:30
大数据
Hadoop
原理及架构详解
###README本文是基于黑马程序员的
Hadoop
网课的前半部分整理的笔记,主要介绍了相关操作与组件架构。
Should·L
·
2024-01-27 09:25
大数据
hadoop
架构
大数据
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他