E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop小记
spark启动命令
hadoop
启动:cd/root/toolssstart-dfs.sh,只需在
hadoop
01上启动stop-dfs.sh日志查看:cat/root/toolss/
hadoop
/logs/
hadoop
-root-datanode-
hadoop
03
学不会又听不懂
·
2024-09-13 10:36
spark
大数据
分布式
有感
小记
新《三国演义》第73集魏王临终托付大业曹操说:世人,昨日看错我曹操,今日又看错了,也许明日还会看错。可是我,仍然是我。我从来不怕别人看错我。没有错,就不要怕别人看错你,更不要去无辜地承认错误。如果全世界人都错了,你反而更应该去坚持正确的观点。曹操是一个受社会各界人士争议很大的人物,为什么大多数人说他是奸雄呢?因为曹操是一个被太平盛世所不容的人物,在太平盛世里乱世英雄是一直被丑化的,在忠君思想下洗脑
洛伊子昂
·
2024-09-13 07:04
2018-11-04
到是写了一首小诗《生日偶感》,以作
小记
,竟也过了诗专题。附小诗:生日偶感生肖属猴如今却生成了一颗猪的心曾经的跃跃欲试攀登高峰的勇气已在月光下搁浅任由车马从门前疾驰而过
晓风冷月之云水禅心
·
2024-09-13 06:57
今日
小记
在有几天过完二月二龙抬头,这个年也就过完了,孩子也开学了,一切又步入正轨了,又回到了,家—单位—孩子。感觉没准备好呢?过年了。感觉还没好好休息呢?年过完了。感觉时间快的,不曾来过。生活肯定还是那个样,岁月静好就好,但自己要给生活惊喜,要给生活仪式感,做为已经3开口了的我,要学会沉稳,学会思前想后。每年都能有一个全新的我。时间得规划,日子得积极。希望每个人都能找到人生方向,都有正能量,都有自己的梦想
静静_ee7f
·
2024-09-13 03:10
编程常用命令总结
编程命令大全1.软件环境变量的配置JavaScalaSpark
Hadoop
Hive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523
·
2024-09-13 02:42
Linux
BigData
大数据
住院
小记
1112
01晒太阳我住院的病房在医院1楼,从1楼走到门外的大草坪只需要两三分钟时间。我每天都会去晒太阳,有时候一天去个两三次,早上一次,中午一次,下午再一次。草坪很大,草坪上和草坪边缘都有人在晒太阳。在草坪的边缘,立了两个白色的雕像,一个是白求恩,一个是南丁格尔。在雕像的中间是一块石碑,写着医院的名称。草坪像一把大大的扇子,这扇子的尽头就是医院的大门口。几天阳光好,总是看见一些人毫无顾忌地坐着躺着趴着。昨
每日心流
·
2024-09-12 23:01
随心
小记
生活总有无何奈何之处,但是每个人又都在向往诗和远方的田野。在寻求内心深处的净土时又总是期待宁静中的一丝烟火气。可我们一直生活在验货之中呢不是吗?或许某个时刻我们曾浅显的怀疑人生,或许某个时段我们曾认真地思考过生活,或许是与一次次的否定和一次次的肯定。我读过梭伦的《瓦尔登湖》,远离城市喧嚣去寻找内心的依靠,它的写作背景是污染环境下,作者去瓦尔登湖居住了三年,每天都有鸟语和蔚蓝的天空作伴。这是无数诗人
赵冲希望粑粑
·
2024-09-12 23:22
昨日反思5/13
>>每日
小记
<<项目状态坚持开心词场141天坚持英语流利说141天流利说打卡完成坚持日更11天流利说真人对话1201gofluent3天不抱怨21.今天新加的事02.今天遗憾的事情呼叫中心运营书没看完3
Liz_Li
·
2024-09-12 22:21
Hadoop
常见面试题整理及解答
Hadoop
常见面试题整理及解答一、基础知识篇:1.把数据仓库从传统关系型数据库转到
hadoop
有什么优势?答:(1)关系型数据库成本高,且存储空间有限。
叶青舟
·
2024-09-12 19:24
Linux
hdfs
大数据
hadoop
linux
2018.8.25痛苦的
小记
今天中元节,我一个人在家,老妈专门打电话来提醒我,让我晚上不要出门。本来我都不记得了,倒没觉得害怕,她一提醒,反倒还把我弄得神经质的,本来开完雄鹰组的小组会快11点了,也快忘记这码事了,她又发来一条消息,说让我11点之前赶紧睡觉,要不然就带着帽子……我……哪壶不开提哪壶啊!!!我知道她是好心,我这一个人在家,本来就胆小,她一再提醒我,弄得我觉也不敢睡,也不敢不睡,看了微信一圈也想出来一个夜猫子,还
廖忱瑶
·
2024-09-11 23:15
今日
小记
文|白喻晚最近不想写文章。没有灵感了。写了几篇去投稿,全部退回来了。现在好像很少有公众号会收纯故事文了。大多都喜欢夹叙夹议的情感文。然而,我最不擅长写了。没什么情感经验,也没什么观点。更没什么干货。公众号的运营也暂停了,一天能涨1,2个粉差不多。不想去宣传了。就佛系更新吧。也没人投稿。现在的主要经历都放在了另一个征稿号上,不需要花什么精力。也能赚点小钱。今天就到这吧。
白喻晚
·
2024-09-11 20:29
2025毕业设计指南:如何用
Hadoop
构建超市进货推荐系统?大数据分析助力精准采购
⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于
hadoop
的超市进货推荐系
计算机编程指导师
·
2024-09-11 18:08
Java实战集
Python实战集
大数据实战集
课程设计
hadoop
数据分析
spring
boot
java
进货
python
小记
最近忙着给二年级的训练,几天没给一年级的娃娃上课了。课间去班上刚到门口几个学生跑过来抱着我说:老师,你去哪了?你好久没给我们上课了,好想你呀!其他学生看到了都跑过来围着像小猴子挂在身上……小刘同学也摇着我的手臂说了几句我没听懂的话,但他让我感知到了见到我他是开心的。另一个刚开学很内向的孩子看到我来了也往我身边蹭,腼腆的仰着头冲我笑,虽然经常为了纠正他的坏毛病凶他,有时甚至把他批评哭了,但从来不记仇
笑响点亮了四面wind
·
2024-09-11 12:54
期中作文:感受“光亮”
洛社初中
小记
者走进梁溪之声不小心摔倒时,路人的搀扶温暖了你;寒气逼人的凌晨,清洁工人忙碌的身影感动了你;迷茫困惑时,一本好书启发了你;平淡生活中,父母的言传身教影响了你;考试失利时,同学的安慰鼓励了你;
小苹果树
·
2024-09-11 10:05
Hadoop
Common 之序列化机制小解
这不过此种序列化虽然跨病态兼容性强,但是因为存储过多的信息,但是传输效率比较低,所以
hadoop
弃用它。
猫君之上
·
2024-09-11 08:59
#
Apache
Hadoop
深入理解
hadoop
(一)----Common的实现----Configuration
一,
hadoop
的配置管理a,
hadoop
通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml
maoxiao_jsd
·
2024-09-11 08:59
深入理解----hadoop
生活
小记
录
2021年8月12日,周四,多云有雨。灵艳早早的跟着二姨妈去摘小番茄,早饭后,王斌到庄上送楠楠外婆的身份证,良斌开车从楚雄回来,直接到我家来吃饭。那我基本就是在家里带娃了,3个孩子,玩的时候陪他们玩,下午点,楠楠坐在沙发上吸着奶瓶睡着了,王斌抱她到房间里面睡,我带着可可和弟弟在客厅看电视,我哄小宝睡觉,过了会儿,可可趴在沙发上睡着了,小家伙还没睡,自个儿玩玩这个,拿拿那个,这里翻翻,那里爬爬,我都
紫岚兮
·
2024-09-11 05:19
2021-10-23
今日
小记
今晚夜班,白天转班休息半天,由于昨晚睡得早,早上四点多就醒了睡不着。从早上醒来到晚上上班一直没睡,白天本来打算睡一下的,睡不着。把手机放在一边,躺了半天还是睡不着。
Reallove
·
2024-09-11 04:39
hadoop
0.22.0 部署笔记
hbase是部署在
hadoop
平台上的NOSql数据库,因此在部署hbase之前需要先部署
hadoop
。
weixin_33701564
·
2024-09-10 17:41
大数据
java
运维
解决Windows环境下
hadoop
集群的运行_window运行
hadoop
,unknown
hadoop
01(4)
org.apache.
hadoop
hadoop
-com
2401_84160087
·
2024-09-10 16:34
大数据
面试
学习
解决Windows环境下
hadoop
集群的运行_window运行
hadoop
,unknown
hadoop
01(3)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!xmlns:xsi="http://www.w3.or
2401_84160087
·
2024-09-10 16:04
大数据
面试
学习
深入解析HDFS:定义、架构、原理、应用场景及常用命令
引言
Hadoop
分布式文件系统(HDFS,
Hadoop
DistributedFileSystem)是
Hadoop
框架的核心组件之一,它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney
·
2024-09-10 12:39
hdfs
架构
hadoop
Hadoop
的搭建流程
文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步:2、第二步:3、第三步:4、第四步:5、第五步:七、安装
hadoop
1、上传2、解压3、重命名4、开始配置环境变量
lzhlizihang
·
2024-09-10 07:06
hadoop
大数据
分布式
hive搭建 -----内嵌模式和本地模式
文章目录一、内嵌模式(使用较少)1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动
hadoop
集群6、给hdfs创建文件夹
lzhlizihang
·
2024-09-10 07:06
hive
hadoop
Hadoop
之mapreduce -- WrodCount案例以及各种概念
文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法(自定义分区器)4、reducer方法5、driver(main方法)6、Writable(手机流量统计案例的实体类)三、关于片和块1、什么是片,什么是块?2、mapreduce启动多少个MapTask任务?四、MapReduce的原理五、Shuffle过
lzhlizihang
·
2024-09-10 07:06
hadoop
mapreduce
大数据
小记
XML写sql的聚合函数用法
一、GROUP_CONCAT手动查出需要用于查询、展示的字段用法:(需要GROUPBY)将每个岗位下的姓名合并为一个以逗号分隔的字符串SELECTGROUP_CONCAT(DISTINCTu.nickNameSEPARATOR',')FROMsystem_postASpostJOINsystem_user_postASupONpost.id=up.post_idWHERE.......--DIST
J总裁的小芒果
·
2024-09-10 07:02
sql
xml
数据库
Collectors.toMap 报错 NullPointerException
最近线上偶尔会报一个NPE,是Collectors.toMap导致的,这里
小记
一下,防止再次踩坑。
赵丙双
·
2024-09-10 06:55
java
踩坑
Collectors
toMap
java
stream
NPE
IAAS: IT公司去IOE-Alibaba系统构架解读
从
Hadoop
到自主研发,技术解读阿里去IOE后的系统架构原地址:......................云计算阿里飞天摘要:从IOE时代,到
Hadoop
与飞天并行,再到飞天单集群5000节点的实现
wishchin
·
2024-09-10 04:18
心理学/职业
BigDataMini
Spark
PaaS
Hadoop
HDFS中的NameNode、SecondaryNameNode和DataNode
Hadoop
HDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在
Hadoop
HDFS(
Hadoop
分布式文件系统)中,有三个关键的组件
BigDataMLApplication
·
2024-09-10 00:38
大数据
hadoop
hadoop
hdfs
大数据
当开始敲键盘,我心里便只有我自己|6.29日记
午:午睡,上街,看感恩群聊天晚:一、今日
小记
01.补日记成了惯例。有时一次补好几篇。现实不允许我日更。每晚哄孩子睡觉往往自己就睡过去了。如果挣扎挣扎,其实是可以起来的。
五妹妹
·
2024-09-10 00:03
【
Hadoop
|HDFS篇】NameNode和SecondaryNameNode
1.NN和2NN的工作机制思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsIm
Vez'nan的幸福生活
·
2024-09-09 23:00
hadoop
hdfs
大数据
Yarn介绍 - 大数据框架
YARN的概述YARN是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是
Hadoop
2.x
why do not
·
2024-09-09 23:58
大数据
hadoop
浅析大数据
Hadoop
之YARN架构
YARN提供了资源管理和资源调度等机制1.1原
Hadoop
MapReduce框架对于业界的大数据存储及分布式处理系统来说,
Hadoop
是耳熟能详的卓越开源分布式文件存储及处理框架,对于
Hadoop
框架的介绍在此不再累述
haotian1685
·
2024-09-09 22:26
python
数据清洗
人工智能
大数据
大数据学习
深度学习
大数据
大数据学习
YARN
hadoop
Hadoop
YARN【一】
YARN概念YARN是一种新的
Hadoop
资源管理器,它是一个通用的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空
·
2024-09-09 22:26
Hadoop生态圈
hadoop
yarn
大数据知识总结(三):
Hadoop
之Yarn重点架构原理
文章目录
Hadoop
之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景
Hadoop
之Yarn重点架构原理一、Yarn介绍Apache
Hadoop
Yarn
Lansonli
·
2024-09-09 22:22
大数据
大数据
hadoop
架构
Yarn
starrocks和clickhouse数据库比较
支持多种数据源的集成,并且可以与其他大数据技术(如
Hadoop
、Spark)协同工作。C
CodeMaster_37714848
·
2024-09-09 16:12
clickhouse
数据库
大数据(Hbase简单示例)
importorg.apache.
hadoop
.conf.Configuration;importorg.apache.
hadoop
.hbase.HBaseConfiguration;importorg.apache.
hadoop
.hbase.TableName
BL小二
·
2024-09-09 13:18
hbase
大数据
hadoop
Hbase的简单使用示例
HBase是基于
Hadoop
HDFS构建的分布式、列式存储的NoSQL数据库,适用于存储和检索超大规模的非结构化数据。它支持随机读写,并且能够处理PB级数据。
傲雪凌霜,松柏长青
·
2024-09-09 11:40
后端
大数据
hbase
数据库
大数据
今日
小记
今天气温很高,阳光正艳,适合洗衣服。洗好的衣服晾晒在露台上,尽情地吸收着阳光的气息,晒过阳光的衣物,穿在身上感觉才健康。在阳光正好的时候晾晒衣物,自己的身体也一样沐浴着阳光,享受着阳光的消毒,吸收太阳的阳气,感觉身体充满了正能量。高温的天气,花草树木的泥土已经很干燥,浇水时需要费更多的功夫。1个多小时的劳作,也是一个很好的运动,汗流浃背,身体在劳动中得到了锻炼。每天的生活制造出各种各样的家务活,这
如雨季节过来人
·
2024-09-09 08:51
鼓励践行打卡第8天
本来替他报了
小记
者集体生日活动。可儿子一百个不乐意,比起一大帮不想干的人在一起热闹,他更愿邀请一两好友低调庆祝。我给他做了很多思想工作。
春天里的紫苏
·
2024-09-09 06:14
随心
小记
这几天大概都只能写“随心
小记
”啦,最近实在是有些忙,忙得我也没有什么特别的思考,就随心写些日常,记录一下平凡的生活吧。
君怡w
·
2024-09-09 04:02
Hbase、hive以及ClickHouse的介绍和区别?
一、Hbase介绍:HBase是一个分布式的、面向列的开源数据库,由ApacheSoftwareFoundation开发,是
Hadoop
生态系统中的一个重要组件。
damokelisijian866
·
2024-09-08 23:43
hbase
hive
clickhouse
Flink - CEP
Hadoop
3.2集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。
kikiki1
·
2024-09-08 21:46
181004 今天关键词:小偷的升级 晨间
小记
第613天
现在这个时代,啥不升级就会被淘汰,小偷这个行业也不例外。不信你仔细观察,在这个大家都依赖微信、支付宝支付,几乎无现金的时代,小偷,这个存在了几千年的职业也在升级,不然就会被淘汰的没了饭碗。那天骑自行车在公司附近的十字路上等红绿灯,一对年轻情侣骑着辆时髦的电动车停在我旁边,我因离她俩很近,她俩的私语被我听到。女生说:“你知道么?最近xx说他都很少偷了?”男生问::“为啥?”女生毫不顾及的轻声说:“现
营养私教西西
·
2024-09-08 20:45
chapter01 Java语言概述 知识点Note
JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacos
Hadoop
FlinkJAVAEE消息队列rabbitMQdocker
月下绯烟
·
2024-09-08 18:42
Java
java
开发语言
Hive和Hbase的区别
Hive和HBase都是
Hadoop
生态系统中的重要组件,它们都能处理大规模数据,但各自有不同的适用场景和设计理念。
傲雪凌霜,松柏长青
·
2024-09-08 17:37
大数据
后端
hive
hbase
hadoop
HBase
ApacheHBase是一个基于
Hadoop
分布式文件系统(HDFS)构建的分布式、面向列的NoSQL数据库,主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
大数据
后端
hbase
数据库
大数据
Hive的优势与使用场景
Hive的优势Hive作为一个构建在
Hadoop
上的数据仓库工具,具有许多优势,特别是在处理大规模数据分析任务时。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
后端
大数据
hive
hadoop
数据仓库
大数据技术之
Hadoop
(一)
Hadoop
概述1.1
Hadoop
是什么
Hadoop
是什么1)
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构。2)主要解决,海量数据的存储和海量数据的分析计算问题。
pauls
·
2024-09-08 16:30
大数据面试题:说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?
Hive是
Hadoop
生态系统中比不可少的一个工具,它提供了一种SQL(结构化查询语言)方言,可以查询存储在
Hadoop
分布式文件系统(HDFS)中的数据或其他和
Hadoop
集成的文件系统,如MapR-FS
蓦然_
·
2024-09-08 15:50
大数据面试题
hive
大数据开发面试题
大数据面试
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他