E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop学习记录
【
Hadoop
|HDFS篇】NameNode和SecondaryNameNode
1.NN和2NN的工作机制思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsIm
Vez'nan的幸福生活
·
2024-09-09 23:00
hadoop
hdfs
大数据
Yarn介绍 - 大数据框架
YARN的概述YARN是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是
Hadoop
2.x
why do not
·
2024-09-09 23:58
大数据
hadoop
浅析大数据
Hadoop
之YARN架构
YARN提供了资源管理和资源调度等机制1.1原
Hadoop
MapReduce框架对于业界的大数据存储及分布式处理系统来说,
Hadoop
是耳熟能详的卓越开源分布式文件存储及处理框架,对于
Hadoop
框架的介绍在此不再累述
haotian1685
·
2024-09-09 22:26
python
数据清洗
人工智能
大数据
大数据学习
深度学习
大数据
大数据学习
YARN
hadoop
Hadoop
YARN【一】
YARN概念YARN是一种新的
Hadoop
资源管理器,它是一个通用的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空
·
2024-09-09 22:26
Hadoop生态圈
hadoop
yarn
大数据知识总结(三):
Hadoop
之Yarn重点架构原理
文章目录
Hadoop
之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景
Hadoop
之Yarn重点架构原理一、Yarn介绍Apache
Hadoop
Yarn
Lansonli
·
2024-09-09 22:22
大数据
大数据
hadoop
架构
Yarn
starrocks和clickhouse数据库比较
支持多种数据源的集成,并且可以与其他大数据技术(如
Hadoop
、Spark)协同工作。C
CodeMaster_37714848
·
2024-09-09 16:12
clickhouse
数据库
LeetCode hot 100
学习记录
day 2
文章目录Integer方法除自身以外数组的乘积缺失的第一个正数参考链接Integer方法由轮转数组到Interger方法、System方法轮转数组:涉及到的方法:System.arraycopy(newArr,0,nums,0,n)nums.assign(newArr.begin(),newArr.end());方法介绍:publicstaticnativevoidarraycopy(Object
a77895
·
2024-09-09 14:58
leetcode
学习
算法
大数据(Hbase简单示例)
importorg.apache.
hadoop
.conf.Configuration;importorg.apache.
hadoop
.hbase.HBaseConfiguration;importorg.apache.
hadoop
.hbase.TableName
BL小二
·
2024-09-09 13:18
hbase
大数据
hadoop
Hbase的简单使用示例
HBase是基于
Hadoop
HDFS构建的分布式、列式存储的NoSQL数据库,适用于存储和检索超大规模的非结构化数据。它支持随机读写,并且能够处理PB级数据。
傲雪凌霜,松柏长青
·
2024-09-09 11:40
后端
大数据
hbase
数据库
大数据
学习记录
——day43 C++ 异常处理
一、异常处理的格式1、在可能产生异常的地方使用关键字:throw抛出异常2、try{可能会抛出异常的语句}catch(接收异常的形参){处理异常}任何函数在定义时,可以指定能抛出的异常格式如下返回值类型函数名(形参列表)throw(异常类型1,异常类型2,。。。。)定义时throw没有不影响函数体内throw的使用,系统会自动匹配,如果有,内外类型要一致,不能缺少对于一定不会抛出异常的函数,可用n
子座
·
2024-09-09 01:32
学习
Hbase、hive以及ClickHouse的介绍和区别?
一、Hbase介绍:HBase是一个分布式的、面向列的开源数据库,由ApacheSoftwareFoundation开发,是
Hadoop
生态系统中的一个重要组件。
damokelisijian866
·
2024-09-08 23:43
hbase
hive
clickhouse
Flink - CEP
Hadoop
3.2集群新版本的搭建详细讲解过程,从下面第一张官方的图来看,最新版是3.2,所以大猪将使用3.2的版本来演示,过程中遇到的坑留给自己,把路留给你们,IT之路还有大猪。
kikiki1
·
2024-09-08 21:46
chapter01 Java语言概述 知识点Note
JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacos
Hadoop
FlinkJAVAEE消息队列rabbitMQdocker
月下绯烟
·
2024-09-08 18:42
Java
java
开发语言
9.6
学习记录
+三场笔试
一、去哪儿笔试+挚文集团1.在调度算法中平均等待时间最短的是什么?短作业优先2.给定一个字符串s,最有效的找到其中第一个不重复的字符的方法是?一、使用哈希表创建一个哈希表,用于存储字符及其出现的次数。可以使用编程语言中提供的字典(如Python中的dict)或类似的数据结构。遍历字符串s:对于每个字符,检查它是否在哈希表中。如果不在哈希表中,将其加入哈希表,并将其出现次数初始化为1。如果已经在哈希
冰榫
·
2024-09-08 18:41
学习
Hive和Hbase的区别
Hive和HBase都是
Hadoop
生态系统中的重要组件,它们都能处理大规模数据,但各自有不同的适用场景和设计理念。
傲雪凌霜,松柏长青
·
2024-09-08 17:37
大数据
后端
hive
hbase
hadoop
HBase
ApacheHBase是一个基于
Hadoop
分布式文件系统(HDFS)构建的分布式、面向列的NoSQL数据库,主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
大数据
后端
hbase
数据库
大数据
Hive的优势与使用场景
Hive的优势Hive作为一个构建在
Hadoop
上的数据仓库工具,具有许多优势,特别是在处理大规模数据分析任务时。
傲雪凌霜,松柏长青
·
2024-09-08 17:07
后端
大数据
hive
hadoop
数据仓库
大数据技术之
Hadoop
(一)
Hadoop
概述1.1
Hadoop
是什么
Hadoop
是什么1)
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构。2)主要解决,海量数据的存储和海量数据的分析计算问题。
pauls
·
2024-09-08 16:30
大数据面试题:说下为什么要使用Hive?Hive的优缺点?Hive的作用是什么?
Hive是
Hadoop
生态系统中比不可少的一个工具,它提供了一种SQL(结构化查询语言)方言,可以查询存储在
Hadoop
分布式文件系统(HDFS)中的数据或其他和
Hadoop
集成的文件系统,如MapR-FS
蓦然_
·
2024-09-08 15:50
大数据面试题
hive
大数据开发面试题
大数据面试
ERROR:master启动报错: Attempting to operate on hdfs namenode as root
[root@master
hadoop
]#sbin/start-all.shStartingnamenodeson[master]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
CourageLee
·
2024-09-08 07:55
Docker
hadoop
linux
Groovy入门(有java基础)
本文是在会一定java语言开发的基础上进行的对比入门
学习记录
。1.特点:动态性:Groovy支持动态类型和动态元编程,使得代码更加灵活和易于编写。
black_dawn
·
2024-09-08 06:48
groovy
java
开发语言
Python大数据:深入探索
Hadoop
库的使用
在大数据的世界中,Python和
Hadoop
结合使用,为处理庞大数据集提供了强大的工具。本文将详细探讨如何在Python中使用
Hadoop
,特别是通过实例来展示这一过程。
t0_54coder
·
2024-09-07 17:22
Python基础入门教程
大数据
python
hadoop
Python 操作大数据使用
Hadoop
参考:https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client=InsecureClient("http://localhost:9000",user="xiaokkk")#测试连接print(hdfs_client.status("/")){'access
静听山水
·
2024-09-07 17:47
Hadoop
hadoop
flink 问题记录
文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.
hadoop
.util.NativeCrc32.nativeComputeChunkedSums
Jhon_yh
·
2024-09-07 15:34
flink
flink
hadoop
大数据
Spark概念知识笔记
最近总结了个人的各项能力,发现在大数据这方面几乎没有涉及,因此想补充这方面的知识,丰富自己的知识体系,大数据生态主要包含:
Hadoop
和Spark两个部分,Spark作用相当于MapReduceMapReduce
kuntoria
·
2024-09-07 05:21
【
Hadoop
】- MapReduce & YARN 初体验[9]
目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs,文件内容如下:1.2、在hdfs中创建两个文件夹,分别为/input、/output1.3、将创建好的words.txt文件上传到hdfs中/input1.4、提交MapReduce程序至YARN1.5、可通过node1:8088查看1.6、返回我们的服务器,检查输出文
星星法术嗲人
·
2024-09-07 04:21
hadoop
hadoop
mapreduce
Apache Storm:入门了解
前言Storm是一个开源的分布式实时计算系统,它能够处理无边界的数据流,类似于
Hadoop
对于批量数据处理的作用,但是Storm更侧重于实时数据流的处理。
布说在见
·
2024-09-07 03:43
apache
storm
大数据
搭载python环境
超级小白
学习记录
搭载python环境一:找官网下载python二:python是否可以在电脑上找到,用cmd打一下python看看是否有弹出三:有弹出直接用,无弹出信息则用环境变量改一下四:环境变量在高级系统设置中
guluguluduang
·
2024-09-06 20:28
学习记录区
00000001
如何做大数据测试
2、测试工具:大数据测试需要使用专门的测试工具和框架,如
Hadoop
Unit、ApacheBigTop、JMeter、LoadRunner等,而普通测试则可以使用通用的测试工具和框架,如JUnit、TestNG
测试界潇潇
·
2024-09-06 18:47
软件测试
软件测试
功能测试
自动化测试
程序人生
职场和发展
基于
Hadoop
的学习行为数据云存储平台的设计与实现
基于
Hadoop
的学习行为数据云存储平台的设计与实现DesignandImplementationofa
Hadoop
-BasedLearningBehavioralDataCloudStoragePlatform
usp1994
·
2024-09-06 16:03
hadoop
学习
大数据
学习记录
——语义分割和实例分割的标签结构
语义分割:一张样本,生成一张掩码图像标签。灰度图像,背景亮度为0,每个目标根据分类赋予不同亮度——1,2,3......实现像素级的类别区分,但无法区分个体。实例分割:原理:一张样本,生成一个多通道的Mat矩阵,也就是多张掩码图像叠在一起。每张掩码图负责存储一个类别的目标,亮度只有0和1,通过通道号区分每个类别。同时,每张掩码图内,每个目标拥有ID号(通过增加一个维度实现),负责区分一个类别中的每
落叶击球
·
2024-09-06 08:05
学习笔记
学习
人工智能
开开心心最重要
1.难得2月9号,10号这两天没什么工作内容,不过我也充分利用了这两天,闲里时间,紧张的
学习记录
一些文章套路,为以后写文章打下一定的基础,但愿还是有用的吧。
进步记录2020
·
2024-09-06 04:45
DAG (directed acyclic graph) 作为大数据执行引擎的优点
DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslike
Hadoop
MapReducewhicha
joeywen
·
2024-09-06 04:43
分布式计算
Storm
Spark
Storm
杂谈
Storm
spark
DAG
冶金加热炉
学习记录
11加热制度
11、加热炉的热制度正确选择钢坯加热工艺,不仅要考虑钢坯的加热温度,还应考虑断面上的温度差,即温度的均匀性。加热炉热制度的确定是进行物料加热计算的前提,也是炉子投产后热工操作制度的依据。钢种不同,料坯的形状、尺寸不同,加热炉的热制度亦应有所区别。对压力加工前的钢坯加热炉而言,钢坯的加热制度可分为:一段加热制度、二段加热制度、三段加热制度。一段式加热制度(也称一期加热制度)是把钢坯放在炉温基本上不变
改善昨天的自己
·
2024-09-06 02:54
hadoop
-hdfs系统构成
2019独角兽企业重金招聘Python工程师标准>>>HDFS组成1)NameNode元数据2)DataNode存储文件内容block3)SecondaryNameNode合并NameNode与editsHDFS缺点1)不能低延迟访问2)小文件存取占用大量NameNode内存空间寻道时间超过读取时间3)并发写入,文件随机修改一个文件只能有一个写着仅支持appendHDFS存储数据单元1)文件被切分
weixin_33701564
·
2024-09-06 00:46
大数据
python
操作系统
python windows路径正则表达式,Python 正则表达式从Windows路径中获取文件夹
推荐文章一,要使用正则表达式相关的方法,首先得搞清楚正则表达式的基本用法,摘自百度百科:元字符描述将下一个字符标记为一个特殊字符推荐文章学习
Hadoop
Common模块,当然应该是从最简单,最基础的模块学习最好
弓长丶艮
·
2024-09-06 00:16
python
windows路径正则表达式
Flutter
学习记录
-基础控件
statelesswidget没有内部状态.Icon、IconButton,和Text都是无状态widget,他们都是StatelessWidget的子类。statefulwidget是动态的.用户可以和其交互(例如输入一个表单、或者移动一个slider滑块),或者可以随时间改变(也许是数据改变导致的UI更新).Checkbox,Radio,Slider,InkWell,Form,andTextF
薰舞空
·
2024-09-06 00:47
Ingest Pipeline & Painless Script
DELETEtech_blogs#Blog数据,包含3个字段,tags用逗号间隔PUTtech_blogs/_doc/1{"title":"Introducingbigdata......","tags":"
hadoop
折纸虚桐
·
2024-09-05 22:03
ES学习笔记
elasticsearch
Hadoop
组件
这张图片展示了
Hadoop
生态系统的一些主要组件。
Hadoop
是一个开源的大数据处理框架,由Apache基金会维护。
静听山水
·
2024-09-05 20:14
Hadoop
hadoop
Azkaban:强大的开源工作流调度系统
Azkaban是LinkedIn开发的一款开源工作流调度系统,专为管理和调度大规模的
Hadoop
作业设计。它提供了一种简单且有效的方式来定义、调度和监控复杂的工作流,确保批处理任务按预期顺序执行。
Hello.Reader
·
2024-09-05 15:15
其他
大数据
开源
大数据
(深度
学习记录
):第T3周:天气识别
>-**本文为[365天深度学习训练营](https://mp.weixin.qq.com/s/rbOOmire8OocQ90QM78DRA)中的
学习记录
博客**>-**原作者:[K同学啊|接辅导、项目定制
liuyiqi1
·
2024-09-05 13:02
深度学习
人工智能
第R3周:天气预测
本文为[365天深度学习训练营]中的
学习记录
博客参考文章:第R3周:LSTM-火灾温度预测(训练营内部可读)作者:[K同学啊]任务说明:该数据集提供了来自澳大利亚许多地点的大约10年的每日天气观测数据。
Jessica2017lj
·
2024-09-05 13:30
python
Hadoop
-MapReduce机制原理
、MapReduce概述2、MapReduce特点3、MapReduce局限性4、MapTask5、Map阶段步骤:6、Reduce阶段步骤:7、MapReduce阶段图1、MapReduce概述
Hadoop
MapReduce
H.S.T不想卷
·
2024-09-05 11:46
大数据
hadoop
mapreduce
大数据
大数据生态圈里的一致性算法
大数据生态圈中,保证一致性的方式举不胜举
Hadoop
用Zookeeper(Zab,Paxos+事务顺序)ElasticSearch用Hash路由算法(非一致性Hash)Cassandra用Gossip闲话算法
宇宙湾
·
2024-09-05 07:35
EMR组件部署指南
本文将详细介绍如何部署EMR的主要组件,包括:JDK1.8ElasticsearchKafkaFlinkZookeeperHBase
Hadoop
PhoenixScalaSparkHive准备工作所有操作都在
ivwdcwso
·
2024-09-05 00:05
运维
EMR
大数据
开源
运维
Mac 安装
Hadoop
教程(HomeBrew安装)
1.引言本教程旨在介绍在Mac电脑上安装
Hadoop
,便于编程开发人员对大数据技术的熟悉和掌握。2.前提条件2.1安装JDK想要在你的Mac电脑上安装
Hadoop
,你必须首先安装JDK。
追光天使
·
2024-09-04 22:21
macos
hadoop
大数据
Sublime text3+python3配置及插件安装
微信公众号:rayson_666(Rayson开发分享)个人专研技术方向:微服务方向:springboot,springCloud,Dubbo分布式/高并发:分布式锁,消息队列RabbitMQ大数据处理:
Hadoop
raysonfang
·
2024-09-04 19:23
T4周:猴痘病识别
本文为365天深度学习训练营中的
学习记录
博客原作者:K同学啊|接辅导、项目定制Z.心得感受+知识点补充1.ModelCheckpoint讲解函数原型:tf.keras.callbacks.ModelCheckpoint
KLaycurryifans
·
2024-09-04 18:03
深度学习
第T4周:使用TensorFlow实现猴痘病识别
本文为365天深度学习训练营中的
学习记录
博客原作者:K同学啊文章目录一、前期工作1.设置GPU(如果使用的是CPU可以忽略这步)2.导入数据3.查看数据二、数据预处理1、加载数据2、数据可视化3、再次检查数据
oufoc
·
2024-09-04 18:03
tensorflow
人工智能
python
关于Apache Hive 和 Apache Iceberg
Hive主要负责将
Hadoop
的数据组织成表
[听得时光枕水眠]
·
2024-09-04 17:55
apache
hive
hadoop
上一页
5
6
7
8
9
10
11
12
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他