E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop深入浅出
Hadoop
-Yarn-NodeManager是如何监控容器的
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星
·
2024-02-28 06:15
hadoop
大数据
yarn
Zookeeper实现分布式锁
首先需要确保有
hadoop
102,
hadoop
103,
hadoop
104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中
·
2024-02-25 23:35
分布式
zookeeper
云原生
深入浅出
虚拟机难(JVM)?现在让它通俗易懂
大家可以想想,JVM是什么?JVM是用来干什么的?在这里我列出了三个概念,第一个是JVM,第二个是JDK,第三个是JRE。相信大家对这三个不会很陌生,相信你们都用过,但是,你们对这三个概念有清晰的知道么?我不知道你们会不会,知不知道。接下来你们看看我对JVM的理解。(1):JVMJVM是JavaVirtualMachine(Java虚拟机)的缩写,JVM是一种用于计算设备的规范,它是一个虚构出来的
编程小世界
·
2024-02-24 05:34
深入浅出
PyTorch学习网址
https://datawhalechina.github.io/thorough-pytorch/
今天是学习的一天
·
2024-02-23 19:38
人工智能
docker搭建
hadoop
hdfs完全分布式集群
1制作
hadoop
镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
基于docker安装HDFS
1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/
hadoop
:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512
·
2024-02-20 22:02
大数据
虚拟机&容器
docker
hdfs
听王晨教授讲《未来教育:素养、学校与教师》的学习心得
向我们展示了一幅对未来教育的擘画发展蓝图,王晨教授接地气的发言和
深入浅出
的阐述,我受益匪浅。现将学习心得表述如下:第一是重构教育的使命。
林清华揭阳惠来小学
·
2024-02-20 21:32
2021-09-25
漫画式科普开创者陈磊,拥有众多喜爱他的读者,他的画风诙谐幽默,文字通俗有趣,道理
深入浅出
,生动形象。让你在捧腹大笑的同时,不经意间就通晓了历史。看过这本
常书
·
2024-02-20 21:36
hive 的map数和reduce如何确定
的文件大小,集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2.举例:a)假设input目录下有1个文件a,大小为780M,那么
hadoop
Super乐
·
2024-02-20 20:38
hive
hive
(17)Hive ——MR任务的map与reduce个数由什么决定?
MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致
Hadoop
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
读魏书生的《教学工作漫谈》有感
魏老师针对学生升入初中后,学习中的有意注意,有意记忆和有意想象的能力都有较大的提高,为了使他们更适应初中教学的要求,曾把心理学知识引进课堂,
深入浅出
地介绍了艾宾浩斯遗忘率曲线以及大脑用进废退的规律。
孙丽_cdb3
·
2024-02-20 19:38
Hadoop
生态圈
是数据分析数据引擎,也是MapReduce模型,支持SQL4.Pig也是一个数据分析引擎,不支持SQL,有自己的PigLatin数据5.Sqoop是数据采集工具,针对关系数据库6.Flume是针对文件等数据的采集7.
Hadoop
陈超Terry的技术屋
·
2024-02-20 19:47
16.用
Hadoop
命令向CDH集群提交MR作业
Redhat7.2非Kerberos集群CDH5.13,OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的,因为使用
hadoop
大勇任卷舒
·
2024-02-20 19:27
【YARN】【Apache
Hadoop
YARN】【架构】
ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库
·
2024-02-20 18:48
apache
hadoop
大数据
记一次 Flink 作业启动缓慢
记一次Flink作业启动缓慢背景应用发现,
Hadoop
集群的hdfs较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
暴力枚举刷题3
题目来源:[NOIP2002普及组]选数-洛谷参考书目:参考书籍:《
深入浅出
程序设计竞赛(基础篇)》解题思路:通过位运算来枚举数组a的所有子集,然后检查每个恰好包含k个元素的子集的元素和是否为质数。
Sking426
·
2024-02-20 17:45
暴力枚举
算法
数据结构
c++
c语言
暴力枚举刷题2
题目来源:烤鸡-洛谷参考书目:参考书籍:《
深入浅出
程序设计竞赛(基础篇)》解题思路:这道题可以用暴力枚举的方法解决,用10层for循环,再if判断就能找到所有符合的情况。
Sking426
·
2024-02-20 17:14
暴力枚举
算法
数据结构
c++
c语言
暴力枚举刷题1
题目来源:统计方形(数据加强版)-洛谷参考书籍:《
深入浅出
程序设计竞赛(基础篇)》解题思路:这道理适合用暴力枚举求解。我把书上提到的四种枚举方法分享给大家。
Sking426
·
2024-02-20 17:11
暴力枚举
算法
数据结构
c++
c语言
开发语言
JAVA高并发——JDK的并发容器
文章目录1、超好用的工具类:并发集合简介2、线程安全的HashMap3、
深入浅出
ConcurrentHashMap3.1、ConcurrentHashMap的内部数据结构3.2、put()方法的实现3.3
布道师小羊
·
2024-02-20 16:39
#
网络+并发+函数式+JVM
JAVA高阶
java
开发语言
大数据Map Reduce (
Hadoop
) 和 MPP数据库 的区别
原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel
·
2024-02-20 15:05
Hadoop
大数据的入门学习
由于所做的银行项目与大数据有关,所以个人学习下
hadoop
的知识,希望能对大数据有所了解,不喜勿喷,哪里有不对的希望大神指点
Hadoop
百度百科:
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang
·
2024-02-20 14:36
深入浅出
spring-data-elasticsearch 之 ElasticSearch 架构初探(一)
本文目录一、Elasticsearch基本术语1.1文档(Document)、索引(Index)、类型(Type)文档三要素1.2集群(Cluster)、节点(Node)、分片(Shard)分布式三要素二、Elasticsearch工作原理2.1文档存储的路由2.2如何健康检查2.3如何水平扩容三、小结欢迎来SpringForAll,和我探讨Spring相关的分享。http://spring4al
Julian Wong
·
2024-02-20 13:04
spring
elasticsearch
架构
java
后端
深入浅出
Spring Cloud Netflix - Ribbon
文章目录一、负载均衡1.LoadBalance是什么2.负载均衡的分类二、Ribbon详解1.什么是Ribbon2.Ribbon目前进入维护模式3.Ribbon的工作流程4.Ribbon内置的负载均衡策略5.Ribbon负载规则替换(1)新建一个MySelfRule类(2)主启动添加@RibbonClient注解5.RoundRobinRule源码分析(1)域定义和构造器(2)负载均衡核心方法:c
贫僧洗发爱飘柔
·
2024-02-20 12:49
SpringCloud
ribbon
spring
cloud
java
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如
Hadoop
YARN,但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
深入浅出
JVM(一)之Hotspot虚拟机中的对象
本篇文章思维导图对象的创建对象的创建可以分为五个步骤:检查类加载,分配内存,初始化零值,设置对象头,执行实例构造器类加载检查HotSpot虚拟机遇到一条new指令,会先检查能否在常量池中定位到这个类的符号引用,检查这个类是否类加载过没有类加载过就去类加载类加载过就进行下一步分配内存分配内存对象所需的内存在类加载完成后就可以完全确定分配内存方式虚拟机在堆上为新对象分配内存,有两种内存分配的方式:指针
·
2024-02-20 12:31
后端
深入浅出
理解数据的序列化和反序列化
一般来说,数据的处理有两种类型。一种是在内存中,比如我们常见的结构体,list,数组等等。而另外一种就是把数据写到文件中或者在网络中进行传输,这个时候的数据传输说白了就是比特流,那么接受方如何解析这些接收到的比特流呢?这个时候就需要对数据进行序列化,把相应的数据转化成可以自解释比特流。然后接收方就可以通过反序列化的方法把这些比特流再转化成相应的结构体等等类型。各种语言自带的格式很多语言都有自带的序
gordon1986
·
2024-02-20 11:45
后端
序列化
protobuf
Thrift
Kafka核心逻辑介绍 | 京东云技术团队
分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储元数据信息),它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
·
2024-02-20 11:54
kafkaredis消息队列
大数据 - Spark系列《六》- RDD详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 - Spark系列《七》- 分区器详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
金刚经
其义理
深入浅出
,无论是初学者,还是有一定境界的人,对《金刚经》中的般若智慧,都欢喜不已,都会如法受持。《金刚经》也称《金刚般若波罗蜜经》,是般若部经中的无上妙法,以其经中充满般若智慧而闻名。
悟心太阳
·
2024-02-20 09:08
Linux之Shell
第1章Shell概述1)Linux提供的Shell解析器有[zhao@
hadoop
101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy
·
2024-02-20 08:16
Linux
linux
测试环境搭建整套大数据系统(三:搭建集群zookeeper,hdfs,mapreduce,yarn,hive)
一:搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二:搭建
hadoop
,yarn,mapreduce。
宇智波云
·
2024-02-20 08:05
大数据项目
zookeeper
hdfs
mapreduce
hive
Hadoop
Streaming原理
Streaming简介•MapReduce和HDFS采用Java实现,默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在
Hadoop
MapReduce中使用•Streaming
可乐加冰丶丶
·
2024-02-20 07:18
【Flink】ClassNotFoundException: org.apache.
hadoop
.conf.Configuration
问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误,版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
一杯咖啡半杯糖
·
2024-02-20 07:38
Flink实战
flink
hadoop
sql
生产环境下,应用模式部署flink任务,通过hdfs提交
通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统1.实践 (1)生产集群为cdh集群,从cm上下载配置文件,设置环境export
HADOOP
_CONF_DIR
但行益事莫问前程
·
2024-02-20 07:04
flink
flink
压缩感知——革新数据采集的科学魔法
本文将为你
深入浅出
地解释。压缩感知压缩感知(CS)与传统数据压缩的差异:传统信息论告诉我们,数据被采集后通常需要进行压缩以便于存储和传
superdont
·
2024-02-20 06:35
计算机视觉
人工智能
算法
计算机视觉
opencv
系统地学习Python
python
机器学习
2021-09-05影响力导师班81期结课复盘
由于上周在上领导力口才,时间冲突,影响力导师班只上了9.3-5的课程,3天的时间卢志超老师教我们怎么设计和呈现课程,专业出色声音洪亮欢欣愉悦的伟岸负责的科班播音主持专业老师通过
深入浅出
的方式倾囊相授,3
yiyiyurou
·
2024-02-20 06:10
以内存为核心的开源分布式存储系统
Tachyon为不同的大数据计算框架(如ApacheSpark,
Hadoop
MapReduce,ApacheFlink等)提供可靠的内存级的数据共享服务。
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
《
深入浅出
OCR》第八章:文档处理多模态预训练
✨专栏介绍:经过几个月的精心筹备,本作者推出全新系列《
深入浅出
OCR》专栏,对标最全OCR教程,具体章节如导图所示,将分别从OCR技术发展、方向、概念、算法、论文、数据集等各种角度展开详细介绍。
GoAI
·
2024-02-20 05:53
深入浅出OCR
深度学习
ocr
人工智能
计算机视觉
nlp
表格识别
《
深入浅出
多模态》:智能文档处理多模态大模型总结
✨专栏介绍:本作者推出全新系列《
深入浅出
多模态》专栏,具体章节如导图所示(导图后续更新),将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集等各种角度展开详细介绍,欢迎大家关注。
GoAI
·
2024-02-20 05:22
深入浅出多模态
深度学习
多模态
大模型
人工智能
计算机视觉
nlp
Zookeeper(1):入门
/bin/bashcase$1in"start"){foriin
hadoop
100
hadoop
101
hadoop
102doecho----------zookeeper$i启动------------ssh
叶惠美zz
·
2024-02-20 04:33
zookeeper
linux
服务器
学习阅读的心得体会
时老师对于阅读给我们每个人带来的深远影响做了
深入浅出
的点拨,让我醍醐灌顶,方如梦初醒。
宁都208何美林
·
2024-02-20 02:17
深入浅出
Spring Bean
目录前言1.Spring生命周期1.1初始化容器1.2Bean属性注入、更改以及初始化1.3Bean的使用1.4关闭容器、销毁Bean1.5Bean的生命周期:2.Spring如何解决bean的循环依赖2.1容器循环依赖:2.2setter循环依赖2.3构造器循环依赖3.Bean的加载过程4.BeanFactory和FactoryBean的区别5.Bean注册与使用6.参考:前言本文参考大量网上博
AAAhxz
·
2024-02-20 02:49
java
spring
java
bean
ioc
【Linux】指令 【scp】
scp
hadoop
.tar.gzdatanode:/software这条命令的含义是将本地的
hadoop
.tar.gz文件复制到远程主机datanode的/software目录下。
giao客
·
2024-02-20 01:31
Linux
linux
关于npmlink的问题
深入浅出
关于Npmlinl的问题关键词:vue3报错UncaughtTypeError:Cannotreadpropertiesofnull(reading‘isCE‘)atrenderSlotnpmlink
我叫汪枫
·
2024-02-20 01:25
echarts
前端
javascript
vue.js
css
深入浅出
熟悉OpenAI最新大作Sora文生视频大模型
蠢蠢欲动,惴惴不安,朋友们我又来了,这个春节真的过的是像过山车,Gemini1.5PRO还没过劲,OpenAI又放大招,人类真的要认输了吗,让我忍不住想要再探究竟,到底是什么让文生视频发生了质的跃迁,再次不仅止不住唏嘘,那些老板们辛辛苦苦创起来的业,恐怕又被降维打击了一波!这里主要介绍一下OpenAI的又一大作Sora,之所以不做产品体验,是目前人家还没全量开放,我们就先研究研究人家的开放内容!报
女王の专属领地
·
2024-02-20 01:19
深入浅出「AI落地应用」
AI产品
大模型
人工智能
语言模型
Sora
openai
文生视频
深入浅出
JavaScript的垃圾回收机制
一、引言在JavaScript中,内存管理是由垃圾回收器自动完成的,这意味着开发者无需手动分配和释放内存。但了解垃圾回收机制的工作原理和如何优化它,对于写出高性能且稳定的代码至关重要。二、垃圾回收器的工作原理标记清除(Mark-Sweep)算法标记阶段:从“根”对象(通常是全局对象)开始,递归访问所有可达的对象,并为它们标记为“活跃”。清除阶段:遍历整个堆内存,找出未被标记的对象(即不可达的对象)
宇宙☆空间站
·
2024-02-20 00:50
JavaScript
javascript
前端
chrome
edge浏览器
无依赖单机尝鲜 Nebula Exchange 的 SST 导入
无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式(单机、容器化Spark、
Hadoop
、NebulaGraph),快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph
·
2024-02-19 23:51
mv: 无法获取“/opt/module/
hadoop
/logs/
hadoop
-atguigu-nodemanager-
hadoop
102.out.1“ 的文件状态(stat): 没有那个文件或目录
最近在回顾之前做过的离线数仓项目,在启动
hadoop
时出现了如下错误:
hadoop
102:mv:无法获取"/opt/module/
hadoop
/logs/
hadoop
-atguigu-nodemanager-
hadoop
102
时代新人0-0
·
2024-02-19 21:53
hadoop
hadoop
大数据
马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解
分布式计算原则:移动计算,而不是移动数据
hadoop
默认包含了hdfs、yarn、mapReduce三个组件yarn(YetAnotherResourceNegotiater)是资源调度系统,yarn调配的是内存和
PC_Repair
·
2024-02-19 20:28
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他