E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop深入浅出
深入浅出
spring-data-elasticsearch 之 ElasticSearch 架构初探(一)
本文目录一、Elasticsearch基本术语1.1文档(Document)、索引(Index)、类型(Type)文档三要素1.2集群(Cluster)、节点(Node)、分片(Shard)分布式三要素二、Elasticsearch工作原理2.1文档存储的路由2.2如何健康检查2.3如何水平扩容三、小结欢迎来SpringForAll,和我探讨Spring相关的分享。http://spring4al
Julian Wong
·
2024-02-20 13:04
spring
elasticsearch
架构
java
后端
深入浅出
Spring Cloud Netflix - Ribbon
文章目录一、负载均衡1.LoadBalance是什么2.负载均衡的分类二、Ribbon详解1.什么是Ribbon2.Ribbon目前进入维护模式3.Ribbon的工作流程4.Ribbon内置的负载均衡策略5.Ribbon负载规则替换(1)新建一个MySelfRule类(2)主启动添加@RibbonClient注解5.RoundRobinRule源码分析(1)域定义和构造器(2)负载均衡核心方法:c
贫僧洗发爱飘柔
·
2024-02-20 12:49
SpringCloud
ribbon
spring
cloud
java
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如
Hadoop
YARN,但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
深入浅出
JVM(一)之Hotspot虚拟机中的对象
本篇文章思维导图对象的创建对象的创建可以分为五个步骤:检查类加载,分配内存,初始化零值,设置对象头,执行实例构造器类加载检查HotSpot虚拟机遇到一条new指令,会先检查能否在常量池中定位到这个类的符号引用,检查这个类是否类加载过没有类加载过就去类加载类加载过就进行下一步分配内存分配内存对象所需的内存在类加载完成后就可以完全确定分配内存方式虚拟机在堆上为新对象分配内存,有两种内存分配的方式:指针
·
2024-02-20 12:31
后端
深入浅出
理解数据的序列化和反序列化
一般来说,数据的处理有两种类型。一种是在内存中,比如我们常见的结构体,list,数组等等。而另外一种就是把数据写到文件中或者在网络中进行传输,这个时候的数据传输说白了就是比特流,那么接受方如何解析这些接收到的比特流呢?这个时候就需要对数据进行序列化,把相应的数据转化成可以自解释比特流。然后接收方就可以通过反序列化的方法把这些比特流再转化成相应的结构体等等类型。各种语言自带的格式很多语言都有自带的序
gordon1986
·
2024-02-20 11:45
后端
序列化
protobuf
Thrift
Kafka核心逻辑介绍 | 京东云技术团队
分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储元数据信息),它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
·
2024-02-20 11:54
kafkaredis消息队列
大数据 - Spark系列《六》- RDD详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 - Spark系列《七》- 分区器详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
金刚经
其义理
深入浅出
,无论是初学者,还是有一定境界的人,对《金刚经》中的般若智慧,都欢喜不已,都会如法受持。《金刚经》也称《金刚般若波罗蜜经》,是般若部经中的无上妙法,以其经中充满般若智慧而闻名。
悟心太阳
·
2024-02-20 09:08
Linux之Shell
第1章Shell概述1)Linux提供的Shell解析器有[zhao@
hadoop
101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy
·
2024-02-20 08:16
Linux
linux
测试环境搭建整套大数据系统(三:搭建集群zookeeper,hdfs,mapreduce,yarn,hive)
一:搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二:搭建
hadoop
,yarn,mapreduce。
宇智波云
·
2024-02-20 08:05
大数据项目
zookeeper
hdfs
mapreduce
hive
Hadoop
Streaming原理
Streaming简介•MapReduce和HDFS采用Java实现,默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在
Hadoop
MapReduce中使用•Streaming
可乐加冰丶丶
·
2024-02-20 07:18
【Flink】ClassNotFoundException: org.apache.
hadoop
.conf.Configuration
问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误,版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
一杯咖啡半杯糖
·
2024-02-20 07:38
Flink实战
flink
hadoop
sql
生产环境下,应用模式部署flink任务,通过hdfs提交
通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统1.实践 (1)生产集群为cdh集群,从cm上下载配置文件,设置环境export
HADOOP
_CONF_DIR
但行益事莫问前程
·
2024-02-20 07:04
flink
flink
压缩感知——革新数据采集的科学魔法
本文将为你
深入浅出
地解释。压缩感知压缩感知(CS)与传统数据压缩的差异:传统信息论告诉我们,数据被采集后通常需要进行压缩以便于存储和传
superdont
·
2024-02-20 06:35
计算机视觉
人工智能
算法
计算机视觉
opencv
系统地学习Python
python
机器学习
2021-09-05影响力导师班81期结课复盘
由于上周在上领导力口才,时间冲突,影响力导师班只上了9.3-5的课程,3天的时间卢志超老师教我们怎么设计和呈现课程,专业出色声音洪亮欢欣愉悦的伟岸负责的科班播音主持专业老师通过
深入浅出
的方式倾囊相授,3
yiyiyurou
·
2024-02-20 06:10
以内存为核心的开源分布式存储系统
Tachyon为不同的大数据计算框架(如ApacheSpark,
Hadoop
MapReduce,ApacheFlink等)提供可靠的内存级的数据共享服务。
这次靠你了
·
2024-02-20 05:26
大数据
Tachyon
hdfs
大数据
《
深入浅出
OCR》第八章:文档处理多模态预训练
✨专栏介绍:经过几个月的精心筹备,本作者推出全新系列《
深入浅出
OCR》专栏,对标最全OCR教程,具体章节如导图所示,将分别从OCR技术发展、方向、概念、算法、论文、数据集等各种角度展开详细介绍。
GoAI
·
2024-02-20 05:53
深入浅出OCR
深度学习
ocr
人工智能
计算机视觉
nlp
表格识别
《
深入浅出
多模态》:智能文档处理多模态大模型总结
✨专栏介绍:本作者推出全新系列《
深入浅出
多模态》专栏,具体章节如导图所示(导图后续更新),将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集等各种角度展开详细介绍,欢迎大家关注。
GoAI
·
2024-02-20 05:22
深入浅出多模态
深度学习
多模态
大模型
人工智能
计算机视觉
nlp
Zookeeper(1):入门
/bin/bashcase$1in"start"){foriin
hadoop
100
hadoop
101
hadoop
102doecho----------zookeeper$i启动------------ssh
叶惠美zz
·
2024-02-20 04:33
zookeeper
linux
服务器
学习阅读的心得体会
时老师对于阅读给我们每个人带来的深远影响做了
深入浅出
的点拨,让我醍醐灌顶,方如梦初醒。
宁都208何美林
·
2024-02-20 02:17
深入浅出
Spring Bean
目录前言1.Spring生命周期1.1初始化容器1.2Bean属性注入、更改以及初始化1.3Bean的使用1.4关闭容器、销毁Bean1.5Bean的生命周期:2.Spring如何解决bean的循环依赖2.1容器循环依赖:2.2setter循环依赖2.3构造器循环依赖3.Bean的加载过程4.BeanFactory和FactoryBean的区别5.Bean注册与使用6.参考:前言本文参考大量网上博
AAAhxz
·
2024-02-20 02:49
java
spring
java
bean
ioc
【Linux】指令 【scp】
scp
hadoop
.tar.gzdatanode:/software这条命令的含义是将本地的
hadoop
.tar.gz文件复制到远程主机datanode的/software目录下。
giao客
·
2024-02-20 01:31
Linux
linux
关于npmlink的问题
深入浅出
关于Npmlinl的问题关键词:vue3报错UncaughtTypeError:Cannotreadpropertiesofnull(reading‘isCE‘)atrenderSlotnpmlink
我叫汪枫
·
2024-02-20 01:25
echarts
前端
javascript
vue.js
css
深入浅出
熟悉OpenAI最新大作Sora文生视频大模型
蠢蠢欲动,惴惴不安,朋友们我又来了,这个春节真的过的是像过山车,Gemini1.5PRO还没过劲,OpenAI又放大招,人类真的要认输了吗,让我忍不住想要再探究竟,到底是什么让文生视频发生了质的跃迁,再次不仅止不住唏嘘,那些老板们辛辛苦苦创起来的业,恐怕又被降维打击了一波!这里主要介绍一下OpenAI的又一大作Sora,之所以不做产品体验,是目前人家还没全量开放,我们就先研究研究人家的开放内容!报
女王の专属领地
·
2024-02-20 01:19
深入浅出「AI落地应用」
AI产品
大模型
人工智能
语言模型
Sora
openai
文生视频
深入浅出
JavaScript的垃圾回收机制
一、引言在JavaScript中,内存管理是由垃圾回收器自动完成的,这意味着开发者无需手动分配和释放内存。但了解垃圾回收机制的工作原理和如何优化它,对于写出高性能且稳定的代码至关重要。二、垃圾回收器的工作原理标记清除(Mark-Sweep)算法标记阶段:从“根”对象(通常是全局对象)开始,递归访问所有可达的对象,并为它们标记为“活跃”。清除阶段:遍历整个堆内存,找出未被标记的对象(即不可达的对象)
宇宙☆空间站
·
2024-02-20 00:50
JavaScript
javascript
前端
chrome
edge浏览器
无依赖单机尝鲜 Nebula Exchange 的 SST 导入
无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式(单机、容器化Spark、
Hadoop
、NebulaGraph),快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph
·
2024-02-19 23:51
mv: 无法获取“/opt/module/
hadoop
/logs/
hadoop
-atguigu-nodemanager-
hadoop
102.out.1“ 的文件状态(stat): 没有那个文件或目录
最近在回顾之前做过的离线数仓项目,在启动
hadoop
时出现了如下错误:
hadoop
102:mv:无法获取"/opt/module/
hadoop
/logs/
hadoop
-atguigu-nodemanager-
hadoop
102
时代新人0-0
·
2024-02-19 21:53
hadoop
hadoop
大数据
马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解
分布式计算原则:移动计算,而不是移动数据
hadoop
默认包含了hdfs、yarn、mapReduce三个组件yarn(YetAnotherResourceNegotiater)是资源调度系统,yarn调配的是内存和
PC_Repair
·
2024-02-19 20:28
Flink-部署实践
1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:
hadoop
1132)修改/conf/masters文件:
hadoop
1133)修改/conf
魔笛Love
·
2024-02-19 20:52
flink
主流开发语言和开发环境?
Java被广泛应用于企业级应用开发、移动应用(特别是Android应用)、游戏开发、大数据处理(如
Hadoop
生态系统)、云计算服务端开发等场景。C++简介:C+
dami_king
·
2024-02-19 20:50
开发语言
深入浅出
Webpack 摘要 Module
Modulerules配置模块的读取和解析规则,通常用来配置Loader。其类型是一个数组,数组里的每一项都描述了如何处理部分文件。配置一项rules时大致可通过以下方式来完成。条件匹配:通过test、include、exclude三个配置项来选中Loader要应用规则的文件。应用规则:对选中的文件通过use配置项来应用Loader,可以只应用一个Loader或者按照从后往前的顺序应用一组Load
Upcccz
·
2024-02-19 18:07
深入浅出
JMS ActiveMQ
深入浅出
JMS(一)--JMS基本概念摘要:TheJavaMessageService(JMS)APIisamessagingstandardthatallowsapplicationcomponentsbasedontheJavaPlatformEnterpriseEdition
liky5387
·
2024-02-19 15:32
java
Quick introduction to Apache Spark
Spark使用
Hadoop
的客户端库来
Liam_ml
·
2024-02-19 13:29
Hadoop
Shuffle
Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ
·
2024-02-19 13:22
Flink 细粒度滑动窗口性能优化
大数据技术AIFlink/Spark/
Hadoop
/数仓,数据分析、面试,源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口(窗口长度远远大于滑动步长)时,
hyunbar
·
2024-02-19 13:39
Flink
大数据
flink
java
数据库
【大数据面试题】006介绍一下Parquet存储格式的优势
同时一般查询使用时不会使用所有列,而是只用到几列,所以查询速度会更快压缩比例高因为是列式存储,所以可以对同一类型的一段做压缩,压缩比例高支持的平台和框架多在
Hadoop
,Spark,Presto,Python
Jiweilai1
·
2024-02-19 13:34
一天一道面试题
大数据
spark
hadoop
Sqoop 入门基础
简介Sqoop(SQLto
Hadoop
)是一个开源工具,用于在关系型数据库和
Hadoop
之间传输数据。
香菜的开发日记
·
2024-02-19 13:17
sqoop
hadoop
hive
hadoop
硬件配置 高可用 datanode namenode硬件配置
每个分布式文件系统分块在NameNode的内存中大小约为250个字节,此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小(64MB)同时副本因子为3,5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息,这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy
·
2024-02-19 13:07
HADOOP
K8S
hadoop硬件
田尚滨
开展党史学习教育 永记初心使命
习近平总书记这句话,言简意赅,
深入浅出
,为我们指明了方向、提振工作干劲、注入了持续深厚的奋斗之力。开展党史学习教育,坚定了为人民服务的初心使命。中国共产党自诞生
清风明月96
·
2024-02-19 12:52
【大数据】
HADOOP
-YARN-ContainerExecutor容器启动器详解
在NodeManager中,有三种运行Container的方式,它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中,我们就能看得出来,默认情况下,一定使用的是DefaultContainerExecutor。而一般情况下,DefaultContainerExecutor也确实能够满足我
笑起来贼好看
·
2024-02-19 11:38
Hadoop
大数据
hadoop
大数据
linux
学习篇-
Hadoop
-YARN-环境搭建
文章目录一、
Hadoop
-YARN-环境搭建一、
Hadoop
-YARN-环境搭建官网参考:https://
hadoop
.apache.org/docs/stable/
hadoop
-project-dist
东东爱编码
·
2024-02-19 11:08
hadoop
大数据
hadoop
【大数据】
HADOOP
-Yarn集群界面UI指标项详解(建议收藏哦)
目录首页(Cluster)节点信息SchedulerMetrics:集群调度信息节点信息详解(Nodes)应用列表信息(applications)队列详情页(Scheduler)指标详细说明(非常重要)首页(Cluster)集群监控信息指标详解AppsSubmitted:已提交的应用AppsCompleted:已完成的应用AppsRunning:正在运行的应用ContainersRunning:正
笑起来贼好看
·
2024-02-19 11:08
Hadoop
大数据
服务运维部署
大数据
hadoop
分布式
yarn
Hadoop
-Yarn-NodeManager都做了什么
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星
·
2024-02-19 11:00
hadoop
大数据
分布式
【2019-04-28】
Hadoop
分布式文件系统
Hadoop
自带HDFS(
hadoop
distributefilesystem)。HDFS默认数据块128M。
BigBigFlower
·
2024-02-19 11:56
Hadoop
搭建之 start-yarn.sh 报错
在搭建伪分布式的
Hadoop
集群环境时,在配置基础环境了并成功开启了HDFS组件后,jps查看已运行的名称节点和数据节点进程,[
hadoop
@master
hadoop
]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪
·
2024-02-19 11:58
java
hadoop
hdfs
大数据
运维
网络
hadoop
-2.7.4-nodemanager无法启动问题解决方案
近期新配了
hadoop
-274版本的集群,发现有一个小问题,DataNode无法顺利启动。
半肉哥
·
2024-02-19 11:27
hadoop
hadoop
-yarn资源分配介绍-以及推荐常用优化参数
如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为
Hadoop
2.x的一部分,YARN采用MapReduce中的资源管理功能并对其进行打包,以便新引擎可以使用它们。
Winhole
·
2024-02-19 11:26
hadoop
Linux
Hadoop
-Yarn-NodeManager如何计算Linux系统上的资源信息
NodeResourceMonitorImpl)时只是提了下SysInfoLinux,下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.
hadoop
.util
隔着天花板看星星
·
2024-02-19 11:48
hadoop
大数据
linux
node命令yarn --version指向了java
问题描述本地安装了java、
hadoop
和nodejs,并配置了环境变量,但是
hadoop
的bin目录下存在yarn命令,所以使用nodejs的yarn命令启动项目会出现找不到类,此时键入yarn-version
码学弟
·
2024-02-19 11:43
前端
node.js
yarn
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他