E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云原生hadoop
RISC-V 在区块链智能及
云原生
中的应用、机遇与挑战
本文转载自:斗篷客(ID:wearecloakman)区块链如同2000年前后的互联网,正一步步走入我们每个人的生活中。作为区块链整套技术中的核心之一,智能合约/虚拟机的设计在推动区块链创新的进程中,正扮演着越来越重要的角色。由此出发,虚拟机的设计也呈现着百花齐放的姿态。秘猿科技根据对智能合约层以及区块链虚拟机的理解与反思,基于RISC-V硬件指令集打造了虚拟机CKB-VM。在这次分享中,我们将会
NervosNetwork
·
2024-02-20 03:50
开发
区块链
rust
虚拟机
risc-v
(三十九)大数据实战——Prometheus监控平台的部署搭建
它最初由SoundCloud开发并于2012年发布,并在2016年加入了
云原生
计算基金会(CNCF)。
厉害哥哥吖
·
2024-02-20 02:52
大数据
大数据
【Linux】指令 【scp】
scp
hadoop
.tar.gzdatanode:/software这条命令的含义是将本地的
hadoop
.tar.gz文件复制到远程主机datanode的/software目录下。
giao客
·
2024-02-20 01:31
Linux
linux
DevOps 实战:Jenkins Docker
来自:腾讯云社区链接:https://cloud.tencent.com/developer/article/1575521随时Docker的普及,
云原生
时代已经到来,开发工程师对应用环境的掌控力进一步加强
码农小光
·
2024-02-20 01:21
【
云原生
之kubernetes实战】在k8s环境下部署Mikochi文件管理工具(配置持久化存储)
【
云原生
之kubernetes实战】在k8s环境下部署Mikochi文件管理工具(配置持久化存储)一、Mikochi介绍二、本次实践介绍2.1本次实践简介2.2本次环境规划2.3本次实践存储介绍2.4k8s
江湖有缘
·
2024-02-20 00:43
云原生
kubernetes
容器
无依赖单机尝鲜 Nebula Exchange 的 SST 导入
无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式(单机、容器化Spark、
Hadoop
、NebulaGraph),快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph
·
2024-02-19 23:51
【工作记录】基于docker+mysql部署单机版nacos2.0.4@20240219
Nacos介绍Nacos是阿里巴巴开源的一款集服务发现、配置管理和服务元数据管理于一身的中间件,主要用于构建
云原生
应用和微服务架构。
泽济天下
·
2024-02-19 22:12
docker
mysql
容器
nacos
mv: 无法获取“/opt/module/
hadoop
/logs/
hadoop
-atguigu-nodemanager-
hadoop
102.out.1“ 的文件状态(stat): 没有那个文件或目录
最近在回顾之前做过的离线数仓项目,在启动
hadoop
时出现了如下错误:
hadoop
102:mv:无法获取"/opt/module/
hadoop
/logs/
hadoop
-atguigu-nodemanager-
hadoop
102
时代新人0-0
·
2024-02-19 21:53
hadoop
hadoop
大数据
马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解
分布式计算原则:移动计算,而不是移动数据
hadoop
默认包含了hdfs、yarn、mapReduce三个组件yarn(YetAnotherResourceNegotiater)是资源调度系统,yarn调配的是内存和
PC_Repair
·
2024-02-19 20:28
Flink-部署实践
1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:
hadoop
1132)修改/conf/masters文件:
hadoop
1133)修改/conf
魔笛Love
·
2024-02-19 20:52
flink
主流开发语言和开发环境?
Java被广泛应用于企业级应用开发、移动应用(特别是Android应用)、游戏开发、大数据处理(如
Hadoop
生态系统)、云计算服务端开发等场景。C++简介:C+
dami_king
·
2024-02-19 20:50
开发语言
阿里巴巴的
云原生
应用开源探索与实践
作者|司徒放责编|阿秃出品|CSDN云计算(ID:CSDNcloud)阿里巴巴的应用架构演进分享阿里巴巴在
云原生
应用方面的探索之前,先和大家介绍一下阿里巴巴在整个应用架构方面的演进历程。
CSDN云计算
·
2024-02-19 19:44
学习笔记:
云原生
容器化技术——Docker
Docker学习笔记前言一、Docker概述1.1Docker为什么会出现?1.2Docker的历史1.3Docker为什么这么火爆?1.4虚拟机技术与容器化技术的区别二、Docker安装2.1Docker的基本组成2.2Docker安装2.3阿里云镜像加速2.4dockerrun的执行流程2.5Docker工作原理三、Docker命令3.1镜像命令3.2容器命令3.3其他常用命令3.4小结3.5
自传丶
·
2024-02-19 18:19
学习笔记
docker
容器
运维
【
云原生
】Docker-compose单机容器集群编排
内容预知1.Compose的相关知识1.Compose的相关概念2.为何需要docker-composedocker镜像管理的问题DockerCompose的解决方案3.Compose的特征2.Docker-compose的安装3.Compose配置常用字段和YAML文件编写3.1YAML文件格式及编写注意事项(1)YAML序列(2)YAML映射(3)序列的映射(4)映射的映射(5)序列的序列(6
站在这别动,我去给你买橘子
·
2024-02-19 18:49
云原生
容器
云原生
docker
云原生
系列 四【轻松入门容器基础操作】
✅作者简介:CSDN内容合伙人,全栈领域新星创作者,阿里云专家博主,华为云云享专家博主,掘金后端评审团成员前言:最近
云原生
领域热火朝天,那么
云原生
是什么?何为
云原生
?
云原生
用来干什么的?
叶秋学长
·
2024-02-19 18:17
沙箱实验操作手册
云原生
云原生
容器化-1 Linux虚拟网络介绍2—netfilter/iptables框架
背景:承接上文
云原生
容器化-1Linux虚拟网络介绍,本文以netfilter/iptables框架内容为主题,介绍框架原理和实践操作;由于后续介绍的Docker网络原理不涉及MAC层,因此本文内容聚焦在
Ewen Seong
·
2024-02-19 18:43
Linux系列
容器化
linux
网络
云原生
云原生
容器化-5 Docker常见操作命令
1.登录和退出docker仓库使用dockerlogin和dockerlogout分别用于登录和退出docker仓库。#登录时携带用户名、密码、仓库地址信息
[email protected]
:8000dockerlogin--usernameseong--password3er4#ER$192.168.0.22:8000#
Ewen Seong
·
2024-02-19 18:08
容器化
后端
云原生
docker
容器
运维
基于Spring Cloud创建弹性微服务
这正是SpringCloud的登场时机:一个全面的框架,用于构建
云原生
应用程序。2SpringCloud简介SpringCloud
虚无火星车
·
2024-02-19 16:01
spring
cloud
微服务
spring
JeecgBoot集成TiDB,打造高效可靠的数据存储解决方案
同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品,具备水平扩容或者缩容、金融级高可用、实时HTAP、
云原生
的分布式数据库
·
2024-02-19 15:56
Quick introduction to Apache Spark
Spark使用
Hadoop
的客户端库来
Liam_ml
·
2024-02-19 13:29
Hadoop
Shuffle
Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ
·
2024-02-19 13:22
Flink 细粒度滑动窗口性能优化
大数据技术AIFlink/Spark/
Hadoop
/数仓,数据分析、面试,源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口(窗口长度远远大于滑动步长)时,
hyunbar
·
2024-02-19 13:39
Flink
大数据
flink
java
数据库
极狐GitLab 与 Flux 集成实现 GitOps
关于GitOps的更多详细内容可以查看本公众号过往的文章:
云原生
时代,你还不懂GitOps?让KAS给GitOps插上腾飞的翅膀极狐GitLab和ArgoCD
·
2024-02-19 13:11
【大数据面试题】006介绍一下Parquet存储格式的优势
同时一般查询使用时不会使用所有列,而是只用到几列,所以查询速度会更快压缩比例高因为是列式存储,所以可以对同一类型的一段做压缩,压缩比例高支持的平台和框架多在
Hadoop
,Spark,Presto,Python
Jiweilai1
·
2024-02-19 13:34
一天一道面试题
大数据
spark
hadoop
Sqoop 入门基础
简介Sqoop(SQLto
Hadoop
)是一个开源工具,用于在关系型数据库和
Hadoop
之间传输数据。
香菜的开发日记
·
2024-02-19 13:17
sqoop
hadoop
hive
hadoop
硬件配置 高可用 datanode namenode硬件配置
每个分布式文件系统分块在NameNode的内存中大小约为250个字节,此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小(64MB)同时副本因子为3,5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息,这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy
·
2024-02-19 13:07
HADOOP
K8S
hadoop硬件
田尚滨
云原生
之容器编排实践-在K8S集群中使用Registry2搭建私有镜像仓库
背景基于前面搭建的3节点Kubernetes集群,今天我们使用Registry2搭建私有镜像仓库,这在镜像安全性以及离线环境下运维等方面具有重要意义。Note:由于是测试环境,以下创建了一个local-storage的StorageClass,并使用本地磁盘的方式创建使用PV,实际建议使用NFS。虚机资源共用到了三台虚机,1台作为Master节点,2台Worker节点。主机名IP说明k8s-mas
Heartsuit
·
2024-02-19 13:01
云原生
Docker
运维
云原生
kubernetes
容器
Registry2
私有镜像仓库
云原生
之容器编排实践-基于CentOS7搭建三个节点的Kubernetes集群
背景前面采用minikube作为Kubernetes环境来体验学习Kubernetes基本概念与操作,这样避免了初学者在裸金属主机上搭建Kubernetes集群的复杂度,但是随着产品功能的逐渐完善,我们需要过渡到生产环境中的K8S集群模式;而在实际上生产环境之前,我们先在本地虚拟机上进行了环境搭建与流程验证,作为新的起点,今天就先搭建一个3节点的Kubernetes集群。虚机资源共用到了三台虚机,
Heartsuit
·
2024-02-19 13:31
云原生
运维
Docker
云原生
kubernetes
容器
K8S集群
CentOS7
阿里云参编业内首个代码大模型标准丨
云原生
2024 年 1 月产品技术动态
云原生
月度动态
云原生
是企业数字创新的最短路径。《阿里云
云原生
每月动态》,从趋势热点、产品新功能、服务客户、开源与开发者动态等方面,为企业提供数字化的路径与指南。
·
2024-02-19 12:34
阿里云云原生
阿里云 ACR 制品中心 AI/大数据镜像专场上新推荐榜
同时,开发人员在考虑如何通过
云原生
技术,以统一架构、统一技术堆栈支撑更多类型的工作负载,从而进一步降低企业服务的运维成本。
·
2024-02-19 12:02
阿里云云原生容器镜像
【大数据】
HADOOP
-YARN-ContainerExecutor容器启动器详解
在NodeManager中,有三种运行Container的方式,它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中,我们就能看得出来,默认情况下,一定使用的是DefaultContainerExecutor。而一般情况下,DefaultContainerExecutor也确实能够满足我
笑起来贼好看
·
2024-02-19 11:38
Hadoop
大数据
hadoop
大数据
linux
学习篇-
Hadoop
-YARN-环境搭建
文章目录一、
Hadoop
-YARN-环境搭建一、
Hadoop
-YARN-环境搭建官网参考:https://
hadoop
.apache.org/docs/stable/
hadoop
-project-dist
东东爱编码
·
2024-02-19 11:08
hadoop
大数据
hadoop
【大数据】
HADOOP
-Yarn集群界面UI指标项详解(建议收藏哦)
目录首页(Cluster)节点信息SchedulerMetrics:集群调度信息节点信息详解(Nodes)应用列表信息(applications)队列详情页(Scheduler)指标详细说明(非常重要)首页(Cluster)集群监控信息指标详解AppsSubmitted:已提交的应用AppsCompleted:已完成的应用AppsRunning:正在运行的应用ContainersRunning:正
笑起来贼好看
·
2024-02-19 11:08
Hadoop
大数据
服务运维部署
大数据
hadoop
分布式
yarn
Hadoop
-Yarn-NodeManager都做了什么
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星
·
2024-02-19 11:00
hadoop
大数据
分布式
【2019-04-28】
Hadoop
分布式文件系统
Hadoop
自带HDFS(
hadoop
distributefilesystem)。HDFS默认数据块128M。
BigBigFlower
·
2024-02-19 11:56
Hadoop
搭建之 start-yarn.sh 报错
在搭建伪分布式的
Hadoop
集群环境时,在配置基础环境了并成功开启了HDFS组件后,jps查看已运行的名称节点和数据节点进程,[
hadoop
@master
hadoop
]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪
·
2024-02-19 11:58
java
hadoop
hdfs
大数据
运维
网络
hadoop
-2.7.4-nodemanager无法启动问题解决方案
近期新配了
hadoop
-274版本的集群,发现有一个小问题,DataNode无法顺利启动。
半肉哥
·
2024-02-19 11:27
hadoop
云原生
之容器管理工具Portainer
1.简介前面文章我们讲Docker、DockerCompose和DockerSwarm都是在Linux系统上手工命令行去操作,在第一次安装的时候可以命令行,以后运维和CICD流程操作中,如果还要命令行去各个节点操作,操作就麻烦了,工作效率就低了,我们需要有一个集中管理的系统,而且是web界面化的管理系统,而且是开源的,Portainer正是这样的系统。Portainer是一款开源的容器管理工具系统
鬓戈
·
2024-02-19 11:27
云原生
云原生
云原生
之Docker镜像仓库
1.前言同为虚拟化技术,Docker相对于VMWare有什么特点,或者最吸引我的特点?我认为最主要的是DockerImage技术,它让我们非常方便地把应用程序包和其依赖环境打包成一个Docker镜像文件,而且这个文件相对来说还非常小,一般就是几M到几十M,然后不管是开发环境、测试环境、预发布环境还是各个线上环境,只要环境里安装了DockerEngine就可以行为一致地运行起来,不需要去考虑烦人的目
鬓戈
·
2024-02-19 11:27
云原生
云原生
docker
容器
hadoop
-yarn资源分配介绍-以及推荐常用优化参数
如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为
Hadoop
2.x的一部分,YARN采用MapReduce中的资源管理功能并对其进行打包,以便新引擎可以使用它们。
Winhole
·
2024-02-19 11:26
hadoop
Linux
云原生
之容器编排-Docker Swarm
可以定义和运行多容器应用程序,用一个YAML配置文件来声明式管理服务,在一台安装了Dockerengine的Linux系统上可以很好的工作,但是现实中不可能只有一台Linux系统,一台Linux系统不可能有足够的资源运行所有的
云原生
应用系统
鬓戈
·
2024-02-19 11:48
云原生
云原生
docker
容器
Hadoop
-Yarn-NodeManager如何计算Linux系统上的资源信息
NodeResourceMonitorImpl)时只是提了下SysInfoLinux,下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.
hadoop
.util
隔着天花板看星星
·
2024-02-19 11:48
hadoop
大数据
linux
node命令yarn --version指向了java
问题描述本地安装了java、
hadoop
和nodejs,并配置了环境变量,但是
hadoop
的bin目录下存在yarn命令,所以使用nodejs的yarn命令启动项目会出现找不到类,此时键入yarn-version
码学弟
·
2024-02-19 11:43
前端
node.js
yarn
福利「Flink Forward Asia 2023 」PPT 阅读合集!
来自阿里云智能、蚂蚁金服、字节跳动、芒果TV、快手、美团、华为、美的、Shopee、米哈游、腾讯、同程旅行、汽车之家、网易等全球30+各行业一线厂商的嘉宾,围绕核心技术、行业实践、生产实践、平台建设、流式湖仓、
云原生
等多个时下热门方向
·
2024-02-19 11:20
后端flink大数据实时计算
企业级大数据安全架构(一)平台安全隐患
1缺乏统一的访问控制机制大数据平台由
Hadoop
生态体系众多组件组成,而每个组件都会提供相应的WebUI界面和RESTful接口,例如Nam
·
2024-02-19 11:48
大数据企业级安全性
Go 语言体系下的微服务框架选型:Dubbo-go
01Go微服务体系发展与选型随着微服务技术的快速发展,其在各个领域都形成了一系列事实标准,在Kubernetes和容器技术加持下,
云原生
微服务已经成为了主流解决方案。
阿里云云栖号
·
2024-02-19 10:38
云栖号技术分享
golang
微服务
dubbo
云原生
云计算
MapReduce
MapReduce定义mapReduce是一个分布式运算程序的编程框架,是用户开发基于
hadoop
的数据分析应用的核心框架。
诺冰1314
·
2024-02-19 10:46
大数据
haoop
MapReduce
hadoop
mapreduce
大数据
ebpf-go 初体验
但是很多的场景中(尤其是
云原生
场景),我们出于避免重复造轮子、更快的迭代速度、运行时安全等原因,会选择go语言来进行开发,ebpf-go2这个库就是当前最好的选择。
·
2024-02-19 10:26
Pulsar Standalone服务搭建
PulsarStandalone服务搭建说明简介ApachePulsar是Apache软件基金会顶级项目,是下一代
云原生
分布式消息流平台,集消息、存储、轻量化函数式计算为一体。
aileen5150
·
2024-02-19 10:04
docker
Apache Pulsar--简单介绍
一句话说:是一个
云原生
的批流一体的在诸多场景优于Kafka的新一代的消息队列中间件。ApachePulsar有哪些特性?
陈永佳
·
2024-02-19 10:32
Apache
Pulsar
Apache
Pulsar
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他