E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云计算hadoop
Hadoop
-MapReduce使用说明
下面让我们跟着官网来学习下吧Apache
Hadoop
3.3.6–MapReduceTutorial二、运行流程大致描述1、用户通过jo
隔着天花板看星星
·
2024-01-25 09:52
hadoop
mapreduce
大数据
Hadoop
-YARN概览
一、什么是YARNYetAnotherResourceNegotiator,另一种资源协调者,简称YARN。基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护进程。其想法是拥有一个全局ResourceManager(RM)和每个应用程序的ApplicationMaster(AM)。可以支持单个作业,也可以支持多个作业的DAG。被称为另一种资源协调者,那就证明有一种比YARN更早的资源协调者
隔着天花板看星星
·
2024-01-25 09:52
hadoop
大数据
分布式
Hadoop
-HDFS读流程(从输入命令到回显)
一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客,这里先贴下官网架构图:二、静静的思考一会儿爱因斯坦说过:想象力比知识更重要。想象力推动世界,是知识进化的源泉。我们先不看源码,先通过官方架构图和我们对HDFS的了解来想象下读流程是什么样的。我要读HDFS上的一份文件,首先需要知道它在哪台节点上,HDFS上存储的文件都是以块的形式存放在各个DataNode节点上。因此需要知道这
隔着天花板看星星
·
2024-01-25 09:52
hadoop
hdfs
大数据
Hadoop
-MapReduce-源码跟读-客户端篇
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、从WordCount进入源码用idea将源码加载进来后
隔着天花板看星星
·
2024-01-25 09:52
hadoop
mapreduce
eclipse
hadoop
三种运行方式
一、本地运行方式1创建在
hadoop
-3.3.5文件下面创建一个wcinput文件夹[antares@
hadoop
1
hadoop
-3.3.5]$mkdirwcinput[antares@
hadoop
1
hadoop
Snower_2022
·
2024-01-25 09:51
hadoop
大数据
分布式
Hadoop
-MapReduce-跟着日志理解整体流程
一、数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下:-----------------input_01.txt----------------javascalapythonc++javajsgogovbaccc++javascalapythonphpcsshtmljsjavajavascalavbac#.netRRRjava--------
隔着天花板看星星
·
2024-01-25 09:49
hadoop
mapreduce
大数据
HBase学习五:运维排障之备份与恢复
HBase的所有文件都存储在HDFS上,因此只要使用
Hadoop
提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中,就可以完成对源HBase集群的备份工作copyTable
Studying!!!
·
2024-01-25 09:49
中间件
hbase
学习
运维
通信、机房、IT运维、
云计算
类可视化大屏,大气直观漂亮。
通信、机房、IT运维和
云计算
可视化大屏的作用主要体现在以下几个方面:实时监控:可视化大屏可以实时显示通信、机房、IT运维和
云计算
系统的运行状态和性能指标。
贝格前端工场
·
2024-01-25 08:25
运维
云计算
信息可视化
数字孪生
【AWS征文】AWS 数据分析新服务——数据湖
数据分析是当前比较热门的技术,通过利用
云计算
的资源,更加快速对数据进行收集、处理并分析。本文将从实践角度阐述AWS数据湖以及数据分析等产品,是如何帮助企业更加智能的利用数据,从而辅助业务决策。
wzlinux
·
2024-01-25 07:45
数据库
数据仓库
大数据
编程语言
hadoop
大数据平台组件日常运维操作说明(
Hadoop
/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat)
Hadoop
日常运维操作说明hdfs生产环境
hadoop
为30台服务器组成的集群,统一安装配置,版本号为2.7.7部署路径:/opt/
hadoop
启动用户:
hadoop
配置文件:/opt/
hadoop
/
love6a6
·
2024-01-25 07:12
大数据
java-zookeeper
运维
基于CentOS7
Hadoop
-2.7.2伪分布式部署
1、基本环境Linux版本:CentOS7.0JDK版本:jdk-7u79-linux-x64.tar.gz
Hadoop
版本:
hadoop
-2.7.2.tar.gzjdk以及
Hadoop
安装在/usr目录下
程序员小H
·
2024-01-25 07:23
Hadoop
HDFS 实现原理图文详解
一、HDFS体系结构1.1HDFS简介
Hadoop
分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统(DistributedFileSystem)。
禅与计算机程序设计艺术
·
2024-01-25 07:49
堡垒机
一、深入理解paramiko封装前奏SSHClient()部分源码千锋
云计算
西瓜甜千锋
云计算
西瓜甜从上面的源码中不难看出,SSHClient()的实例对象,最终也是使用了Tansport()的实例对象。
运维开发_西瓜甜
·
2024-01-25 06:50
TOWE智能PDU:面向未来的数据中心机架配电
数字化和
云计算
时代,数据中心已经成为现代业务运营的基石。作为数据中心配电系统的关键组成部分,机柜PDU的性能和可靠性对于数据中心的稳定运行至关重要。
TOWE technology
·
2024-01-25 06:23
服务器
数据库
运维
边缘计算的挑战与机遇:共创未来智能新篇章
作为
云计算
的延伸和补充,边缘计算在带来更强的实时性和本地处理能力的同时,也为企业降低了成本和压力,提高了数据处理效率。然而,与任何新兴技术一样,边缘计算也面临着诸多挑战。
航的码农之路
·
2024-01-25 06:18
边缘计算
人工智能
边缘计算:开启智能城市新篇章
作为
云计算
领域的领头羊,阿里云在边缘计算领域也有所布局。本文将详细介绍阿里云杨敬宇:四层技术构建基于城市场景的边缘计算。
百度_开发者中心
·
2024-01-25 06:46
程序人生
像章鱼一样聪明~一起学习吧之边缘计算
前期的文章和大家share了边缘计算的基本原理以及与
云计算
的区别边缘计算论述,本篇想谈谈边缘计算的优缺点和具体应用实例。
wd90119
·
2024-01-25 06:45
学习
边缘计算
人工智能
Hive运行机制与使用
hive介绍hive是基于
Hadoop
的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
小猪Harry
·
2024-01-25 05:09
云计算
时代操作系统Kubernetes之安全(三)
在Kubernetes平台上,通过Secret来管理敏感数据只是让我们系统安全的必要条件而已,接下来我们先来分析一下,为啥Secret就不安全了?笔者在安全(二)这篇文章中给大家介绍了两种方法把Secret中的敏感数据传递给容器中运行的应用程序,读者可能会问,到底哪种方式更加安全?你可能会很主观的认为通过文件关在的方式会比环境变量安全,因为如果攻击者进入到POD中,直接通过运行env环境变量命令就
攀师傅
·
2024-01-25 05:49
【工大最人物】铁血柔情——曾泉
曾泉,理学院
云计算
专业15-1班学生,现任理学院学生会主席,大学生教官师范团副团长。曾在黑龙江服役,获优秀学生干部称号、曹惠琴奖学金。
工大之声广播台
·
2024-01-25 04:29
深度机器学习满足网络安全
坏的行动者具有自动性能够产生大量的恶意代码4、好的行动者不能跟上节奏仍然采用手工的恶意代码检测规则二、解决方案:深度机器学习应用于网络安全训练数据集:数百万的恶意代码存储+深度学习:theano+高性能
云计算
Threathunter
·
2024-01-25 04:28
教程介绍
引言
云计算
已成为当今互联网发展的主流趋势之一,本教程基于目前企业常用的生产服务器Centos系统实例演示Linux相关的操作系统,文件服务,存储服务以及网络服务等的部署,管理与维护;然后在此基础上进行
云计算
架构的实战
手写的白洋
·
2024-01-25 02:27
华纳云:云流化技术和云桌面有什么区别?
云流化技术和云桌面是两种不同的
云计算
技术,它们在实现远程访问、虚拟化和资源共享方面有一些区别。
华纳云IDC服务商
·
2024-01-25 01:23
云计算
智慧仓储物流远程监控方案分析
智慧仓储物流远程监控方案分析随着物联网、大数据、
云计算
等技术的快速发展,智慧仓储物流逐渐成为现代物流发展的重要方向。远程监控作为智慧仓储物流的重要组成部分,可以有效提高仓储物流的效率、准确性和安全性。
蓝蜂物联网
·
2024-01-25 01:48
plc
物联网
物联网云平台
远程控制
低代码,让软件开发不再复杂
微服务、平台化、
云计算
作为当前的IT技术热点,主要强调共享重用,它们促进了软件快速
胖头鱼不吃鱼-
·
2024-01-25 00:39
低代码
JNPF
前端框架
边缘计算及相关产品历史发展
边缘计算及相关产品历史发展背景边缘计算的历史CDN(ContentDeliveryNetwork)Cloudlet雾计算MEC(Multi-AccessEdgeComputing,MEC)边缘计算的现状
云计算
厂商硬件厂商软件基金会背景最近
legendaryhaha
·
2024-01-24 23:19
业务集合
边缘计算
人工智能
openstack
cloud
native
企业私有云:安全架构设计与安全运营实践指南
概述
云计算
被称为是继个人PC、互联网之后的第三次信息化革命,不仅实现了IT技术的革新,更是IT商业模式和服务模式的一次重大变革。
知白守黑V
·
2024-01-24 21:46
云计算
云安全
安全运营
私有云
云计算
云安全
安全架构
安全运营
私有云建设
私有云架构设计
云原生安全:风险挑战与安全架构设计策略
云计算
作为数字化转型的底座和重要的载体,在企业中大规模的部署。随着
云计算
市场规模的不断扩大,应用场景越发丰富,
云计算
技术也在逐年成熟和优化。
知白守黑V
·
2024-01-24 21:15
云计算
云安全
风险评估
云原生
云计算
云安全
安全架构
安全威胁分析
云原生安全机构
DevOps
Spark基本架构及原理
Hadoop
和Spark的关系Spark运算比
Hadoop
的MapReduce框架快的原因是因为
Hadoop
在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次Mapredue
李飞_fd28
·
2024-01-24 20:50
万物皆世界,人人得智慧
我对王欣师兄的“一图显世界”的思考:图片发自App《万物皆世界人人悟智慧》在大数据、
云计算
、AI、物联网、区块链的深度普及基础上,区块链作为一个“分布式存储与个体价值体现”的最好技术革新,以比特币为载体迅猛的来到了人们面前
众心无相
·
2024-01-24 18:02
技术变革与裁员潮下程序员的挑战与应对策略
新兴技术如人工智能、
云计算
、大数据、区块链等不断涌现,对软件工程师的需求结构产生了深刻变化。
陈大狗Ayer
·
2024-01-24 17:03
手把手教你玩转MyBatis
经验分享
其他
职场和发展
在无公网IP环境下实现VS Code远程开发的方法
随着
云计算
和远程协作的普及,越来越多的开发者选择使用VSCode进行远程开发。然而,有时我们会发现自己处于一个没有公网IP的网络环境,这可能会导致无法直接访问VSCode的远程开发功能。
咕噜企业签名—美乐蒂
·
2024-01-24 17:48
tcp/ip
网络
服务器
2019-05-15
主流程1.关闭防火墙2.机器间实现免密3.zk部署4.
hadoop
部署实现流程2.免密登录ssh-keygen回车一直到最后(有3次)生成本机秘钥后,同步到自己机器和其他机器ssh-copy-idhostxshell
泡泡_bbb9
·
2024-01-24 15:54
腾讯云2024年服务器购买促销活动内容解读
在
云计算
行业,腾讯云一直是备受瞩目的存在。其不仅提供了稳定可靠的云服务,还经常推出各种优惠活动,以回馈广大用户。
腾讯云优惠活动及教程
·
2024-01-24 14:44
腾讯云
服务器
云计算
2024年腾讯云2核2G4M云服务器使用场景整理
在
云计算
时代,服务器资源的合理配置和选择显得尤为重要。特别是对于中小企业和个人开发者而言,如何在有限的预算内获取最佳的服务器性能,是大家都关心的问题。
腾讯云优惠活动及教程
·
2024-01-24 14:44
腾讯云
云计算
2024年腾讯云轻量服务器和云服务器有什么区别和优惠活动?
在
云计算
时代,如何快速、高效地部署和管理应用是每位开发者和企业都必须面对的问题。腾讯云为此提供了全方位的解决方案,其中包括轻量应用服务器和云服务器CVM。
腾讯云优惠活动及教程
·
2024-01-24 14:14
腾讯云
云计算
腾讯云新用户活动:4核8G12M轻量应用服务器测评及适用场景详细说明
随着
云计算
技术的不断发展,云服务器已经逐渐成为了企业和个人用户的首选。而在众多云服务提供商中,腾讯云凭借其卓越的性能和稳定性,受到了广大用户的青睐。
腾讯云优惠活动及教程
·
2024-01-24 14:44
腾讯云
性能优化
云计算
2024年腾讯云4核8G服务器最大并发多少?
在
云计算
时代,服务器的性能直接关系到网站的稳定性与访问速度。那么,腾讯云的4核8G服务器在并发访问方面的实力如何呢?让我们一探究竟。首先,腾讯云4核8G12M轻量应用服务器提供了灵活的购买选项。
腾讯云优惠活动及教程
·
2024-01-24 14:09
腾讯云
服务器
云计算
Eureka-第一篇
Eureka是Netflix开发的服务发现框架,主要用于解决在
云计算
环境中动态位置服务和快速弹性变化的问题。在微服务架构中,Eureka可以作为服务注册与发现组件,使服务之间能够相互通信。
落地之光
·
2024-01-24 14:49
spring
cloud
eureka
云原生
spring
cloud
微服务
服务发现
一体化运维的发展趋势与未来展望
云计算
、大数据、物联网等前沿技术的广泛应用,使得企业的IT运维面临着前所未有的挑战。在这样的背景下,一体化运维作为一种新型的运维模式,应运而生,并逐渐成为企业IT运维的主流趋势。
MXsoft618
·
2024-01-24 14:09
一体化运维
方便的 Bash 终端技巧大集合
近年来,我从事
云计算
相关的工作,并在这里继续记录那些有用的命令。并且我在努力的使他们简短
summerbluet
·
2024-01-24 14:21
通过
hadoop
jar命令运行提交MapReduce到YARN中
实现Wordcount大概流程:给定数据输入的路径,给定结果输出的路径;将输入路径内的数据中的单词进行计数,将结果写到输出路径如下:在
hadoop
下找
hadoop
-mapreduce-examples-
%HelloWorld%
·
2024-01-24 13:28
hadoop
大数据
分布式
MapReduce配置 & YARN集群部署
1:编辑mapred-env.sh;添加如下配置#设置jdk路径exportJAVA_HOME=/opt/module/jdk#设置JobHistoryServer进程内存为1Gexport
HADOOP
_JOB_HISTORYSERVER_HEAPSIZE
%HelloWorld%
·
2024-01-24 13:28
mapreduce
数据库
大数据
部署
Hadoop
集群
在node1节点执行,以root身份1:在VMware虚拟机集群上部署HDFS集群1)准备好
hadoop
安装包;目前最新3.3.4;了解:2)上传解压
hadoop
①:上传
hadoop
到node1节点;②
%HelloWorld%
·
2024-01-24 13:27
java
开发语言
Hive在VMware中部署
会在日志文件中生成root用户的一个随机密码,使用下面命令查看密码:如果你想设置简单密码,需要设置mysql密码安全级别:(进入mysql中实行)然后就可以简单密码了:(进入mysql中实行)步骤二:配置
hadoop
%HelloWorld%
·
2024-01-24 13:27
hive
hadoop
数据仓库
物流行业的革命性创新:智慧园区物流管理系统
智慧园区物流管理系统作为当今社会一项重要的创新技术,融合了大数据、
云计算
和人工智能等多项先进技术,成功地实现了对园区内物流活动的全方位掌控与智能化管理。
杭州国辰智企epowise
·
2024-01-24 13:02
ide
Kafka集群的安装与配置(二)
2.2.2生产者命令行操作1)查看操作生产者命令参数[atguigu@
hadoop
102kafka]$bin/kafka-console-producer.sh2)发送消息[atguigu@
hadoop
102kafka
ole_triangle_java
·
2024-01-24 12:59
kafka
linq
分布式
移动互联网初创型团队需要什么样的
云计算
服务?
移动互联网初创型团队需要什么样的
云计算
服务?
tuna_lxg
·
2024-01-24 12:34
云主机
云主机选择
Windows下hive中insert语句报错
报错信息我的
hadoop
和hive版本都是3.0版本(建议
hadoop
3.x版本、hive2.x版本,我在使用中发现有些问题)[08S01][2]Errorwhileprocessingstatement
林园857
·
2024-01-24 10:27
hive
hadoop
数据仓库
红队视角下的公有云基础组件安全(二)
目录●云存储●
云计算
●云网络●其他云存储AzureStorageAzureStorage是微软云出品的文件存储功能,他有一个重要的概念,那就是储存账户。首先我们需要明确一下AzureSt
杭州默安科技
·
2024-01-24 08:33
安全
flask
python
红队视角
公有云
云原生
aws
上一页
27
28
29
30
31
32
33
34
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他