E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云计算hadoop
Linux入门学习笔记
系统2.Linux配置和Linux的目录结构Linux组成结构:硬件资源->内核程序->操作系统的应用程序->用户应用程序(Linux的文件系统均可被内核程序和操作系统的应用程序以及用户的应用程序调用)
Hadoop
RoundOff
·
2024-01-10 14:02
linux学习笔记
linux学习
《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍
热衷于各种主流技术,热爱数据科学、机器学习、
云计算
、人工智能。通过了TiDB数据库专员(PCTA)、TiDB数据库专家(PCTP)、TiDB数据库认证SQL开发专家(PCSD)认证。
wux_labs
·
2024-01-10 14:58
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
云计算
任务调度仿真01
云计算
任务调度的研究大多数以来仿真研究,现梳理一些做过的代码研究结果无数次的排错,终于finishwithcode0了这个代码以来的是比较老的TensorFlow版本,我们都知道TensorFlow1.
eyexin2018
·
2024-01-10 14:56
任务调度
tensorflow
深度学习
想学习
云计算
么?教你如何免费白嫖微软和AWS的云资源一年
在这个数字化飞速发展的时代,
云计算
已成为IT行业的未来趋势。作为一名渴望进步的IT专业人员,掌握
云计算
不仅意味着技能的提升,更是升职加薪、拓宽职业道路的重要跳板。
AI普惠大师
·
2024-01-10 13:28
云计算
云计算
学习
aws
azure
Flink集群安装部署(Standalone,Yarn模式)
目录一.环境准备二.Flink集群安装步骤三.FlinkOnYarn一.环境准备需要提前安装配置JDK,
Hadoop
二.Flink集群安装步骤1.下载安装包下载地址:Indexof/dist/flink
MJK祺
·
2024-01-10 12:03
大数据
hadoop
flink
融云数智办公获 IT168「2023 年度信创卓越贡献奖」
人工智能、
云计算
、大数据、数据库等迸发出新的活力,通过更具创新性的技术、产品和解决方案,推动经济高质量发展。从2004年
融云
·
2024-01-10 12:25
IT业界
办公
信息技术
信创
IT
数智办公
4.MapReduce 序列化
目录概述序列化序列化反序例化java自带的两种Serializable非Serializable
hadoop
序例化实践分片/InputFormat&InputSplit日志结束概述序列化是分布式计算中很重要的一环境
流月up
·
2024-01-10 12:46
大数据
mapreduce
大数据
序列化
实践
【Linux】linux踢出远程登录用户命令
linux踢出远程登录用户命令:查看当前自己的终端:[root@
hadoop
3~]#whoamirootpts/12013-01-2210:45(192.168.250.110)输入w命令查看已登录用户信息
奔向理想的星辰大海
·
2024-01-10 11:04
Linux
技术研发
项目管理
linux
微服务、容器、云原生、Kubernetes、SOA、PaaS平台、Devops 之间的关系
从几年前热火的Openstack、计算存储网络三大虚拟化技术、Iaas平台,到近几年更火热的容器和云原生的相关技术,在
云计算
这一领域新技术可谓是层出不穷。
penrryw
·
2024-01-10 10:21
云原生
容器
云原生 微服务 restapi devops相关的一些概念说明(持续更新中)
它是一种在
云计算
环境中构建、部署和管理现代应用程序的软件方法。
碧海饮冰
·
2024-01-10 09:43
分布式和技术框架们
云原生
微服务
devops
Zookeeper安装入门并配置为Windows服务开机自动启动
Zookeeper安装入门并配置为Windows服务开机自动启动1、概述zookeeper,它是一个分布式服务框架,是Apache
Hadoop
的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题
新手村张三
·
2024-01-10 09:29
zookeeper
zookeeper
windows
10
Hive之set参数大全-4
以下是一个示例:--设置hive.fetch.output.serde为org.apache.
hadoop
.hive.serde2.lazy.LazySimpleSerDeSEThive.fetch.ou
OnePandas
·
2024-01-10 09:28
Hive
hive
hadoop
大数据
公有云与私有云的区别在哪?选择公有云是否真的会泄露隐私?
如今,
云计算
技术的迅猛发展,越来越多的企业开始将业务迁移至云端。公有云和私有云作为两种主流的云服务模式,备受关注。那么,公有云和私有云的主要区别在哪里?选择公有云是否会带来隐私泄露问题?
Finovy Cloud
·
2024-01-10 09:27
网络
深入理解
Hadoop
(五)YARN核心工作机制浅析
概述YARN的核心设计理念是服务化(Service)和事件驱动(Event+EventHandler)。服务化和事件驱动软件设计思想的引入,使得YARN具有低耦合、高内聚的特点,各个模块只需完成各自功能,而模块之间则采用事件联系起来,系统设计简单且维护方便。这种编程方式具有异步、并发等特点,更加高效,更适合大型分布式系统。YARNService服务对于生命周期较长的对象,YARN采用了基于服务的对
我很ruo
·
2024-01-10 08:20
大数据
hadoop
大数据
分布式
深入理解
Hadoop
(七)YARN资源管理和调度详解
资源调度解决方案探讨
Hadoop
最初是为批处理设计而生,对于资源管理和调度,仅仅支持FIFO的调度机制。
我很ruo
·
2024-01-10 08:20
大数据
hadoop
java
分布式
yarn
深入理解 Flink(三)Flink 内核基础设施源码级原理详解
Hadoop
生态各大常见组件的RPC技术实现FlinkRPC网络通信框架Akka详解1、ActorSystem是管理Actor生命周期的组件,Actor是负责进行通信的组件。
我很ruo
·
2024-01-10 08:20
大数据
flink
大数据
hadoop
分布式
深入理解
Hadoop
(三)HDFS文件系统设计实现
HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件:edits_0000000000000041912-0000000000000041913:该LogSegment记录了transactionid在41912-41913之间的事务日志。(最多保留50个)edits_inprogress_0000000000000041914:正在使用的编辑日志文件
我很ruo
·
2024-01-10 08:50
大数据
hadoop
hdfs
大数据
深入理解
Hadoop
(一)网络通信架构与源码浅析
Hadoop
RPC网络通信框架原理剖析YARNRPC服务端的工作大致可以分为四个阶段:第一个阶段:Server初始化和启动在Server初始化的时候,会初始化Listener组件(内部启动了一个AcceptSelector
我很ruo
·
2024-01-10 08:49
大数据
hadoop
架构
大数据
深入理解
Hadoop
(二)HDFS架构演进
HDFS分布式集群架构设计实现核心设计思路:分而治之的思路,实现分散存储+冗余存储元数据管理核心问题:文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件:NameNodeRpcServer:RPC服务端,接收所有客户端的RPC请求来执行处理FSNamesystem:负责管理元数据内存中有一份完整的:FSDirectory磁盘中也有一份完整的
我很ruo
·
2024-01-10 08:49
大数据
hadoop
hdfs
架构
hadoop
主要文件及目录简介
1.
hadoop
目录概述
hadoop
的解压目录下的主要文件如下图所示:其中:/bin目录存放对
Hadoop
相关服务(HDFS,YARN)进行操作的脚本;/etc目录存放
Hadoop
的配置文件/lib目录存放
我很ruo
·
2024-01-10 08:19
hadoop
YARN 配置文件 capacity-scheduler.xml 参数解读
capacity-scheduler.xml文件中配置了yarn资源调度器运行中的各项参数,位于
hadoop
安装目录/
hadoop
-2.7.2/etc/
hadoop
目录下。打开后可以看到默认配置。
我很ruo
·
2024-01-10 08:49
hadoop
大数据
什么是智慧教育? 智慧校园、智慧教室和智慧课堂的区别
其技术特点是依托物联网、
云计算
、无线通信等新一代信息技术所打造的数字化、网络化、多媒体化、物联化、智能化、感知化、泛在化的新型教育形态和教
产品经理之禅
·
2024-01-10 08:57
hadoop
之HDFS文件系统命令操作
Apache
Hadoop
3.3.4–Overview01.appendToFile
hadoop
fs-appendToFilelocalfile/user/
hadoop
/
hadoop
file
hadoop
fs-appendToFilelocalfile1localfile2
OnePandas
·
2024-01-10 08:46
Hadoop
hadoop
hdfs
大数据
深入理解
Hadoop
(四)HDFS源码剖析
HDFS集群启动脚本start-dfs.sh分析启动HDFS集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。JournalNode核心工作和启动流程源码剖析//启动JournalNode的核心业务方法publicvoidstart()throwsIOException{//第一件事:创建JournalNode的本
我很ruo
·
2024-01-10 08:10
大数据
hadoop
hdfs
大数据
对一个数据统计产品的设想
现在的计算机科技发展很快,包括大数据、
云计算
、人工智能、区块链、5G、AR/VR等等。
12_05
·
2024-01-10 08:38
Java版商城:Spring Cloud+SpringBoot b2b2c实现多商家入驻直播带货及 免 费 小程序商城搭建的完整指南
鸿鹄云商SAAS云产品是一种基于
云计算
的软件服务,旨在帮助企业实现业务流程的自动化和优化。该产品采用了先进的
云计算
技术,具有高可用性、高扩展性和高安全性等特点,可以满足不同企业的需求。
m0_66404702
·
2024-01-10 08:43
spring
cloud
spring
boot
电子商务商城
商城免费搭建
腾讯云优惠券怎么获取(腾讯云优惠券在哪领取)
随着
云计算
技术的快速发展,越来越多的企业开始选择使用云服务来降低成本、提高效率。腾讯云作为国内领先的云服务提供商之一,也提供了丰富的优惠券政策来吸引更多的用户。
老王说主机
·
2024-01-10 08:58
腾讯云
云计算
腾讯云最新优惠活动入口整理汇总
随着
云计算
技术的快速发展,腾讯云作为国内领先的云服务提供商,一直致力于为用户提供高效、稳定、安全的云服务。为了回馈广大用户的支持,腾讯云经常推出各种优惠活动。
老王说主机
·
2024-01-10 08:55
腾讯云
云计算
CDH集成LDAP配置
JavaChenBlog,作者:JavaChen原文链接地址:http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-
hadoop
.html
101之歌
·
2024-01-10 07:48
读元宇宙改变一切笔记02_元素(上)
1.1.1.在谈论“多个元宇宙”1.1.2.微软首席执行官萨提亚·纳德拉将元宇宙描述为一种可以将“整个世界变成一个应用程序”的平台,并可以通过云软件和机器学习进行功能扩展1.1.3.Windows操作系统、
云计算
产品
躺柒
·
2024-01-10 07:12
读元宇宙改变一切
元宇宙
虚拟现实
虚拟世界
图形渲染
游戏
2022 年全国职业院校技能大赛高职组
云计算
赛项试卷部分解析
2022年全国职业院校技能大赛高职组
云计算
赛项试卷部分解析【赛程名称】高职组-
云计算
赛项第一场-私有云【任务1】私有云服务搭建[10分]【题目2】Yum源配置[0.5分]【题目3】配置无秘钥ssh[0.5
落寞的魚丶
·
2024-01-10 07:58
全国职业技能大赛云计算
2022全国职业技能大赛
云计算
中职组
高职组
解析答案
互联网
云计算
:开启未来智能生活的新篇章
在互联网技术的飞速发展中,
云计算
已经成为了我们生活中不可或缺的一部分。它像一座神奇的云端宝库,为我们提供了无尽的计算资源和存储空间。让我们一起来探索互联网
云计算
的奥秘和魅力。
软件开发小浩
·
2024-01-10 07:26
云计算
大数据
浅谈虚拟化技术下的云安全如何处置
浅谈虚拟化技术下的云安全如何处置近年来,
云计算
是目前非常热门的一个研究领域,其实它并不是一种全新的技术,而是许多技术的融合体,包括分布式计算、动态和拓展等各种各样的技术算法,而虚拟化技术是
云计算
里最重要的一个技术
weixin_34319817
·
2024-01-10 07:24
运维
Hbase安装步骤
话不多说,下面就是安装的详细步骤:一、下载安装包首先,我们需要下载图中红色标记的三个压缩包:apache-zookeeper-3.6.3.tar、
hadoop
-3.3.1.tar、hbase-2.2.7
Daner13921
·
2024-01-10 06:46
hbase
hadoop
apache
【spark】基于Spark的电影推荐系统+[详细代码及配置]
基于Spark的电影推荐系统项目架构组件版本及配置名称版本
Hadoop
2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0
BIG*BOSS
·
2024-01-10 06:25
Spark
spark
大数据本地环境搭建-Zookeeper/
Hadoop
/Hive搭建
1.Zookeeper环境安装链接:https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal提取码:wgal1.1上传tar包zookeeper-3.4.6.tar注意:上传文件位置为/export/server目录1.2解压缩cd/export/servertarxvf/export/server/zookeeper-3.4.6.tar.g
OnePandas
·
2024-01-10 06:01
集群环境搭建
大数据
hadoop
zookeeper
hive
Hadoop
之mapreduce参数大全-4
76.指定在MapReduce作业中,哪些输出文件应该在任务失败时保留mapreduce.task.files.preserve.filepattern是
Hadoop
MapReduce框架中的一个配置属性
OnePandas
·
2024-01-10 06:01
Hadoop
hadoop
mapreduce
Hadoop
之mapreduce参数大全-1
1.设置Map/Reduce任务允许使用的最大虚拟内存大小mapred.task.maxvmem是MapReduce的一个配置参数,用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小(以字节为单位)。如果一个任务使用的虚拟内存超过了此参数指定的值,则任务会被认为是失败的,并且MapReduce集群会尝试重新分配任务。默认情况下,此参数的值为MapReduce任务的堆内存大小的两倍。可以
OnePandas
·
2024-01-10 06:00
Hadoop
hadoop
Hadoop
之mapreduce参数大全-2
25.指定在Reduce任务在shuffle阶段的fetch操作中重试的超时时间mapreduce.reduce.shuffle.fetch.retry.timeout-ms是Apache
Hadoop
MapReduce
OnePandas
·
2024-01-10 06:00
Hadoop
hadoop
大数据
Hadoop
之mapreduce参数大全-3
51.指定Shuffle传输过程中可以同时连接的节点数mapreduce.shuffle.max.connections是
Hadoop
MapReduce中的一个配置参数,用于指定Shuffle传输过程中可以同时连接的节点数
OnePandas
·
2024-01-10 05:57
Hadoop
hadoop
mapreduce
java
Hadoop
体系结构之 HDFS
HDFS采用主从(Master/Slave)结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的(在最新的
Hadoop
2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar
·
2024-01-10 05:05
云计算
第一天
HCIA—华为认证的初级网络工程师HCIP—华为认证的高级网络工程师HCIE—华为认证的专家网络工程师云技术—
云计算
----分布式计算云存储----百度网盘计算机技术抽象语言—电信号抽象语言—编码应用层编码
周越飞
·
2024-01-10 05:06
笔记
云卷云舒:kubernetes简介
2017年,aws、微软云、阿里云等等著名的
云计算
公司都开始宣布原生支持kubernetes。还有的平台可以做到把自己的k8s对外提供服务,让用户可以直接在上面部署应用程序,提供容器级服务的环境。这些
Cloud云卷云舒
·
2024-01-10 05:36
云原生
kubernetes
容器
云原生
云卷云舒:【实战篇】对象存储迁移
云卷云舒:【实战篇】MySQL迁移-CSDN博客1.简介对象存储与块存储、文件存储并列为
云计算
三大存储模型。
Cloud云卷云舒
·
2024-01-10 05:35
架构设计
云原生
云原生
迁移学习
运维
云闪付支付:一种新型的移动支付方式
云闪付是中国银联推出的一种基于
云计算
和大数据的移动支付产品。它通过手机、平板等移动设备,实现了线上线下的无卡支付,为用户提供了一种全新的支付体验。云闪付支付的特点
西米支付
·
2024-01-10 05:28
游戏
金融
教育电商
娱乐
社交电子
Java大数据学习~
Hadoop
初识三Yarn模式
我们都知道在如今的
Hadoop
中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。
胖琪的升级之路
·
2024-01-10 05:55
创业之路:创业项目如何选择?创业者的死路大公开
大数据,
云计算
,5G,新材料,航空航天,智能化改造传统产业,智能装备,智能汽车等等,这些大风口,你干得了吗?没有一定时间的研发,技术储备。就2万块,能搞起来吗?创业重要的是创业
史则峰的独立商业视角
·
2024-01-10 03:10
企业应如何优化其云支出?
云计算
支出是企业在2020年需要继续支出的少数成本之一,在过去的几年中,许多行业已经意识到将其企业工作流程迁移到云中的优势,甚至更多,因为2020年的“重大事件”仅加速云普及。
我是一个做云计算的奇女子
·
2024-01-10 01:00
基于云平台技术的透明A柱的浅谈
基于云平台技术的“透明A柱”创新是一种利用
云计算
、大数据和人工智能等技术,将传统的汽车A柱变为透明,从而提高驾驶安全性和便利性的创新应用。
MarkHD
·
2024-01-10 00:46
汽车
Hive的复杂数据类型
复杂数据类型:array、map、struct1.数组array,里边不能装不同类型的数据[
hadoop
@
hadoop
001data]$morehive_array.txtzhangsanbeijing
白面葫芦娃92
·
2024-01-10 00:35
上一页
43
44
45
46
47
48
49
50
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他