E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云计算hadoop
Java技术栈 ——
Hadoop
入门(一)
Java技术栈——
Hadoop
入门(一)一、
Hadoop
第一印象二、安装
Hadoop
三、
Hadoop
解析3.1
Hadoop
生态介绍3.1.1MapReduce-核心组件3.1.2HDFS-核心组件3.1.3YARN
键盘国治理专家
·
2024-01-04 08:02
Java技术栈
java
hadoop
开发语言
大数据-HDFS原理
HDFS(
Hadoop
DistributionFileSystem)是基于谷歌发布的GFS论文设计的;出了具有其他文件系统具有的特性之后,HDFS还具有:高容错性:认为硬件总是不可靠的;高吞吐量:为大量数据访问的应用提供高吞吐量的支持
运维仙人
·
2024-01-04 07:00
大数据
运维
【
Hadoop
-HDFS-S3】HDFS 和存储对象 S3 的对比
【
Hadoop
-HDFS-S3】HDFS和存储对象S3的对比1)可扩展性2)数据的高可用性3)成本价格4)性能表现5)数据权限6)其他限制虽然Apache
Hadoop
以前都是使用HDFS的,但是当
Hadoop
bmyyyyyy
·
2024-01-04 07:25
Hadoop
hadoop
hdfs
大数据
#存储对象
#S3
云计算
:OpenStack 分布式架构管理VXLAN网络(单控制节点与多计算节点)
目录一、实验1.环境2.各节点新增网卡准备VXLAN网络3.控制节点配置私有网络4.计算节点1配置私有网络5.计算节点2配置私有网络6.重启服务7.修改Dashboard8.新建项目(租户)及用户9.新建网络与子网10.新建实例11.新建路由12.新增浮动IP关联云主机实例二、问题1.私有网络主要组件相互关系2.VXLAN底层如何实现一、实验1.环境(1)主机表1主机主机架构IP备注control
cronaldo91
·
2024-01-04 07:13
云计算
云计算
openstack
架构
运维
云计算
:OpenStack 分布式架构管理FLAT网络(单控制节点与多计算节点)
目录一、实验1.环境2.控制节点创建网络3.控制节点创建规格4.控制节点新增安全组入口规则5.控制节点创建实例二、问题1.FLAT网络底层如何实现2.无法SSH云主机实例一、实验1.环境(1)主机表1主机主机架构IP备注controller控制节点192.168.204.210已部署compute01计算节点1192.168.204.211已部署compute02计算节点2192.168.204.
cronaldo91
·
2024-01-04 07:12
云计算
云计算
openstack
架构
运维
OpenStack
云计算
(二)镜像和计算
镜像服务描述如何在控制节点上安装和配置镜像服务,即glance。简单来说,这个配置将镜像保存在本地文件系统中。先决条件安装和配置镜像服务之前,你必须创建创建一个数据库、服务凭证和API端点。完成下面的步骤以创建数据库:用数据库连接客户端以root用户连接到数据库服务器:$ mysql-uroot-p创建glance数据库:CREATEDATABASEglance;对``glance``数据库授予恰
wmd13164306712
·
2024-01-04 07:10
openstack
云计算
深信服技术认证“SCCA-C”划重点:
云计算
关键技术
为帮助大家更加系统化地学习
云计算
知识,高效通过
云计算
工程师认证,深信服特推出“SCCA-C认证备考秘笈”,共十期内容。“考试重点”内容框架,帮助大家快速get重点知识。
sangfor_edu
·
2024-01-04 07:39
深信服认证
云计算
对比Pig、Hive和SQL,浅看大数据工具之间的差异
以下为译文有人说对于大数据分析来说
Hadoop
才是炙手可热的新技术,SQL虽然久经考验但已经有些过时了。这话说得不错,但有非常多的项目都用
Hadoop
作
MayerBin
·
2024-01-04 06:09
掌控数字世界的幕后英雄
随着
云计算
、大数据、人工智能等技术的飞速发展,运维工程师的角色和职责也在不断演变。他们不仅需要精通网络、服务器、存储等基础设施的管理与维护,还要对数据库、应用软件和各类系统进行深度优化与监控。
数字化信息化智能化解决方案
·
2024-01-04 06:53
运维
海外SaaS应用加速难题如何破解?
随着
云计算
和软件即服务(SaaS)的发展,海外SaaS软件展现的优势逐渐体现,越来越多企业开始利用其进行降本增效。
Ogcloudnet
·
2024-01-04 04:33
网络安全
网络
CloudManager大数据本地环境标准部署文档
一、基本信息文档目的:标准化、规范化
Hadoop
在本地化环境中部署所涉及的操作和流程,以便高效、高质地落地本地化环境部署的工作。
有语忆语
·
2024-01-04 04:29
大数据之数据仓库
项目
大数据
【SpringBoot框架篇】34.使用Spring Retry完成任务的重试
SpringRetry是从SpringBatch独立出来的一个功能,已经广泛应用于SpringBatch,SpringIntegration,SpringforApache
Hadoop
等Spring项目
皓亮君
·
2024-01-04 04:45
spring
spring
boot
后端
spring-retry
java
多台机器的时钟同步
本文将以第二种方式介绍三台机器之间的时间同步具体的操作步骤:本文是以centos6.5作为服务器搭建的三台机器
Hadoop
伪分布式的平台,解决三台机器之间的时间同步的问题,主机master的IP为192.168.141.130
无为二里
·
2024-01-04 03:26
hadoop
时钟同步
docker-compose部署
hadoop
集群(高可用)—— 筑梦之路
hadoop
高可用依赖组件zookeeper1.下载二进制文件###1、zookeeper#下载地址:https://zookeeper.apache.org/releases.html#zookeeper
筑梦之路
·
2024-01-04 03:11
数据库技术
大数据
Java技术
hadoop
docker
大数据
某人寿保险公司基础架构云化与小机数仓下移实践
随着数据中心IT基础架构的不断演进,
云计算
、大数据、移动互联的需求日益高涨,快速敏捷、易于维护以及扩展性,逐渐成为金融机构在升级数据中心时重点考虑的方面。
志凌海纳SmartX
·
2024-01-04 03:09
超融合
云计算
数据库架构
GBASE南大通用数据库-GBase8a虚拟集群镜像技术
随着
云计算
和大数据技术的发展,虚拟集群环境下的数据同步和备份问题日益凸显。如何在保证数据一致性的同时,实现高效、可靠的数据管理?今天,我们为大家介绍一款强大且实用的技术——GBase8a虚拟集群镜像。
GBASE数据库
·
2024-01-04 02:23
数据库
GBASE南大通用
GBASE
从零开始了解大数据(六):数据仓库Hive篇
目录前言一、数据仓库基本概念二、ApacheHive入门1.ApacheHive概述2.ApacheHive架构与组件三、ApacheHive安装部署1.ApacheHive部署实战(1)
Hadoop
与
橘子-青衫
·
2024-01-04 02:51
大数据
从零开始了解大数据
大数据
数据仓库
hive
hadoop
分布式
从零开始了解大数据(五):YARN篇
目录前言一、
Hadoop
YARN介绍二、
Hadoop
YARN架构与组件1.ResourceManager(RM)2.NodeManager(NM)3.ApplicationMaster三、程序提交YARN
橘子-青衫
·
2024-01-04 02:20
大数据
从零开始了解大数据
大数据
hadoop
分布式
从零开始了解大数据(七):总结
系列文章目录从零开始了解大数据(一):数据分析入门篇-CSDN博客从零开始了解大数据(二):
Hadoop
篇-CSDN博客从零开始了解大数据(三):HDFS分布式文件系统篇-CSDN博客从零开始了解大数据
橘子-青衫
·
2024-01-04 02:19
从零开始了解大数据
大数据
大数据
hadoop
hive
big
data
hdfs
数据仓库
MapReduce计算模型、数据流和控制流,
Hadoop
流的工作原理
1、Job在
Hadoop
中,每个MapReduce任务都被初始化为一个Job。每个Job又可以分为两个阶段:Map阶段和Reduce阶段。这两个阶段分别用两个函数来
南宫凝忆
·
2024-01-04 01:47
Hadoop
mapreduce
大数据
big
data
云服务在邮件发送中的隐私问题:如何保护邮件内容安全?
如今,随着
云计算
和云服务的普及,越来越多的人选择使用云服务来发送和存储邮件。然而,很多人对于使用云发送邮件时邮件内容是否会泄露存在一定的担忧。
高省浮沉000018
·
2024-01-04 01:18
VirtualBox6.0 搭建Ubuntu18.04集群环境
image.png2、下载Ubuntu18.04镜像应为计划搭建
hadoop
集群,所以用server版本。
大道至简非简
·
2024-01-04 00:54
选择更灵活的设计工具:SOLIDWORKS 软件网络版与单机版的比较
SOLIDWORKS软件网络版SOLIDWORKS软件网络版是一种基于
云计算
的设计解决方案,为用户提供了更加灵活的协作和使用方式。1.协作性能:允许多用户同时访问和编辑设计文件
亿达四方SOLIDWORKS
·
2024-01-04 00:04
3d
CSDN开发云
腾讯云可以享受多久新人优惠?这款腾讯云服务器可享受3年新人优惠价
随着
云计算
技术的日益成熟,上云已成为企业和个人用户的首选。面对市场上众多的云服务提供商,如何作出明智的选择呢?腾讯云,作为国内领先的云服务提供商,在这个新年之际为广大用户带来了前所未有的优惠活动。
服务器达人
·
2024-01-03 23:02
腾讯云
服务器
云计算
Spark相关知识点(期末复习集锦)
一、Spark简介Spark,拥有
hadoop
MR所具有的优点,但不同于MR的是job中监测结果可以保存在内存中,从而不再需要读写HDFS,因此spark能够更好的适用于数据挖掘与机器学习等需要迭代的mr
夜をむかえる
·
2024-01-03 22:49
spark
大数据
分布式
Spark向Hbase中写数据报异常:org.apache.
hadoop
.hbase.client.RetriesExhaustedWithDetailsException: Failed 5
解决:将第二行代码中的表名写全,并指定在哪个名称空间valtable:Table=con.getTable(TableName.valueOf("info:tb_order"))
夺命大翻斗
·
2024-01-03 22:12
spark
hbase
apache
关于Cloudera
Hadoop
的安装(CentOS)- 官文标注(待完成)
CDH5andClouderaManager5RequirementsandSupportedVersionsInanenterprisedatahub,ClouderaManagerandCDHinteractwithseveralproductssuchasApacheAccumulo,ApacheImpala(incubating),Hue,ClouderaSearch,andClouder
DazzlingTiger
·
2024-01-03 21:15
Hadoop
Linux
hadoop
cloudera
安装
hive基本概念原理与底层架构
hive是一个数据仓库基础工具在
hadoop
中用来处理结构化的数据,它架构在
hadoop
之上,总归为大数据,并使得查询和分析方便,提供简单的sql查询功能,可以讲sql语句转换成mapreduce任务进行
byway_lyn
·
2024-01-03 20:22
大数据
Hadoop
入门学习线路图
Hadoop
是系统学习大数据的必会知识之一,
Hadoop
里面包括几个组件HDFS、MapReduce和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的
千_锋小小千
·
2024-01-03 19:12
Hadoop
写文件时datanode发生故障的处理过程
学习
Hadoop
写文件的流程时,看《
Hadoop
权威指南》中文版,在datenode发生故障时的处理那里,真的是看不懂。于是找来英文原版进行翻阅,终于有种看明白的感觉了。
小北觅
·
2024-01-03 18:03
当前IoT(物联网)的发展趋势
边缘计算不同于
云计算
,云
阿珍爱上了阿强,在一个有星星的夜晚
·
2024-01-03 18:54
IOT
物联网
人工智能
【Spark精讲】RDD缓存源码分析
以
Hadoop
RDD为例overridedefcompute(split:Partition,context:TaskC
话数Science
·
2024-01-03 18:08
Spark
Spark精讲
大数据
spark
大数据
我的大数据之路:2023年度总结
2023年度最值得骄傲的事从0到1搭建了离线数仓体系,针对
Hadoop
生态组件的原理和特性有了深入的理解。
话数Science
·
2024-01-03 18:07
大数据
面试
大数据
面试
spark
django智慧迎新管理系统(程序+开题)
本系统(程序+源码+数据库+调试部署+开发环境)带文档lw万字以上,文末可获取系统程序文件列表开题报告内容研究背景:随着科技的发展,大数据、
云计算
等技术在各个领域得到了广泛的应用。
liu10665
·
2024-01-03 17:51
django
python
后端
大数据电商公司的卓越之路及api如何应用
通过先进的数据处理技术,如大数据分析、
云计算
等,数据公司能够迅速处理海量数据
代码之路无极限
·
2024-01-03 17:39
电商api
大数据
ElasticSearch经典面试题
ElasticSearch用于
云计算
中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。官方客户端在Java、.NET(C#)、PHP、Py
wh柒八九
·
2024-01-03 16:20
核心知识点
Elastic
Search
elasticsearch
搜索引擎
分布式
Flink-Paimon 案例
Flink-Paimon案例1、下载FlinkJar包并解压tar-xzfflink-*.tgz2、下载PaimonJar包放进Flink的lib中cppaimon-flink-*.jar/lib/3、如果运行在
Hadoop
猫猫爱吃小鱼粮
·
2024-01-03 16:49
flink
大数据
开源大数据集群部署(一)集群实施规划
主机操作系统要求软件信息参数配置8C16G操作系统版本CentOSLinuxrelease7.8.2003(Core)java版本javaversion“1.8.0_281”
hadoop
版本
hadoop
3.2.4
云掣YUNCHE
·
2024-01-03 15:42
开源大数据集群部署
开源
大数据
介绍图灵机器人php API
图灵机器人平台,基于自然语言处理、知识库和
云计算
等技术,为广大开发者、合作伙伴提供的一系列智能语义处理能力(包括语义理解、智能问答、知识库对接等)的服务平台。
梦回丶故里
·
2024-01-03 15:43
php
无运维,不未来
运维工程师的出路可以从以下几个方面考虑:深化专业技能:深入学习
云计算
、大数据、自动化等技术,提升自己的专业技能水平,以成为更专业的技术专家。
我是时生
·
2024-01-03 14:59
个人经历
运维
2018年最强干货!年薪80万+的大数据开发【教程】都在这儿!
技术层面来说,大数据使用的
Hadoop
(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)需要JAVASE基础,即使你没有学过JAVAEE上手
Hadoop
也是可以的。
yoku酱
·
2024-01-03 13:36
K8S三种发布方式和声明式资源管理
蓝绿发布把应用服务集群标记位两个组,蓝组和绿组,先升级蓝组,先要把蓝组从负载均衡当中移除,绿组继续提供服务,蓝组升级完毕,再把绿组从负载均衡当中移除,绿组升级,然后都加入回负载均衡当中去,完成对外服务,对硬件资源要求很高,但是有了
云计算
和微服务
2301_79410672
·
2024-01-03 12:20
kubernetes
容器
云原生
【HBase】——Java API
1环境1.1依赖org.apache.hbasehbase-client2.4.111.2配置文件hbase-site.xmlhbase.zookeeper.quorum
hadoop
102:2181,
hadoop
103
那时的样子_
·
2024-01-03 12:47
hbase
java
数据库
运维工程师的出路
运维工程师可以通过深入学习
云计算
、大数据、自动化等技术,提升自己的专业技能水平,以成为更专业的技术专家。
IT售前
·
2024-01-03 11:00
运维
大数据实时项目必备技能二:kafka有话说
导读:Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera
Hadoop
,ApacheStorm,ApacheSpark集成。
栀子花_ef39
·
2024-01-03 11:05
《Python黑魔法指南》-v2.0
阅读全文书名叫做《Python黑魔法指南》,该手册的作者(明哥)是一个从事
云计算
多年的Python重度用户,它把自已多年的Python编码经验整理成小册子,没有长篇大论,半天就能全能掌握,让你一天就能收获别人一年的技能及冷知识
leonbamboo
·
2024-01-03 10:36
python
边缘计算和
云计算
的关系
边缘计算实际上属于一种分布式计算,利用靠近数据源的边缘地带来完成的运算程序,而不需要将大量数据上传到云端。边缘计算的运算既可以在大型运算设备内完成,也可以在中小型运算设备、本地端网络内完成。用于边缘运算的设备可以是智能手机这样的移动设备、PC、智能家居等家用终端,也可以是ATM机、摄像头等终端。关于边缘计算的应用现状和场景在MicrosoftBuild2017开发者大会上,微软首席执行官Satya
守正待
·
2024-01-03 10:01
边缘计算
边缘计算和云计算
【边缘计算+
云计算
】
云计算
边缘计算首先,边缘计算和
云计算
,是属于两个层面的概念,实际上应用领域并不相同。从原理上来看:边缘计算是指在数据源头的附近,采用开放平台,就近直接提供最近端的服务。
trireal仇
·
2024-01-03 10:00
Nvidia
边缘计算
云计算
人工智能
一文了解边缘计算与
云计算
公有
云计算
平台使企业能够使用全球服务器补充其私有数据中心,将基础设施扩展到任何位置,并根据自身需求扩展和缩减计算资源。这些公私混合云为企业计算应用提供了前所未有的灵活性、价值和安全性。
边缘计算社区
·
2024-01-03 10:59
云计算
边缘计算
人工智能
数字化转型必备:数睿通 2.0 数据中台升级详解
资源评价)数据集市完善,打通审批流程修复数据生产由于DruidSQLUtils不支持Doris导致无法建表的问题优化贴源数据模块,改为读取数据库的元数据,与同步的数据做关联匹配此外,数据生产模块很多朋友对于
Hadoop
小螺旋丸
·
2024-01-03 10:51
hadoop
git
数据仓库
大数据
上一页
51
52
53
54
55
56
57
58
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他