E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
云计算hadoop
Hadoop
集群配置及测试
Hadoop
集群配置及测试NameNode与SecondaryNameNode最好不在同一服务器ResourceManager较为消耗资源,因而和NameNode与SecondaryNameNode最好不在同一服务器
YUuuuME_
·
2024-01-23 11:07
hadoop
大数据
分布式
Openstack
云计算
(六)Openstack环境对接ceph
一、实施步骤:(1)客户端也要有cent用户:useraddcent&&echo "123" |passwd--stdincentecho-e 'Defaults:cent!requiretty\ncentALL=(root)NOPASSWD:ALL' |tee/etc/sudoers.d/cephchmod440/etc/sudoers.d/ceph(2)openstack要用ceph的节点(比
wmd13164306712
·
2024-01-23 11:59
openstack
云计算
ceph
大数据分布式实时大数据处理框架Storm,入门到精通!
介绍:Storm是一个分布式实时大数据处理框架,被业界称为实时版的
Hadoop
。首先,Storm由Twitter开源,它解决了
Hadoop
MapReduce在处理实时数据方面的高延迟问题。
知识分享小能手
·
2024-01-23 09:42
学习心得体会
大数据
大数据
分布式
storm
大数据开发之Spark(入门)
第1章:Spark概述1.1什么是spark回顾:
hadoop
主要解决,海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key
·
2024-01-23 09:45
大数据
spark
分布式
CentOS 7部署 Ceph分布式存储架构
SE4nJH1.概述随着OpenStack日渐成为开源
云计算
的标准软件栈,Ceph也已经成为OpenStack的首选后端存储。
大帅同学
·
2024-01-23 09:48
Sqoop与Kafka的集成:实时数据导入
Sqoop用于将数据从关系型数据库导入到
Hadoop
生态系统中,而Kafka则用于数据流的传输和处理。
晓之以理的喵~~
·
2024-01-23 08:01
sqoop
sqoop
kafka
hadoop
Hadoop
基本介绍
1、
Hadoop
的整体框架
Hadoop
由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(
Hadoop
DistributedFileSystem
w蕾丝
·
2024-01-23 08:53
云计算
应用管理----TCP/IP协议及配置、IP地址、子网掩码、网关地址、DNS与DHCP介绍
管理员必备技能:一、
云计算
的介绍什么是服务器•能够为其他计算机提供服务的更高级的电脑–机架式–塔式–机柜式–刀片式典型服务模式•C/S,Client/Server架构–由服务器提供资源或某种功能–客户机使用资源或功能二
CN_HW
·
2024-01-23 08:44
linux
网络
K8s知识点总结_part2
而Kubernetes项目所做的,其实就是将“进程组”的概念映射到了容器技术中,并使其成为了这个
云计算
“操作系统”里的“一
fightingD&W
·
2024-01-23 08:09
Docker&K8s
kubernetes
容器
云原生
逆风飞翔:程序员在技术革新与裁员浪潮中的生存之道
当代的技术变革风起云涌,从
云计算
、大数据,到人工智能、物联网,再到量子计算和区块链,计算机科学领域正经历着翻天覆地的变化。每一次技术的突破都重新定义了行业的边界,改变了我们的工作和生活方式。
一尘之中
·
2024-01-23 07:43
杂谈
程序人生
Sqoop数据导入到Hive表的最佳实践
Sqoop是一个开源工具,用于在
Hadoop
生态系统中的数据存储(如HDFS)和关系型数据库之间传输数据。它可以帮助数据工程师和分析师轻松地
晓之以理的喵~~
·
2024-01-23 07:35
sqoop
hive
sqoop
hadoop
网络安全全栈培训笔记(55-服务攻防-数据库安全&Redis&
Hadoop
&Mysqla&未授权访问&RCE)
第54天服务攻防-数据库安全&Redis&
Hadoop
&Mysqla&未授权访问&RCE知识点:1、服务攻防数据库类型安全2、Redis&
Hadoop
&Mysql安全3、Mysql-CVE-2012-2122
清歌secure
·
2024-01-23 07:24
网络安全全栈学习笔记
web安全
笔记
redis
网络
安全
2024年好用的中国香港云服务器(外贸建站推荐)
一、阿里云中国香港云服务器国内领先的
云计算
服务提供商。阿里云服务器地域可用区分布广泛,其中中国香港地域可用区产品涵盖云服务器EC
恒创科技HK
·
2024-01-23 07:08
服务器
运维
2022 年最有前景的 5 个 Web IDE
结合
云计算
和容器的能力,使用WebIDE来开发应用程序更加方便、快捷,也拥有
开源之巅
·
2024-01-23 06:26
ide
前端
vscode
数仓建设 - 维度建模 - DIM维度
2.2ETL任务脚本三、活动维度表3.1表结构设计3.2ETL任务脚本四、地区维度表4.1表结构设计4.2ETL任务脚本五、日期维度表六、用户维度表6.1表结构设计6.2ETL任务脚本前置:准备数据库[
hadoop
m0_46218511
·
2024-01-23 05:14
大数据基础设施搭建
维度建模
数据仓库
什么是数字化,什么是数字化转型?有什么区别和联系?
数字化不是单纯的TI技术,也不是单纯的TI信息化,而是利用
云计算
、人工智能、物联网、低代码、5G、AR、VR、MR等技术的融合应用,帮助我们的企业在连接效率、数据应用、智能算法等三个维度实现企业最优决策的高效输出
有颜有货
·
2024-01-23 04:07
数字化转型
信息化
数字化
数字化转型
数据可视化
人工智能
Hadoop
-- Hive
文章目录1.什么是hive?1.1基本思想1.2为什么使用hive?1.3hive创建表与查询原理2.hive安装2.1.mysql安装2.2.hive的元数据库配置3.hive使用方式3.1最基本使用方式3.2启动hive服务使用3.3脚本化运行4.建库建表与数据导入4.1建库4.2建表4.2.1基本建表语句4.2.2删除表4.2.3内部表与外部表4.2.4分区表4.2.5外部分区表4.3数据导
Cool_Pepsi
·
2024-01-23 02:12
大数据
hive
Spark运行流程
Spark相对于
Hadoop
的优势
Hadoop
虽然已成为大数据技术的事实标准,但其本身还存在诸多缺陷,最主要的缺陷是其MapReduce计算模型延迟过高,无法胜任实时、快速计算的需求,因而只适用于离线批处
Cool_Pepsi
·
2024-01-23 02:12
大数据
spark
Hadoop
-- HDFS
1.什么是
Hadoop
hadoop
中有3个核心组件:分布式文件系统:HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架:MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi
·
2024-01-23 02:42
大数据
hdfs
hadoop
Hadoop
-- ZooKeeper
ZooKeeper就是动物园管理员,他是用来管
hadoop
(大象)、Hive(蜜蜂)等的管理员。
Cool_Pepsi
·
2024-01-23 02:42
大数据
zookeeper
2020-04-22
比如说扶持新基建,5g、人工智能、
云计算
等马上要涌入我们的工作当中,未来我们的工作模式会发生很大的变化,现在得知这个消息的我们不是惊慌失措,也不是等着被淘汰,而是现在要去学习,去学习新的技术,在积累本行业经验时
璟煜老师
·
2024-01-23 01:26
aws云服务器性能,云端平台:Amazon EC2云服务性能测试
提及到
云计算
,谁都不会忽略AmazonEC2,作为Amazon提供的
云计算
环境的基本平台。通过使用EC2,可以在任何时候根据个人或企业的需要简便地创建、启动和供应虚拟实例。
爱穿搭的阿远
·
2024-01-22 23:28
aws云服务器性能
华为欧拉操作系统结合内网穿透实现固定公网地址SSH远程连接
安装Cpolar3.配置SSH公网地址4.公网远程SSH连接5.固定连接SSH公网地址6.SSH固定地址连接测试欧拉操作系统(openEuler,简称“欧拉”)是面向数字基础设施的操作系统,支持服务器、
云计算
小余要努力
·
2024-01-22 21:59
内网穿透
ssh
运维
架构设计内容分享(一百三十四):多云管理系列之云网络实践
前面讲到,
云计算
驱动云网络的诞生,云网络其实是CT(CommunicationTechnology,通信技术)与IT(InformationTechnology,信息技术,这里主要是
云计算
)融合的产物。
之乎者也·
·
2024-01-22 21:14
架构设计
内容分享
网络
数据库
架构
hadoop
搭建服务器
一、服务器配置说明1.四台服务器2.每台服务器内存4G3./boot空间3072M4.【可选择配置】/swap交互虚拟内存,40965./根目录空间57G二、服务器网络选择配置1.选择NAT链接网络/桥接2.编辑~/.bashrc文件vim~/.bashrcexportall_proxy=socks5://192.168.197.2:21881exporthttp_proxy=http://192
成_7b38
·
2024-01-22 20:47
Hadoop
RPC解析
网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-ProcessCommunication,IPC)逻辑,是所有分布式系统的基础。远程过程调用(RemoteProcedureCall,RPC)是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另一台计算机的子程序,同时将网络的通信细节隐藏起来,使得用户无须额外地为这个交互作用编程。由于R
tracy_668
·
2024-01-22 19:51
腾讯会议:疫情之下协作办公新形态
新技术应用层出不穷,移动办公、物联网、人工智能、生物特征识别、区块链、
云计算
大数据等先进技术手段的出现,
zzge77
·
2024-01-22 19:43
hadoop
之mapreduce教程+案例学习(一)
第1章MapReduce概述目录第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于
Hadoop
的数据分析应用”的核心框架。
菜瓜技术联盟
·
2024-01-22 19:04
Hadoop
mapreduce
hadoop
什么是hpaPaaS?英雄云-是hpaPaaS吗?——一文告诉你答案
当谈到现代
云计算
和应用开发平台时,你可能会听到各种术语,其中之一就是"hpaPaaS"。但是,什么是hpaPaaS呢?
且也无风雨也无晴
·
2024-01-22 19:19
PaaS
低代码开发平台
服务器
大数据
运维
云计算
关于
云计算
你必须知道的一些事(一)
1、超融合基础架构(Hyper-ConvergedInfrastructure,或简称“HCI”)也被称为超融合架构,是指在同一套单元设备(x86服务器)中不仅仅具备计算、网络、存储和服务器虚拟化等资源和技术,而且还包括缓存加速、重复数据删除、在线数据压缩、备份软件、快照技术等元素,而多节点可以通过网络聚合起来,实现模块化的无缝横向扩展(scale-out),形成统一的资源池。软件定义分布式存储是
money666
·
2024-01-22 19:17
Impala:基于内存的MPP查询引擎
Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎,它提供SQL语义,能查询存储在
Hadoop
对许
·
2024-01-22 17:26
Java大数据
#
Hadoop及生态圈
#
数据湖仓
大数据
Hadooop和Hbase是什么关系
HBase是一个基于
Hadoop
的NoSQL分布式列存储数据库,用于存储海量结构化和半结构化数据,并提供高可用、高性能和面向列的操作功能。
wwwyx12138
·
2024-01-22 17:50
hbase
数据库
大数据
大数据平台的硬件规划、网络调优、架构设计、节点规划
1.大数据平台硬件选型要对
Hadoop
大数据平台进行硬件选型,首先需要了解
Hadoop
的运行架构以及每个角色的功能。
小枫@码
·
2024-01-22 17:18
大数据架构师
大数据
浅谈大数据智能化技术在多个领域的应用实践
从金融、互联网电商、视频行业到垂直短视频领域,从工业互联网到
云计算
、边缘计算等领域,大数据智能化技术已经成为了企业竞争力的重要组成部分。
shinelord明
·
2024-01-22 17:45
大数据
人工智能
算法
hadoop
-hdfs-API
处理
hadoop
配置文件及系统环境1.将
hadoop
所有jar包(除了..以外)添进
hadoop
/lib文件夹备用。2.将linux的
hadoop
/bin导出覆盖windows的
hadoop
/bin。
有七段变化
·
2024-01-22 15:43
华为网络设备常用命令大全
专栏:
云计算
技术♥️感谢CSDN让你我相遇!目录华为设备模拟器华为路由器与交换机进入系统视图查看所有配置信息查看当前配置信息配置主机名称保存(重启后依旧保存配置)退出当前视图路由器接口配置ip交换机配
小刘在C站
·
2024-01-22 15:04
华为
华为
后端
运维
网络
CentOS7下
Hadoop
2.9.2、Hive 2.3.6安装与实践
参考的安装文章地址:https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为:
hadoop
2.9.2,hive2.3.6;操作系统
流火星空
·
2024-01-22 14:58
大数据
hive
大数据
hive
java大数据
hadoop
2.9.2 Linux安装mariadb和hive
一、安装mariadb版本centos71、检查Linux服务器是否已安装mariadbyumlistinstalledmariadb*2、如果安装了,想要卸载yumremovemariadbrm-rf/etc/my.cnfrm-rf/var/lib/mysql才能完全删除3、安装mariadb在线网络安装yuminstall-ymariadb-server开启服务systemctlstartma
crud-boy
·
2024-01-22 14:26
java大数据
大数据
linux
mariadb
容器与持久化存储:容器的开源分布式存储方案选型
曾工作于UIT、华三、腾讯、专注分布式存储的研究和开发,对
云计算
存储解决方案方面有很深的技术造诣和行业理解。一.容器对存储插件的定义以Docker为例,Doc
weixin_33805743
·
2024-01-22 14:48
运维
后端
数据库
杉岩:云原生时代,容器持久化存储方案选对了吗?
75%的企业部署容器应用,云原生正加速业务创新互联网的发展、
云计算
的出现,对传统IT带来冲击和挑战。
杉岩数据
·
2024-01-22 14:48
对象存储
分布式存储
容器
云存储
关于Hive架构原理,尚硅谷
最近学习hive时候,在做一个实操案例,具体大概是这样子的:我在dataGip里建了一个表,然后在
hadoop
集群创建一个文本文件里面存储了数据库表的数据信息,然后把他上传到hdfs后,dataGrip
大数据SQLboy
·
2024-01-22 11:41
Hive
hive
架构
hadoop
云计算
笔记1概述
image.png信息电厂的意思,就是以后大家都是被提供的是一种按需付费的模式。意味着计算能力也能像商品一样流通。image.png技术角度看,无论是公有云或是私有云,其核心实质是完全相同的:首先将硬件上分散的、孤立的多个设备资源,在逻辑上整合构建为一个大规模的统一资源池,然后在基于此资源池,以WebPortal或者API为界面,向外部云租户或者内部云租户提供按需分配与释放的基础设施资源池。也就是
gg大宇
·
2024-01-22 10:09
Ranger概述及安装配置
二、Ranger2.1、什么是rangerApacheRanger是一个用来在
Hadoop
平台上进行监控,启动服务,以及全方位数据安全访问管理的安全框架。Ranger愿景是在Apa
小枫@码
·
2024-01-22 09:39
大数据运维
安全
运维
2024年腾讯云4核8G云服务器可以满足哪些应用场景?
在
云计算
时代,云服务器已成为企业和个人开发者不可或缺的一部分。腾讯云作为国内领先的云服务提供商,其4核8G12M轻量应用服务器备受关注。那么,这款服务器具体能满足哪些应用场景呢?让我们一起来探讨。
服务器教程
·
2024-01-22 09:07
服务器
腾讯云
运维
2024年阿里云服务器配置收费标准有哪些?
在
云计算
服务的市场里,阿里云凭借其出色的性能与稳定性,赢得了众多用户的信赖。那么,对于想要在阿里云上部署服务的朋友们来说,了解其最新的收费标准无疑是关键。
服务器教程
·
2024-01-22 09:07
阿里云
服务器
云计算
2024年2核2G服务器价格多少钱
在
云计算
时代,服务器资源已成为企业和个人不可或缺的一部分。近日,阿里云推出了一项极具震撼力的优惠活动,将其2核2G3M经济型e实例云服务器ECS的价格从原先的1507.56元一年直降至99元一年。
服务器教程
·
2024-01-22 09:37
服务器
运维
2024年腾讯云近期云产品优惠活动整理大全
随着
云计算
技术的不断发展,云服务器已经成为了许多企业和个人的首选。作为国内领先的云服务提供商,腾讯云一直以其稳定的性能和丰富的产品线深受用户喜爱。
服务器教程
·
2024-01-22 09:36
腾讯云
云计算
2024年腾讯云轻量服务器和云服务器区别对比
在
云计算
时代,如何快速、高效地部署和管理应用是每位开发者和企业都必须面对的问题。腾讯云为此提供了全方位的解决方案,其中包括轻量应用服务器和云服务器CVM。
服务器教程
·
2024-01-22 09:06
腾讯云
服务器
云计算
2024年腾讯云2核2G轻量服务器并发最多可以承受多少用户在线?
在
云计算
时代,服务器性能与成本之间的平衡一直是用户关心的焦点。腾讯云推出的2核2G3M轻量应用服务器不仅在价格上展现出了极大的竞争力,同时在性能上也有不错的表现。
服务器教程
·
2024-01-22 09:06
腾讯云
服务器
云计算
【大数据处理技术实践】期末考查题目:集群搭建、合并文件与数据统计可视化
合并文件与数据统计可视化实验目的任务一:任务二:实验平台实验内容及步骤任务一:搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改
hadoop
汐ya~
·
2024-01-22 09:35
hadoop
linux
虚拟机
java
上一页
29
30
31
32
33
34
35
36
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他