Hadoop云计算

Flink1.13.x+iceberg环境搭建

1.安装hadooptar-zxvfhadoop-2.10.1.tar.gz配置JDK和Hadoop环境变量vi/etc/profileexportJAVA_HOME=/usr/lib/jvm/java
姚贤贤·2024-01-26 02:22

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

第一周作业

2.什么是云计算？和虚拟化的关系？云计算是一种基于因特网的超级计算模式，在远程的数据中心里，成千上万台电脑和服务器连接成一片电脑云，是一种按使用量付费的模式，这种模式提
柳柳帆Levana·2024-01-26 01:19

Hbase伪分布式的安装和配置

一、版本信息和环境1、版本信息：jdk1.8.0_112hadoop-2.6.0zookeeper-3.4.6hbase-1.2.6.12、环境hadoop+zookeeper+hbase,hadoop
lukeyan·2024-01-26 00:41

【赠书第18期】人工智能B2B落地实战：基于云和Python的商用解决方案

文章目录前言1方案概述2方案实施2.1云平台选择2.2Python环境搭建2.3应用开发与部署2.4应用管理2.5安全性与隐私保护3方案优势与效益4推荐图书5粉丝福利前言随着云计算技术的快速发展，越来越多的企业开始将业务迁移至云端
EmotionFlying·2024-01-25 23:05

阿里云服务器AMD新品7折火热售卖，包年低至7折，最多可买5次

在云计算的浪潮下，阿里云推出了全新的第八代系列云服务器，搭载AMDEPYC™Genoa处理器，性能卓越，高性价比，安全可靠。现在购买第八代系列云服务器可享受7折的优惠价，抢购时间有限，赶快下单吧！
阿里云最新优惠和活动汇总·2024-01-25 23:32

大数据技术之Spark

1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。
严同学正在努力·2024-01-25 21:38

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-25 21:05

为什么PostgreSQL比MySQL更适合分布式系统

在当今的云计算和大数据时代，分布式系统的设计和选择变得越来越重要。在这个背景下，数据库的选择对于确保系统的可靠性、伸缩性和性能至关重要。
升仔聊编程·2024-01-25 21:07

央企数字化转型势在必行

日前，在由国务院国资委举办的2017中央企业CIO年会上，国务院国资委信息中心主任王绪君指出，传统企业转型升级，关键是构建智慧大脑，要以数据为核心，以云计算为支撑，以“互联、共享、智能”理念为引领，加速企业数字化转型
包鹿渼焴·2024-01-25 20:21

Hadoop on Yarn 提交job失败：java.net.ConnectException：Connection refused

报错：INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailedinstateSTARTED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException
Anthons·2024-01-25 20:58

sqoop之hive数据仓库和oracle数据库数据转换

sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
Summer_1981·2024-01-25 20:37

spakr 提交任务

当前集群支持3中集群管理Standalone（spak框架自身拥有能力）ApacheMesosHadoopYARNKubernetes使用/spark-submit脚本提交任务，脚本后面可以接参数.
新鲜氧气·2024-01-25 19:55

云原生内容分享(三)：云原生企业数字化转型白皮书

目录01云为数字化转型启动强大引擎02云原生数字化平台框架03云原生数字化场景实现04云原生数字化的安全合规与隐私保护05价值回报分析06云原生数字化平台支持列表云计算是继互联网、移动计算后的又一次革新
之乎者也··2024-01-25 18:24

云计算背后的秘密：NoSQL诞生的原因和优缺点

诞生的原因随着互联网的不断发展，各种类型的应用层出不穷，所以导致在这个云计算的时代，对技术提出了更多的需求，主要体现在下面这四个方面：1.低延迟的读写速度：应用快速地反应能极大地提升用户的满意度;2.支撑海量的数据和流量
和代码去流浪·2024-01-25 17:34

hadoop 问题集

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistyarn
Pure_Eyes·2024-01-25 17:18

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷7

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品。拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-01-25 15:45

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷6

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品。拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-01-25 15:15

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷8

某企业根据自身业务需求，实施数字化转型，规划和建设数字化平台，平台聚焦“DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品。拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-01-25 15:41

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

2024 年 10 款顶级的数据恢复软件榜单

2024年，随着人工智能、云计算等技术的不断发展，数据已经成为我们生活中不可或缺的一部分。然而，数据丢失的风险仍然存在。删除文件、病毒攻击、硬件损坏和其他情况都可能导致数据丢失。
分享者花花·2024-01-25 14:09

Linux云计算-MySQL-表操作-索引-外键-视图

1字段修饰符(约束)1.1null和notnull修饰符我们通过这个例子来看看[root@xuegod63~]#mysql-uroot-p123456mysql>createdatabasexuegod2;mysql>usexuegod2;mysql>createtableworker(idintnotnull,namevarchar(8)notnull,passvarchar(20)notnul
学神来啦·2024-01-25 14:02

Docker（十八）容器与云计算

容器与云计算Docker目前已经得到了众多公有云平台的支持，并成为除虚拟机之外的核心云业务。
.正函数.·2024-01-25 14:34

谈谈 RocketMQ 5.0 分级存储背后一些有挑战的技术优化

这篇文章就跟大家探讨下，在消息系统这样一个数据密集型应用的模型下，技术架构选型的分析与权衡，以及分级存储实现与未来演进，让云计算的
阿里云云原生·2024-01-25 13:01

云原生网关哪家强：Sealos 网关血泪史

作者：Sealos创始人，环界云计算CEO方海涛Sealos公有云（https://cloud.sealos.io）几乎打爆了市面上所有主流的开源网关，本文可以给大家很好的避坑，在网关选型方面做一些参考
阿里云云原生·2024-01-25 13:00

1-Kubernetes基础入门体系架构学习(一)

简要介绍3.系统架构0x01组件详述1.Kubernetes-Master2.Kubernetes-Node3.Kubernetes-插件4.小结0x00基础简述1.发展经历描述:近些年由于Cloud云计算
全栈工程师修炼指南·2024-01-25 12:21

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

Hadoop集群的部署，安装和管理（头歌）

示例集群信息以下表格为本教程所用示例集群节点信息：我们准备了三台虚拟服务器，连接方式如下：第一步我们需要在evassh服务器初始化虚拟服务器：cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意：请不要在各个虚拟服务器之间进行ssh登录，这种操作会导致无法保存配置数据。正确方法是：在虚拟服
小坏蛋儿&·2024-01-25 12:14

【5G 接口协议】N2接口协议NGAP（NG Application Protocol）介绍

博客内容主要围绕：5G/6G协议讲解算力网络讲解（云计算，边缘计算，端计算）高级C语言讲解Rust语言讲解文章目录一、N2接口协议NGAP（NGApplicationProtocol）
从善若水·2024-01-25 12:13

hadoop集群规划部署

一、集群规划三台硬件资源，部署hadoop版本，hadoop-3.3.5，部署后配置文件。Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

Hbase集群安装部署

安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
我还不够强·2024-01-25 12:02

详解Linux运维工程师高级篇（大数据安全方向）.

hadoop安全目录：kerberos（已发布）elasticsearch（已发布）http://blog.51cto.com/chenhao6/2113873knoxoozierangerapachesentry
weixin_30588729·2024-01-25 10:14

云计算项目五：部署数据库服务mysql ｜部署共享存储服务NFS ｜ 配置网站服务

部署数据库服务mysql｜部署共享存储服务NFS｜配置网站服务案例1：配置逻辑卷步骤一：创建LV步骤二：格式化案例2：配置数据库服务器步骤一：安装软件MySQL服务软件(2台数据库服务器都要安装)步骤二：挂载lv设备步骤三：启动服务步骤四：管理员登录案例3：配置主从同步步骤一：配置主服务器步骤二：配置从服务器案例4：配置读写分离服务步骤一：配置读写分离服务步骤二：配置数据库服务器步骤三：启动max
桑_榆·2024-01-25 10:14

云计算工程师系列 Day03 第三章 权限管理（超详细 持续更新中....）

云计算基础大课笔记-云计算工程师系列第三章权限管理简介：本章讲述了Linux系统CentOS7中关于权限的相关概念。以及用户和组的管理方法。目标：熟悉并掌握权限的相关概念，以及用户和组的管理方法。
MadisonRing·2024-01-25 10:13

云计算工程师系列 Day02 第二章 文件和用户管理 （持续更新中....）

云计算基础大课第二章文件和用户管理简介：从登陆CentOS-7Linux系统开始。详细阐述了Linux系统文件目录结构。丰富生动的案例，精彩演绎的Linux管理的第一步-文件管理和用户管理工作。
MadisonRing·2024-01-25 10:43

云计算工程师系列 Day05 第五章 重定向和管道（超详细 持续更新中....）

云计算基础大课笔记第五章重定向和管道简介：其实就是常见的两种符号>和|本章着重讲述FD句柄的概念。进程读取文件的方法。通过对文件描述符的控制，可以把进程的信息保存至新的位置，或者丢弃。
MadisonRing·2024-01-25 10:43

云计算工程师系列 第一章到第三章 知识点回顾（持续更新中....）

云计算基础大课第一章到第三章知识点回顾第一章，走进Linux世界（系统部署）（1）系统部署01.Linux历史(林纳斯Linux,理查德GNU/GPL)02.Linux发行版(RHEL、CentOS、Ubuntu
MadisonRing·2024-01-25 10:13

阿里云云计算助理工程师ACA证书笔记2024.1.9 云计算基础 第三节（持续更新中....）

本笔记为日更笔记，如果没更，直接踹我的私信ヽ（≧□≦）ノ本笔记截图来自于：阿里云云计算助理工程师ACA认证_阿里云认证_阿里云培训中心-阿里云(aliyun.com)第一章云计算基础三、云计算核心技术目标
MadisonRing·2024-01-25 10:12

阿里云云计算助理工程师ACA证书笔记2024.1.10 云计算基础 第四节（持续更新中....）

本笔记为日更笔记，如果没更，直接踹我的私信ヽ（≧□≦）ノ本笔记截图来自于：阿里云云计算助理工程师ACA认证_阿里云认证_阿里云培训中心-阿里云(aliyun.com)四、云计算分类与主流产品目标：了解，
MadisonRing·2024-01-25 10:12

《融智学导论》作者邹晓辉认为“云计算”本质上就是集群协同计算，属于一种协同智能计算系统。...

《融智学导论》作者邹晓辉认为：所谓“云计算”就是集群协同计算。它实质上是一种具体的协同智能计算系统。注1：协同智能计算系统是狭义融智学的研究对象。
iteye_13411·2024-01-25 10:11

云计算笔记之admin-day-05-管理用户和组、tar备份与恢复、NTP时间同步、cron计划任务、总结和答疑

Day05-管理用户和组、tar备份与恢复、NTP时间同步、cron计划任务、总结和答疑管理用户和组用户账号：登录操作系统，不同用户具备不同的权限组：方便管理用户，进行分类用户账号唯一标识：UID（编号）GID（编号）管理员root的UID永远为0组账号：基本组附加组（从属组）基本组：有Linux系统创建，并且由系统将用户加入，与用户同名附加组：由系统管理员创建，并且由系统管理员加入Linux中一
球小嘟·2024-01-25 10:11

云计算工程师系列 Day04 第四章 进程管理（超详细 持续更新中....）

云计算基础大课笔记第四章进程管理简介：Linux系统Centos7中程序的相关概念。进程管理工具ps&top的用法。kill控制进程。job控制作业的相关方式。
MadisonRing·2024-01-25 10:39

企业转型：虚拟化对云计算的影响

本文探讨了虚拟化在云计算中的影响及其对各种规模企业的重要性。从云计算的角度来看，虚拟化是一项突破性的技术，可以让多个虚拟实
虚无火星车·2024-01-25 10:39

2分钟搞定《幻兽帕鲁》联机服务，真爽！

本文介绍如何在阿里云计算巢控制台，快速部署幻兽帕鲁联机服务，实现和朋友一起联机游戏。预计部署时间1
暴富程序员·2024-01-25 10:25

1分钟部署幻兽帕鲁联机服务，PalWorld服务器搭建教程（阿里云）

本文介绍如何在阿里云计算巢控制台，快速部
zeruns·2024-01-25 10:23

阿里云推出第八代企业级实例 g8i：AI 推理性能最高提升 7 倍、可支持 72B 大语言模型

云布道师1月11日，全球领先的云计算厂商阿里云宣布推出第八代企业级通用计算实例ECSg8i，这也是国内首款搭载第五代英特尔至强可扩展处理器（代号EMR）的云计算产品。
云布道师·2024-01-25 10:22

大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）一，概念介绍：大数据：大数据一般用来描述一种数量庞大，复杂的数据集，传统数据处理应用程序难以应对。
lucky_myj·2024-01-25 09:46

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

原理参考官网介绍：ApacheHadoop3.3.6–HDFSHighAvailabilityUsingtheQuorumJournalManager二、背景在Hadoop2.0.0之前，NameNode
隔着天花板看星星·2024-01-25 09:52
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他