云计算平台hadoop 第48页

spark篇（一）——Spark核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS

许志辉Albert·2023-11-27 08:53

Flume学习笔记：01-Flume的安装与简单入门示例

文章目录概述Flume的基础架构AgentSourceSinkChannelEventFlume的安装与配置环境准备下载flume的安装包解压安装包删除guava-11.0.2.jar，以兼容hadoop3.1.3

wangzhongyudie·2023-11-27 06:30

大数据安装之hadoop-3.3.4

参考：hadoop3.3.4集群安装部署_hwbays的博客-CSDN博客1.环境准备：3台centos7服务器masterstave1stave2配置：1.1修改hostvim/etc/hosts192.168.240.128

x_y_z423·2023-11-27 06:24

大数据处理框架Spark：核心原理

RDD可以从HadoopHDFS、HBase等数据源创建，也可以通过转换操作和持久化操作进行处理和存储。下面是一

雨中徜徉的思绪漫溢·2023-11-27 04:17

Spark入门之五：SparkSQL的原理以及架构

SparkSQL的发展历程1.1HiveandSharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop

铁猴·2023-11-27 03:03

基于Hadoop技术的智慧图书馆海量数据储存系统研究

点我完整下载：基于Hadoop技术的智慧图书馆海量数据储存系统研究.docx基于Hadoop技术的智慧图书馆海量数据储存系统研究Astudyontheintelligentlibrary'smassivedatastoragesystembasedonHadooptechnology

桃宝护卫队·2023-11-27 01:57

基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法

点我完整下载：基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法.docx基于Hadoop架构的多重分布式BP神经网络的短期负荷预测方法"AShort-termLoadForecastingMethodbasedonMulti-distributedBPNeuralNetworkArchitecturewithHadoopFramework

桃宝护卫队·2023-11-27 01:25

HBase权威指南

yeedom·2023-11-27 00:52

OpenStack云计算平台-块存储服务

目录一、块存储服务概览二、安装并配置控制节点1、先决条件2、安全并配置组件3、配置计算节点以使用块设备存储4、完成安装三、安装并配置一个存储节点1、先决条件2、安全并配置组件3、完成安装四、验证操作一、块存储服务概览OpenStack块存储服务(cinder)为虚拟机添加持久的存储，块存储提供一个基础设施为了管理卷，以及和OpenStack计算服务交互，为实例提供卷。此服务也会激活管理卷的快照和卷

Mlul392·2023-11-26 23:08

手动创建映像及在OpenStack云计算平台的镜像应用

目录一、下载rhel7.6安装ISO二、在VMware的虚拟机内创建虚拟机三、更改一些设置1、使用httpd暴露（在外部虚拟机）2、添加软件仓库3、安装ACPI服务4、使用cloud-init获取公钥5、安装cloud-utils-growpart以允许调整分区大小6、禁用zeroconf路由7、配置控制台8、修改网络配置9、禁止selinux，防火墙服务10、关机四、创建映像1、安装软件2、清理

Mlul392·2023-11-26 23:08

OpenStack云计算平台

目录一、OpenStack1、简介2、硬件需求3、网络二、环境搭建1、安全2、主机网络3、网络时间协议(NTP)4、OpenStack包5、SQL数据库6、消息队列7、Memcached一、OpenStack1、简介官网：https://docs.openstack.org/2023.2/OpenStack系统由几个关键服务组成，它们可以单独安装。这些服务根据你的云需求工作在一起。这些服务包括计算

Mlul392·2023-11-26 23:38

OpenStack云计算平台-镜像服务

目录一、镜像服务概览二、安装和配置1、先决条件2、安全并配置组件3、完成安装三、验证操作一、镜像服务概览OpenStack镜像服务是IaaS的核心服务，如同:ref:`get_started_conceptual_architecture`所示。它接受磁盘镜像或服务器镜像API请求，和来自终端用户或OpenStack计算组件的元数据定义。它也支持包括OpenStack对象存储在内的多种类型仓库上的

Mlul392·2023-11-26 23:38

openstack云计算平台＜10＞--kolla-ansible自动化部署

目录介绍一、环境配置epel源，安装docker配置加速器安装python编译依赖安装ansible安装kolla-ansible二、配置1.配置kolla-ansible和ansible2.导入镜像3.修改kolla-ansible配置文件4.禁用docker源：（本机已提前安装了docker）5.Kolla部署依赖项三、卸载kolla-ansible8.0.1版本安装最新版kolla-ansi

HTDST·2023-11-26 23:05

kolla-ansible自动化部署openstack云计算平台

目录介绍一、环境配置epel源，安装docker编辑安装python编译依赖安装ansible安装kolla-ansible二、配置配置kolla-ansible和ansible禁用docker源：（本机已提前安装了docker）安装使用客户端介绍KollaAnsible是一个基于Ansible的开源工具，用于在OpenStack云环境中部署和管理Docker容器化的OpenStack服务。Kol

fx_872431785·2023-11-26 23:04

kolla-ansible 部署OpenStack云计算平台

目录一、环境二、安装及部署三、测试一、环境官方文档：https://docs.openstack.org/kolla-ansible/yoga/user/quickstart.htmlrhel8.6网络设置：修改网卡名称网络IP：主机名：网络时间协议配置软件仓库vimdocker.repo[docker]name=docker-cebaseurl=https://mirrors.tuna.tsin

Mlul392·2023-11-26 23:32

[Hbase]Hbase2.2.6的分布式集群搭建(使用自带的zookeeper)

1.Hbase2.2.6分布式集群搭建1.1.前提本次示例默认你已经完成了了如下操作：JDK的配置节点间的免密登录hadoop集群的搭建集群的时间同步1.2.Hbase分布式集群的架构图首先，本次示例需要三个节点

_balabala_·2023-11-26 19:53

项目十八-Hadoop+Hbase分布式集群架构“完全篇”

本文收录在Linux运维企业架构实战系列前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop

weixin_33724059·2023-11-26 19:52

Hadoop+Hbase 分布式集群架构“完全篇”

1.认识Hadoop和Hbase1.1Hadoop简单介绍Hadoop是一个使用Java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。

架构文摘·2023-11-26 19:22

Hadoop2.4.0-Hbase-098.9-完全分布式安装部署

1准备环境1.1所需软件包a、CentOS-6.5-i386-LiveDVD.iso32位centos系统b、jdk-7u71-linux-i586.rpm32位jdk-Linuxrpm文件c、hadoop

skynumone·2023-11-26 19:19

大数据集群高可用组建搭建部署

大数据集群高可用安装部署包有：redis-3.2.10.tar.gzspark-2.2.0-bin-hadoop2.7.tgzhbase-1.2.1-bin.tar.gzhadoop-2.8.1.tar.gzapache-hive

Big-Hadoop·2023-11-26 19:18

Hadoop3系列——(七)Hbase安装

本文基于：Hadoop3系列——(三)YARN环境搭建环境下搭建兼容：下载Hadoop版本对应的Hbase，hbase下载地址：http://hbase.apache.org/downloads.html

qq_41622603·2023-11-26 19:17

Hbase高可用集群搭建手册

lizhonglingithub:https://github.com/Leezhonglin/blog:https://leezhonglin.github.io/本教程主要包含zookeeper集群、hadoop

kujirashark·2023-11-26 19:16

云建站架构师rain·2023-11-26 19:45

大型数据库（2）--- HBase安装与配置

安装说明安装环境虚拟机：VirtualBox-6.1.18操作系统：Ubuntu16.04LTS集群情况：主机名称Hadoop版本IP地址hadoop-master2.7.3192.168.56.1hadoop-slave12.7.3192.168.56.2hadoop-slave22.7.3192.168.56.3

细粒丁·2023-11-26 19:44

Sqoop工具MySQL导入数据到Hbase（Hbase部署）

基础环境集群工具版本sqoop-1.4.7.bin__hadoop-2.6.0mysql驱动，插件包jar提取码：LWXBhadoop-2.6.5hbase-2.2.6-bin以上是集群和工具的版本hadoop

一只little白·2023-11-26 19:44

HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置

问题导读：0、了解常规JDK安装以及Linux系统配置1、了解集群规划以及集群场景2、熟悉HBase的集群搭建3、熟悉ZooKeeper集群搭建4、熟悉Hadoop2.6.0版本HA集群搭建5、验证HBase

jerry_jiang2017·2023-11-26 19:42

技术分享 | ClickHouse & StarRocks 使用经验分享

ClickHouse和StarRocks这两款目前比较流行的实时数仓，文章仅代表个人拙见，有问题欢迎指出，Thanks♪(･ω･)ﾉ关于实时数仓，是目前在互联网上比较火的概念，不同于传统的T+1的离线数仓（Hadoop

爱可生开源社区·2023-11-26 19:08

Dr.Elephant入门

Dr.Elephant是一个Hadoop和Spark的性能监控和调优工具，由LinkedIn于2016年4月份开源。能自动化收集所有计算任务指标，进行数据分析，并以简单易用的方式进行呈现。

文贞武毅·2023-11-26 17:46

第03期：ClickHouse 之集群搭建以及数据复制

本期作者：邓亚运37互娱高级DBA，负责公司MySQL，Redis，Hadoop，Clickhouse集群的管理和维护。

爱可生开源社区·2023-11-26 15:45

hadoop(10)--MR运行模式以及Yarn的调度流程

首先开门见山，说明一下MR的l两种种运行模式1，在本地运行模式①在windows中，intellijidea或者eclipse中直接运行，文件存储可以是本地也可以是HDFS②在linux中，运行eclipse，文件存储可以是本地也可以是HDFS2，集群运行模式①，在windows中将MR程序编写好，运行main提交到集群中，交由yarn去调度运行，这一种，需要修改好多信息，因为平台不一样，需要修改

ROCK_杰哥·2023-11-26 13:14

2023年全国职业院校技能大赛-赛题第01套-GZ033 大数据应用开发

目录任务A：大数据平台搭建（容器环境）（15分）子任务一：Hadoop完全分布式安装配置子任务二：SparkonYarn安装配置子任务三：HBase分布式安装配置任务B：离线数据处理（25分）子任务一：

你可知这世上再难遇我·2023-11-26 13:48

1.5.1.2 Spark的部署与安装

总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录：https://www.jianshu.com/p/9428e443b7fdSpark的部署方式单机

寒暄_HX·2023-11-26 13:16

云计算需要学习那些技术，帮我整理一些书籍和文档

云平台：云计算平台构建、云计算平台管理。云服务：云服务模型、云服务管理。开发技巧：云计算开发工具、云计算开发方法。

13572025090·2023-11-26 10:57

云计算的核心技术有哪些？大数据云计算学习路线

在云计算系统中华运用了许多技术，其中以编程模型、数据管理技术、数据存储技术、虚拟化技术、云计算平台管理技术更为关键。(1)编程模型Map

长沙千锋·2023-11-26 10:24

云计算学习哪些技术

2.云平台学习云计算，需要了解主流的云计算平台，如AmazonWebServices(AWS)、M

xmh-sxh-1314·2023-11-26 10:47

Spark多文件输出的两种形式

#所需环境版本jdk=1.8scala.version=2.11.0spark.version=2.3.2hadoop.verison=2.7.2importorg.apache.hadoop.io.

一只咸鱼va·2023-11-26 09:58

简析Hadoop的三种运行模式

一、本地独立模式（单机模式）本地独立模式不进行任何配置，是Hadoop的默认工作模式。

我要下东西噢·2023-11-26 08:13

HADOOP大数据之HDFS数据安全与隐私保护

HDFSTrash垃圾桶功能概述HDFSTrash机制，叫做回收站或者垃圾桶。Trash就像Windows操作系统中的回收站一样。它的目的是防止你无意中删除某些东西。默认情况下是不开启的。启用ITrash功能后，从HDFS中删除某些内容时，文件或目录不会立即被清除，它们将被移动到回收站Current目录中(/user/$(username}/.Trash/current)。.Trash中的文件在用

奋斗的韭菜汪·2023-11-26 08:24

基于Hadoop的区块链海量数据存储的设计与实现

点我完整下载：基于Hadoop的区块链海量数据存储的设计与实现.docx基于Hadoop的区块链海量数据存储的设计与实现DesignandImplementationofMassDataStorageforBlockchainbasedonHadoop

桃宝护卫队·2023-11-26 07:50

Hadoop+Hive+Spark+Hbase开发环境练习

1.练习一1.数据准备在hdfs上创建文件夹，上传csv文件[root@kb129~]#hdfsdfs-mkdir-p/app/data/exam查看csv文件行数[root@kb129~]#hdfsdfs-cat/app/data/exam/meituan_waimai_meishi.csv|wc-l2.分别使用RDD和SparkSQL完成以下分析（不用考虑数据去重）开启sparkshell[r

不吃香菜lw·2023-11-26 07:48

HBase入门篇

HBase是ApacheHadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map

youzhouliu·2023-11-26 06:51

一篇文章带你入门HBase

目录HBase特性Hadoop的限制基本概念NameSpaceTableRowKeyColumnTimeStampCell存储结构HBase数据访问形式架构体系HBase组件HBase读写流程读流程写流程

快乐无限出发·2023-11-26 06:17

一篇文章入门Hbase

1.HBaseHBase是HadoopDatabase的简称，是建立在Hadoop文件系统之上的分布式面向列的数据库，为横向发展类型数据库，提供快速随机访问海量结构化数据，它是Hadoop生态系统，提供对数据的随机实时读

王知无(import_bigdata)·2023-11-26 06:15

【SpringBoot+HBase 】快速入门

基础命令1.2表的基本操作1.3表的数据增删改查指令1.3.1HBase数据模型1.3.2表的增删改查指令1.3.3过滤器条件查询二、JavaAPI操作Hbase2.1Maven依赖2.2复制HBase和Hadoop

豆腐脑lr·2023-11-26 06:39

Hadoop

Hadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。

烈火138·2023-11-26 05:34

HBase详细部署流程

Zookeeper-6.2安装部署成功Hadoop-3.2.2安装部署成功操作系统设置完毕，包括：

yujianbujianqwe·2023-11-26 04:50

HBase部署及数据库基本操作

(部署步骤)①安装JDK；②部署Hadoop;③配置Hadoop集群；④部署Zookeeper;⑤Hbase部署：（1）通过SecureCRT工具将HBase安装包上传到服务器nosql01的/opt/

Faine__001·2023-11-26 04:19

docker devicemapper: Error running DeleteDevice dm_task_run failed

docker删除容器，遇到：devicemapper:ErrorrunningDeleteDevicedm_task_runfailed异常[hadoop@hadoop02~]$sudodockerrm5ede1280f0bfErrorresponsefromdaemon

胖胖胖胖胖虎·2023-11-25 23:43

脚本

exit;fiforfilein$@dopdir=$(cd-P$(dirname$file);pwd)fname=$(basename$file)forhostinmz-hadoop-01mz-hadoop

都教授2000·2023-11-25 22:53

Day68 Kafka 快速实战核心原理

可以实时处理大量数据，满足各种需求场景.Hadoop批处理系统。

小周爱吃瓜·2023-11-25 21:31

推荐频道

云计算平台hadoop