Hadoop安装部署

ansible自动化运维安装部署实践-部署、搭建、模块、playbook

运维⾃动化平台介绍运维⾃动化平台是由管理机器和业务机器组成的。管理机器：任务定制及发布；业务机器：接收任务并执⾏任务。运维⾃动化平台的优势：1、⼀次性任务定制：任务⼀次性发布给所有机器2、节省任务执⾏时间：任务主机并发完成任务，节省部署时间3、错误率低：避免重复，保证⼀次任务定制准确即可1、ansible特性1.noagents：不需要在被管控主机上安装任何客户端；2.noserver：⽆服务器端
情绪零碎碎·2024-01-27 15:31

EKS【k8s】集群使用helm部署 jumpServer

、环境要求Kubernetes1.20+Helm3.0redis>=6.2mysql>=5.7【也可以使用MariaDB但是版本必须>=10.6】jumpserver版本:v3.10.1【社区版】二、安装部署
干运维小白·2024-01-27 15:24

K8s 安装部署-Master和Minion(Node)文档

K8s安装部署-Master和Minion(Node)文档操作系统版本：CentOS7.4Master：172.20.26.167Minion-1：172.20.26.198Minion-2：172.20.26.210
lqcbj_IT老混混·2024-01-27 15:17

YARN 工作原理

1、Hadoop2新增了YARN，YARN的引入主要有两个方面的变更：其一、HDFS的NameNode可以以集群的方式部署，增强了NameNode的水平扩展能力和高可靠性，水平扩展能力对应HDFSFederation
无羡爱诗诗·2024-01-27 13:43

一台虚拟机上的文件怎么复制给另一台虚拟机

1.想要将zookeeper文件复制给另一台虚拟机2.使用终端命令压缩该文件3.压缩完毕4.将压缩文件传至另一台虚拟机的hadoop账户上5.显示传送完毕6.文件已传送到另一台虚拟机上7.使用终端命令将压缩文件解压缩文件复制完毕
白嫖叫上我·2024-01-27 11:44

GitBook在Linux下安装部署，安装nodejs、Gitbook使用

gitbook安装升级步骤先安装nodjs下载nodejswgethttp://cdn.npm.taobao.org/dist/node/v10.16.0/node-v10.16.0-linux-x64.tar.xz如果提示-bash:wget:commandnotfound说明没有wget没有wget的下载wgetyum-yinstallwget解压tar-xvfnode-v10.16.0-li
EraJieZhang·2024-01-27 11:15

Linux之堡垒机的安装部署

目录一、Linux安装启动1.上传安装包到/opt下2.解压缩3.在解压的目录下运用脚本自动安装#默认回车就行4.安装完成5.启动二、堡垒机页面部署1.浏览器访问//初始化用户：admin密码：admin修改密码admin123重新登陆2.初始化用户：admin密码：admin修改密码admin123重新登陆3.初始化界面4.先创建一个组，写一个组名即可5.设置邮件6.添加一个用户7.堡垒机添加一
Atmj·2024-01-27 10:41

Zabbix5.0安装部署

目录一、zabbix-server安装部署1、准备工作2、安装mysql3、mysql部署4、导入数据5、启动服务二、zabbix-agent安装部署1、准备客户机2、关联客户机3、给客户机设置监控项4
Atmj·2024-01-27 10:41

深入浅出hdfs源码

1、hadoop基本介绍2、周边生态图3、hdfs读源码解析4、hdfs写源码解析5、hdfs副本机制解读6、hdfs常见管理源码解析7、hdfs高可用源码解析-ha8、hdfs监控源码解析-dnmetrics-nnmetrics
大数据之家·2024-01-27 10:39

2021-03-07

解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive=====>基于Hadoop
残月冷无声·2024-01-27 10:39

深入浅出hdfs-hadoop基本介绍

一、Hadoop基本介绍hadoop最开始是起源于ApacheNutch项目，这个是由DougCutting开发的开源网络搜索引擎，这个项目刚开始的目标是为了更好的做搜索引擎，后来Google发表了三篇未来持续影响大数据领域的三架马车论文
大数据之家·2024-01-27 10:03

Hadoop三大核心组件，hadoop原理

Hadoop的三大核心组件分别是：HDFS（HadoopDistributeFileSystem）：hadoop的数据存储工具。
你敢和我比剑吗·2024-01-27 09:03

Hadoop2.0架构及其运行机制，HA原理

文章目录一、Hadoop2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.HDFS2.MapReduce3.Yarn1.组件2.调度流程一、Hadoop2.0
Toner_唐纳·2024-01-27 09:30

Hadoop 原理及架构详解

###README本文是基于黑马程序员的Hadoop网课的前半部分整理的笔记，主要介绍了相关操作与组件架构。
Should·L·2024-01-27 09:25

Hive3.1.3基础

参考B站尚硅谷目录什么是HiveHive架构原理Hive安装Hive安装地址Hive安装部署安装Hive启动并使用HiveMySQL安装安装MySQL配置MySQL配置Hive元数据存储到MySQL配置元数据到
魅美·2024-01-27 08:55

Hadoop与Spark横向比较【大数据扫盲】

大数据场景下的数据库有很多种，每种数据库根据其数据模型、查询语言、一致性模型和分布式架构等特性，都有其特定的使用场景。以下是一些常见的大数据数据库：1.**NoSQL数据库**：这类数据库通常用于处理大规模、非结构化的数据。它们通常提供简单的查询语言，并强调水平扩展和高可用性。例如：-**键值存储**：如Redis，AmazonDynamoDB-**列式存储**：如ApacheCassandra，
super_journey·2024-01-27 07:51

Hadoop增加新节点环境配置（自用）

完成Hadoop集群增添一个新的节点配置（文中命名为）Hadoop106，没有进行继续为该节点分配身份职能的步骤1.在VMware中安装CentOS7新建虚拟机1.
革斤要加油·2024-01-27 07:50

Hadoop-MapReduce-MRAppMaster启动篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在上一篇中已经将到：作业提交到ResourceManager
隔着天花板看星星·2024-01-27 07:20

2020-09-26 数据库知识点

MySQLMaridb数据库:存储数据分类用户信息--用户信息库商品信息---商品交易信息---支付业务数据表:数据表信息数据字段:存储具体内容信息,存储信息规范数据行:真实每一条合法的数据信息2.数据库服务环境安装部署
Double_G9·2024-01-27 07:15

企业级大数据安全架构（六）数据授权和审计管理

作者：楼高本节详细介绍企业级大数据架构中的第六部分，数据授权和审计管理1.Ranger简介ApacheRanger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架，为Hadoop生态系统众多组件提供一个统一的数据授权和管理界面
云掣YUNCHE·2024-01-27 07:30

1分钟了解基于Hadoop的数据仓库工具Hive(附超实用示例)

Hive功能Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL
yuyuyuyo·2024-01-27 05:53

ARM全国产云平台部署容器实战

目录第一节基于国产CPU的服务器2第二节国产云平台61、安装云平台91.1启动ARM服务器，从U盘启动91.2ARM服务器BIOS基本设置10第三节基于ZStack云主机构建K8S集群181、准备工作202、安装部署
bjczhl·2024-01-27 04:08

Hbase2.1 集群搭建

>Hbase在大数据的体系中扮演着DB角色，不得不说是重要的一员，在上一篇，大猪已经给大家演示了[Hadoop3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki5·2024-01-27 03:24

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
云台095·2024-01-27 03:40

[AIGC 大数据基础] 浅谈hdfs

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00

idea上搭建pyspark开发环境

1环境版本说明python版本：Anaconda3.6.5spark版本：spark-2.4.8-bin-hadoop2.7idea版本：2019.32环境变量配置2.1python环境变量配置将python.exe
jackyan163·2024-01-27 00:06

Zookeeper3.5.7基础学习

文章目录一、Zookeeper入门1、概述2、特点3、数据结构4、应用场景二、Zookeeper安装部署1、本地模式安装1.1基础操作1.2配置参数解读2、集群部署2.1集群安装2.2选举机制(面试重点
魅Lemon·2024-01-27 00:32

Flume1.9基础学习

文章目录一、Flume入门概述1、概述2、Flume基础架构2.1Agent2.2Source2.3Sink2.4Channel2.5Event3、Flume安装部署3.1安装地址3.2安装部署二、Flume
魅Lemon·2024-01-27 00:01

opengauss-高斯数据库的安装部署及MySQL数据迁移实战.

目录介绍下载安装包安装1.设置SEMMNI2.新建用户和用户组3.下载安装包解压4.安装数据库5.修改配置6.重启服务数据库使用gsql命令和常用sql1.使用omm用户连接数据库-本地登陆无需输入密码：2.查看用户信息3.删除数据库4.创建用户5.创建数据库B模式即MySQL模式(一定要设置成B)6.切换到数据库7.创建SCHEMA，需切换到指定的数据库执行8.退出gsql参考介绍opengau
一只打酱油De篴·2024-01-26 23:57

kubernetes版本升级

kubernetes版本升级我当前的kubernetes环境是基于二进制安装部署的主机IPservices192.168.21.120apiservice，etcd,kubectl,kube-controller-manager
捞一碗月光-zq·2024-01-26 23:44

八.压缩和存储

8.1Hadoop源码编译支持Snappy压缩(了解)8.1.1资源准备1）CentOS联网配置CentOS能连接外网。
临时_01e2·2024-01-26 21:13

大数据开发必备工具——Hadoop及整体架构介绍

Hadoop是一个由Apache软件基金会开发的开源Java软件框架，专为大数据处理设计，支持在大量计算机组成的集群上进行数据存储和分布式计算。
love6a6·2024-01-26 21:03

QT5.14.2开发的Mysql8.0系统安装部署过程

最近在Windows1164位系统下使用QT5.14.2开发了套系统、使用了MYSQL8.0数据库，项目使用mingw-64编译器进行编译，编译完成后使用windeployqt进行发布，并制作安装包，拷贝到工控机Windows1064位系统上进行安装运行。本文记录下安装包制作和工控机部署中的过程如下。1、MySQL8.0的下载安装：下载地址：MySQL::DownloadMySQLInstalle
疾风铸境·2024-01-26 20:40

hadoop-MR

1.MR执行原理1.MAP阶段在这里插入图片描述2.Reducer在这里插入图片描述3.shuffle阶段在这里插入图片描述2.实操1.导入maven配置org.apache.hadoophadoop-mapreduce-client-common2.7.1org.apache.hadoophadoop-mapreduce-client-core2.7.12
炽热_3a57·2024-01-26 19:06

Hadoop 3.1.1 HDFS 集群部署

Hadoop3.1.1HDFS集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu·2024-01-26 19:37

hadoop安装遇到的一些障碍

一.start-dfs.sh（开启不成功）原因：1.dadoop文件所属者与执行时登陆者不一致（权限不足）报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson
GetIdea·2024-01-26 18:30

第二课 Flink 安装部署、环境配置及运行应用程序（2）

上接第二课Flink安装部署、环境配置及运行应用程序（1）视频地址【ApacheFlink入门教程】3.Flink安装部署、环境配置及运行应用程序_哔哩哔哩_bilibiliApacheFlinkChina
起名-困难户·2024-01-26 18:26

指导手册05：MapReduce编程入门

指导手册05：MapReduce编程入门Part1:使用Eclipse创建MapReduce工程操作系统：Centos6.8,hadoop2.6.4情景描述：因为Hadoop本身就是由Java开发的，所以通常也选用
weixin_30655219·2024-01-26 17:56

SkyWalking8.5 logback日志收集

说明本文主要介绍在SkyWalking8.5下收集logback日志，关于SkyWalking8.5的安装部署本文不做介绍。
Liekkasz·2024-01-26 16:16

Spark3学习笔记

文章目录一、Spark基础1、Spark概述1.1Spark简介1.2SparkVSHadoop1.3Spark特点1.4Spark入门Demo2、Spark运行模式2.1概述2.2Local模式2.3Standalone
魅Lemon·2024-01-26 15:38

NoSQL-lesson14-MongoDB核心技术-运维篇

------->oldguo第二章：安装部署1、系统准备（1）redhat或centos6.2以上系统（2）系统开发包完整（3）ip地址和hosts文件解析正常（4）i
学无止境_9b65·2024-01-26 14:47

Apache 辅助系统工具

一丶ApacheSqoop1.Sqoop的介绍：Sqoop的工作机制是将导入或者导出的命令翻译成MapReduce实现，Sqoop可以理解为：SQL到Hadoop或者Hadoop到SQL2.Sqoop的安装配置文件修改
月初，·2024-01-26 11:16

centos同步服务器时间

不同步互联网查看所有节点ntpd服务状态sudosystemctlstatusntpdsudosystemctlstartntpdsudosystemctlis-enabledntpd查询自己的网段ipaddr修改hadoop102
热爱技术的小陈·2024-01-26 10:39

本地部署轻量级web开发框架Flask并实现无公网ip远程访问开发界面

文章目录1.安装部署Flask2.安装Cpolar内网穿透3.配置Flask的web界面公网访问地址4.公网远程访问Flask的web界面本篇文章主要讲解如何在本地安装Flask，以及如何将其web界面发布到公网进行远程访问
大海里的番茄·2024-01-26 10:22

CentOS 7 部署 Redis

文章目录1、前言2、安装部署2.1、单机模式2.1.1、通过yum安装（不推荐，版本老旧）2.1.1、通过源码编译安装（推荐）2.2、主从模式2.3、哨兵模式2.4、集群模式2.5、其他命令2.6、其他操作系统
achi010·2024-01-26 09:13

Hadoop3.x源码解析

文章目录一、RPC通信原理解析1、概要2、代码demo二、NameNode启动源码解析1、概述2、启动9870端口服务3、加载镜像文件和编辑日志4、初始化NN的RPC服务端5、NN启动资源检查6、NN对心跳超时判断7、安全模式三、DataNode启动源码解析1、概述2、初始化DataXceiverServer3、初始化HTTP服务4、初始化DN的RPC服务端5、DN向NN注册6、向NN发送心跳四、
魅Lemon·2024-01-26 09:54

Hadoop3.x学习笔记

文章目录一、Hadoop入门1、Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式（官方WordCount
魅Lemon·2024-01-26 09:24

林浩然与Hadoop的奇幻数据之旅

林浩然与Hadoop的奇幻数据之旅LinHaoranandtheEnchantingDataJourneywithHadoop在一个名为“比特村”的地方，住着一位名叫林浩然的程序员大侠。
howard2005·2024-01-26 09:20

Hadoop YARN 在快手的应用实践与技术演进之路

yarn的背景yarn大家都比较熟悉了，是从Hadoop1.0分离到2.0的比较重要的特性，把原来的jobtracker集中式调度变成yarn的二级调度，解决集群扩展性的问题。
yoku酱·2024-01-26 08:32

“研学测”好帮手，三步带你安装体验TDH社区开发版

“三步”安装TDH社区开发版本文将为大家介绍如何在“三步”内快速完成TDH社区开发版在单台服务器中的安装部署，让大家更全面地了解到社区开发版更轻
星环科技·2024-01-26 07:10
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他