Hadoop安装部署

Hadoop -- Hive

文章目录1.什么是hive？1.1基本思想1.2为什么使用hive？1.3hive创建表与查询原理2.hive安装2.1.mysql安装2.2.hive的元数据库配置3.hive使用方式3.1最基本使用方式3.2启动hive服务使用3.3脚本化运行4.建库建表与数据导入4.1建库4.2建表4.2.1基本建表语句4.2.2删除表4.2.3内部表与外部表4.2.4分区表4.2.5外部分区表4.3数据导
Cool_Pepsi·2024-01-23 02:12

Spark运行流程

Spark相对于Hadoop的优势Hadoop虽然已成为大数据技术的事实标准，但其本身还存在诸多缺陷，最主要的缺陷是其MapReduce计算模型延迟过高，无法胜任实时、快速计算的需求，因而只适用于离线批处
Cool_Pepsi·2024-01-23 02:12

Hadoop -- HDFS

1.什么是Hadoophadoop中有3个核心组件：分布式文件系统：HDFS——实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE——实现在很多机器上分布式并行运算分布式资源调度平台
Cool_Pepsi·2024-01-23 02:42

Hadoop -- ZooKeeper

ZooKeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)等的管理员。
Cool_Pepsi·2024-01-23 02:42

QKCP容器平台安装qkcp &paas deployment

x公司qkcp容器平台安装部署手册目录x公司qkcp容器平台安装部署手册1集群基础环境31.1.集群规划信息31.2.标准环境配置41.2.1.修改hostname41.2.2.修改节点语言41.2.3
一个在高校打杂的·2024-01-23 00:29

openEuler操作系统安装+部署+配置

目录一、下载二、创建虚拟机实例三、安装部署四、配置OpenEuler22.031、登录账号2、Xshell建立连接3、关闭防火墙及SELinux4、修改主机名+修改root密码5、配置yum源6、查看网卡配置
周湘zx·2024-01-22 23:46

hadoop搭建服务器

一、服务器配置说明1.四台服务器2.每台服务器内存4G3./boot空间3072M4.【可选择配置】/swap交互虚拟内存，40965./根目录空间57G二、服务器网络选择配置1.选择NAT链接网络/桥接2.编辑~/.bashrc文件vim~/.bashrcexportall_proxy=socks5://192.168.197.2:21881exporthttp_proxy=http://192
成_7b38·2024-01-22 20:47

Hadoop RPC解析

网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信（Inter-ProcessCommunication,IPC）逻辑，是所有分布式系统的基础。远程过程调用（RemoteProcedureCall,RPC）是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另一台计算机的子程序，同时将网络的通信细节隐藏起来，使得用户无须额外地为这个交互作用编程。由于R
tracy_668·2024-01-22 19:51

hadoop之mapreduce教程+案例学习（一）

第1章MapReduce概述目录第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
菜瓜技术联盟·2024-01-22 19:04

Prometheus安装部署（主体）

主体下载地址：https://github.com/prometheus/prometheus/releases选择适合自己的，我这里是linuxarm64上传到服务器，并解压mkdir/data/prometheus-pcd/data/prometheustar-zxvfprometheus-2.49.1.linux-amd64.tar.gzmvprometheus-2.49.1.linux-a
weixin_43169720·2024-01-22 18:42

Impala：基于内存的MPP查询引擎

Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎，它提供SQL语义，能查询存储在Hadoop
对许·2024-01-22 17:26

Hadooop和Hbase是什么关系

HBase是一个基于Hadoop的NoSQL分布式列存储数据库，用于存储海量结构化和半结构化数据，并提供高可用、高性能和面向列的操作功能。
wwwyx12138·2024-01-22 17:50

大数据平台的硬件规划、网络调优、架构设计、节点规划

1.大数据平台硬件选型要对Hadoop大数据平台进行硬件选型，首先需要了解Hadoop的运行架构以及每个角色的功能。
小枫@码·2024-01-22 17:18

hadoop-hdfs-API

处理hadoop配置文件及系统环境1.将hadoop所有jar包（除了..以外）添进hadoop/lib文件夹备用。2.将linux的hadoop/bin导出覆盖windows的hadoop/bin。
有七段变化·2024-01-22 15:43

8.2 Window安装部署Redis

文章目录前言一、下载Redis二、启动server三、启动Redis客户端测试前言Redis官方并不支持Window版本，但在Github上有第三方的实现，本文基于Window-Redis-x64-5.0.14.1版本，主要用于本地测试，请勿用于生产环境。一、下载RedisGithub下载地址：https://github.com/tporadowski/redis/releasesGitCode
天罡gg·2024-01-22 14:33

CentOS7下Hadoop2.9.2、Hive 2.3.6安装与实践

参考的安装文章地址：https://blog.csdn.net/pengjunlee/article/details/81607890实际安装的版本为：hadoop2.9.2，hive2.3.6；操作系统
流火星空·2024-01-22 14:58

java大数据hadoop2.9.2 Linux安装mariadb和hive

一、安装mariadb版本centos71、检查Linux服务器是否已安装mariadbyumlistinstalledmariadb*2、如果安装了，想要卸载yumremovemariadbrm-rf/etc/my.cnfrm-rf/var/lib/mysql才能完全删除3、安装mariadb在线网络安装yuminstall-ymariadb-server开启服务systemctlstartma
crud-boy·2024-01-22 14:26

Pycharm中配置环境时找不到python.exe文件

换工作后从新安装部署环境后发现在Pycharm中无法找到anaconda3中envs中的python.exe文件，然而实际是存在python.exe文件。多次尝试排查后个人认为是新版本的问题。
铝扣板放辣椒·2024-01-22 13:34

关于Hive架构原理，尚硅谷

最近学习hive时候，在做一个实操案例，具体大概是这样子的：我在dataGip里建了一个表，然后在hadoop集群创建一个文本文件里面存储了数据库表的数据信息，然后把他上传到hdfs后，dataGrip
大数据ＳＱＬｂｏｙ·2024-01-22 11:41

Ubuntu上安装部署Qt

首先需要下载对应的虚拟机软件和ubuntu镜像，虚拟机软件使用VMware或者VirtualBox都行，我用的是前者，这里是VMware的下载链接：下载VMwareWorkstationPro|CN。Ubuntu镜像推荐去清华的网站下载：Indexof/ubuntu-releases/23.10.1/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror我下载使用的是：ubun
MayZork·2024-01-22 10:30

mac安装部署gitbook教程

mac安装部署gitbook教程前言一、安装准备二、GitBook安装三、项目初始化前言一些自己实际操作的记录。一、安装准备Node.jsgitbook基于Node.js，所以需要提前安装。
yuQnY·2024-01-22 10:15

Ranger概述及安装配置

二、Ranger2.1、什么是rangerApacheRanger是一个用来在Hadoop平台上进行监控，启动服务，以及全方位数据安全访问管理的安全框架。Ranger愿景是在Apa
小枫@码·2024-01-22 09:39

【大数据处理技术实践】期末考查题目：集群搭建、合并文件与数据统计可视化

合并文件与数据统计可视化实验目的任务一：任务二：实验平台实验内容及步骤任务一：搭建具有3个DataNode节点的HDFS集群集群环境配置克隆的方式创建Slave节点修改主机名编辑hosts文件生成密钥免认证登录修改hadoop
汐ya~·2024-01-22 09:35

redis-5.0.8集群环境搭建

单机环境安装redis-3.2.8主从复制架构搭建及哨兵配置如果你对redis的安装很陌生，请看完我以上两期教程，对完成此期教程很有帮助2.下载解压redis-5.0.8.tar.gz[xiaokang@hadoop01
小刘新鲜事儿·2024-01-22 08:15

大数据技术原理及应用课实验3 ：熟悉常用的HBase操作

目录实验3熟悉常用的HBase操作一、实验目的二、实验平台三、实验步骤（每个步骤下均需有运行截图）（一）编程实现以下指定功能，并用Hadoop提供的HBaseShell命令完成相同任务：1.列出HBase
Blossom i·2024-01-22 08:08

Flink on YARN（下）：常见问题与排查思路

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
Apache Flink·2024-01-22 08:33

一张图轻松掌握 Flink on YARN 基础架构与启动流程

杨弢（搏远），阿里巴巴计算平台事业部技术专家，ApacheHadoopCommitter，目前专注于YARN、Flink、YuniKorn等开源项目的资源调度方向。
zhisheng_blog·2024-01-22 08:02

10 Hadoop的安全模式及权限介绍

1、HDFS工作流程启动NameNode，NameNode加载fsimage到内存，对内存数据执行editslog日志中的事务操作。文件系统元数据内存镜像加载完毕，进行fsimage和editslog日志的合并，并创建新的fsimage文件和一个空的editslog日志文件。NameNode等待DataNode上传block列表信息，直到副本数满足最小副本条件,这个过程NameNode处于安全模式
水无痕simon·2024-01-22 08:02

[flink]一Flink部署|配置文件|提交作业|部署模式|独立模式部署|yarn模式部署

一、集群部署集群规划节点服务器hadoop1hadoop2hadoop3hadoop4角色JobManagerTaskManagerTaskManagerTaskManagerTaskManager1、
胖胖学编程·2024-01-22 08:30

Hadoop基本概论

目录一、大数据概论1.大数据的概念2.大数据的特点3.大数据应用场景二、Hadoop概述1.Hadoop定义2.Hadoop发展历史3.Hadoop发行版本4.Hadoop优势5.Hadoop1.x/2
LzYuY·2024-01-22 08:25

史上最全深度解析Flink内存管理--大数据技术

目前，大数据计算引擎主要使用Java或基于JVM的编程语言实现的，例如ApacheHadoop，ApacheSpark，ApacheDrill，ApacheFlink等。
大数据学习僧·2024-01-22 08:50

Flink（十四）【Flink SQL（中）查询】

FlinkSQL查询环境准备：#1.先启动hadoopmyhadoopstart#2.不需要启动flink只启动yarn-session即可/opt/module/flink-1.17.0/bin/yarn-session.sh-d
让线程再跑一会·2024-01-22 08:14

Flink是如何管理内存的

在讲Flink管理内存之前要了解下Flink为什么要自己实现内存管理一、Flink为什么要自己实现内存管理在大数据领域，大多数数据相关的开源框架（Hadoop、Spark、Storm）都是基于JVM运行的
Relian哈哈·2024-01-22 08:13

hive sql转换成MR任务过程

)、WEBUI（浏览器访问hive）2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；3）Hadoop
上官沐雪·2024-01-22 08:08

大数据开发之电商数仓（hadoop、flume、hive、hdfs、zookeeper、kafka）

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库
Key-Key·2024-01-22 07:29

使用PyInstaller打包webssh

接前一篇博客，为了使webssh更容易安装部署，我在想是不是可以把webssh打包成一个独立的可执行文件，这样使用起来不是更方便呢。于是乎我想到了是不是可以使用PyInstaller来打包。
kongxx·2024-01-22 07:04

DevOps系列GitLab-CICD(二)之安装git-runner-rpm安装方式

gitlab-runner`启动`gitlab-runner`注册`gitlab简单使用模拟测试真实案例`问题总结`背景步骤如下验证背景本节是继DevOps实例演示的第三篇文章,在上一篇文章中,我们已经成功安装部署了
Felix_XY·2024-01-22 06:35

看看关系型数据库是怎么吊打Hadoop的

所以在不少架构中，会看到使用ETL的方式将数据库送到Hadoop中，使用其分布式存储和分布式计算的特点来进行分析。
薛晓刚·2024-01-22 02:58

25.集群异常故障分析——HOSTS

25.1问题情况Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制
大勇任卷舒·2024-01-22 02:51

Linux下MySQL的安装部署

MySQL数据库存在多种版本，不同的版本在不同的平台上（OS，也就是操作系统上）安装方式可能有所不同，因此安装时一定要参数官方文档进行安装。MySQL::MySQLDocumentation选择需要的MySQL官方提供的不同版本，点击后在选择MySQL对应版本的，就可以找到安装教程，如意MySQL5.7为例：https://dev.mysql.com/doc/refman/5.7/en/insta
KXY冲冲冲·2024-01-22 01:25

Hive SQL的编译过程（转）

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。
愤怒的谜团·2024-01-21 20:40

Hbase笔记

HBase-1.hbase介绍ApacheHBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。当您需要对大数据进行随机，实时读/写访问时，请使用ApacheHBase™。
MFRain·2024-01-21 20:24

Eureka使用详解

介绍主要特点主要功能与常用服务注册中心的比较Eureka与Zookeeper的区别和联系Eureka与Nacos的区别与联系Eureka与Consul的区别与联系安装部署Eureka与CAP理论Eureka
有梦想的攻城狮·2024-01-21 19:35

Docker安装部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)

ELK是由Elasticsearch、Logstash和Kibana三部分组件组成。Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用kibana是一个开源和免费的工具，它可以为Logstash
用心去追梦·2024-01-21 19:26

spark on yarn安装部署

sparkonyarn安装部署使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。
佛系爱学习·2024-01-21 17:11

黑猴子的家：API 操作 HDFS 文件下载

1、Code->GitHubhttps://github.com/liufengji/hadoop_hdfs.git2、Code@TestpublicvoidgetFileFromHDFS()throwsException
黑猴子的家·2024-01-21 16:19

django基于Hadoop平台的电影推荐系统(程序+开题报告)

本系统（程序+源码+数据库+调试部署+开发环境）带文档lw万字以上，文末可获取系统程序文件列表开题报告内容研究背景：随着互联网的普及和大数据技术的发展，人们对于个性化推荐的需求越来越高。电影作为一种重要的娱乐方式，其推荐系统的研究也受到了广泛关注。然而，传统的电影推荐系统往往基于用户的历史行为进行推荐，忽略了其他重要的信息，如电影的类型、导演、演员等。此外，由于电影数据的海量性和复杂性，传统的推荐
liu10662·2024-01-21 15:51

ubuntu22.04安装atlas2.0.0

在ubuntu裸机上安装，裸机未安装java，hadoop等环境。jdk和maven都使用apt方式安装。sudoaptinstallopenjdk-8-jdksudoa
playmakerlby·2024-01-21 15:37

Zabbix 4.0安装部署+自动发现及自动注册、自动添加监控主机

Zabbix4.0安装部署+自动发现及自动注册、自动添加监控主机1、基于lnmp部署zabbix监控平台；2、实现基于自动发现、主动注册自动添加监控主机；实验环境：服务端：Lnmp+Zabbix——172.20.26.167
lqcbj_IT老混混·2024-01-21 12:04

CentOS7 LAMP环境安装部署Zabbix

CentOS7LAMP环境安装部署Zabbix查看CentOS版本号more/etc/redhat-releaseserver最好配置静态IP地址、DNS，在DHCP服务器将此IP地址排除掉。
lqcbj_IT老混混·2024-01-21 12:34
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他