Hadoop安装配置

Spark任务读取hive表数据导入es

使用elasticsearch-hadoop将hive表数据导入es，超级简单1.引入pomorg.elasticsearchelasticsearch-hadoop9.0.0-SNAPSHOT2.创建
小小小小小小小小小小码农·2025-03-17 18:25

如何配置Kubernetes仪表板dashboard支持http方式并使用ingress-nginx代理访问实践

http方式访问原文地址:https://blog.weiyigeek.top/2021/12-1-583.html1.配置Kubernetes-dashboard以支持http方式访问描述:当前默认安装配置的
全栈工程师修炼指南·2025-03-17 13:49

hive-进阶版-1

第6章hive内部表与外部表的区别Hive是一个基于Hadoop的数据仓库工具，用于对大规模数据集进行数据存储、查询和分析。
数据牧马人·2025-03-17 10:59

大数据手册(Spark)--Spark安装配置

本文默认在zsh终端安装配置，若使用bash终端，环境变量的配置文件相应变化。
WilenWu·2025-03-16 20:09

虚拟机中Hadoop集群NameNode进程缺失问题解析与解决

目录问题概述问题分析解决办法总结问题概述在虚拟机中运行Hadoop集群时，通过执行jps命令检查进程时，发现NameNode进程缺失。这通常会导致Hadoop集群无法正常运行，影响数据的存储和访问。
申朝先生·2025-03-15 23:09

大数据学习（67）- Flume、Sqoop、Kafka、DataX对比

留言支持一下博主哦工具主要作用数据流向实时性数据源/目标应用场景Flume实时日志采集与传输从数据源到存储系统实时日志文件、网络流量等→HDFS、HBase、Kafka等日志收集、实时监控、实时分析Sqoop关系型数据库与Hadoop
viperrrrrrr·2025-03-15 09:51

Kubernetes集群版本升级

升级步骤查看集群版本[root@hadoop102~]#kubectlgetnodesNAMESTATUSROLESAGEVERSIONhadoop102Ready,SchedulingDisabledcontrol-plane
程序员Realeo·2025-03-15 08:40

【python】虚拟环境工具pyenv

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录0x0安装配置pyenv和virturalenv插件0x00pyenv0x01pyenv-virtualenv插件0x02pyenv
南隅。·2025-03-15 06:50

《Python实战进阶》No23: 使用 Selenium 自动化浏览器操作

本集通过代码驱动实战，从安装配置到复杂交互，带你掌握Selenium的核心技能，并结合电商网站登录、商品下单等真实场景，解决动态加载、反爬等实际问题。
带娃的IT创业者·2025-03-15 03:56

Maven的安装配置

（注：文章是前段时间写的忘记发了，防止丢失在此记录一下）Maven是Apache下的纯Java开发的开源项目,是一个项目管理工具,使用Maven对项目进行构建,依赖管理。依赖管理就是一个项目中要使用第三方jar包才可以运行。Maven正是对这些jar包进行规范化管理，所以在Maven的项目中只需要在pom.xml中添加jar包的坐标,自动从Maven仓库中下载jar包,运行即可。Maven项目对比
2301_82243979·2025-03-15 02:14

Kubernetes集群版本升级

升级步骤查看集群版本[root@hadoop102~]#kubectlgetnodesNAMESTATUSROLESAGEVERSIONhadoop102Ready,SchedulingDisabledcontrol-plane
·2025-03-14 17:58

掌握Visual C++ 2019 Build Tools的高效开发方法

本文详细介绍了VisualC++2019BuildTools的核心组件，如MSVC编译器、C++运行时库、WindowsSDK等，以及如何进行安装配置、使用场景、实践应用和最佳实践。
心言星愿·2025-03-14 15:12

如何解决 Apache 直接显示 PHP 源码问题 ？

1.安装配置PHP首先，确保安装了PHP和ApachePHP
·2025-03-14 12:22

Hive高级SQL技巧及实际应用场景

Hive高级SQL技巧及实际应用场景引言ApacheHive是一个建立在Hadoop之上的数据仓库基础设施，它提供了一个用于查询和管理分布式存储中的大型数据集的机制。
小技工丨·2025-03-14 07:40

【Python】-入门：安装配置和IDLE的使用

Python的安装和配置一、下载Python安装包首先，你需要从Python的官方网站（https://www.python.org/downloads/）下载适合你操作系统的Python安装包。请注意，Python2.x版本即将停止维护，因此推荐下载Python3.x版本。二、安装Python下载完成后，双击打开安装包进行安装。仔细阅读安装向导，选择适合你的安装选项。对于大多数用户来说，选择默认
前鼻音太阳熊·2025-03-13 22:46

hive 数字转换字符串_Hive架构及Hive SQL的执行流程解读

基于Hadoop做一些数据清洗啊(ETL)、报表啊、数据分析可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
weixin_39756416·2025-03-13 22:10

nginx相关安装配置

安装：#yuminstallgccgcc-c++makeautomakeautoconflibtoolpcrepcre-develzlibzlib-developensslopenssl-devel3、下载Nginx#cd/usr/local/src/#wgethttp://nginx.org/download/nginx-1.13.0.tar.gz4、编译安装Nginx#cd/usr/local
不想做猿的猿·2025-03-13 17:03

在hadoop上运行python_hadoop上运行python程序

数据来源：http://www.nber.org/patents/acite75_99.zip首先上传测试数据到hdfs：[root@localhost:/usr/local/hadoop/hadoop
廷哥带你小路超车·2025-03-13 12:58

ranger集成starrock报错

org.apache.ranger.plugin.client.HadoopException:initConnection:UnabletoconnecttoStarRocksinstance,pleaseprovidevalidvalueoffield
蘑菇丁·2025-03-13 09:01

深入大数据世界：Kontext.TECH的Hadoop之旅

深入大数据世界：Kontext.TECH的Hadoop之旅winutils项目地址:https://gitcode.com/gh_mirrors/winut/winutils在大数据的浩瀚宇宙中，Hadoop
钱桦实Emery·2025-03-13 04:58

大数据学习（61）-Impala与Hive计算引擎

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、impala与yarn资源管理YARN是ApacheHadoop
viperrrrrrr·2025-03-12 21:38

大数据学习（62）- Hadoop-yarn

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦一、YARN概述1.YARN简介Hadoop-YARN是ApacheHadoop
viperrrrrrr·2025-03-12 21:38

vLLM框架：使用大模型推理框架

以下从安装配置、基础推理、高级功能、服务化部署到多模态扩展逐步讲解。
CITY_OF_MO_GY·2025-03-12 17:12

HBase2.6.1部署文档

1、HBase概述ApacheHBase是基于Hadoop分布式文件系统（HDFS）之上的分布式、列存储、NoSQL数据库。
CXH728·2025-03-12 17:10

Hive-4.0.1版本部署文档

Hadoop：Hive需要依赖Hadoop进行分布式存储，建议安装Hadoop3.x版本（本实验采用的是hadoop3.3.6）。
CXH728·2025-03-12 16:10

hive-3.1.3部署文档

提前准备一个正常运行的hadoop集群java环境hive安装包下载地址：https://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3
CXH728·2025-03-12 16:09

运维：Centos8安装supervisor守护Nginx进程笔记

目录supervisor介绍1.1简介1.2工作原理1.3运行环境1.4supervisor组成2、安装配置步骤2.1执行安装命令2.2回车继续2.3启动supervisor服务2.4查看配置文件，并修改配置文件
IT技术分享社区·2025-03-12 08:44

MySQL Heartbeat+drbd高可用

IP:10.0.0.51VIP：10.0.0.151standby心跳及传输IP:192.168.0.52data-21管理及对外IP:10.0.0.51VIP：10.0.0.152Heartbeat安装配置
脚灬印·2025-03-12 05:43

mySQL和Hive的区别

SQL和HQL的区别整体1、存储位置：Hive在Hadoop上；Mysql将数据存储在设备或本地系统中；2、数据更新：Hive不支持数据的改写和添加，是在加载的时候就已经确定好了；数据库可以CRUD；3
iijik55·2025-03-12 00:41

flink-cdc实时增量同步mysql数据到elasticsearch

1.环境准备mysqlelasticsearchflinkonyarn说明：如果没有安装hadoop，那么可以不用yarn，直
大数据技术派·2025-03-11 19:51

搭建分布式Hive集群

title:搭建分布式Hive集群date:2024-11-2923:39:00categories:-服务器tags:-Hive-大数据搭建分布式Hive集群本次实验环境：Centos7-2009、Hadoop
逸曦玥泱·2025-03-11 18:17

Hadoop、Spark和 Hive 的详细关系

Hadoop、Spark和Hive的详细关系1.ApacheHadoopHadoop是一个开源框架，用于分布式存储和处理大规模数据集。
夜行容忍·2025-03-11 18:46

Windows系统下解压".tar"文件出错，提示：无法创建符号链接，可能需要以管理器身份运行winrar

1、解压文件出错，如下信息：D:\tools\hadoop-3.1.2.tar.gz:无法创建符号链接D:\tools\hadoop-3.1.2\hadoop-3.1.2\lib\native\libhadoop.so
ruangaoyan·2025-03-11 18:45

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系

大数据技术生态圈：Hadoop、Hive、Spark的区别和关系在大数据领域中，Hadoop、Hive和Spark是三个常用的开源技术，它们在大数据处理和分析方面发挥着重要作用。
雨中徜徉的思绪漫溢·2025-03-11 17:07

Elasticsearch 入门教学：从零开始掌握分布式搜索引擎

本文将带你从零开始学习Elasticsearch，掌握其基本概念、安装配置、数据操作及搜索功能。1.Elasticsearch简介1.1什么是Elasticsearch？
格子先生Lab·2025-03-11 17:35

ZooKeeper学习总结（1）——ZooKeeper入门介绍

1.概述Zookeeper是Hadoop的一个子项目，它是分布式系统中的协调系统，可提供的服务主要有：配置服务、名字服务、分布式同步、组服务等。
一杯甜酒·2025-03-11 17:03

Zookeeper+kafka学习笔记

Zookeeper是Apache的一个java项目，属于Hadoop系统，扮演管理员的角色。
CHR_YTU·2025-03-11 16:01

麒麟arm架构系统_安装nginx-1.27.0_访问500 internal server error nginx解决_13: Permission denied---Linux工作笔记072

[root@hadoop173nginx1.27.0]#wget-chttp://nginx.org/download/nginx-1.27.0.tar.gz--2024-07-0509:47:00--
添柴程序猿·2025-03-11 16:54

Zookeeper与Kafka学习笔记

一、Zookeeper核心要点1.核心特性分布式协调服务，用于维护配置/命名/同步等元数据采用层次化数据模型（Znode树结构），每个节点可存储<1MB数据典型应用场景：HadoopNameNode高可用
上海研博数据·2025-03-11 15:51

# MAC系统多版本jdk安装

第一步官网下载jdk,然后安装配置bash_profile,如果是zsh配置~/.zshrc配置内容exportJAVA_6_H
成知节·2025-03-11 10:10

ELK安装配置

ELK平台介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
hu_wenjie·2025-03-11 06:10

phoenix无法连接hbase shell创建表失败_报错_PleaseHoldException: Master is initializing---记录020_大数据工作笔记0180

今天发现,我的phoenix,去连接hbase集群,怎么也连不上了,奇怪了...弄了一晚上org.apache.hadoop.hbase.PleaseHoldException:Masterisinitializing
添柴程序猿·2025-03-11 00:52

Visual Studio Code 基本使用指南

本文将从安装配置到核心功能，全面解析VSCode的基本使用方法。一、安装与配置下载与安装访问VSCode官网下载对应操作系统的安装包（支持Windows、macOS、Linux）134。
The god of big data·2025-03-10 16:57

Hadoop的运行模式

Hadoop的运行模式1、本地运行模式2、伪分布式运行模式3、完全分布式运行模式4、区别与总结Hadoop有三种可以运行的模式：本地运行模式、伪分布式运行模式和完全分布式运行模式1、本地运行模式本地运行模式无需任何守护进程
对许·2025-03-10 09:35

在基于Arm架构的华为鲲鹏服务器上，针对openEuler 20.03 LTS操作系统， 安装Ansible 和MySQL

ansible在基于Arm架构的华为鲲鹏服务器上，针对openEuler20.03LTS操作系统，安装Ansible和MySQLarm架构上面安装一些基础的软件需要特殊的yum源我正好需要在鲲鹏服务器上安装配置
pyliumy·2025-03-10 06:13

阿里云 LAMP环境配置（centos7.6+apache+mysql5.7+php7.3.4）

在安装配置环境的时候遇到了些问题，网上的基本没有一篇就能跟着做完的，所以自己也整理了一下，从开始安装到完成查询的一些资料，如果这篇文章能帮到你，我真的很高兴！！
坚持到底就能逆袭·2025-03-10 06:11

Hadoop的mapreduce的执行过程

一、map阶段的执行过程第一阶段：把输入目录下文件按照一定的标准逐个进行逻辑切片，形成切片规划。默认Splitsize=Blocksize（128M），每一个切片由一个MapTask处理。（getSplits）第二阶段：对切片中的数据按照一定的规则读取解析返回对。默认是按行读取数据。key是每一行的起始位置偏移量，value是本行的文本内容。（TextInputFormat）第三阶段：调用Mapp
画纸仁·2025-03-10 01:34

Hadoop：分布式计算平台初探

Hadoop是一个开发和运行处理大规模数据的软件平台，是Apache的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。
dccrtbn6261333·2025-03-10 01:32

【Hadoop】如何理解MapReduce？

MapReduce是一种用于处理大规模数据集的编程模型和计算框架。它的核心思想是将复杂的计算任务分解为两个简单的阶段：Map（映射）和Reduce（归约）。通过这种方式，MapReduce可以高效地并行处理海量数据。一.MapReduce的核心概念1.Map（映射）：将输入数据分割成小块，并对每个小块进行初步处理。输出键值对（key-valuepairs），例如。2.Shuffle和Sort（洗牌
2302_79952574·2025-03-10 00:30

Hadoop：全面深入解析

Hadoop是一个用于大规模数据处理的开源框架，其设计旨在通过集群的方式进行分布式存储和计算。
CloudJourney·2025-03-09 21:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他