HADOOP

基于 Java 的大数据分布式存储在视频会议系统海量数据存储与回放中的应用

本文深度解析Java分布式存储技术如何重构视频会议数据中枢：层次化存储架构：基于HadoopOzone+Alluxio构建热温冷数据分级体系，存储成本降低65%高并发读写
知识产权13937636601·2025-06-14 08:38

HBase安装与基本操作指南

##1.安装准备首先确保您的系统已经安装了以下组件：-JavaJDK8或更高版本-Hadoop（HBase可以运行在独立模式下，但建议配合Hadoop使用）##2.下载与安装HBase```bash#下载
weixin_47233946·2025-06-14 08:07

HBase安装配置和使用的实验报告

实验环境操作系统：Linux环境版本：ubuntu-18.04.6Hadoop版本：hadoop3
椰奶茸茸·2025-06-14 07:02

黑马-hive学习笔记(1)

一、hadoop介绍1.hadoop定义是一个分布式的大数据平台，这个平台上会有很多的组件，HDFS,Mapreduce,hive都是它生态的一部分，HDFS是一个数据存储系统，Mapreduce是一个计算引擎
霜 杀 百 草·2025-06-14 04:44

Spark报错——AnnotatedConnectException拒绝连接

AnnotatedConnectException拒绝连接1.问题描述:Causedby:io.netty.channel.AbstractChannel$AnnotatedConnectException:拒绝连接:hadoop115
weixin_ab·2025-06-13 19:08

Hadoop 三巨头：大数据界的搬砖天团

各位同学好，今天咱来唠唠大数据领域的"老大哥"Hadoop。这玩意儿就像大数据界的基建狂魔，而它的三大核心组件——HDFS、MapReduce和YARN，堪称分布式计算界的"搬砖天团"。
AAA建材批发王师傅·2025-06-13 03:19

Kafka Schema介绍

Avro是Hadoop中的一个子项目，Avro是一个基于二进制数据传输高性能的中间件。Avro可以做到将数据进行序列化，适用于远程或本地大批量数据交互。
大数据AI·2025-06-13 01:03

HDFS异构存储机制

目录：1.异构存储介绍2.存储介质3.HDFS存储策略（异构存储）4.HDFS异构存储原理5.HDFS异构存储的使用一，异构存储介绍异构存储是Hadoop在2.6.0版本中引入了一个新特性，HBase也从
风筝Lee·2025-06-13 00:54

Hadoop与大数据之间的关系和区别

在计算机世界里，大数据被定义为一种使用非传统的数据过滤工具，对大量有序或无序数据集合进行的挖掘过程，它包括但不仅限于分布式计算(Hadoop)。
一个鬼脸让我难安·2025-06-12 21:01

Hive的索引使用如何优化？

Hive索引优化全面指南：类型、创建与性能策略一、Hive索引概述与核心价值Hive作为基于Hadoop的数据仓库工具，其索引机制不同于传统数据库，主要通过建立数据映射关系减少数据扫描范围。
安审若无·2025-06-12 13:38

史上最全Hadoop面试题（最新版）

1、聊聊：Hadoop集群的最主要瓶颈Hadoop集群的最主要瓶颈可能包括以下几个方面：网络带宽：Hadoop集群中的数据通常需要在不同的节点之间传输，如果网络带宽不足，可能会导致数据传输速度变慢，从而影响整个集群的性能
zh_19995·2025-06-12 04:25

Hbase集群部署（三个节点）

概述HBASE–HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理
河西帝王蟹·2025-06-11 18:52

Hadoop 十年：从谷歌论文到全球企业的标配技术

Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
·2025-06-11 15:46

HDFS小文件治理总结

目录背景第一部分回本溯源第二部分HDFS大量小文件的危害第三部分小文件治理方案总结第四部分总结参考文献及资料背景企业级Hadoop大数据平台在实际使用过程中，可能大部分会遭遇小文件问题，并体验它的破坏性
数据科学和工程·2025-06-11 12:11

hive映射elasticsearch nested复杂数据类型，读取elasticsearch _id字段

先简单写一下，列出关键的部分，es的nested数据结构如何在hive中做映射，es-hadoop的jar包当然要包括在hive的classpath中，就不多说。
技术菜逼·2025-06-11 02:30

Hive的基本操作技巧

Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。
rit8432499·2025-06-11 00:39

Hive UDF自定义函数原理与代码实例讲解

ApacheHive作为构建在Hadoop之上的数据仓库工具,为结构化数据的存储和分析提供了强大的SQL查询能力。
AI天才研究院·2025-06-10 13:24

11、Hive数据仓库——UDF、UDTF

文章目录Hive数据仓库——UDF、UDTFUDF:一进一出案例一创建Maven项目，并加入依赖编写代码，继承org.apache.hadoop.hive.ql.exec.UDF，实现evaluate方法
liangzai2048·2025-06-10 13:52

pyspark==windows单机搭建

下载安装JDK17,配置JAVA_HOME下载安装hadoop-3.3.5并完整替换bin目录,配置HADOOP_HOMEIndexof/hadoop/common/hadoop-3.3.5GitHub-cdarlint
一个java开发·2025-06-10 08:25

Paimon（数据湖框架）概述

数据湖数据湖就是：一种能够满足海量存储和海量分析的系统架构方案（不是数据库，也不是技术架构，是一种概念、一种方案和思路）其中HDFS实现了海量数据存储，Spark、MR、Flink等实现了海量数据分析所以说，Hadoop
lzhlizihang·2025-06-10 00:26

大数据处理中的隐藏杀手 —— 数据倾斜，你了解多少？

在分布式计算框架（如Hadoop、Spark）和分
※尘·2025-06-09 20:27

从零开始学Flink：揭开实时计算的神秘面纱

传统批处理（如Hadoop）像老式火车，必须等所有乘客（数据）到齐才能发车；而流处理（如Flink）如同磁悬浮列车，每个乘客（数据）上车即刻出发。Flink的诞生，让数据从"考古材料"变为"新鲜血液"
·2025-06-09 14:48

使用Docker部署单机Hadoop、Spark、Hive、MySQL、Redis、Kafka和Zookeeper编程

在本篇文章中，我们将探讨如何使用Docker容器化技术来部署单机环境，包括Hadoop、Spark、Hive、MySQL、Redis、Kafka和Zookeeper。
安静漫游·2025-06-09 10:45

Kafka 单机部署启动教程（适用于 Spark + Hadoop 环境）

Kafka单机部署启动教程（适用于Spark+Hadoop环境）一、Kafka版本选择推荐使用Kafka2.13-2.8.1（Scala2.13，稳定适配Spark3.1.2和Hadoop3.1.1）下载地址
·2025-06-09 09:45

Stanford CS246 homework of NTHU-CS-MDA lecture ( K-means )

conceptc1:10个cluster的起点，随机起点c2:10个cluster的起点，很远的起点data：所有数据，最长维度==233使用mac注意hadoop只能用os本身的python，我裝了anaconda
Gravitychen·2025-06-09 07:25

六、Sqoop 导出

作者：IvanCodes日期：2025年6月7日专栏：Sqoop教程ApacheSqoop不仅擅长从关系型数据库(RDBMS)向Hadoop(HDFS,Hive,HBase)导入数据，同样也强大地支持反向操作
IvanCodes·2025-06-08 22:17

Oracle海量数据库架构设计与Hadoop集成实战

资料集合包括理论讲解、Hadoop教程、PPT和代码示例，帮助学习者构建和优化数据库系统。涵盖核心组件、分布式数据库解决方案（如RAC和OGG），以及与Hadoop结合实现数据分析和ETL流程。
宁南山·2025-06-08 20:39

awk处理xml文件&&封装集合变量和调用

对于Hadoop配置本地存储路径：dfs.datanode.data.dirfile:///dfs/datadfs.datanode.data.dirfile:///mnt/datadir1/data,
itachi-uchiha·2025-06-08 19:31

Spark性能优化深度剖析：十大实战策略与案例解析

核心优化原理资源调优实战技巧并行度优化指南广播变量高效应用数据倾斜终极解决方案Shuffle过程优化秘籍内存管理进阶技巧算子优化黄金法则真实案例深度解析全链路调优方案1.Spark核心优化原理Spark基于内存计算的特性使其比Hadoop
·2025-06-08 12:10

CentOS7 + JDK8 虚拟机安装与 Hadoop + Spark 集群搭建实践

前言在大数据时代，Hadoop和Spark是两种非常重要的分布式计算框架。
簌簌曌·2025-06-08 11:02

hadoop集群datanode启动显示init failed，不能解析hostname

三个datanode集群，有一个总是起不起来。去查看log显示InitializationfailedforBlockpoolBP-1920852191-192.168.115.154-1749093939738(DatanodeUuid89d9df36-1c01-4f22-9905-517fee205a8e)servicetonode154/192.168.115.154:8020Datanod
yyf960126·2025-06-08 03:38

从零开始学大数据：数据工程入门指南

从数据工程的基础架构与核心组件出发，逐步解析数据采集、清洗、转换、存储、集成的全流程技术原理，结合Python代码实现与分布式计算框架实战，帮助读者掌握Hadoop、Spark等主流工具的应用方
AI天才研究院·2025-06-08 01:55

JobHistory Server的配置和启动

在 Hadoop 集群里，JobHistory Server（JHS）负责为所有已完成的 MapReduce 作业提供元数据与Web 可视化；只有它启动并配置正确，开发者才能通过 http://:19888
Bug Spray·2025-06-07 22:02

Hadoop复习(一)

Hadoop复习文章目录Hadoop复习前言一、简要描述如何安装配置apache的一个开源Hadoop二、Hadoop中需要哪些配置文件和其作用1.core-site.xml：2.hadoop-env.sh
·2025-06-07 20:49

Hadoop复习（十）

Sqoop数据迁移问题1判断题2/2分实现数据导出操作时，需要提前在关系数据库创建对应的数据表正确错误问题2判断题2/2分Sqoop利用MapReduce实现数据导入时可以不涉及ReduceTask的处理正确错误问题3单项选择2/2分Sqoop底层使用_____实现数据的导入与导出MapReduceSparkHivesQLSQL问题4单项选择2/2分Sqoop主要用于在_____和______之间
丸卜·2025-06-07 20:47

大数据平台搭建与数据分析

关键词：大数据平台；数据分析；Hadoop；Spark；机器学习一、引言随着互联
喜欢编程就关注我·2025-06-07 15:23

hdp hive创建表失败：Duplicate entry ‘tmp_xw_order_infos_channel-41‘ for key ‘UNIQUETABLE

Duplicateentry‘tmp_xw_order_infos_channel-41’forkey'UNIQUETABLE通过hive创建表时候报：异常Error,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
·2025-06-07 14:11

hive 创建表获取mysql锁超时

项目场景：hive执行创建表：返回异常Lockwaittimeoutexceeded;tryrestartingtransaction)问题描述returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
qq_40841339·2025-06-07 14:11

Kafka02 - Kafka快速入门

快速入门文章目录Kafka快速入门一：安装部署1：集群规划2：集群部署3：集群启停脚本二：Kafka命令行操作1：topic命令行操作2：生产者命令行操作3：消费者命令行操作一：安装部署1：集群规划服务器hadoop102
是小崔啊·2025-06-07 00:06

Spring Boot 2.x ：通过 spring-boot-starter-hbase 集成 HBase

HBase是在Hadoop分布式文件系统（简称：HDFS）之上的分布式面向列的数据库。而且是2007最初原型，历史悠久。那追根究底，Hadoop是什么？Hadoop是一个分布式环境存储并处理大数据。
weixin_43770982·2025-06-06 13:22

hdfs 文档存储服务器,HDFS分布式文档系统

HDFS(HadoopDistributedFileSystem)分布式文档系统HDFS的关键组件有两个Datanode和NameNode1.DataNode负责文档数据的存储和读写操作，HDFS将文档数据分割成若干数据块
哈奇明·2025-06-06 11:05

java对hdfs文件的拉取和上传操作

Configuration对象二、创建FileSystem对象三、打开hdfs文件四、FileSystem的一些方法五、完整示例1、拉取文件2、上传文件一、创建Configuration对象org.apache.hadoop.conf.ConfigurationConfigurationconf
yogima·2025-06-06 10:00

Hive SQL优化实践：提升大数据处理效率的关键策略

在大数据生态中，Hive作为基于Hadoop的数据仓库工具，广泛应用于海量数据的离线分析场景。然而，随着数据量的指数级增长和业务复杂度的提升，低效的HiveSQL可能导致资源浪费和查询性能瓶颈。
weixin_47233946·2025-06-06 04:20

记录一次spark本地运行时的org.apache.hadoop.io.nativeio.NativeIO问题

最近换了新的电脑，好久不用的win10系统，安装了maven，jdk，idea之后，从git上下载了代码库，希望可以本地调试运行spark代码，安装好系统环境后，代码可以运行起来了，代码就是很简单的将系统字符存储到当前文件中，代码如下：defmain(args:Array[String]):Unit={valsparkConf=newSparkConf().setAppName("ArgsDemo
一颗小草333·2025-06-06 00:22

读数据自助服务实践指南：数据开放与洞察提效16查询优化服务

1.查询优化服务1.1.好查询和坏查询之间的差别非常明显1.2.重复且长时间运行的查询是需要调优的1.3.痛点1.3.1.像Hadoop、Spark和Presto这样的查询引擎有太多的旋钮1.3.1.1
·2025-06-05 19:22

iceberg整合hive（从hive读取iceberg表数据）实践02

目录实现目标：1，创建hadoopcatalog在zeppelin创建hadoopcatalog2，创建基于hadoop_catalog的iceberg表3,从hadoop_catalog来创建hive
黄瓜炖啤酒鸭·2025-06-05 17:08

Hadoop集群启动没有Datanode

本人搭建的伪分布式集群，Hadoop集群启动没有Datanode,一开始以为是配置问题，检查了发现没什么问题，后来发现是Datanode与Namenode之间的ClusterID不一致导致的。
程序员在线炒粉·2025-06-05 14:45

虚拟机hadoop集群启动时DataNode进程缺失

虚拟机hadoop集群启动时DataNode进程缺失1.出现问题:在Linux命令窗口中输入Jps查询hadoop启动项目时缺少DataNode进程;2.问题原因:使用格式化命令之后又再次进行格式化,导致
Magicalapologize·2025-06-05 14:15

企业项目实战hadoop篇---HBase高可用集群部署（四）

高可用集群部署一.Hbase分布式部署二.故障切换一.Hbase分布式部署hbase配置解压hbase压缩包tarzxfhbase-1.2.4-bin.tar.gz配置hbase环境变量，加入java、hadoop
张一不二·2025-06-05 04:07

【赵渝强老师】Hadoop生态圈组件

  下图为大家展示了Hadoop生态圈体系中的主要组件以及它们彼此之间的关系。  视频讲解如下：Hadoop生态圈组件【赵渝强老师】Hadoop生态圈组件  这里先简单说明每一个组件的作用功能。
赵渝强老师·2025-06-04 22:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他