研磨hadoop

MapReduce NativeTask优化详解

基本介绍NativeTask是HadoopMapReduce的高性能C++API和运行时。
shining_yyds·2023-10-22 00:25

大数据学习(17)-mapreduce task详解

乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦MapReduceLocalTask和提交到YARN上运行的MapReduce任务有以下区别：执行环境：LocalTask是在本地执行，而YARN任务是在Hadoop
viperrrrrrr·2023-10-22 00:54

leetcode-并查集

并查集_MaYingColdPlay的博客-CSDN博客python实现一个简单的并查集-SegmentFault思否并查集板子看找出知道秘密的所有专家并查集python实现各种常用算法之数据结构（7）-Hadoop_Spark
朝阳章北海·2023-10-21 20:42

hadoop完全分布式搭建与集群测试

hadoop是本文章主要介绍hadoop完全分布式搭建过程。Hadoop是一个由Apache基金会所开发的分布式系统基础架构，是完全开源的，是由java语言编写的。
青春的样子1·2023-10-21 19:39

Hadoop学习总结（搭建Hadoop集群(完全分布式模式)）

学习搭建Hadoop集群（完全分布式模式）链接：https://pan.baidu.com/s/1wwTKk-XxHbccHjE-Xk2PTA提取码：q7j7在SecurityCRT或者在Xshell进行虚拟机链接
Qinqin.J·2023-10-21 19:00

iceberg-flink 十一：在dlink代码中建表增加catalog地址。

catalog地址’当我们映射iceberg表的时候，增加了地址，就会成功映射到表CREATECATALOGdk_empowerWITH('type'='iceberg','catalog-type'='hadoop
宇智波云·2023-10-21 18:29

但愿今世有来生，化作蝴蝶比翼飞。

如果有来生我不想再犯错今生已经遗憾的错过来世让相守不再是传说如果有来生我会在最美的时刻把你的喜怒哀乐来收获再用一生的时间去研磨如果有来生我要好好把握让醉人的吻缀满你和我直到在摇椅上还执手相握如果有来生我绝不让你空虚寂寞携手闲看花开静待花落用我的真情来恪守爱的承诺如果有来生如果来生我还是我你还是你吗图片发自
温暖心灵的书话·2023-10-21 13:29

Scala语言入门

学习了这么久让我们来回顾一下之前的内容吧Hadoop生态体系知识串讲Scala编程语言一、概述http://scala-lang.org专门为计算而生的语言，Scala将(Java后者C++)面向对象设计和函数式编程结合在一起的简洁的高级编程语言
热忱 ㅤ ㅤ·2023-10-21 13:12

【大数据】Hadoop 体系（一）

Hadoop一、大数据导论1.数据是什么？数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，它是可识别的、抽象的符号。
柠檬小帽·2023-10-21 12:40

hadoop复习题

1.hadoop常用端口号hadoop2.xhadoop3.x访问hdfs端口500709870访问MR执行情况端口80888088历史服务器1988819888客户访问集群端口900080202.HDFS2.1hdfs
梧桐林.·2023-10-21 12:37

hive关联查询连接hbase的外部表时，内存溢出问题

错误如下方感觉不会呀，对于hadoop来说，这么点数据不至于吧。上网查了很多资料未果。今天终于找到一个靠谱的，见链接http://itindex.net/detail/51977-hive-h
weixin_34056162·2023-10-21 08:31

【MapReduce】Mapreduce基础知识整理 (三) shuffle机制、MapJoin、ReduceJoin、倒排序索引

概述1.2shuffle分析1.2.1主要工作流程1.2.2环形缓冲区1.2.3详细工作流程2.MapJoin和ReduceJoin2.1表关联2.2ReduceJoin2.3MapJoin2.4利用hadoop
时间的美景·2023-10-21 08:26

搭建HBase分布式集群

0.PrerequisiteThereare3VMs-hadoop3/hadoop4/hadoop5forfully-distributedHBasecluster,thesetupplanlookslike
sun_xo·2023-10-21 07:23

HDFS之联邦

blockpool共用存储联邦的优势FederationConfigurationConfigurationBalancerDecommissoningClusterWebconsolejvm瓶颈HDFS是Hadoop
zincooo·2023-10-21 07:44

Flume 数据流监控——Ganglia的安装与部署

1、Ganglia的安装（1）安装dhttpd服务与php[yasin@hadoop102flume]$sudoyum-yinstallhttpdphp（2）安装其他依赖[atguigu@hadoop102flume
南洲.·2023-10-21 07:43

Flume 的应用10（Flume 数据流监控Ganglia）

文章目录8、Flume数据流监控8.1Ganglia的安装与部署8.2操作Flume测试监控8、Flume数据流监控8.1Ganglia的安装与部署1）三台机器安装epel源[xiaoxq@hadoop105flume
TANCHISE·2023-10-21 07:13

Flume数据流监控之Ganglia的安装与部署

Flume数据流监控之Ganglia的安装与部署一、Ganglia的安装与部署1）三台机器安装epel源[hadoop@hadoop102flume]$sudoyuminstall-yepel-release2
大数据面壁者·2023-10-21 07:42

认识大数据

大数据开发需要了解的几种语言HadoopSparkStorm大数据平台应用六大知识点一、大数据中的数据仓库和Mpp数据库如何选型?
三思而后行，慎承诺·2023-10-21 07:42

大数据学习hadoop3.1.3——Flume相关数据流监控Ganglia的安装与部署--测试

1、Ganglia的安装与部署1、集群里都需要安装gangliasudoyuminstall-yepel-release2、在101安装web,meta和monitorsudoyum-yinstallganglia-gmetadganglia-webganglia-gmond3、在102、103安装monitorsudoyum-yinstallganglia-gmondGanglia由gmond、
Carson_xcb·2023-10-21 07:40

SparkSQL入门

HiveonSpark:只是替换了Hadoop的MR，改为了Spark的计算引擎。发展历史RDD=>DataFrame=>DataSet：都有惰性机制，遇到行动算子才会执行。
十七✧ᐦ̤·2023-10-21 07:40

Flume数据流监控

1、Ganglia的安装与部署注：此安装的背景是：3台服务器1）三台机器安装epel源[Mark@hadoop102flume]$sudoyuminstall-yepel-release2)在102安装
大数据点滴·2023-10-21 07:09

spark获取hadoop服务token

spark作业一直卡在accepted问题现象问题排查1.查看yarnapp日志2.问题分析与原因问题现象通过yarn-cluster模式提交spark作业，客户端日志一直卡在submitapp，没有运行问题排查1.查看yarnapp日志appid已生成，通过yarn查看app状态为等待am运行。具体查看am日志发现其一直在尝试访问hbase，尝试了36次后失败(集群hbase服务已正常停止)问题
zincooo·2023-10-21 07:35

大数据平台开发经验

如果我是一个有着10年大数据平台开发经验的开发者，面试时可能需要准备以下知识大数据生态系统：**熟悉大数据技术栈，如Hadoop、Spark、Flink等，了解它们的原理、用途和优劣势。
三思而后行，慎承诺·2023-10-21 07:04

ubuntu20安装Spark和pyspark的简单使用

简单介绍1，介绍Hadoop存在如下一些缺点：表达能力有限、磁盘IO开销大、延迟高、任务之间的衔接涉及IO开销、在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务Spark在借鉴
断线纸鸢张·2023-10-21 06:07

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
数据萌新·2023-10-21 05:14

Windows下搭建hadoop 搭建本地hadoop开发环境

一、下载所需文件1.JDK下载地址：点击打开链接2.Hadoop下载地址：点击打开链接3.Windows下安装Hadoop工具下载地址:点击打开链接密码：yk9u二、jdk安装1.不会看这里点击打开链接三
生活的探路者·2023-10-21 05:48

清洁MacBook、MacBook Pro 或MacBook Air屏幕

MacBook、MacBookPro或MacBookAir外部时操作先将电脑关机并拔下电源适配器使用湿润的无绒软布清洁电脑外壳避免任何开口处受潮不要将液体直接喷到电脑上不要使用可能会破坏表面图层的喷雾剂、溶液、研磨剂或含有氧化氢的清洁剂配置触控栏和触控
娇娇_6e1c·2023-10-21 05:09

Hadoop源码分析-HDFS写数据之申请block

4.申请block下面我们应该再去从dataQueue中读取packet了。而从dataQueue读取packet是Datastream线程,所以我们直接看它的run方法Datastream.run()，代码比较多，分开看看。1.1这里看while的判断条件，如果dataQueue的size=0，那么就等待image1.21:错误判断，pass;2:空判断pass;3:在这里获取了第一个packe
晨磊的微博·2023-10-21 03:06

Java查询HDFS文件系统

1、文件元数据FileStatusimportorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileStatus;importorg.apache.hadoop.fs.FileSystem
主君_05c4·2023-10-21 02:08

大数据技术学习之 ZooKeeper应用——解决分布式系统单点故障。

大数据课程涵盖Java、spark、Hadoop等内容，而不是Java中涵盖大数据，现在是大数据的时代，学习大数据课程之前必须先了解大数据课程大纲，否则很容易学到假的大数据课程。
千锋大数据·2023-10-21 02:46

【辅食日记--鲈鱼菠菜挤挤面】

菜名：鲈鱼菠菜挤挤面月龄：9m+食材：鲈鱼30克、淀粉20g、菠菜3根辅料：无工具：料理棒/研磨碗、保鲜袋/裱花袋制作过程：1.食材准备图片发自App2.菠菜洗净后焯水，切成小块，再用料理棒/研磨碗打碎
XY_8203·2023-10-21 01:32

4-MapReduce+Spark(分布式计算框架)

一、简介MapReduce起源，在介绍大数据编年史时有提到Google最早在04年发表论文MapReduce，之后DougCutting基于这篇论文通过Java做了开源实现，Mapredce如今是作为Hadoop
小帅明3号·2023-10-21 01:00

Hadoop 概览

HadoopHadoop是一个提供分布式存储和分布式计算的框架，为大量数据的存储和计算提供了一个可靠的平台支持。现在Hadoop和其它相关的衍生产品构成了大数据生态系统。
越过山丘xyz·2023-10-21 00:18

hadoop3.2.1+hive3.1.2-docker安装

Hadoop1.拉取镜像dockerpullhadoop_hive:32.运行容器建立hadoop用的内部网络(此步出错，若与其它网段冲突，可省略)#指定固定ip号段dockernetworkcreate
悢七·2023-10-21 00:52

大数据Hadoop环境安装

对于我这个初学者，大数据入门就是首先得学会Hadoop环境的安装，按照步骤如遇相关问题，请指正。
不倒翁_z·2023-10-21 00:22

大数据Hadoop之——部署hadoop+hive+Mysql环境（window11）

一、安装JDK8【温馨提示】对应后面安装的hadoop和hive版本，这里使用jdk8，这里不要用其他jdk了，可能会出现一些其他问题。
爱吃面的猫·2023-10-21 00:48

ssh 报错：Permission denied, please try again.

报错问题：执行一条远程scp远程拷贝，在此之前已配置好ssh无密登录，sudoscp-rhadoop-3.2.0slave2:/usr/local/src/确保/etc/ssh/sshd_config文件下
小辉懂编程·2023-10-20 23:31

hadoop2.6.4伪分布式环境搭建

1、准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1：修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=liuzuwei1.2修改IPvim/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static"HWADDR="00:0C:29:3C:BF:E7
不积小流_无以成江海·2023-10-20 23:35

Hadoop入门学习——简介篇

Hadoop入门学习——简介篇文章目录Hadoop入门学习——简介篇1、大数据概论1.1分布式(并行)1.2大数据特点（4V）1.2.1Volume（大量）1.2.2Velocity(高速)1.2.3Variety
WHYBIGDATA·2023-10-20 23:39

Hadoop课程学习——Hadoop的windows环境安装及问题

前言一、使用步骤1.jdk下载2.eclipse下载3.jdk与eclipse环境配置4.Hadoop使用二：问题展示1.问题一：出现找不到主类(java-version运行正常，hadoop运行出错)
咖喱要加力·2023-10-20 23:39

MapReduce学习部分——Hadoop序列化

序列化概述1.1.什么是序列化1.2.为什么要序列化1.3.为什么不使用java序列化2.自定义bean对象实现序列化接口（Writable）在企业开发中往往常用的基本序列化类型不能满足所有需求，比如在Hadoop
但行益事莫问前程·2023-10-20 23:38

0基础学习PyFlink——模拟Hadoop流程

学习大数据还是绕不开始祖级别的技术hadoop。我们不用了解其太多，只要理解其大体流程，然后用python代码模拟主要流程来熟悉其思想。还是以单词统计为例，如果使用hadoop流程实现，则如下图。
breaksoftware·2023-10-20 23:07

hadoop基础结构

1.hadoop几个点HADOOP免费CDH收费HDP收费后2者合并成为CDP2.结构图HDFS就是分布式存储，包含NameNode（nn）、DataNode(dn)、SecondaryNameNode
阿里纳斯_0097·2023-10-20 20:09

Hadoop YARN资源调度中的relaxLocality属性

YARN中的资源请求主要是指ApplicationMaster通过AMRMClientImpl向ResourceManager发起的容器请求。relaxLocality属性在AMRMClientImpl发送请求的时候没有做特别的判断，但是ResourceManager端只有在调度器是FairScheduler才对relaxLocality做处理，FifoScheduler和CapacitySche
GJMZ·2023-10-20 19:43

大数据学习路线+Java转行大数据最新最全的必备第一手资料

学习路线：（一）Linux理论（Linux基础Linux-shell编程高并发:lvs负载均衡高可用&反向代理）（二）Hadoop理论（hadoop-hdfs理论hadoop
大数据客栈i·2023-10-20 19:16

Zookeeper部署

Zookeeper简介ZooKeeper是一个分布式的，开源的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。
CodeStarNote·2023-10-20 19:53

在win10上安装配置Hadoop的环境变量

一、背景在windows10系统中运行seatunnel二、安装部署2.1.下载Hadoop包从ApacheHadoop官网下载最新版本的Hadoop，版本号保持与服务端的Hadoop版本一致。
wachoo·2023-10-20 19:13

Hadoop--MapReduce详解（Map、Shuffle、Reduce）

目录1、MapReduce概述1.1MapReduce是什么1.2MapReduce核心思想和简单过程1.3MapReduce的优缺点2、MapReduce工作机制2.1MapReduce常用数据序列化类型2.2MapReduce简单过程图示2.2.1MapReduce进程2.2.2数据切片与MapTask并行度2.2.3分区机制与ReduceTask并行度2.2.4排序2.2.5MapReduc
words8·2023-10-20 18:11

【大数据技术原理】MapReduce详解

HadoopMapReduce是分布式应用程序Hado
YoHu人家·2023-10-20 18:10

【大数据学习】hadoop-mapReduce阶段

（代码上传到git）hadoop序列化java的序列化serializable是一个重量级的序列化框架，序列化后会附带很多额外的信息，不利于高效的网络传输。
重生之我在异世界打工·2023-10-20 18:10
上一页 73 74 75 76 77 78 79 80 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他