HADOOP学习之路

【雷达成像】BP成像方式模拟飞机雷达正侧视或斜视模式下对地面目标成像【含Matlab源码 2965期】

个人主页：海神之光代码获取方式：海神之光Matlab王者学习之路—代码获取方式⛳️座右铭：行百里者，半于九十。
Matlab武动乾坤·2024-01-10 10:28

Zookeeper安装入门并配置为Windows服务开机自动启动

Zookeeper安装入门并配置为Windows服务开机自动启动1、概述zookeeper，它是一个分布式服务框架，是ApacheHadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题
新手村张三·2024-01-10 09:29

Hive之set参数大全-4

以下是一个示例：--设置hive.fetch.output.serde为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDeSEThive.fetch.ou
OnePandas·2024-01-10 09:28

深入理解 Hadoop （五）YARN核心工作机制浅析

概述YARN的核心设计理念是服务化（Service）和事件驱动（Event+EventHandler）。服务化和事件驱动软件设计思想的引入，使得YARN具有低耦合、高内聚的特点，各个模块只需完成各自功能，而模块之间则采用事件联系起来，系统设计简单且维护方便。这种编程方式具有异步、并发等特点，更加高效，更适合大型分布式系统。YARNService服务对于生命周期较长的对象，YARN采用了基于服务的对
我很ruo·2024-01-10 08:20

深入理解 Hadoop （七）YARN资源管理和调度详解

资源调度解决方案探讨Hadoop最初是为批处理设计而生，对于资源管理和调度，仅仅支持FIFO的调度机制。
我很ruo·2024-01-10 08:20

深入理解 Flink（三）Flink 内核基础设施源码级原理详解

Hadoop生态各大常见组件的RPC技术实现FlinkRPC网络通信框架Akka详解1、ActorSystem是管理Actor生命周期的组件，Actor是负责进行通信的组件。
我很ruo·2024-01-10 08:20

深入理解 Hadoop （三）HDFS文件系统设计实现

HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件：edits_0000000000000041912-0000000000000041913：该LogSegment记录了transactionid在41912-41913之间的事务日志。(最多保留50个)edits_inprogress_0000000000000041914：正在使用的编辑日志文件
我很ruo·2024-01-10 08:50

深入理解 Hadoop （一）网络通信架构与源码浅析

HadoopRPC网络通信框架原理剖析YARNRPC服务端的工作大致可以分为四个阶段:第一个阶段:Server初始化和启动在Server初始化的时候，会初始化Listener组件(内部启动了一个AcceptSelector
我很ruo·2024-01-10 08:49

深入理解 Hadoop （二）HDFS架构演进

HDFS分布式集群架构设计实现核心设计思路：分而治之的思路，实现分散存储+冗余存储元数据管理核心问题：文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件：NameNodeRpcServer：RPC服务端，接收所有客户端的RPC请求来执行处理FSNamesystem：负责管理元数据内存中有一份完整的：FSDirectory磁盘中也有一份完整的
我很ruo·2024-01-10 08:49

hadoop主要文件及目录简介

1.hadoop目录概述hadoop的解压目录下的主要文件如下图所示：其中：/bin目录存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本；/etc目录存放Hadoop的配置文件/lib目录存放
我很ruo·2024-01-10 08:19

YARN 配置文件 capacity-scheduler.xml 参数解读

capacity-scheduler.xml文件中配置了yarn资源调度器运行中的各项参数，位于hadoop安装目录/hadoop-2.7.2/etc/hadoop目录下。打开后可以看到默认配置。
我很ruo·2024-01-10 08:49

hadoop之HDFS文件系统命令操作

ApacheHadoop3.3.4–Overview01.appendToFilehadoopfs-appendToFilelocalfile/user/hadoop/hadoopfilehadoopfs-appendToFilelocalfile1localfile2
OnePandas·2024-01-10 08:46

深入理解 Hadoop （四）HDFS源码剖析

HDFS集群启动脚本start-dfs.sh分析启动HDFS集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。JournalNode核心工作和启动流程源码剖析//启动JournalNode的核心业务方法publicvoidstart()throwsIOException{//第一件事：创建JournalNode的本
我很ruo·2024-01-10 08:10

CDH集成LDAP配置

JavaChenBlog，作者：JavaChen原文链接地址：http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html
101之歌·2024-01-10 07:48

Hbase安装步骤

话不多说，下面就是安装的详细步骤：一、下载安装包首先，我们需要下载图中红色标记的三个压缩包：apache-zookeeper-3.6.3.tar、hadoop-3.3.1.tar、hbase-2.2.7
Daner13921·2024-01-10 06:46

【spark】基于Spark的电影推荐系统+[详细代码及配置]

基于Spark的电影推荐系统项目架构组件版本及配置名称版本Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0
BIG*BOSS·2024-01-10 06:25

iOS RAC学习之路2之RACCommand

上一篇我们已经对RACSignal的大部分用法都概括了一遍,我们把它理解为一个信号,可以比较清晰的在脑海里想象出来,但是RACCommand相对就要难上一些了!RACCommand创建有两个方法可以创建,而且一般使用懒加载:第一种[RACCommandalloc]initWithSignalBlock:第二种,带开关信号[RACCommandalloc]initWithEnabled:signal
brave_wu·2024-01-10 06:40

大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建

1.Zookeeper环境安装链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal提取码：wgal1.1上传tar包zookeeper-3.4.6.tar注意：上传文件位置为/export/server目录1.2解压缩cd/export/servertarxvf/export/server/zookeeper-3.4.6.tar.g
OnePandas·2024-01-10 06:01

Hadoop之mapreduce参数大全-4

76.指定在MapReduce作业中，哪些输出文件应该在任务失败时保留mapreduce.task.files.preserve.filepattern是HadoopMapReduce框架中的一个配置属性
OnePandas·2024-01-10 06:01

Hadoop之mapreduce参数大全-1

1.设置Map/Reduce任务允许使用的最大虚拟内存大小mapred.task.maxvmem是MapReduce的一个配置参数，用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小（以字节为单位）。如果一个任务使用的虚拟内存超过了此参数指定的值，则任务会被认为是失败的，并且MapReduce集群会尝试重新分配任务。默认情况下，此参数的值为MapReduce任务的堆内存大小的两倍。可以
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-2

25.指定在Reduce任务在shuffle阶段的fetch操作中重试的超时时间mapreduce.reduce.shuffle.fetch.retry.timeout-ms是ApacheHadoopMapReduce
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-3

51.指定Shuffle传输过程中可以同时连接的节点数mapreduce.shuffle.max.connections是HadoopMapReduce中的一个配置参数，用于指定Shuffle传输过程中可以同时连接的节点数
OnePandas·2024-01-10 05:57

Hadoop体系结构之 HDFS

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar·2024-01-10 05:05

Java大数据学习~Hadoop初识三Yarn模式

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。
胖琪的升级之路·2024-01-10 05:55

Hive的复杂数据类型

复杂数据类型：array、map、struct1.数组array，里边不能装不同类型的数据[hadoop@hadoop001data]$morehive_array.txtzhangsanbeijing
白面葫芦娃92·2024-01-10 00:35

1.2.2.5MapReduce实例

总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录：https://www.jianshu.com/p/9428e443b7fd天气案例经典案例myclient.java
寒暄_HX·2024-01-10 00:53

Hadoop集群搭建：4.修改Hadoop的配置文件、节点启动

配置文件的路径：/module/hadoop-2.7.2/etc/hadoop1.核心配置文件配置core-site.xml,命令：vicore-site.xml在该文件的中config范围内编写如下配置
丶珍视当下·2024-01-09 23:38

【学习笔记】尚硅谷Hadoop大数据教程笔记

本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。
棉花糖灬·2024-01-09 23:17

《Hadoop大数据技术原理与运用》知识点总结

Hadoop学习过程中的一些笔记参考书籍《Hadoop大数据技术原理与应用》清华大学出版社黑马程序员/编著1.什么是大数据？大数据的四个特征是什么？
呆小黎·2024-01-09 22:47

笔记：分布式大数据技术原理（一）Hadoop 框架

ApacheHadoop软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。
WeeeicheN·2024-01-09 22:17

笔记：分布式大数据技术原理（三）Spark

ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm
WeeeicheN·2024-01-09 22:17

第一章 大数据Hadoop学习笔记(一）

一、存储单位按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。一般TB、PB、EB为单位的数据为大数据。1Byte=8bit1K=1024Byte1MB=1024K1G=1024M1T=1024G1P=1024T二、大数据主要解决海量数据的采集、存储和分析计算问题。三、大数据特点(4V)Volume(大量)、Velocity(高速)、Var
Thanks.·2024-01-09 22:17

大数据技术学习笔记之Hadoop框架基础1-Hadoop介绍及伪分布式部署

、java变量-》安装部署配置环境-》开发-》熟练的使用，了解基本原理-》java集合、线程、javaweb-》深入了解架构、设计思想、性能调优-》堆、栈、JVM，内存优化，架构设计-》方法：-》掌握hadoop
黄剑锋1996·2024-01-09 22:16

大数据技术原理与应用学习笔记（八）

大数据技术原理与应用学习笔记（八）本系列历史文章Hadoop再探讨Hadoop的优化与发展Hadoop1.0到Hadoop2.0不断完善的Hadoop生态系统HDFS2.0新特性HDFSHA（高可用性）
Ragnaros the Firelord·2024-01-09 22:46

大数据技术原理与应用笔记

NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据,物联网和云计算1.5.1云计算1.5.2物联网检测题二、大数据处理架构Hadoop2.1hello
Moliay·2024-01-09 22:16

个人笔记：分布式大数据技术原理（一）Hadoop 框架

大家想了解更多大数据相关内容请移驾我的课堂：大数据相关课程剖析及实践企业级大数据数据架构规划设计大厂架构师知识梳理：剖析及实践数据建模剖析及实践数据资产运营平台ApacheHadoop软件库是一个框架，
garagong·2024-01-09 22:15

HDFS相关Shell命令

文章目录上传相关操作下载相关操作HDFS直接操作上传相关操作1）-moveFromLocal：从本地剪切粘贴到HDFShadoopfs-moveFromLocal.
欲无缘·2024-01-09 22:03

HDFS概述

定义HDFS（HadoopDist
欲无缘·2024-01-09 22:32

Python学习之路-Hello Python

Python学习之路-HelloPythonPython解释器简介前面说到Python是解释型语言，Python解释器的作用就是用于"翻译"Python程序。
geobuins·2024-01-09 21:21

Python学习之路-编码风格

Python学习之路-编码风格设计哲学Python的设计哲学是“优雅”、“明确”、“简单”。它的重要准则被称为“Python之禅”。
geobuins·2024-01-09 21:21

Flume的安装

下载地址：http://archive.apache.org/dist/flume/1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[honey@hadoop102software
静宸丶水默含声·2024-01-09 19:32

结构化搜索_在案例中实战使用terms搜索多个值以及多值搜索结果优化

1、为帖子数据增加tag字段POST/forum/article/_bulk{"update":{"_id":"1"}}{"doc":{"tag":["java","hadoop"]}}{"update
Shaw_Young·2024-01-09 19:23

Flume实时读取本地/目录文件到HDFS

准备工作二、实时读取本地文件到HDFS（一）案例需求（二）需求分析（三）实现步骤三、实时读取目录文件到HDFS（一）案例需求（二）需求分析（三）实现步骤一、准备工作Flume要想将数据输出到HDFS，必须持有Hadoop
Francek Chen·2024-01-09 18:38

[超超超超超超详细] Linux Centos7搭建Hadoop集群及运行MapReduce分布式集群

版本：Centos7Hadoop3.2.0JDK1.8虚拟机信息：内存3.2G处理器2*2内存50GISO：Centos-7-x86_64-DVD-2009一、在虚拟机上搭建LinuxCentos7略二
没事多学习_Qi·2024-01-09 17:38

Hadoop运行在Kubernetes平台实践

Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。
Java大生·2024-01-09 17:12

ASP.NET Core学习之路01

本文章是我听B站杨中科的所做的笔记杨中科B站视频链接：.NET6教程，.NetCore2022视频教程，杨中科主讲_哔哩哔哩_bilibili什么是ASP.NETCore1、ASP.NETCore是.NET中做Web开发的框架2、ASP.NETCoreMVC3、ASP.NETCoreWebAPI：前后端分离、多端开发4、ASP.NETCoreMVC其实包含WebAPI5、侧重WebAPI6、需要你
虫儿Sound·2024-01-09 17:31

ASP.NET Core学习之路02

本文章是我听B站杨中科的所做的笔记杨中科B站视频链接：.NET6教程，.NetCore2022视频教程，杨中科主讲_哔哩哔哩_bilibili程序员的性能优化万金油：缓存什么是缓存缓存(Caching)是系统优化中简单又有效的工具，投入小收效大。数据库中的索引等简单有效的优化功能本质上都是缓存缓存的概念1、缓存命中2、缓存命中率3、缓存数据不一致多级缓存ASP.NETCore客户端响应缓存cach
虫儿Sound·2024-01-09 17:31

一起走的学习之路（553）

晚上和单位的同事聚了个餐，其实也就还是原来的那几个老面孔。吃饭的过程还是愉快的，但是这次显得有些尴尬的事，多了两个本来不是我们这一个群里的人。本来就一只两个人都是单位的同事，所以我们还是非常欢迎的。可是让大家非常不太舒服的，就是其中的一个人，到了我们的饭桌上，知道了，我们大家有一个群，就嚷嚷着要把他加进来。开始的时候大家也就糊弄着把这个事情给唐塞过去了。可是在吃饭的过程中，他就着这个事情接连提了不
小米雨路·2024-01-09 16:15

java 全栈高级工程师，架构师学习资源 交流

redis集群zookeeper集群搭建与调优dubbo/dubbox分布式服务jvm调优，内存分析java并发dockerlinuxjmeter性能测试netty/minamycathadoop管理级别技能
昵称不能为null·2024-01-09 15:03

大数据学习6-Sqoop安装与使用

sqoop搭建还是挺简单的,前提是hadoop与hive搭建完成上传解压首先下载sqoop,sqoop的版本是1.4.7,sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,提取码
asXt·2024-01-09 15:57
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他