Hadoop

大数据学习记录hadoop(2)

四、hadoop之HDFS4.1HDFS的定义HDFS定义：分布式文件系统HDFS使用场景：一次写入，多次读写4.2HDFS的优缺点优点：1）高容错性（1）数据自动保存多个副本（2）某个副本丢失后，可以自动恢复
不吃海带吃海苔·2024-01-10 16:15

Jbd4：Hbase

Jbd4：Hbase教程地址0.背景0.1Hadoop的局限性0.2HBaseVS传统数据库0.2.1数据类型0.2.2数据库类型0.2.3数据库区别1.概述1.1HBase简介1.2HBase访问接口
JxWang05·2024-01-10 14:05

Linux入门学习笔记

系统2.Linux配置和Linux的目录结构Linux组成结构：硬件资源->内核程序->操作系统的应用程序->用户应用程序(Linux的文件系统均可被内核程序和操作系统的应用程序以及用户的应用程序调用)Hadoop
RoundOff·2024-01-10 14:02

《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-10 14:58

Flink集群安装部署（Standalone，Yarn模式）

目录一.环境准备二.Flink集群安装步骤三.FlinkOnYarn一.环境准备需要提前安装配置JDK，Hadoop二.Flink集群安装步骤1.下载安装包下载地址：Indexof/dist/flink
MJK祺·2024-01-10 12:03

4.MapReduce 序列化

目录概述序列化序列化反序例化java自带的两种Serializable非Serializablehadoop序例化实践分片/InputFormat&InputSplit日志结束概述序列化是分布式计算中很重要的一环境
流月up·2024-01-10 12:46

【Linux】linux踢出远程登录用户命令

linux踢出远程登录用户命令：查看当前自己的终端：[root@hadoop3~]#whoamirootpts/12013-01-2210:45(192.168.250.110)输入w命令查看已登录用户信息
奔向理想的星辰大海·2024-01-10 11:04

Zookeeper安装入门并配置为Windows服务开机自动启动

Zookeeper安装入门并配置为Windows服务开机自动启动1、概述zookeeper，它是一个分布式服务框架，是ApacheHadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题
新手村张三·2024-01-10 09:29

Hive之set参数大全-4

以下是一个示例：--设置hive.fetch.output.serde为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDeSEThive.fetch.ou
OnePandas·2024-01-10 09:28

深入理解 Hadoop （五）YARN核心工作机制浅析

概述YARN的核心设计理念是服务化（Service）和事件驱动（Event+EventHandler）。服务化和事件驱动软件设计思想的引入，使得YARN具有低耦合、高内聚的特点，各个模块只需完成各自功能，而模块之间则采用事件联系起来，系统设计简单且维护方便。这种编程方式具有异步、并发等特点，更加高效，更适合大型分布式系统。YARNService服务对于生命周期较长的对象，YARN采用了基于服务的对
我很ruo·2024-01-10 08:20

深入理解 Hadoop （七）YARN资源管理和调度详解

资源调度解决方案探讨Hadoop最初是为批处理设计而生，对于资源管理和调度，仅仅支持FIFO的调度机制。
我很ruo·2024-01-10 08:20

深入理解 Flink（三）Flink 内核基础设施源码级原理详解

Hadoop生态各大常见组件的RPC技术实现FlinkRPC网络通信框架Akka详解1、ActorSystem是管理Actor生命周期的组件，Actor是负责进行通信的组件。
我很ruo·2024-01-10 08:20

深入理解 Hadoop （三）HDFS文件系统设计实现

HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件：edits_0000000000000041912-0000000000000041913：该LogSegment记录了transactionid在41912-41913之间的事务日志。(最多保留50个)edits_inprogress_0000000000000041914：正在使用的编辑日志文件
我很ruo·2024-01-10 08:50

深入理解 Hadoop （一）网络通信架构与源码浅析

HadoopRPC网络通信框架原理剖析YARNRPC服务端的工作大致可以分为四个阶段:第一个阶段:Server初始化和启动在Server初始化的时候，会初始化Listener组件(内部启动了一个AcceptSelector
我很ruo·2024-01-10 08:49

深入理解 Hadoop （二）HDFS架构演进

HDFS分布式集群架构设计实现核心设计思路：分而治之的思路，实现分散存储+冗余存储元数据管理核心问题：文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件：NameNodeRpcServer：RPC服务端，接收所有客户端的RPC请求来执行处理FSNamesystem：负责管理元数据内存中有一份完整的：FSDirectory磁盘中也有一份完整的
我很ruo·2024-01-10 08:49

hadoop主要文件及目录简介

1.hadoop目录概述hadoop的解压目录下的主要文件如下图所示：其中：/bin目录存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本；/etc目录存放Hadoop的配置文件/lib目录存放
我很ruo·2024-01-10 08:19

YARN 配置文件 capacity-scheduler.xml 参数解读

capacity-scheduler.xml文件中配置了yarn资源调度器运行中的各项参数，位于hadoop安装目录/hadoop-2.7.2/etc/hadoop目录下。打开后可以看到默认配置。
我很ruo·2024-01-10 08:49

hadoop之HDFS文件系统命令操作

ApacheHadoop3.3.4–Overview01.appendToFilehadoopfs-appendToFilelocalfile/user/hadoop/hadoopfilehadoopfs-appendToFilelocalfile1localfile2
OnePandas·2024-01-10 08:46

深入理解 Hadoop （四）HDFS源码剖析

HDFS集群启动脚本start-dfs.sh分析启动HDFS集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。JournalNode核心工作和启动流程源码剖析//启动JournalNode的核心业务方法publicvoidstart()throwsIOException{//第一件事：创建JournalNode的本
我很ruo·2024-01-10 08:10

CDH集成LDAP配置

JavaChenBlog，作者：JavaChen原文链接地址：http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html
101之歌·2024-01-10 07:48

Hbase安装步骤

话不多说，下面就是安装的详细步骤：一、下载安装包首先，我们需要下载图中红色标记的三个压缩包：apache-zookeeper-3.6.3.tar、hadoop-3.3.1.tar、hbase-2.2.7
Daner13921·2024-01-10 06:46

【spark】基于Spark的电影推荐系统+[详细代码及配置]

基于Spark的电影推荐系统项目架构组件版本及配置名称版本Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0
BIG*BOSS·2024-01-10 06:25

大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建

1.Zookeeper环境安装链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal提取码：wgal1.1上传tar包zookeeper-3.4.6.tar注意：上传文件位置为/export/server目录1.2解压缩cd/export/servertarxvf/export/server/zookeeper-3.4.6.tar.g
OnePandas·2024-01-10 06:01

Hadoop之mapreduce参数大全-4

76.指定在MapReduce作业中，哪些输出文件应该在任务失败时保留mapreduce.task.files.preserve.filepattern是HadoopMapReduce框架中的一个配置属性
OnePandas·2024-01-10 06:01

Hadoop之mapreduce参数大全-1

1.设置Map/Reduce任务允许使用的最大虚拟内存大小mapred.task.maxvmem是MapReduce的一个配置参数，用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小（以字节为单位）。如果一个任务使用的虚拟内存超过了此参数指定的值，则任务会被认为是失败的，并且MapReduce集群会尝试重新分配任务。默认情况下，此参数的值为MapReduce任务的堆内存大小的两倍。可以
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-2

25.指定在Reduce任务在shuffle阶段的fetch操作中重试的超时时间mapreduce.reduce.shuffle.fetch.retry.timeout-ms是ApacheHadoopMapReduce
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-3

51.指定Shuffle传输过程中可以同时连接的节点数mapreduce.shuffle.max.connections是HadoopMapReduce中的一个配置参数，用于指定Shuffle传输过程中可以同时连接的节点数
OnePandas·2024-01-10 05:57

Hadoop体系结构之 HDFS

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar·2024-01-10 05:05

Java大数据学习~Hadoop初识三Yarn模式

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。
胖琪的升级之路·2024-01-10 05:55

Hive的复杂数据类型

复杂数据类型：array、map、struct1.数组array，里边不能装不同类型的数据[hadoop@hadoop001data]$morehive_array.txtzhangsanbeijing
白面葫芦娃92·2024-01-10 00:35

1.2.2.5MapReduce实例

总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录：https://www.jianshu.com/p/9428e443b7fd天气案例经典案例myclient.java
寒暄_HX·2024-01-10 00:53

Hadoop集群搭建：4.修改Hadoop的配置文件、节点启动

配置文件的路径：/module/hadoop-2.7.2/etc/hadoop1.核心配置文件配置core-site.xml,命令：vicore-site.xml在该文件的中config范围内编写如下配置
丶珍视当下·2024-01-09 23:38

【学习笔记】尚硅谷Hadoop大数据教程笔记

本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。
棉花糖灬·2024-01-09 23:17

《Hadoop大数据技术原理与运用》知识点总结

Hadoop学习过程中的一些笔记参考书籍《Hadoop大数据技术原理与应用》清华大学出版社黑马程序员/编著1.什么是大数据？大数据的四个特征是什么？
呆小黎·2024-01-09 22:47

笔记：分布式大数据技术原理（一）Hadoop 框架

ApacheHadoop软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。
WeeeicheN·2024-01-09 22:17

笔记：分布式大数据技术原理（三）Spark

ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm
WeeeicheN·2024-01-09 22:17

第一章 大数据Hadoop学习笔记(一）

一、存储单位按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。一般TB、PB、EB为单位的数据为大数据。1Byte=8bit1K=1024Byte1MB=1024K1G=1024M1T=1024G1P=1024T二、大数据主要解决海量数据的采集、存储和分析计算问题。三、大数据特点(4V)Volume(大量)、Velocity(高速)、Var
Thanks.·2024-01-09 22:17

大数据技术学习笔记之Hadoop框架基础1-Hadoop介绍及伪分布式部署

、java变量-》安装部署配置环境-》开发-》熟练的使用，了解基本原理-》java集合、线程、javaweb-》深入了解架构、设计思想、性能调优-》堆、栈、JVM，内存优化，架构设计-》方法：-》掌握hadoop
黄剑锋1996·2024-01-09 22:16

大数据技术原理与应用学习笔记（八）

大数据技术原理与应用学习笔记（八）本系列历史文章Hadoop再探讨Hadoop的优化与发展Hadoop1.0到Hadoop2.0不断完善的Hadoop生态系统HDFS2.0新特性HDFSHA（高可用性）
Ragnaros the Firelord·2024-01-09 22:46

大数据技术原理与应用笔记

NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据,物联网和云计算1.5.1云计算1.5.2物联网检测题二、大数据处理架构Hadoop2.1hello
Moliay·2024-01-09 22:16

个人笔记：分布式大数据技术原理（一）Hadoop 框架

大家想了解更多大数据相关内容请移驾我的课堂：大数据相关课程剖析及实践企业级大数据数据架构规划设计大厂架构师知识梳理：剖析及实践数据建模剖析及实践数据资产运营平台ApacheHadoop软件库是一个框架，
garagong·2024-01-09 22:15

HDFS相关Shell命令

文章目录上传相关操作下载相关操作HDFS直接操作上传相关操作1）-moveFromLocal：从本地剪切粘贴到HDFShadoopfs-moveFromLocal.
欲无缘·2024-01-09 22:03

HDFS概述

定义HDFS（HadoopDist
欲无缘·2024-01-09 22:32

Flume的安装

下载地址：http://archive.apache.org/dist/flume/1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[honey@hadoop102software
静宸丶水默含声·2024-01-09 19:32

结构化搜索_在案例中实战使用terms搜索多个值以及多值搜索结果优化

1、为帖子数据增加tag字段POST/forum/article/_bulk{"update":{"_id":"1"}}{"doc":{"tag":["java","hadoop"]}}{"update
Shaw_Young·2024-01-09 19:23

Flume实时读取本地/目录文件到HDFS

准备工作二、实时读取本地文件到HDFS（一）案例需求（二）需求分析（三）实现步骤三、实时读取目录文件到HDFS（一）案例需求（二）需求分析（三）实现步骤一、准备工作Flume要想将数据输出到HDFS，必须持有Hadoop
Francek Chen·2024-01-09 18:38

[超超超超超超详细] Linux Centos7搭建Hadoop集群及运行MapReduce分布式集群

版本：Centos7Hadoop3.2.0JDK1.8虚拟机信息：内存3.2G处理器2*2内存50GISO：Centos-7-x86_64-DVD-2009一、在虚拟机上搭建LinuxCentos7略二
没事多学习_Qi·2024-01-09 17:38

Hadoop运行在Kubernetes平台实践

Hadoop与Kubernetes就好像江湖里的两大绝世高手，一个是成名已久的长者，至今仍然名声远扬，一个则是初出茅庐的青涩少年，骨骼惊奇，不走寻常路，一出手便惊诧了整个武林。
Java大生·2024-01-09 17:12

java 全栈高级工程师，架构师学习资源 交流

redis集群zookeeper集群搭建与调优dubbo/dubbox分布式服务jvm调优，内存分析java并发dockerlinuxjmeter性能测试netty/minamycathadoop管理级别技能
昵称不能为null·2024-01-09 15:03

大数据学习6-Sqoop安装与使用

sqoop搭建还是挺简单的,前提是hadoop与hive搭建完成上传解压首先下载sqoop,sqoop的版本是1.4.7,sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,提取码
asXt·2024-01-09 15:57
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他