Hadoop学习分享

《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-10 14:58

Flink集群安装部署（Standalone，Yarn模式）

目录一.环境准备二.Flink集群安装步骤三.FlinkOnYarn一.环境准备需要提前安装配置JDK，Hadoop二.Flink集群安装步骤1.下载安装包下载地址：Indexof/dist/flink
MJK祺·2024-01-10 12:03

4.MapReduce 序列化

目录概述序列化序列化反序例化java自带的两种Serializable非Serializablehadoop序例化实践分片/InputFormat&InputSplit日志结束概述序列化是分布式计算中很重要的一环境
流月up·2024-01-10 12:46

【Linux】linux踢出远程登录用户命令

linux踢出远程登录用户命令：查看当前自己的终端：[root@hadoop3~]#whoamirootpts/12013-01-2210:45(192.168.250.110)输入w命令查看已登录用户信息
奔向理想的星辰大海·2024-01-10 11:04

中原焦点网中33期常巧茹学习分享196天。

1.明明知道“关注什么得到什么了；想要什么，就多说或多做什么；以及积极正向暗示的力量”，然，生活中却常常反其道行之。比如，希望自家孩子和别人家的孩子一样优秀，知道要多鼓励、肯定、看到孩子做到的、相对不错的，可一旦看到孩子的成绩、学习的状态、日常习惯，就忍不住脱口而出的是批评、否定、指责、打击等往日习惯的挑错模式的呈现，有句话叫父母的嘴是开过光的～很灵验的。所以，希望孩子成为什么样子，你口中就多念叨
温暖的家·2024-01-10 11:32

Zookeeper安装入门并配置为Windows服务开机自动启动

Zookeeper安装入门并配置为Windows服务开机自动启动1、概述zookeeper，它是一个分布式服务框架，是ApacheHadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题
新手村张三·2024-01-10 09:29

2022-08-11

2022-08-11李红武学习分享第191天，约练55次。中级实操班学习心得：这次的学习的群体是青少年。这样一个群体除了玩游戏的外，还有一个群体就是亚文化群体，包括神秘学、练邻体课等。
dcfac43304da·2024-01-10 09:18

Hive之set参数大全-4

以下是一个示例：--设置hive.fetch.output.serde为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDeSEThive.fetch.ou
OnePandas·2024-01-10 09:28

深入理解 Hadoop （五）YARN核心工作机制浅析

概述YARN的核心设计理念是服务化（Service）和事件驱动（Event+EventHandler）。服务化和事件驱动软件设计思想的引入，使得YARN具有低耦合、高内聚的特点，各个模块只需完成各自功能，而模块之间则采用事件联系起来，系统设计简单且维护方便。这种编程方式具有异步、并发等特点，更加高效，更适合大型分布式系统。YARNService服务对于生命周期较长的对象，YARN采用了基于服务的对
我很ruo·2024-01-10 08:20

深入理解 Hadoop （七）YARN资源管理和调度详解

资源调度解决方案探讨Hadoop最初是为批处理设计而生，对于资源管理和调度，仅仅支持FIFO的调度机制。
我很ruo·2024-01-10 08:20

深入理解 Flink（三）Flink 内核基础设施源码级原理详解

Hadoop生态各大常见组件的RPC技术实现FlinkRPC网络通信框架Akka详解1、ActorSystem是管理Actor生命周期的组件，Actor是负责进行通信的组件。
我很ruo·2024-01-10 08:20

深入理解 Hadoop （三）HDFS文件系统设计实现

HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件：edits_0000000000000041912-0000000000000041913：该LogSegment记录了transactionid在41912-41913之间的事务日志。(最多保留50个)edits_inprogress_0000000000000041914：正在使用的编辑日志文件
我很ruo·2024-01-10 08:50

深入理解 Hadoop （一）网络通信架构与源码浅析

HadoopRPC网络通信框架原理剖析YARNRPC服务端的工作大致可以分为四个阶段:第一个阶段:Server初始化和启动在Server初始化的时候，会初始化Listener组件(内部启动了一个AcceptSelector
我很ruo·2024-01-10 08:49

深入理解 Hadoop （二）HDFS架构演进

HDFS分布式集群架构设计实现核心设计思路：分而治之的思路，实现分散存储+冗余存储元数据管理核心问题：文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件：NameNodeRpcServer：RPC服务端，接收所有客户端的RPC请求来执行处理FSNamesystem：负责管理元数据内存中有一份完整的：FSDirectory磁盘中也有一份完整的
我很ruo·2024-01-10 08:49

hadoop主要文件及目录简介

1.hadoop目录概述hadoop的解压目录下的主要文件如下图所示：其中：/bin目录存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本；/etc目录存放Hadoop的配置文件/lib目录存放
我很ruo·2024-01-10 08:19

YARN 配置文件 capacity-scheduler.xml 参数解读

capacity-scheduler.xml文件中配置了yarn资源调度器运行中的各项参数，位于hadoop安装目录/hadoop-2.7.2/etc/hadoop目录下。打开后可以看到默认配置。
我很ruo·2024-01-10 08:49

hadoop之HDFS文件系统命令操作

ApacheHadoop3.3.4–Overview01.appendToFilehadoopfs-appendToFilelocalfile/user/hadoop/hadoopfilehadoopfs-appendToFilelocalfile1localfile2
OnePandas·2024-01-10 08:46

深入理解 Hadoop （四）HDFS源码剖析

HDFS集群启动脚本start-dfs.sh分析启动HDFS集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。JournalNode核心工作和启动流程源码剖析//启动JournalNode的核心业务方法publicvoidstart()throwsIOException{//第一件事：创建JournalNode的本
我很ruo·2024-01-10 08:10

CDH集成LDAP配置

JavaChenBlog，作者：JavaChen原文链接地址：http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html
101之歌·2024-01-10 07:48

Hbase安装步骤

话不多说，下面就是安装的详细步骤：一、下载安装包首先，我们需要下载图中红色标记的三个压缩包：apache-zookeeper-3.6.3.tar、hadoop-3.3.1.tar、hbase-2.2.7
Daner13921·2024-01-10 06:46

保证坚持到底的实行

坚持学习分享第206+34天。2018年4月7日星期六。坚持到底，可以帮孩子培养一种良好的习惯，增强孩子的责任感。但坚持到底有时候很容易得不到应有的效果。具体的问题可能出现这几方面。
奇峰_5114·2024-01-10 06:36

【spark】基于Spark的电影推荐系统+[详细代码及配置]

基于Spark的电影推荐系统项目架构组件版本及配置名称版本Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0
BIG*BOSS·2024-01-10 06:25

大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建

1.Zookeeper环境安装链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal提取码：wgal1.1上传tar包zookeeper-3.4.6.tar注意：上传文件位置为/export/server目录1.2解压缩cd/export/servertarxvf/export/server/zookeeper-3.4.6.tar.g
OnePandas·2024-01-10 06:01

Hadoop之mapreduce参数大全-4

76.指定在MapReduce作业中，哪些输出文件应该在任务失败时保留mapreduce.task.files.preserve.filepattern是HadoopMapReduce框架中的一个配置属性
OnePandas·2024-01-10 06:01

Hadoop之mapreduce参数大全-1

1.设置Map/Reduce任务允许使用的最大虚拟内存大小mapred.task.maxvmem是MapReduce的一个配置参数，用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小（以字节为单位）。如果一个任务使用的虚拟内存超过了此参数指定的值，则任务会被认为是失败的，并且MapReduce集群会尝试重新分配任务。默认情况下，此参数的值为MapReduce任务的堆内存大小的两倍。可以
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-2

25.指定在Reduce任务在shuffle阶段的fetch操作中重试的超时时间mapreduce.reduce.shuffle.fetch.retry.timeout-ms是ApacheHadoopMapReduce
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-3

51.指定Shuffle传输过程中可以同时连接的节点数mapreduce.shuffle.max.connections是HadoopMapReduce中的一个配置参数，用于指定Shuffle传输过程中可以同时连接的节点数
OnePandas·2024-01-10 05:57

Hadoop体系结构之 HDFS

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar·2024-01-10 05:05

Java大数据学习~Hadoop初识三Yarn模式

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。
胖琪的升级之路·2024-01-10 05:55

周总结（12.14~12.20）

本周做的好的事情：1、真实的表达一个2年来一直困扰着我的误会，与对方和解；2、组织第二次《七个习惯》的学习分享会；3、参加《六项精进》培训；4、签订租房合同，确定2021年业务发展方向；本周做的不好的事情
洺妡·2024-01-10 01:10

Hive的复杂数据类型

复杂数据类型：array、map、struct1.数组array，里边不能装不同类型的数据[hadoop@hadoop001data]$morehive_array.txtzhangsanbeijing
白面葫芦娃92·2024-01-10 00:35

1.2.2.5MapReduce实例

总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录：https://www.jianshu.com/p/9428e443b7fd天气案例经典案例myclient.java
寒暄_HX·2024-01-10 00:53

Hadoop集群搭建：4.修改Hadoop的配置文件、节点启动

配置文件的路径：/module/hadoop-2.7.2/etc/hadoop1.核心配置文件配置core-site.xml,命令：vicore-site.xml在该文件的中config范围内编写如下配置
丶珍视当下·2024-01-09 23:38

【学习笔记】尚硅谷Hadoop大数据教程笔记

本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。
棉花糖灬·2024-01-09 23:17

《Hadoop大数据技术原理与运用》知识点总结

Hadoop学习过程中的一些笔记参考书籍《Hadoop大数据技术原理与应用》清华大学出版社黑马程序员/编著1.什么是大数据？大数据的四个特征是什么？
呆小黎·2024-01-09 22:47

笔记：分布式大数据技术原理（一）Hadoop 框架

ApacheHadoop软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。
WeeeicheN·2024-01-09 22:17

笔记：分布式大数据技术原理（三）Spark

ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm
WeeeicheN·2024-01-09 22:17

第一章 大数据Hadoop学习笔记(一）

一、存储单位按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。一般TB、PB、EB为单位的数据为大数据。1Byte=8bit1K=1024Byte1MB=1024K1G=1024M1T=1024G1P=1024T二、大数据主要解决海量数据的采集、存储和分析计算问题。三、大数据特点(4V)Volume(大量)、Velocity(高速)、Var
Thanks.·2024-01-09 22:17

大数据技术学习笔记之Hadoop框架基础1-Hadoop介绍及伪分布式部署

、java变量-》安装部署配置环境-》开发-》熟练的使用，了解基本原理-》java集合、线程、javaweb-》深入了解架构、设计思想、性能调优-》堆、栈、JVM，内存优化，架构设计-》方法：-》掌握hadoop
黄剑锋1996·2024-01-09 22:16

大数据技术原理与应用学习笔记（八）

大数据技术原理与应用学习笔记（八）本系列历史文章Hadoop再探讨Hadoop的优化与发展Hadoop1.0到Hadoop2.0不断完善的Hadoop生态系统HDFS2.0新特性HDFSHA（高可用性）
Ragnaros the Firelord·2024-01-09 22:46

大数据技术原理与应用笔记

NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据,物联网和云计算1.5.1云计算1.5.2物联网检测题二、大数据处理架构Hadoop2.1hello
Moliay·2024-01-09 22:16

个人笔记：分布式大数据技术原理（一）Hadoop 框架

大家想了解更多大数据相关内容请移驾我的课堂：大数据相关课程剖析及实践企业级大数据数据架构规划设计大厂架构师知识梳理：剖析及实践数据建模剖析及实践数据资产运营平台ApacheHadoop软件库是一个框架，
garagong·2024-01-09 22:15

HDFS相关Shell命令

文章目录上传相关操作下载相关操作HDFS直接操作上传相关操作1）-moveFromLocal：从本地剪切粘贴到HDFShadoopfs-moveFromLocal.
欲无缘·2024-01-09 22:03

HDFS概述

定义HDFS（HadoopDist
欲无缘·2024-01-09 22:32

学习分享【关键字：企业传承】

【今日关键词：企业传承】【新闻】2018年9月10日，阿里巴巴董事局主席马云宣布一年后将卸任董事局主席一职，将由现任集团CEO张勇接任，但自己不退休……【我方观点】传承规划的目的：完成持续发展，永续发展的百年大计，平稳交棒，使企业兴旺。一、然而大多数企业传承常见问题：1.老一代不放心，新一代没信心或没兴趣；2.内部人员扶不起，经理人靠不住；3.企业文化丢失，企业失去凝聚力；4.接班人丢掉原创精神；
詹明璐·2024-01-09 19:07

Flume的安装

下载地址：http://archive.apache.org/dist/flume/1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[honey@hadoop102software
静宸丶水默含声·2024-01-09 19:32

结构化搜索_在案例中实战使用terms搜索多个值以及多值搜索结果优化

1、为帖子数据增加tag字段POST/forum/article/_bulk{"update":{"_id":"1"}}{"doc":{"tag":["java","hadoop"]}}{"update
Shaw_Young·2024-01-09 19:23

美好清晨20210202——育儿育己：吃的简单，活的简单，是养生之道，也是人生之道。

凝飞早练晨读20210202家庭教育学习分享——给孩子享用一生的好习惯：风靡世界的23个教育法则之十倒U型假说倒U型假说：给孩子适当压力倒U型假说证明：压力太小，没有动力；压力太大，又成为阻力；只有压力适中
凝飞呀·2024-01-09 19:18

内观分享：2023年11月2日

文：阿木的娘亲图：网络昨晚专业课20:00～22:00学习分享讨论。后来因为新买的录音笔测试，摆弄到了23:00点，然后去洗漱，23:30上床内观20分钟。
阿木的娘亲·2024-01-09 18:59

Flume实时读取本地/目录文件到HDFS

准备工作二、实时读取本地文件到HDFS（一）案例需求（二）需求分析（三）实现步骤三、实时读取目录文件到HDFS（一）案例需求（二）需求分析（三）实现步骤一、准备工作Flume要想将数据输出到HDFS，必须持有Hadoop
Francek Chen·2024-01-09 18:38
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他