hadoop学习整理

Hadoop概述

一、什么是Hadoop二、Hadoop发展史1.Hadoop创始人为DougCutting，为了实现与谷歌类似的全文搜索功能，他在Lucene框架基础上进行优化升级，查询引擎和索引引擎。
勤奋的ls丶·2023-12-03 14:31

大数据开发：HDFS Erasure Coding机制

提到大规模数据存储，Hadoop的分布式存储，作为主流的技术方案，实力也是得到市场认可的。Hadoop的分布式文件系统HDFS，其冗余备份机制，确保了数据存储的容错，但是同时也增加了冗余存储成本。
成都加米谷大数据·2023-12-03 14:29

昨日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造

本文6539字，阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来，一直是大部分公司构建大数据平台的选择，但这种传统选择随着人们深入地使用，出现越来越多的问题，比如：数据开发迭代速度不够快
LinkTime_Cloud·2023-12-03 14:28

Hadoop的基本概念、架构、优点、缺陷、适应场景和未来发展方向

作者：禅与计算机程序设计艺术1.背景介绍Hadoop是一个由Apache基金会开发并开源的分布式计算框架，是一个为海量数据的分析而设计的工具。
禅与计算机程序设计艺术·2023-12-03 14:57

大数据技术之Oozie

一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapReduce、PigJobs的任务调度与协调。Oozie需要部署到JavaServlet容器中运行。
星川皆无恙·2023-12-03 13:00

程序员的进阶之路，学习方法！

首先介绍程序员和码农的区别，我们为什么要进行学习整理碎片知识多看书，把博文当做辅助写些博文，做些总结常给自己定个目标不管多忙，每天最少学习一小时结束语欢迎大家点开这篇博文，在此我给大家介绍一下我的学习方法
醉酒莫红颜·2023-12-03 12:05

Hbase与Hive的区别与联系

参考了网上的一些资料，这两者的关联基本如下Hbase，是数据库，是基于Hadoop的一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如交易清单、日志明细、轨迹行为等。
阿乐_822e·2023-12-03 12:13

Spark经典案例分享

Spark经典案例链接操作案例二次排序案例链接操作案例案例需求数据介绍代码如下：packagebase.charpter7importorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.fs
pblh123·2023-12-03 12:45

一致性hash

应用领域（数据分布式存储）数据缓存集群（redis、memcache）hadoopESearch分布式数据库演进产生的问题1.本地缓存image.png由于用户访问量的上升，DB的并发数增加，对数据库造成巨大压力
半数的年·2023-12-03 10:32

hive 分号(；)在数据处理中带来的问题

NoViableAltException(114@[])atorg.apache.hadoop.hive.ql.parse.HiveParser_IdentifiersParser.function(HiveParser_IdentifiersParser.java
hankl1990·2023-12-03 09:34

hbase Master is initializing

问题如下：ERROR:org.apache.hadoop.hbase.PleaseHoldException:MasterisinitializingERROR:org.apache.hadoop.hbase.PleaseHoldException
Link_999·2023-12-03 09:39

Hive SQL使用过程中的奇怪现象

hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
大数据技术与数仓·2023-12-03 08:07

基于hadoop下的hbase安装

就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。
necessary653·2023-12-03 05:45

MMA安装及使用优化

1.背景公司自建的Hadoop集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hive到Maxcompute。
选手一号位·2023-12-03 02:14

bat脚本执行py文件

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。
寒山李白·2023-12-02 22:41

Docker安装Zookeeper

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。
寒山李白·2023-12-02 22:11

Neo4j安装（Docker中安装Neo4j）

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。
寒山李白·2023-12-02 22:10

python安装redis库

文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。
寒山李白·2023-12-02 22:08

Hive----基本概念

2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
Hi杯酒故人·2023-12-02 21:21

HBase安装配置：一键自动安装配置

/bin/bash#安装之前确保安装目录有写入权限，若没有，自行增加#安装版本zk_version="2.4.8"#安装目录zk_installDir="/opt/module"install_hadoop
大数据魔法师·2023-12-02 20:21

Hadoop进阶学习---MapReduce分布式计算架构

1.单词统计流程(文字简单描述)已知文件内容:hadoophivehadoopsparkhiveflinkhivelinuxhivemysql计算每个单词出现的次数2.MR底层计算原理[重点]MAP阶段第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片
Yan_bigdata·2023-12-02 19:30

Hadoop架构---HDFS补充知识点---三个模式/机制

1.安全模式在安全模式下不允许HDFS客户端进行任何修改文件的操作,包括上传文件，删除文件等操作。#查看安全模式状态:[root@node1/]#hdfsdfsadmin-safemodegetSafemodeisOFF#开启安全模式:[root@node1/]#hdfsdfsadmin-safemodeenterSafemodeisON#退出安全模式:[root@node1/]#hdfsdfsa
Yan_bigdata·2023-12-02 19:29

Hive环境准备[重点学习]

1.前提启动hadoop集群hadoop在统一虚拟机中已经配置了环境变量启动hdfs和yarn集群命令:start-all.sh[root@node1/]#start-all.sh启动mr历史服务命令:
Yan_bigdata·2023-12-02 19:59

Hadoop进阶学习---HDFS分布式文件存储系统

1.hdfs分布式文件存储的特点分布式存储:一次写入,多次读取HDFS文件系统可存储超大文件,时效性较差.HDFS基友硬件故障检测和自动快速恢复功能.HDFS为数据存储提供很强的扩展能力.HDFS存储一般为一次写入,多次读取,只支持追加写入,不支持随机修改.HDFS可以在普通廉价的机器上运行.2.HDFS架构1、Client发请求就是客户端。文件切分。文件上传HDFS的时候，Client将文件切分
Yan_bigdata·2023-12-02 19:59

Hadoop进阶学习---Yarn资源调度架构

1.Yarn执行MR流程1.客户端提交一个MR程序给ResourceManager(校验请求是否合法…)2.如果请求合法,ResourceManager随机选择一个NodeManager用于生成appmaster(应用程序控制者,每个应用程序都单独有一个appmaster)3.appmaster会主动向ResourceManager的应用管理器(applicationmanager)注册自己,告知
Yan_bigdata·2023-12-02 19:28

Hadoop入门|Hadoop简介及安装

一、大数据简介1.大数据的定义⼤数据是指⽆法在⼀定时间范围内⽤常规软件⼯具进⾏捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策⼒、洞察发现⼒和流程优化能⼒的海量、⾼增⻓率和多样化的信息资产。2.大数据的特点⼤数据的特点可以⽤IBM曾经提出的“5V”来描述，如下：大量采集、存储和计算的数据量都⾮常⼤。大数据领域数据量基本上以PB为最小单位，而PB级数据量有多⼤？是怎样的⼀个概念？假如⼿
大数据学习宝典·2023-12-02 19:22

推荐系统lambda架构学习笔记之Hadoop、HDFS、YARN&MapReduce（三）

HadoopHadoop介绍Hadoop名字的由来作者：DougcuttingHadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:Apache™Hadoop®是一个开源的
吃一口桃酥·2023-12-02 19:50

Hadoop之MapReduce学习笔记（一）

主要内容：mapreduce整体工作机制介绍；wordcont的编写（map逻辑和reduce逻辑）与提交集群运行；调度平台yarn的快速理解以及yarn集群的安装与启动。1、mapreduce整体工作机制介绍回顾第HDFS第一天单词统计实例（HDFS版wordcount）：统计HDFS的/wordcount/input/a.txt文件中的每个单词出现的次数——wordcount但是，进一步思考：
weixin_30752377·2023-12-02 19:50

大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析

一、CDH版本的介绍及环境部署-》Hadoop的三大发行版本-》ApacheHadoop-》clouderaHadoop：CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题
黄剑锋1996·2023-12-02 19:50

hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步

HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有
蔡茂昌·2023-12-02 19:20

Hadoop Core - HDFS, MapReduce, YARN

HadoopCore-HDFS,MapReduce,YARN参加拉勾教育大数据训练营课程笔记引用：《Hadoop-TheDefinitiveGuide,4thEdition》,《拉勾导师笔记》简介大数据特性
DataPeak·2023-12-02 19:13

hadoop rpc基础

同其他RPC框架一样，Hadoop分为四个部分：序列化层：支持多种框架实现序列化与反序列化函数调用层：利用java反射与动态代理实现网络传输层：基于TCP/IP的Socket机制服务的处理框架：基于Reactor
安静平和·2023-12-02 17:09

HDFS JAVA API的应用

首先把hadoop服务起来1.
星星失眠️·2023-12-02 16:28

大数据：Hadoop刷题

大数据：Hadoop刷题2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业
冰露可乐·2023-12-02 12:02

尚硅谷hadoop3.x课程部分资料文件下载，jdk,hadoopjar包

jdk文件百度云下载：链接：https://pan.baidu.com/s/1MCiGRzOZY8rAFpRJwA3tdw提取码：kphlhadoop的jar包：最新版官网链接：Indexof/dist
大数据ＳＱＬｂｏｙ·2023-12-02 12:59

hbase thrift2 jar包冲突导致启动失败问题排查记录

hbase-root-thrift2-hdfs-test07.yingzi.com.out异常日志：Exceptioninthread"main"java.lang.AbstractMethodError:org.apache.hadoop.metrics2
Java小田·2023-12-02 12:53

java: 通过URL读取hadoop HDFS

packagetju;importorg.apache.hadoop.fs.FsUrlStreamHandlerFactory;importorg.apache.hadoop.io.IOUtils;importjava.io.InputStream
amadeus_liu2·2023-12-02 11:28

hadoop:通过Configuration读取hdfs

packagetju;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataInputStream;importorg.apache.hadoop.fs.FSDataOutputStream
amadeus_liu2·2023-12-02 11:28

hadoop-3.3.5安装过程

准备资源三台虚拟机：1）准备3台服务器（关闭防火墙、静态IP、主机名称）2）安装JDK3）配置环境变量4）安装Hadoop5）配置环境变量安装虚拟机（略）--1台即可，执行完毕下述内容，再克隆2台。
Snower_2022·2023-12-02 11:57

SparkSQL－MR、RDD、DataFrame三个编程模型演进

2011的时候，Hive可以说是SQLOnHadoop的唯一选择，负责将SQL解析成MR任务运行在大数据上，实现交互
扎克begod·2023-12-02 10:12

Linux查看进程的pid和port

[root@Hadoop001~]#ps-ef|grepsshroot14831007:29?00:00:00/usr/sbin/sshdroot18481483007:31?
吃货大米饭·2023-12-02 09:42

程序猿 集群与分布式

集群与分布式1、什么是ZookeeperZoKeperp是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby的一个开源的实现，是Hadoop和Hbase的重要组件。
落魄的佩奇·2023-12-02 09:33

Hadoop -- hadoop介绍

Hadoophadoop介绍hadoop核心组件hadoop特性优点hadoop发展hadoop介绍hadoop底层是Java语言实现是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理
小陈菜奈-·2023-12-02 07:07

Hadoop -- UserLogin Statistical data

userlogin.javapackageuserlogin;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path
轻览月·2023-12-02 05:28

Django-Redis

NoSQL：(不支持sql语句)RedisMongoDBHbasehadoopCassandrahadoopkey-value数据库（非关系性数据库）redis优势性能高，读取速度快，存在内存中Redis
*伤^情*·2023-12-02 05:40

hadoop的几个接口

8088接口：MapReduce50070接口：HDFS19888接口：jobhistoryseverjob历史服务器端口9000：namenode50090：secondarynamenode
Stephen6Yang·2023-12-02 04:03

最小化安装 Neokylin7.0 用于搭建 Hadoop 集群

文章目录环境搭建背景虚拟机创建和环境配置安装过程注意事项虚拟机设置软件选择KOUMP系统分区网络和主机名打开以太网，并记录信息配置IPv4修改主机名创建用户hadoop完全分布式搭建-CSDN博客环境搭建背景为什么不从
撕得失败的标签·2023-12-02 02:28

Hadoop 2.7.2 安装配置

王某某2016年9月官网地址：http://hadoop.apache.org/各个版本文档地址：http://hadoop.apache.org/docs/1、环境版本信息CentOSLinuxrelease7.2.1511
冬瓜baba的笔记·2023-12-02 02:37

4.hadoop集群扩容与hive异常处理

异常处理当我们使用sqoop同步数据时候，出现了异常。Errorwritingfile‘/tmp/MYYEBa32’(Errcode:28-NospaceleftondeviceINFOmapreduce.Job:Theurltotrackthejob:http://node3:8088/proxy/application_1681182527108_0002/INFOmapreduce.Job:
想成为数据分析师的开发工程师·2023-12-02 00:10

2.Spark运行模式

YarnHadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。Windows模式云服务模式（运行在云平台上）Kubernetes(K8S)容器模式S
想成为数据分析师的开发工程师·2023-12-02 00:10
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他