hadoop学习积累

Hadoop面试题

Hadoop要点1、Hadoop运行模式2、Hadoop的组成4、block份数和大小默认配置5、HDFS读写数据流程（★）6、节点距离和机架感知（副本存储节点选择）（☆）7、SecondaryNameNode8
果子哥丶·2023-11-19 02:45

3️⃣Hadoop

1.Hadoop1.1.Hadoop是什么？分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。Hadoop生态圈。
WovJf·2023-11-19 02:42

Hive的安装

-3.1.2-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面[atguigu@hadoop102software
咱家不怕酸·2023-11-19 00:46

CentOS6.5下安装Hive2.0.0详解及其报错解决办法

www.centoscn.com/image-text/install/2016/0504/7167.html本文环境如下：操作系统：CentOS6.564位Hive版本：2.0.0JDK版本：1.8.064位Hadoop
fire-ang·2023-11-19 00:45

CentOS7基于Hadoop 2.7.3安装Hive 2.1.1

1.前言说明：安装hive前提是要先安装hadoop集群，并且hive只需要再hadoop的namenode节点集群里安装即可(需要再所有namenode上安装)，可以不在datanode节点的机器上安装
李天泉·2023-11-19 00:14

Hadoop学习笔记——入门基础

Hadoop优势高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
枫落@·2023-11-19 00:40

【学习笔记】大数据技术之Hadoop（入门）

大数据技术之Hadoop1.概念1.1Hadoop是什么？
在学习的王哈哈·2023-11-18 23:38

Spark学习——1.代表性大数据技术

1.代表性的大数据技术HadoopSparkFlinkBeam主要计算模式如图1-11.1HadoopHadoop的生态系统图如图1-2开源谷歌GFS，利用MapReduce分布式并行编程，MapReduce
楓尘林间·2023-11-18 23:37

使用Jupyter Notebook调试PySpark程序错误总结

项目场景：在Ubuntu16.04hadoop2.6.0spark2.3.1环境下简单调试一个PySpark程序，中间遇到的错误总结（发现版对应和基础配置很重要）注意：在前提安装配置好hadoophiveanacondajupyternotebooksparkzookeeper
Keep Doing this·2023-11-18 23:52

hadoop学习笔记1了解流程大概

海量数据的存储hdfs海量数据的计算：mapreducehdfs概述namenode：元数据，存储在哪个节点，存储什么信息datanode：存储数据2nn：备份namenode的信息yarn概述负责集群资源的管理ResourceManger：服务器运行的老大nodemanger：单个服务器运行的老大MapReduce架构概述mapreduce将计算分为两个阶段：map阶段把任务分下去reduce阶
小美元·2023-11-18 20:06

服务搭建篇(六) 搭建基于Kafka + Zookeeper的集群

一.Zookeeper1.什么是ZookeeperZooKeeper是一个开源的分布式协调框架，是ApacheHadoop的一个子项目，主要用来解决分布式集群中应用系统的一致性问题。
lingering fear·2023-11-18 20:32

kafka_2.12-3.1.0集群安装配置（zookeeper-3.6.3）

2.12-3.1.0安装环境安装步骤1、下载安装包2、修改配置文件修改server.properties添加环境变量3、启动kafka安装kafka_2.12-3.1.0安装环境CentOS版本：7.9Hadoop
Sofia_yaya·2023-11-18 20:52

【Python大数据笔记_day10_Hive调优及Hadoop进阶】

hive调优hive官方配置url:ConfigurationProperties-ApacheHive-ApacheSoftwareFoundationhive命令和参数配置hive参数配置的意义:开发Hive应用/调优时，不可避免地需要设定Hive的参数。设定Hive的参数可以调优HQL代码的执行效率，或帮助定位问题。然而实践中经常遇到的一个问题是，为什么我设定的参数没有起作用？这是对hive
LKL1026·2023-11-18 19:33

Flink原理与实现：详解Flink中的状态管理

硬刚大数据系列文章链接：2021年从零到大数据专家的学习指南(全面升级版)2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇2021年从零到大数据专家面试篇之SparkSQL篇2021
王知无(import_bigdata)·2023-11-18 19:59

使用Docker快速部署hadoop测试集群

目录背景第一部分Docker镜像准备第二部分运行容器第三部分cloudera-manager管理第四部分组件使用测试第五部分总结参考文献及资料背景通常在个人笔记本上部署Hadoop测试集群（含生态圈各组件
数据科学和工程·2023-11-17 18:36

hbase的学习逻辑_Hadoop学习笔记之十六——HBase框架学习（基础知识篇）

HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。
weixin_39574140·2023-11-17 16:02

大数据开发学习笔记

前言：本文介绍了各个大数据开发框架及数据库的学习记录链接有什么问题欢迎大家留言或者私信交流~Hadoophadoop集群搭建+hive安装_hadoop集群安装hive-CSDN博客Hadoop基础入门
THE WHY·2023-11-17 16:01

运行示例sparkPi计算圆周率（1.1）

1启动spark(1)启动hadoop启动成功master节点进程：Slave节点进程：(2)启动spark（注意路径）启动成功：Slave1和slave2的进程如下：2将sparkPi.scala添加进工程
探索者tl·2023-11-17 14:04

安装关系型数据库MySQL和大数据处理框架Hadoop

1.简述Hadoop平台的起源、发展历史与应用现状。列举发展过程中重要的事件、主要版本、主要厂商；国内外Hadoop应用的典型案例。
weixin_30621919·2023-11-17 13:14

The specified database user/password combination is rejected: [ 08S01] Could not open client transpo

Thespecifieddatabaseuser/passwordcombinationisrejected:[08S01]CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://hadoop102
挽风821·2023-11-17 13:33

mysql怎么迁移到hadoop_Mysql 与 hadoop 数据同步（迁移），你需要知道 Sqoop

上篇文章Mysql到Hbase数据如何实时同步，强大的Streamsets告诉你我们说到了如何使用Streamsets来进行mysql到hbase的数据实时同步(迁移)。使用Streamsets的优点是部署简单，配置灵活，无需编写代码。认真阅读上篇文章的朋友会发现，Streamsets能够实时跟踪数据的变化，将数据同步更新到hbase中。但是对于历史数据(并且数据不改动的记录)的同步，文章中并没有
铑慇獬廌·2023-11-17 11:40

Python大数据之linux学习总结——day07_hive03

hive03分区表[练习]一级分区知识点：示例：多级分区知识点:示例：分区表知识点：示例：hadoop_hive文档分桶表[练习]重要参数基础分桶表:知识点:示例:分桶表排序:知识点:示例:随堂练习注意事项
笨小孩124·2023-11-17 09:46

自定义output文件，并指定输出的文件路径以及文件名

有如下文件，需要将itstar输出到一个文件，其他的输出到另一个文件，并自定义输出文件路径与文件名1：定义FilterMap类packageOutputFormat;importorg.apache.hadoop.io.LongWritable
zhanglei_16·2023-11-17 07:51

《网易-数据中台》学习笔记

《网易-数据中台》学习笔记1.大数据发展历程1.1数据仓库1.2Hadoop-数据湖1.3大数据平台1.4数据中台1.5Next：大数据+人工智能2.数据仓库2.1数据仓库建模2.1.1E-R模型2.1.2
杰克jk船长·2023-11-17 07:15

大数据毕业设计选题推荐-机房信息大数据平台-Hadoop-Spark-Hive

✨作者主页：IT研究室✨个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。☑文末获取源码☑精彩专栏推荐⬇⬇⬇Java项目Python项目安卓项目微信小程序项目文章目录一、前言二、开发环境三、系统界面展示四、代码参考五、论文参考六、系统视频结语一、前言随着信息技术的飞速发展，机
IT研究室·2023-11-17 06:59

C && C++ && git && tcpip

aobai219/article/details/1596964C语言添加宏开关https://www.cnblogs.com/zht-blog/p/4036935.htmlPython+Spark2.0+Hadoop
happylzs2008·2023-11-17 05:21

98.8秒夺冠，解析腾讯云数智背后的架构与算法优化

在更早前，百度创造的纪录是716秒，Hadoop的记录是4222秒。\\在这次竞赛中，腾讯云数智分布式计算平台，夺得SortBenchmark大赛GraySort和MinuteSo
weixin_34187862·2023-11-17 04:31

大数据系列-Hadoop集群搭建（2）集群配置

上篇已经把Hadoop安装到各虚拟机（大数据系列-Hadoop集群搭建（1）），本篇通过认识Hadoop，规划虚拟机部署。
zhm6422107·2023-11-17 03:59

大数据平台搭建之hive本地模式安装

它建立在Hadoop上，并提供了类似于传统数据库的查询和分析功能。
bigdata从入门到放弃·2023-11-17 03:58

4hadoopHDFS集群搭建-伪分布式模式

hadoop旧版网址：http://hadoop.apache.org/old/2.6.5版本ssh协议在免密登陆其他机器的时候，不会加载其他机器的环境变量。
没有女朋友的程序员·2023-11-17 03:28

大数据入门---1.大数据介绍

我们的hadoop就是在这样的场景下应运而生的1.HADOOP背景介绍1.1什么是HADOOP(1)HADOOP是apache旗下的一套开源软件平台(2)HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑
学无止境的大象·2023-11-17 03:57

大数据之hadoop-hdfs完全分布式环境搭建（详细步骤真实可用）

1，服务器规划本次服务搭建是在原有伪分布式的基础上进行搭建，伪分布式的搭建，参照伪分布式搭建节点NNSNNDNnode01※––node02※※node03––※node04––※2，基础设施jps检查jdk1.8安装，检查网络是否正常，配置hostvim/etc/hosts10.0.0.11node0110.0.0.12node0210.0.0.13node0310.0.0.14node04[r
shw12357·2023-11-17 03:27

大数据之hadoop-hdfs伪分布式环境搭建（详细步骤真实可用）

目录版本1，基础设施2，Hadoop的配置（应用的搭建过程）3，启动4，简单使用5，上传自定义块的大小版本centos7+jdk1.8+hadoop2.6.51，基础设施设置网络：vi/etc/sysconfig
shw12357·2023-11-17 03:56

大数据-hadoop HA

大数据-hadoopHA大数据-hadoopHAHACAP原则Paxos算法Federation实操大数据-hadoopHAHA主从集群：结构相对简单，主与从协作主：单点，数据一致好掌握问题：单点故障，
Ybb_studyRecord·2023-11-17 03:26

大数据分布式集群搭建（5）

下面我们来操作大数据中的重头戏Hadoop1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑
KongX_B·2023-11-17 03:25

大数据-hadoop入门与部署

大数据-hadoop入门与部署大数据-hadoop入门与部署启蒙分治思想单机处理大数据问题集群分布式处理大数据的辩证HadoopHadoop项目/生态hadoop-hdfs存储模型架构设计角色功能元数据持久化安全模式
Ybb_studyRecord·2023-11-17 03:25

大数据原生环境搭建笔记

搭建Hadoop分布式环境：1、安装jdk1.82、上传Hadoop环境包3、配置环境变量在/etc/profile配置文件中JAVA_HOME和HADOOP_HOME，代码如下：exportJAVA_HOME
qianzhina·2023-11-17 03:55

离线集群平台搭建-HDP

一.背景大数据相关的所有建设依托于大数据的基础设施.基础设施一定包含了集群平台的搭建.目前市场上常用的有三种方式做集群平台的搭建;第一种为使用原生的apache(hadoop,hive,spark)等相关大数据软件构建集群平台
会飞的boy·2023-11-17 03:53

大数据hadoop hdfs 基础环境搭建

1.需要5个软件，virtualBox，centos，hadoop()，jdk(linux)，xshell(远程登录)2.virtualBox新建虚拟机LinuxRedHat64位3.安装centos，
gauyeah309·2023-11-17 03:53

大数据基础设施搭建 - JDK

一、创建目录需要在root账号下操作，因为/目录下只能用root账号创建目录1.1创建目录[root@hadoop102~]#mkdir/opt/software/[root@hadoop102~]#mkdir
m0_46218511·2023-11-17 03:21

Centos的Filesystem中/dev/mapper/centos-root内存已满的解决办法

.卸载/home文件2.删除逻辑卷3.vgdisplay查看内存空间4.安装psmisc5.将剩余的空间分配到根目录的逻辑卷上6.创建文件系统7.查看是否成功今天在写hive的时候，发现跑不动了，检查hadoop
datalover·2023-11-17 01:00

flume与kafka应用场景解析

它对HDFS有特殊的优化，并且集成了hadoop的安全特性。如果有多个dataconsumer，选择kafka，如果数据设计
wuyue_fighting·2023-11-16 22:39

阿里云服务器搭建hadoop（单机）

前期准备（centOS7的安装环境）一、下载jdk1.8和hadoop（在windows下载）1、下载jdk1.8下载地址：JavaArchiveDownloads-JavaSE82、下载hadoop2.10.2
@小胖~·2023-11-16 21:45

关系型数据库与非关系型数据库的详细对比和说明

OracleSQLServerSybaseInformixAccessDB2mysqlvfpIngersFoxPro非关系型数据库：MongoDBCassandraCouchDBHypertableRedisRiakNeo4jHadoopHBaseCouchbaseMemcacheDBREVENDBVoldemort
CharsonYang·2023-11-16 20:48

hadoop的java实现

1、新建maven项目注意修改maven下载位置2、再建一个子maven项目3、设置依赖父maven（官网—搜索hadoop—前三个依赖—版本2.7.6）org.apache.hadoophadoop-common2.7.6org.apache.hadoophadoop-client2.7.6org.apache.hadoophadoop-hdfs2.7.6
weixin_44864919·2023-11-16 20:42

学习大数据过程中遇到的奇葩问题

hadoop主节点开启的集群居然把DataNode和NodeManager都开启了错误：62099Jps61284ResourceManager61127SecondaryNameNode56570NodeManager60927NameNode63421DataNode
weixin_44864919·2023-11-16 20:12

hadoop源码中关于元数据“分段加锁+双缓冲方案”源码demo

FSEditLog.javapackagecom.nx.hadoop.lesson02;importjava.util.LinkedList;/****HDFS：有个别地方源码写得不错的。
weixin_44864919·2023-11-16 20:12

1. hadoop环境准备

环境准备准备三台虚拟机，配置最好是2C4G以上本文准备三台机器的内网ip分别为172.17.0.10172.17.0.11172.17.0.12本机配置/etc/hostscat>>/etc/hosts>/etc/hosts/etc/timezone"使用阿里服务器进行时间更新#使用阿里服务器进行时间更新ntpdatentp1.aliyun.com查看当前时间dateThuNov1610:08:4
shura1014·2023-11-16 20:11

2. zk集群部署

简介上一篇文章我们已经把环境准备好了，jdk也配置好了，下面我们开始把zk部署起来hadoop环境准备创建zk用户useraddzk-d/home/zkecho"1q1w1e1r"|passwd--stdinzk
shura1014·2023-11-16 20:11

4. hdfs高可用集群搭建

简介前面把hadoop机器已经准备好了，zk集群搭建好了，本本就是开始搭建hdfs环境hadoop环境准备创建hadoop用户三台机器都创建hadoop用户useraddhadoop-d/home/hadoopecho
shura1014·2023-11-16 20:11
上一页 51 52 53 54 55 56 57 58 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他