hadoop学习积累

hive01--hive的安装及配置

hive是基于Hadoop集群的，所以在安装hive之前需要先安装hadoop。
码到成龚·2023-11-20 20:58

Hive的安装部署--三种模式

Hive的安装部署Hive常用的安装分三种(注意：Hive会自动监测Hadoop的环境变量，如有就必须启动Hadoop)先从本地上传Hive安装文件apache-hive-2.1.1-bin.tar.gz
雨中禁火·2023-11-20 20:58

hadoop+hive本地模式配置

一、环境准备：操作系统：Ubuntu14.04.1x86_64hadoop：hadoop-2.7.6下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop
戏台无戏子&youngthful·2023-11-20 20:25

hive安装——本地模式

步骤一、安装hive，配置环境变量1.上传hive安装包到/opt/software/,进行解压[hadoop@mastersoftware]$tar-zxvfapache-hive-1.2.1-bin.tar.gz-C
赛伊米·2023-11-20 20:24

Apache-Hive3.1.3安装

文章目录1Hive官方地址及安装包下载地址2安装Hadoop集群3Hive服务安装3.1Hive部署模式介绍3.1.1metadata、metastore3.1.2metastore配置方式3.1.3客户端
非晚の·2023-11-20 20:24

【Hive---03】Hive安装部署『 3种模式的元数据库配置 | 第三方可视化编程工具 IntelliJ IDEA』

文章目录1.元数据配置(metastore)的3种模式2.安装部署第一步：配置Hadoop能够接受任何代理第二步：上传hive安装包并解压第三步：配置环境变量第四步：移除hive的日志jar包第五步：将
ElegantCodingWH·2023-11-20 20:53

Hive-2.3.9的安装搭建

Hive的安装搭建Hive安装分类远程数据库模式安装远程元数据服务模式安装hive可以基于源码的方式安装，也可以使用二进制安装包安装，此文档基于二进制安装前期准备工作，完成hadoop集群的安装Hive
星瀚光晨·2023-11-20 20:23

Hive本地模式安装（详细）

Hive是建立在Hadoop文件系统上的数据仓库，它提供了一系列工具，能够对存储在HDFS中的数据进行数据提取、转换和加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的工具。
i阿极(暂时无法回复版)·2023-11-20 20:48

retry.RetryInvocationHandler: java.net.NoRouteToHostException: No Route to Host from hadoop100/192.

-11-0722:31:59,334INFOretry.RetryInvocationHandler:java.net.NoRouteToHostException:NoRoutetoHostfromhadoop100
月亮给我抄代码·2023-11-20 20:40

分布式架构关键技术

Hadoop是一个基于Java实现的，开源的，分布式存储和计算的项目。作为这个领域最富盛名的开源项目，Hadoop实现的是分布式的文件系统HDFS，和分布式的计算（Map/Reduce）框架。
talentluke·2023-11-20 20:53

Hadoop -- 分布式文件系统

1、分布式文件系统的思想：文件切分的思想（分而治之）当文件存储在磁盘中，不仅效率比较低，并且文件的大小可能会超出单机的存储的范围。所以分而治之的思想就是：不管文件有多大，所有的文件都是由字节数组构成，当想要切分文件的时候，就是将一个字节数组切分成多份，当需要使用这份数据的时候，就可以根据偏移量将字节数据拼接在一起，此时数据又可以继续使用。2、Block的拆分标准：1、block是磁盘进行数据读/写
新手小农·2023-11-20 19:57

Hive 基于hadoop来构建数仓的工具(三) 概念及原理介绍

参数配置三种方式：配置文件（全局有效默认hive-default.xml自定义配置会覆盖默认配置）命令行参数（对hive启动实例有效bin/hive--hiveconf）参数声明（对hive连接的当前session有效set）注意：系统级别的参数，只能使用2和1，这些参数读取在session建立之前，例如log4j优先级：3>2>1hiveshell命令行bin/hive命令-i初始化hql文件-
章云邰·2023-11-20 19:55

java梳理复习篇一（复习路线）

复习路线：JavaSE数据库前端JavaWebSSM框架LinuxSpringBootSpringCloudHadoop注：以上大纲抄至狂神说Java，具体复习内容也会在后续逐渐完善，并依
Lwj.·2023-11-20 17:11

学了这篇 Zookeeper，分分钟钟写出分布式应用程序

前言本次专题我们要探讨的内容是使用zookeeper实现自己的分布式应用程序，相信大家也都了解过zookeeper，比如我们使用的分布式框架——Dubbo，就是用zookeeper实现的注册中心，再比如Hadoop
you的日常·2023-11-20 16:20

2023.11.19 hadoop之MapReduce

分布式计算框架-MapReduce3.mapreduce的步骤4.MapReduce底层原理map阶段shuffle阶段reduce阶段1.简介Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop
白白的wj·2023-11-20 16:07

Kafka 快速入门

Kafka快速入门安装部署集群规划hadoop102hadoop103hadoop104zkzkzkkafkakafkakafkajar包下载http://kafka.apache.org/downloads.html
SuperQiu~·2023-11-20 15:39

21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan·2023-11-20 13:18

【离线数仓-2-数据采集】

.用户行为日志数据模拟1.用户行为日志的介绍2.埋点有哪些3.用户行为日志内容4.用户行为日志格式5.用户行为日志数据采集1.节点之间配置免密登录2.linux环境变量说明3.用户行为日志模拟脚本4.Hadoop
Apache Minor Trend·2023-11-20 13:00

三十分钟学会Hive

Hive的概念与运用Hive是一个构建在Hadoop之上的数据分析工具（Hive没有存储数据的能力，只有使用数据的能力），底层由HDFS来提供数据存储，可以将结构化的数据文件映射为一张数据库表，并且提供类似
地球魔·2023-11-20 12:11

让你彻底学会HBase

让你彻底学会HBaseApacheHBase（HadoopDataBase）是一个开源的、高可靠性、高性能、面向列（这里指列族，非列式存储）、可伸缩、实时读写的分布式数据库。
地球魔·2023-11-20 12:11

HDFS完全分布式集群搭建与配置及常见问题总结

思路：1.准备3台虚拟机（静态IP，IP映射，主机名称，防火墙关闭，普通用户创建等等）2.安装JDK，配置环境变量3.安装Hadoop，配置环境变量4.配置免密登录5.编写同步脚本，配置集群(前三步已完成
HUNG4050·2023-11-20 12:03

dfs hdfs 修改文件名称_第五讲：hadoop的分布式存储HDFS常见操作

HDFS是一个分布式文件系统，像任何其它文件系统，允许用户使用shell命令操作文件系统。首先启动hdfs，启动方式可见上一个博文，或者单独启动hdfs，方式就是运行start-dfs.sh启动成功后，输入jps可以看到至少一个namenode和至少一个datanode和一个jps一、创建路径mkdir如果你的HDFShome目录不存在，则需要创建，我们后续都是用hdfs命令操作。首先cd命令进入
西岸先生·2023-11-20 12:31

HDFS常见API操作

1、put：文件上传对应hadoopfs-put(等同于hadoopfs-copyFromLocal)//上传文件@Testpublicvoidput()throwsIOException,InterruptedException
_小张要敲代码·2023-11-20 12:58

HDFS 常见的异常处理方式汇总

本专栏目录结构和参考文献请见大数据技术体系正文Hadoop由众多模块组成，哪一个出错，都会导致Hadoop整个系统出现异常。下面介绍下常见的Hadoop异常处理（不定期更新）。
Shockang·2023-11-20 12:21

四、hdfs文件系统基础操作-保姆级教程

1、启动Hadoop集群想要使用hdfs文件系统，就先要启动Hadoop集群。
弦之森·2023-11-20 12:20

五、hdfs常见权限问题

1、常见问题2、案例（1）问题（2）hdfs的超级管理员（3）原因没有使用Hadoop用户对hdfs文件系统进行操作。
弦之森·2023-11-20 12:48

HDFS 命令操作

常用命令一、hadoopfs（hdfsdfs）文件操作1)ls显示目录下的所有文件或者文件夹使用方法：hadoopfs-ls[uri形式目录]示例:hadoopfs–ls/显示根目录下的所有文件和目录显示目录下的所有文件可以加
ly稻草·2023-11-20 12:55

13-数据采集项目03

一、Hive上的数据导入##4.创建ods层[root@hadoophive-1.2.1]#beeline-ujdbc:hive2://caiji:10000-nroot-p123456-e"createdatabaseifnotexistsods_news
YuPangZa·2023-11-20 12:55

impala入门

mpala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。它是一个用C+和Java编写的开源软件。与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。
YuPangZa·2023-11-20 12:25

07-Hive优化---高级部分3

学习工具及其原理（50%~70%）2、学习重要的（java、scala、python、sql[mysql\hivesql\sparksql\flinksql]）(30%~40%)1、开启本地模式大多数的HadoopJob
YuPangZa·2023-11-20 12:24

大数据流处理框架：Spark Streaming与Storm

大数据计算的第一代框架Hadoop，是致力于解决离线计算的问题而产生的，在离线批处理上性能优异，但是在实时流处理上，一直被诟病。Hadoop之后，Spark和Storm在流处理上成为对手。
成都加米谷大数据·2023-11-20 12:20

Hbase:namespace异常处理，hbase异常处理

Hbase集群部署启动后几秒自动退出异常处理，1.hadoop与hbase版本不兼容，会导致此异常。
Richard-Lui·2023-11-20 11:14

hbase启动错误org.apache.hadoop.hbase.TableExistsException: hbase:namespace

org.apache.hadoop.hbase.TableExistsException:hbase:namespace这个错误只会出现在安装独立zookeeper的方案中，当以前安装了一个版本，后来又换了一个新版本的时候会包这个错误
weipanp·2023-11-20 11:09

hbase:namespace is not online

由于机器重启导致想去建表，结果一直报Masterisinitializing这个时候去查看master后台日志，发现了一个比较重要的信息org.apache.hadoop.hbase.master.HMaster
lvwenyuan_1·2023-11-20 11:29

Zookeeper

一、介绍ZooKeeper是一个开源的分布式应用程序协调服务，是Hadoop和Hbase的重要组件，提供配置维护、域名服务、分布式同步、分布式锁等功能。
qingsongxyz·2023-11-20 07:01

HDFS、MapReduce原理--学习笔记

1.Hadoop框架1.1框架与Hadoop架构简介（1）广义解释从广义上来说，随着大数据开发技术的快速发展与逐步成熟，在行业里，Hadoop可以泛指为：Hadoop生态圈。
祈愿lucky·2023-11-20 06:33

YARN，ZOOKEERPER--学习笔记

YARN是Hadoop核心组件之一，用于提供分布式资源调度服务。而在Hadoop1.x时，这个过程主要是通过MapReduce中的TaskTracker、JobTracker通信来完成。
祈愿lucky·2023-11-20 06:19

Hadoop 3.0.0 （单机版）安装与配置与基础使用

还好最后老师放水了，不用伪分布式，只要求学生把单机版hadoop随便玩玩就行了，不然我直
罗不丢·2023-11-20 04:28

【大数据定制项目】基于大数据可视化的智慧小区通行分析平台

SpringBoot项目案例推荐天码编程-SSM项目案例推荐天码编程-Python项目案例推荐天码编程-小程序项目案例推荐天码编程-大数据项目案例推荐文末获取源码项目名基于大数据可视化的智慧小区通行分析平台技术栈Hadoop
天码编程·2023-11-20 04:42

hadoop关于hdfs详细解答

HDFS内容大数据的概念及其特征Hadoop简介及其生态圈HDFS的内部组件介绍HDFS的安装模式介绍独立模式伪分布式模式完全分布式的搭建HDFS的常用命令HDFS的设计思想HDFS的体系结构HDFS的工作机制
一个人的小样·2023-11-20 04:58

Zookeeper

一、初识ZookeeperZookeeper是ApacheHadoop项目下的一个子项目，是一个树形目录服务。
h同学的学习空间·2023-11-20 03:11

Zookeeper-3.4.10安装教程

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
阮哈哈哈哈哈·2023-11-20 03:09

大数据流式处理框架Flink介绍

1、Flink的介绍随着数据的飞速发展，出现了很多热门的开源社区，比如：hadoop、spark、storm社区，他们都有各自专注的适用场景，比如hadoop主要是做数据的存储及批处理计算，spark既可以做批处理也可以做准实时计算
大数据动物园·2023-11-20 01:57

Flink吐血总结，学习与面试收藏这一篇就够了！！！

可靠的容错能力集群级容错集群管理器集成（HadoopYARN、Mesos或Kubernetes）高可用性设置
大数据左右手·2023-11-20 01:55

大数据研发工程师面试

10.hadoop对put一个文件
ChlinRei·2023-11-20 01:43

大数据组件spark hadoop hive简单介绍

spark单机启动spark-shell集群启动/usr/local/spark-2.4.5-bin-hadoop2.7/sbin/start-all.sh提交任务1.打包python环境:whereispython
转身之后才不会·2023-11-19 23:29

大数据安全 测试

测试1、用户hive/1.common2.hadoop[email protected]和nn/1.common2.hadoop.fql.com分别对Hive进行查询（1）HDFS配置vim/usr/
bigdata-余建新·2023-11-19 22:50

2011-2022年高职大数据竞赛-赛题任务剖析

第一部分赛题内容第二部分任务剖析第三部分赛题模拟实现-离线数据抽取第四部分赛题模拟实现-离线数据统计第五部分赛题模拟实现-数据采集与实时计算第六部分赛题模拟实现-数据可视化（一）任务一：大数据平台环境搭建具体内容按照大数据分析平台需求，需要完成Hadoop
xlw2003·2023-11-19 21:54

电商大数据分析案例(Hadoop+Hive+Spark+Azkaban+Spring MVC+ECharts)

项目描述某著名电商平台双十一美妆销售数据分析。由于是真实的商业数据，所以做了脱敏处理，数据集中对店名的引用被处理为产品的品牌名以保护店家隐私。。通过对该平台双十一美妆销售数据的品牌、销量、热度等特征的分析(平台视角和用户视角)，尝试探索以下问题：双十一期间，最受消费者青睐的产品或品牌是哪些？双十一期间，美妆行业各品类的销售情况？双十一期间，消费高峰何时出现?双十一期间，客户的评论数对销量的影响?.
xlw2003·2023-11-19 21:53

Python大数据之linux学习总结——day10_hadoop原理

Hadoop原理Hadoop基础分布式和集群Hadoop框架概述生态圈版本更新hadoop架构[重点]官方示例圆周率练习词频统计[重点]需求:步骤:Hadoop-HDFS特点hdfs架构块和副本shell
笨小孩124·2023-11-19 20:38
上一页 49 50 51 52 53 54 55 56 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他