Haddoop

Haddoop大数据教程笔记_09_HIVEsql复杂用法举例

目录HIVEsql复杂用法举例1.保存select查询结果的几种方式：2.行转列,根据主键对某列进行合并3.列转行,将某列数据拆分成多行4.hive实现wordcount5.级联查询实现累积报表(笨办法)6-12均为9.hive窗口分析函数6.窗口分析函数sum()over()：可以实现在窗口中进行逐行累加(简单办法)7.分组排序求topn8.各种打序号方法9.LAG函数10.LEAD函数11.F
Snowing_inhope·2023-11-13 12:02

计算机网络

是一个将分散的具有独立功能的计算机系统通过通信设备与线路连接起来有功能完善的软件实现资源的共享和信息传递的系统（是互联的，自治的计算计集合）功能：数据通信，资源共享（硬件，软件，数据），分布式处理（多台计算机各自承担同一个工作任务的不同部分HadDoop
相见不如相离·2023-10-28 19:38

Haddoop大数据教程笔记_11_Hadoop辅助工具——Flume&Sqoop

目录前言1.Flume日志采集框架1.1Flume介绍1.1.1概述1.1.2运行机制1.1.4Flume采集系统结构图1.2Flume实战案例1.2.1Flume的安装部署1.2.2采集案例1.3更多source和sink组件2.sqoop数据迁移工具2.1概述2.2工作机制2.3sqoop实战及原理2.3.1sqoop安装2.4Sqoop的数据导入2.4.1语法2.4.2示例2.5Sqoop的
Snowing_inhope·2023-08-31 08:06

大数据 Haddoop（二） 架构与原理

Haddoop架构与原理Hadoop架构架构概述Hadoop经典版本架构HadoopV1.0核心：HDFSMapReduceHadoopV2.0，引入了Yarn。
傅二毛·2023-08-22 17:45

Hadoop3.1.3完全分布式安装（Centos7.x）

目录一、环境准备二、JDK的安装三、安装haddoop四、配置hadoop配置文件五、将jdk、hadoop分发到slave1、slave2节点六、hdfs格式化七、环境变量配置八、集群启动九、进程查看十
Hedgehog·2022-09-27 16:04

Haddoop中的hdfs、hbase、 hive区别与联系

Hive：Hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。HDFS:HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。Hive与Hbase的数据一般都存储在HDFS上。HadoopHDFS为他们提供了高可靠
羊子雄起·2020-09-12 07:34

Hadoop3 新特性、端口号的改变（二）

Hadoop版本Haddoop1.xHaddoop2.xHaddoop3.xHaddoop3.0GA版本于2017年12月份正式发布下面来说一下版本号后面的后缀表示的含义Alpha：内部测试版Beta：
云飞Ran·2020-09-12 03:33

Haddoop大数据教程笔记_02_Hadoop生态圈简介

Hadoop生态圈简介目录Hadoop生态圈简介Hadoop生态圈：（一）Hdfs（二）Mapreduce（三）Hive（四）Hbase（五）Zookeeper（六）Sqoop（七）Pig（八）Mahout（九）Flume（十）Spark（十一）Storm（十二）Impala（十三）Kafka（十四）Yarn（十五）Hue（十六）Oozie（十七）AmbariHadoop生态圈：狭义上的Hadoo
Snowing_inhope·2020-08-18 10:58

Hadoop权威指南_第四版_中文版pdf

全书共16章，3个附录，涉及的主题包括：Haddoop简介；MapReduce简介；Hadoop分布式文件系统；Hadoop的I/O、MapReduce应用程序开发；MapReduce的工作机制；Ma
weixin_30622107·2020-08-16 21:09

Haddoop大数据教程笔记_010_HBASE安装及使用

目录HBASE安装及使用HBASE简介：HBASE是一个数据库----可以提供数据的实时随机读写HBASE相比于其他nosql数据库(mongodb、redis、cassendra、hazelcast)的特点：HBASE安装：HBASE是一个分布式系统安装准备：安装步骤：1.安装zookeeper(前文已述)2.安装hbase3.启动hbase集群(hdfs,zk集群正常运行)：4.启动hbase
Snowing_inhope·2020-08-09 06:44

Java 多线程（上）

如haddoop分布式集群。所以并发编程的目标是充分利用处理器的每一个核，以达到最高的处理性。二、线程和进程的区别？进程是指程序运行和资源分配的基本单位，一个程
我姓周i·2020-08-04 00:00

Yarn源代码分析之旅---总体架构---概述与总体架构

欢迎转载，转载请注明出处Haddoop1.0的不足与Hadoop2.0的产生学习和研究过Hadoop1.0的人都应该知道，在Hadoop1.0中，使用了Master\Slave的架构模式，jobTracker
JJZHK·2020-07-07 11:15

vs2017编译haddoop3.1.0

我是在windows1064位系统使用VisualStudio2017编译hadoop3.1.0源码按照官方文档（BUILDING.txt），编译hadoop需要以下环境1、JDK1.8jdk-8u171-windows-x64.exe下载地址2、Maven3.0orlaterapache-maven-3.5.3-bin.zip下载地址3、ProtocolBuffer2.5.0protoc-2.5
缥缈大师·2020-07-04 13:23

HADOOP HA部署

本次部署haddoop集群三台hostname:HBASE01HBASE02HBASE03192.168.240.129HBASE01192.168.240.130HBASE02192.168.240.131HBASE03
红与黑hyh·2020-02-06 13:00

Haddoop中的hdfs、hbase、 hive区别与联系

Hive：Hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。HDFS:HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。Hive与Hbase的数据一般都存储在HDFS上。HadoopHDFS为他们提供了高可靠
a6jishuren·2018-08-06 10:47

安装部署（八） Hive+Sqoop安装部署和使用

Hive+Sqoop安装haddoop2.7.2spark2.0.0zookeeper3.4.8kafka0.10.0.0hbase1.2.2jdk1.8.0_101ubuntu14.04.04x64参考
dst1213·2016-08-12 22:52

【Spark】Spark一：Spark伪分布式安装

Spark1.2.0伪分布式安装JDK1.7.0_67Haddoop2.5.2(伪分布式安装)Scala2.11.4Spark1.2.0(伪分布式安装) 下载并配置Scala1.下载Scala2.11.4
bit1129·2015-01-02 10:00

【Spark】Spark一：Spark伪分布式安装

Spark1.2.0伪分布式安装JDK1.7.0_67Haddoop2.5.2(伪分布式安装)Scala2.11.4Spark1.2.0(伪分布式安装) 下载并配置Scala1.下载Scala2.11.4
bit1129·2015-01-02 10:00

【Spark】Spark一：Spark伪分布式安装

Spark1.2.0伪分布式安装JDK1.7.0_67Haddoop2.5.2(伪分布式安装)Scala2.11.4Spark1.2.0(伪分布式安装) 下载并配置Scala1.下载Scala2.11.4
bit1129·2015-01-02 10:00

storm-topology

类似在haddoop中的partition的过程。spout和bolt都可以产生数据流，但是grouping可以决定如何选择下一个处理stream。 Shufle Grouping &n
wind35·2014-09-11 09:00

Haddoop RAID Node 调研

RAIDNode调研1.   简介分布式文件系统主要用于解决海量数据存储的问题，如Goolge、Facebook等大型互联网企业都使用分布式文件系统作为数据存储的基础设施，并在其上构建很多服务，分布式文件系统通常采用三副本的策略来保证数据的可靠性，但随着应用数据量的不断膨胀，三副本策略为可靠性牺牲的存储空间也越来越大，如何在不降低数据可靠性的基础上，进一步降低存储空间成本？Facebook将era
guoqiangma·2014-04-11 18:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他