hive分区表

Mac安装配置MySQL

1.MySQL->MySQLCommunityServer然后SelectOperatingSystem:macOS选择macOS11(x86,64-bit),DMGArchive文件下载2.打开刚下载的
涓涓细流汇聚成海·2023-12-24 23:00

大数据学习笔记——数据仓库hive重要的总结

1、外部表和内部表Hive表分为两类，即内部表和外部表。
新宿一次狼·2023-12-24 23:27

大数据高级开发工程师——Hive学习笔记（3）

文章目录Hive提高篇Hive的使用Hive的常用函数1.系统内置函数2.数值计算取整函数:round向下取整函数:floor向上取整函数:ceil向上取整函数:ceiling取随机数函数:rand3.
讲文明的喜羊羊拒绝pua·2023-12-24 23:26

Hive学习笔记（一）—— Hive的入门

文章目录Hive基本概念1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据存储位置1.4.3数据更新1.4.4
Alienware^·2023-12-24 23:56

【Hadoop学习笔记】（二）——Hive的原理及使用

一、Hive概述Hive是一个在Hadoop中用来处理结构化数据的数据仓库基础工具。
wanger61·2023-12-24 23:25

四、Hadoop学习笔记————各种工具用法

hive基本hql语法Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如
weixin_30528371·2023-12-24 23:25

Hive学习笔记（1）——Hive原理初探

文章目录前言一、hive的特点二、hive体系架构及基本原理三、Hive的存储四、总结前言相信大家通过学习MapReduce，已经认识到hadoop利用多台廉价机器集群进行并行计算的优势，了解了HDFS
Zhou.Y.M·2023-12-24 23:55

Hadoop基础学习十一（hive语法）

文章目录1.map阶段2.reduce阶段3.where2.join3.groupby4.orderby5.sortby6.if（判断条件，成立的返回值，否则的返回值）7.casewhenxxthenyyelsezzend8、函数1）split2）concat_ws3）datediff4）concat5）向下取整函数floor6）日期增加函数date_add7）类型转换函数cast8）explod
一只小呆呆·2023-12-24 23:55

学习笔记Hive（一）—— Hive简介

一、Hive设计思想（了解）Facebook用户社交数据存储与处理Facebook是美国的一个社交网站，于2004年2月4日上线。主要创始人为美国人马克·扎克伯格。
别呀·2023-12-24 23:55

【Hive笔记】1——Hive入门

1.什么是Hivehive是由Facebook开源用于解决海量结构化日志的数据统计Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供sql查询功能。
sdut菜鸟·2023-12-24 23:55

Hadoop学习笔记（17）Hive的数据类型和文件编码

一、Hive的常用内部命令1、有好几种方式可以与Hive进行交互。此处主要是命令行界面（CLI）。
柏冉看世界·2023-12-24 23:24

Hive学习笔记 —— Hive的数据类型

Hive本质上是一个数据库，可以创建表，表有列组成，而列支持的主要类型有：基本数据类型、复杂数据类型、时间数据类型。
慢行慢行·2023-12-24 23:24

大数据从入门到精通(超详细版)之Hive的分区表，带你理解Hive当中的高阶玩法！！！

前言嗨，各位小伙伴，恭喜大家学习到这里，不知道关于大数据前面的知识遗忘程度怎么样了，又或者是对大数据后面的知识是否感兴趣，本文是《大数据从入门到精通（超详细版）》的一部分，小伙伴们如果对此感谢兴趣的话，推荐大家按照大数据学习路径开始学习哦。以下就是完整的学习路径哦。↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓大数据从入门到精通文章体系！！！！！！！！！！！！！！↑↑↑↑↑↑↑↑↑↑
木 木 水.·2023-12-24 23:52

hive tez出现java堆内存溢出进行调优

运行hive任务的时候出现了错误，日志如下：ERROR:FAILED:ExecutionError,returncode2fromorg.apache.hadoop.hive.ql.exec.tez.TezTask.Vertexfailed
旺旺_865f·2023-12-24 17:36

Start kafka connect

启动kafkabroker先下载从官网下载kafkaconsole包，wget"https://archive.apache.org/dist/kafka/0.11.0.1/kafka_2.12-0.11.0.1
yehongyu_2018·2023-12-24 17:50

【Hive_04】分区分桶表以及文件格式

1、分区表1.1分区表基本语法（1）创建分区表（2）分区表读写数据（3）分区表基本操作1.2二级分区1.3动态分区2、分桶表2.1分桶表的基本语法2.2分桶排序表3、文件格式与压缩3.1Hadoop压缩概述
温欣2030·2023-12-24 16:41

十八、本地配置Hive

1、配置MYSQLmysql>alteruser'root'@'localhost'identifiedby'Yang3135989009';QueryOK,0rowsaffected(0.00sec)mysql>grantallon*.*to'root'@'%';QueryOK,0rowsaffected(0.00sec)mysql>flushprivileges;QueryOK,0rowsaf
弦之森·2023-12-24 16:40

控制map个数与性能调优参数

本文转自：涤生手记本系列几章系统地介绍了开发中Hive常见的用户配置属性（有时称为参数，变量或选项），并说明了哪些版本引入了哪些属性，常见有哪些属性的使用，哪些属性可以进行Hive调优，以及如何使用的问题
xuanxing123·2023-12-24 13:13

Hive分区表简介

Hive中的分区表分为两种：静态分区和动态分区。1.静态分区:可以根据PARTITIONEDBY创建分区表，一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。
K_un·2023-12-24 12:39

Hive优化(十三)-小文件进行合并

小文件进行合并在Map执行前合并小文件，减少Map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。HiveInputFormat没有对小文件合并功能。
bigdata张凯翔·2023-12-24 12:08

基于Hue，Dolphinscheduler，HIVE分析数据仓库层级实现及项目需求案例实践分析

目录一、数仓各个层级及作用1，ODS层（OperationDataStore-源数据层）2，DW层（DataWarehouse-数据仓库层）(1)DWD(DataWarehouseDetail-明细数据层)(2)DWM(DataWarehouseMiddle-明细数据层)(3)DWS(DataWarehouseService服务数据层)3，ADS层（ApplicationDataStore-数据应
Len°·2023-12-24 11:32

《PySpark大数据分析实战》-04.了解Spark

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-06.安装环境准备

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:32

《PySpark大数据分析实战》-02.了解Hadoop

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:02

《PySpark大数据分析实战》-01.关于数据

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

《PySpark大数据分析实战》-18.什么是数据分析

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-24 10:01

Hive学习笔记（二）—— Hive的安装

文章目录Hive安装2.1Hive安装地址2.2Hive安装部署2.3将本地文件导入Hive案例2.4MySql安装2.4.1安装包准备2.4.2安装MySql服务器2.4.3安装MySql客户端2.4.4MySql
Alienware^·2023-12-24 08:53

在虚拟机中执行Hive命令该如何操作呢？

前言前段时间在学习hive,之前是通过hue进行编程的，但是由于设备问题，网络连接不顺畅，使用感很不好，又不想再安装客户端了，于是学习了一下怎么在虚拟机中执行hive命令并作了简单的记录。
纪筱白·2023-12-24 08:53

Hadoop+Hive学习笔记-4

Hadoop集群搭建配置三台虚拟机之间的免密登录1切换到root用户：crontab-e在第一行写入：*/5****/usr/sbin/ntpdatentp1.aliyun.com三台机器都一同操作，这一步让三台机器的时间服务器一致2关闭selinux：vim/etc/selinux/configvim编辑器打开文件，把里面的SELINUX值修改为disabled这一步是关闭selinuxseli
fwings260·2023-12-24 08:22

hadoop学习笔记(五)Hive安装部署

Hive安装部署Hive安装及配置配置已经完成,在此处启动hadoop集群Hive常用命令将本地文件导入Hive案例安装MySqlHive元数据配置到MySqlHive安装及配置下载地址:https:/
So.j·2023-12-24 08:22

hive企业级调优策略之CBO,谓词下推等优化

测试所用到的数据参考：原文链接：https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为HiveonMR。
Appreciate(欣赏)·2023-12-24 07:26

FaceBook Redex使用总结

Redex踩坑全集第一步安装Redex安装以下前置条件sudoapt-getinstall\g++\automake\autoconf\autoconf-archive\libtool\libboost-all-dev
topone37·2023-12-24 07:52

SpringBoot 3 集成Hive 3

*+Hive3.
在奋斗的大道·2023-12-24 07:46

Hadoop入门学习笔记——六、连接到Hive

pwd=5ay8Hadoop入门学习笔记（汇总）目录六、连接到Hive6.1.使用Hive的Shell客户端6.2.使用Beeline客户端连接HiveServer2操作Hive6.3.使用
faith瑞诚·2023-12-24 07:10

Hadoop入门学习笔记——五、在虚拟机中部署Hive

pwd=5ay8Hadoop入门学习笔记（汇总）目录五、在虚拟机中部署Hive5.1.在node1虚拟机安装MySQL5.2.配置Hadoop5.3.下载并加压Hive5.4.下载MySQL
faith瑞诚·2023-12-24 07:09

Hadoop入门学习笔记——七、Hive语法

pwd=5ay8Hadoop入门学习笔记（汇总）目录七、Hive语法7.1.数据库相关操作7.1.1.创建数据库7.1.2.选择数据库7.1.3.描述数据库详细信息7.1.4.创建数据库并指
faith瑞诚·2023-12-24 07:37

pygrib

https://www.cnblogs.com/kallan/archive/2016/01/26/5160017.htmlhttps://www.cnblogs.com/sunshine8/p/7815216
榴莲气象·2023-12-24 06:20

数据质量监控框架及解决方案总结

概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。
坨坨的大数据·2023-12-24 05:41

黑苹果 安装教程+工具包(EFI引导文件+dmg镜像+工具)

完整黑苹果安装指南,苹果EFI引导文件等相关资源一应俱全.https://fostmar.online/archives/445/EFI引导文
单丽尔·2023-12-24 04:09

技本功|Hive优化之监控（三）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的技能。
云掣YUNCHE·2023-12-24 03:15

技本功|Hive优化之Spark执行引擎参数调优（二）

Hive是大数据领域常用的组件之一，主要是大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的的一个点，因此掌握一些Hive调优是必不可少的一项技能。
云掣YUNCHE·2023-12-24 03:44

Pytorch的C++端(libtorch)在Windows中的使用

https://oldpan.me/archives/pytorch-windows-libtorch
蒋豆芽·2023-12-24 02:25

Java-jar包的创建与运行

jar包的概念JAR文件的全称是JavaArchiveFile，意思是Java档案文件。是一种压缩文件，与常见的ZIP压缩文件兼容。
得过且过的勇者y·2023-12-24 01:16

Hive 存储与压缩

格式（推荐）Parquet格式对比压缩ORC——ZLIB压缩ORC——SNAPPY压缩Parquet——GZIP压缩Parquet——SNAPPY压缩总结本文中用到的数据源下载：log.data存储格式Hive
月亮给我抄代码·2023-12-23 22:28

Hive存储格式和压缩算法

Hive存储格式和压缩算法在实际的项目开发当中，hive表的存储格式一般选择：ORC或PARQUET，压缩算法一般选择Zlib和SNAPPY存储格式分类逻辑表中的数据，最终需要落到磁盘上，以文件的形式存储
Kazi_1024·2023-12-23 22:58

Hive文件压缩说明(转)

为什么要压缩在Hive中对中间数据或最终数据做压缩，是提高数据吞吐量和性能的一种手段。对数据做压缩，可以大量减少磁盘的存储空间，比如基于文本的数据文件，可以将文件压缩40%或更多。
大怀特·2023-12-23 22:57

讲道理，Hive文件存储与压缩还是挺重要的

压缩和存储1、文件存储格式Hive支持的存储数的格式主要有：TEXTFILE、SEQUENCEFILE、ORC、PARQUET。
看朱成碧_·2023-12-23 22:27

HIVE 建表 插入数据 文件格式与压缩格式算法比较

HIVE文件格式与压缩格式一：mapreduce的压缩mapreduce压缩主要是在shuffle阶段的优化。
皮卡帅·2023-12-23 22:27

Hive文件存储格式和Hive数据压缩小总结

二、Hive文件存储格式TEXTFILEHive数据表的默认格式，存储方式：行存储。可以使用Gzip压缩算法，但压缩后的文件不支持split。
浪尖聊大数据-浪尖·2023-12-23 22:27
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他