#hive

Flink连接kerberos认证的hive 并使用table API

但是HiveCatalog还需要再次使用UserGroupInformation再次认证。直接上代码：importcom.amihaiemil.eoyaml.

lisacumt·2025-02-27 05:27

Hive SQL 使用及进阶详解

一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析

小四的快乐生活·2025-02-27 03:37

linux 打包解压命令

创建一个名为archive.tar的tar包：tar-cvfarchive.tar/path/to/directory/这里：c表示创建新的归档文件。v表示在打包过程中显示文件。f指定归档文件的名称。

luoluosheng07·2025-02-26 14:03

Hadoop 基础原理

NameNode持久化机制MapReduce底层原理示例Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要解决海量数据的存储和计算问题，广义上Hadoop指的是Hadoop生态圈，包含HDFS、Hive

disgare·2025-02-26 11:38

nodejs npm run build 打包压缩zip文件

步骤1:安装npminstallarchiver-D步骤2:根目录下新建zip.js，内容如下constfs=require('fs')constarchiver=require('archiver')

xiaoxiao_0721·2025-02-26 10:36

本地Oracle数据库复制数据到Apache Hive的Linux服务器集群的分步流程

我们已经有安装ApacheHive的Linux服务器集群，它可以连接到一个OracleRDS数据库，需要在该Linux服务器上安装配置sqoop，然后将OracleRDS数据库中所有的表数据复制到Hive

weixin_30777913·2025-02-26 10:34

preview_220624,Day08_DM层建设实战,

抛弃DM.使用DataGrip在Hive中创建dm层注意，对于建库建表操作，需直接使用Hiv

啊六六六·2025-02-26 04:51

MySQL 8 公用表表达式（CTE）—— WITH关键字深入用法

gmHappy·2025-02-25 19:45

jar、war、pom

1.jar定义与用途用途：默认打包类型，生成JAR文件（JavaArchive），适用于普通Java应用或库。场景：开发工具类库（如commons-lang.jar）。

JIU_WW·2025-02-25 13:33

MAC电脑初始化开发环境（Java + Node）

1.后端1.1Java下载地址https://www.oracle.com/cn/java/technologies/javase/javase8-archive-downloads.html1.2Maven

Kevin_K2·2025-02-25 08:57

centOS 7.9 安装JDK MYSQL

jdk:JavaArchiveDownloads-JavaSE17.0.12andearlierCentOS安装JDK17教程（完整版）-秦胜飞-博客园sudoyumupdatewgethttps://

he25819·2025-02-25 07:23

显卡3050ti等安培架构的GPU安装paddlepaddle

官网原话如果您使用的是安培架构的GPU，推荐使用CUDA11.2如果您使用的是非安培架构的GPU，推荐使用CUDA10.2，性能更优其他配套确定软件版本后，到官网下载对应版本的软件CUDA：CUDAToolkitArchive

社会闲散人员中的代码爱好者·2025-02-24 14:49

Oracle 19C DataGuard GAP 修复过程（RECOVER STANDBY DATABASE FROM SERVICE）

DGGAP主要分为以下两类情况：主库归档日志存在，可以通过配置FetchArchiveLog(FAL)参数，自动解决归档GAP；主库归档日志丢失，需要人工干预来修复；不同Oracle版本的GAP修复方式也不尽相同

莳花微语·2025-02-24 13:17

利用Python imaplib和email模块读取邮件文本内容及附件内容

python使用imap接收邮件的过程探索https://www.cnblogs.com/yhlx/archive/2013/03/22/2975817.html#!

aobian2884·2025-02-24 12:06

hive运维

花泽啸·2025-02-23 23:04

【003hive基础】hive的数据类型

文章目录一.数据类型1.基础数据类型2.复杂数据类型二.显式转换与隐式转换三.hive的读时模式一.数据类型1.基础数据类型2.复杂数据类型array:有序相同数据类型的集合。

roman_日积跬步-终至千里·2025-02-23 22:29

【Hive】学习路线：架构、运维、Hsql实战、源码分析

文章目录一.Hive基础学习1.基础知识2.安装与配置3.数据存储与表结构二.hive运维三.Hive实战1.HiveSQL基础2.高级查询与数据分析3.数据存储优化4.性能调优四.Hive源码分析一.

roman_日积跬步-终至千里·2025-02-23 22:25

pg使用 archive_cleanup_command 自动清理归档日志

清理归档日志的方式1.使用archive_cleanup_command自动清理归档日志PostgreSQL提供了archive_cleanup_command参数，用于自动清理归档日志。

eaglesstone·2025-02-23 14:29

LINUX 安装mysql5.6.50 RPM

，记录一下安装过程的碰见的各种问题1.下载安装包抖店云上的系统是CentOS7.964位，因此下载Redhat7系统下面的安装包下载地址：https://downloads.mysql.com/archives

a21768541·2025-02-23 10:06

Hive排序函数源码解密：字节跳动面试官的底层三连问

Hive排序函数源码解密：字节跳动面试官的底层三连问作为数据工程师，理解Hive排序函数的源码就像掌握汽车的发动机原理。本文通过字节跳动内部技术文档，为你揭示三大排序函数的源码级实现差异。

数据大包哥·2025-02-23 06:31

笔记-Ubuntu本地镜像源配置

操作1、先在外网拿到安装包cd/var/cache/apt/archives2、复制至内网将所有deb复制至内网根目录下mkdir/ak/downloadchmod777-R/ak/download/3

丶花落谁家·2025-02-23 02:03

大数据-257 离线数仓 - 数据质量监控监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis

m0_74823705·2025-02-22 21:50

spark sql随记

1、sparksql访问hive将hive-site.xml放入到${SPARK_HOME}/conf下如果是sparkonyarn的cluster模式，由于driver是运行于哪个executor未知

cxy1991xm·2025-02-22 21:18

apk文件放到Linux服务器 nginx不支持apk ipa文件下载设置

修改/usr/local/nginx/conf目录下的mime.types增加如下配置，重启nginx生效application/vnd.android.package-archiveapk;//安卓application

云上上云·2025-02-22 11:00

在虚拟机上安装MySQL和Hive

文章目录零、学习目标一、Hive概述（一）Hive的SQL-HQL（二）数据库与数据仓库（三）Hive的适用场景二、下载、安装和配置MySQL（一）下载MySQL组件压缩包（二）将MySQL组件压缩包上传到虚拟机

酒城译痴无心剑·2025-02-22 06:23

Python 的 WebSocket 实现详解

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli

王子良.·2025-02-22 03:23

Linux命令终极指南：从入门到精通掌握150+核心指令

易读大小cd~#切换到用户家目录(ChangeDirectory)cd-#返回上一个工作目录2.文件操作touchfile.txt#创建空文件或更新时间戳cp-arvsrcdest#递归复制保留属性(Archive

放氮气的蜗牛·2025-02-21 23:43

V4L2采集图像基本流程

参考http://blog.csdn.net/tsuibeyond/article/details/50654823http://www.cnblogs.com/surpassal/archive/2012

yuyangyg·2025-02-21 19:14

【大数据技术】搭建完全分布式高可用大数据集群（MySQL+Hive）

搭建完全分布式高可用大数据集群（MySQL+Hive）apache-hive-3.1.3-bin.tar.gzmysql-connector-java-8.0.30注：请在阅读本篇文章前，将以上资源下载下来

Want595·2025-02-21 09:11

Linux下安装压缩包版MySQL记录

dev.mysql.com/downloads/mysql/操作系统选Linux-Generic，OS版本根据自己系统处理器架构和glibc版本选择，然后下载筛选结果中的CompressedTARArchive

蝶衣哦·2025-02-21 05:43

【大数据分析】Spark SQL查询：使用SQL命令

对于使用关系型数据库或分布式数据库的用户可能更容易和更自然地使用SQL，比如Hive。在SparkSQL编写SQL命令时，它们将被转换为DataFrame上的操作。

sword_csdn·2025-02-21 02:58

mysql8.4+mysql router读写分离

community-router8.4下载mysql_shellmysql-shell-9.0.1-linux-glibc2.17-x86-64bit.tar.gz下载地址:https://downloads.mysql.com/archives

Alex_z0897·2025-02-21 00:42

安装配置MAVEN

安装配置MAVEN1.获取安装包下载apache-maven-3.8.1-bin.zip，下载地址：https://archive.apache.org/dist/maven/maven-3/3.8.1

ByteVoyager·2025-02-20 11:21

MapReduce 读取 Hive ORC ArrayIndexOutOfBoundsException: 1024 异常解决

个人博客地址：MapReduce读取HiveORCArrayIndexOutOfBoundsException:1024异常解决|一张假钞的真实世界在MR处理ORC的时候遇到如下异常：Exceptioninthread"main"java.lang.ArrayIndexOutOfBoundsException

一张假钞·2025-02-20 09:33

Anaconda 配置镜像源

Anaconda安装包可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载。

猿代码_xiao·2025-02-20 06:37

linux安装python开发环境

安装Anaconda下载Anacondawgethttps://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh安装AnacondabashAnaconda3

燃冰结晶·2025-02-20 05:30

实现MySQL数据全量迁移至Hive的简单脚本

1、主要思路：编写脚本执行建表语句、sqoop命令1.1、编写建表语句脚本思路：在虚拟机下执行hive-f/脚本路径即可执行hql脚本1.2、编写shell脚本脚本内容为分为两部分执行hql建表语句脚本

xiaoxaoyu·2025-02-19 16:11

Hive的动态分区与静态分区（区别及详解）

静态分区与动态分区的区别：1、静态分区2、动态分区静态分区与动态分区的区别：静态分区是先把分区表创好，然后手动把数据导入到对应的分区里面去。静态分区实在编译期间指定分区名。静态分区支持load、insert两种插入方式。静态分区是用于分区少，分区名可以明确的数据。动态分区是有一份数据集（2015-2022年的），按照数据集的字段给动态的生成分区。动态分区实在SQL执行的时候确定的。动态分区前需打开

东南枝上的大雄·2025-02-19 16:41

hive—常用的函数整理

1、size(split(...))函数用于计算分割后字符串数组的长度1）实例：由客户编号列表计算客户编号个数--数据准备withtmp_test01as(select'tag074445270'tag_id,'202501'busi_mon,'012399931003,012399931000'index_valunionallselect'tag074445271'tag_id,'202501

风子~·2025-02-19 15:08

Hive 分区详解

在Hive中处理数据时，当处理的一张表的数据量过大的时候，每次查询都是遍历整张表，显然对于计算机来说，是负担比较重的。

mm_ren·2025-02-19 15:36

Hive的动态分区的原理

Hive动态分区原理详解1.什么是Hive动态分区？在Hive中，分区（Partition）是对表数据的一种划分方式，类似于关系型数据库中的分区表。

肥猪猪爸·2025-02-19 15:01

hive全量迁移脚本

/bin/bash#场景：数据在同一库下，并且hive是内部表（前缀的hdfs地址是相同的）#1.读取一个文件，获取表名#echo"时间$dt_jian_2-----------------------

我要用代码向我喜欢的女孩表白·2025-02-19 15:29

笔记：DataSphere Studio安装部署流程

一、标准版部署标准版：有一定的安装难度，体现在Hadoop、Hive和Spark版本不同时，可能需要重新编译，可能会出现包冲突问题。适合于试用和生产使用，2~3小时即可部署起来。

右边com·2025-02-19 13:15

HIVE- SPARK

日常记录备忘Hive修改字段类型之后（varchar->string）Hive可以查到数据，Presto查询报错;分区字段数据类型和表结构字段类型不一样；spark-sql分区表和非分区表兼容问题，不能关联可以建临时表把分区数据导入

流川枫_·2025-02-19 13:14

Hive的ReduceJoin/MapJoin/SMBJoin

Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。

for your wish·2025-02-19 12:40

hive-site.xml 配置总结

在Hive安装后，hive主要的配置文件为conf中hive-site.xml那该文件中那么多的配置选项都是什么含义呢。

hxsln11·2025-02-19 12:07

小白也能安装：Ubuntu20.04 安装 RabbitMQ

写篇记一记安装基本依赖项更新源sudoapt-getupdate-y下载签名密钥和软件包所需的先决条件sudoapt-getinstallcurlgnupgdebian-keyringdebian-archive-keyring-y

Valishment·2025-02-19 06:22

Python 算法交易秘籍（五）

原文：zh.annas-archive.org/md5/010eca9c9f84c67fe4f8eb1d9bd1d316译者：飞龙协议：CCBY-NC-SA4.0第十一章：算法交易-实际交易现在我们已经建立了各种算法交易策略

绝不原创的飞龙·2025-02-18 22:33

Hive中文乱码解决方法

Hive中文乱码解决方法一、Hive中文乱码原因二、Hive中文乱码解决方法三、修改hive配置文件四、再次查看表信息，中文注释正常一、Hive中文乱码原因hive的元数据是由mysql管理的，mysql

快乐骑行^_^·2025-02-18 08:57

推荐频道