Hive问题排查第12页

2024-02-04（hive）

1.Hive中的分区表可以选择字段作为表分区。分区其实就是HDFS上的不同文件夹。分区表可以极大的提高特定场景下Hive的操作性能。

陈xr·2024-02-05 10:54

hive表加字段

cascade3.使用场景1.给表添加字段altertabledatabase.tablenameaddcolumns(字段名字段类型comment'字段中文含义')cascade;2.为什么使用cascade在Hive

王一1995·2024-02-05 10:22

SparkSql读取外部Hql文件的公共类开发

SparkSql读取外部Hql文件的公共类开发SparkSQL与Hive的区别简介一、什么是SparkSQL？

岁月的眸·2024-02-05 09:27

在 CDH 中调优 Apache Hive on Spark

Spark上的Hive在提供相同功能的同时提供比MapReduce上的Hive更好的性能。在Spark上运行Hive不需要更改用户查询。

海阔天空&沫语·2024-02-05 09:27

ubuntu20之ROS-noetic的qt插件安装

然后把过程记录一下以免自己最后忘记1、qt5.9.9的安装：https://download.qt.io/archive/qt/5.9/5.9.9/下载完后在改文件夹打开终端，输

学习我是拒绝的·2024-02-05 09:56

flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive

简介为了实现hive,trino等组件实时查询hudi表的数据，可以通过使用Hivesync。在Flink操作表的时候，自动同步Hive的元数据。

阿华田512·2024-02-05 08:46

Hive与PrestoSQL中的并列列转行

并列列转行1、背景描述2、Hive实现3、PrestoSQL实现1、背景描述通常我们在处理数据时，如果遇到一个字段存储多个值，常常需要把一行数据转换为多行数据，形成标准的结构化数据例如，将下面的两列数据并列转换为三行

对许·2024-02-05 07:27

Java开发基础环境的搭建

JDK各版本下载：https://www.oracle.com/technetwork/java/javase/archive-139210.htmlJDK(JavaDevelopmentKit)是整个

重庆淡静·2024-02-05 07:18

7min到40s：SpringBoot 启动优化实践！

目录背景1耗时问题排查1.1观察SpringBoot启动run方法1.2监控Bean注入耗时2优化方案2.1如何解决扫描路径过多？2.2如何解决Bean初始化高耗时？

漫走云雾·2024-02-05 07:42

BUG:docker启动之后直接退出问题

示例如下：问题排查：启动命令sudodockerrun--privileged=true--runtime=nvidia--shm-size=80g-v/mmm_data_center:/mmm_data_center-v

福将～白鹿·2024-02-05 06:22

大数据框架(分区，分桶，分片)

建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。

坨坨的大数据·2024-02-05 06:29

Hive 调优

Hive调优一、SQL语句分析——EXPLAIN二、Fetch抓取三、本地模式四、表的优化1、小表大表JOIN2、大表JOIN大表3、Groupby4、Count(Distinct)去重统计5、笛卡尔积

长不大的大灰狼·2024-02-05 04:03

列式数据库、行式数据库简介

行式数据库3、列式数据库4、行式、列式存储对比常见的行式数据库有Mysql，DB2，Oracle，Sql-server等；列数据库（Column-Based）数据存储方式按列存储，常见的列数据库有Hbase，Hive

长不大的大灰狼·2024-02-05 04:32

OSI七层模型的前三层

开发中我们常见的网络设计和网络问题排查等，涉及到的网络模型一般是tcp/ip第四层，也称OSI传输层，很少去关心前三层的网络层、数据链路层、物理层，脑海里想到这三层的数据流转，都是抽象的画面。

草莓苹果applestrawberry·2024-02-05 03:10

《Qt》Qt概述（二）

之前介绍了Qt的大致历史，现在我们继续安装QT安装软件首选官方网站Qt下载官⽹：http://download.qt.io/archive/qt/国内清华源：https://mirrors.tuna.tsinghua.edu.cn

绅士·永·2024-02-05 02:25

Tomcat环境搭建

1.关闭防火墙和selinuxsetenforce0systemctlstopfirewalld2.下载jdk和Tomcatcd/optwgethttps://archive.apache.org/dist

暗隐之光·2024-02-05 02:50

数据库与数据仓库的区别

数据库Database(Oracle,Mysql,PostgreSQL)主要用于事务处理，数据仓库Datawarehouse(AmazonRedshift,Hive)主要用于数据分析。

42c64edf12e9·2024-02-05 02:12

Linux查询日志命令

Linux查询日志常见的问题排查有，k8s、arthas、堡垒机…找到本电脑的longs日志文件夹，里面有error日志…常见的错误日志查看命令有：--查询错误日志所有的错误日志caterror.2024

on the way 123·2024-02-05 01:49

HIVE

--------hive数据仓库hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF

Yagami_·2024-02-05 00:23

kernel里的头文件 asm 与 asm-generic

本文转载于:https://www.cnblogs.com/sammei/archive/2013/03/14/3295598.html路径asm的路径是arch/xxx/include/asm/asm-generic

最快乐的寂寞是独处·2024-02-04 23:08

hive小文件合并问题

背景Hivequery将运算好的数据写回hdfs（比如insertinto语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的maptask

DuLaGong·2024-02-04 20:16

【云原生运维问题记录】kubesphere登录不跳转问题

文章目录现象问题排查结论先行：kubesphere-system名称空间下reids宕机重启，会判断是否通过registry-proxy重新拉取镜像，该镜像原本是通过阿里云上拉取，代理上没有出现超时情况

野心与梦·2024-02-04 20:42

（三）Hive的分桶详解

Hive分桶通俗点来说就是将表（或者分区，也就是hdfs上的目录而真正的数据是存储在该目录下的文件）中文件分成几个文件去存储。

小猪Harry·2024-02-04 19:20

Fink CDC数据同步（五）Kafka数据同步Hive

6、Kafka同步到Hive6.1建映射表通过flinksqlclient建Kafkatopic的映射表CREATETABLEkafka_user_topic(idint,namestring,birthstring

大数据_苡~·2024-02-04 16:18

Linux下 tar 命令详解

一、tar命令概述Tar（TapeARchive，磁带归档的缩写，LCTT译注：最初设计用于将文件打包到磁带上，现在我们大都使用它来实现备份某个分区或者某些重要的目录）。

夜光小兔纸·2024-02-04 15:01

Charles抓包教程

文档用途：支持游戏开发者学习Charles抓包，辅助SDK接入问题排查和反馈。1关键定义Charles：PC端网络封包截取工具，可用于截取移动端APP与服务器端网络通讯协议内容。

忆中异·2024-02-04 14:46

c/c++字符串处理大集合

转自：https://blog.csdn.net/wallwind/article/details/6827863参考：https://www.cnblogs.com/xFreedom/archive/

小肥羊的慢慢科研路·2024-02-04 14:59

Win10下安装Anaconda(Opencv和Numpy）

注：楼主是学生所以一切版本以老师安排为主一、下载Anaconda下载网址：Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirrorhttps

阿阿阿阿阿阿樊·2024-02-04 14:41

win10安装anaconda详细教程

下载安装包Anaconda官网：https://www.anaconda.com/download/镜像网站：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive

小张dand·2024-02-04 14:10

利用requests包下载音频文件

mp3_url="https://static.dedic.cn/archive/audio/e2/e27a4e2d-f7dc-442a-937e-6b10691275e5/data/95abd3e5-

二十二_0cbe·2024-02-04 13:18

RocketMQ安装与基本使用

而生产者和消费者实际上就是业务系统，所以这里不需要搭建，真正要搭建的就是NameServer和BrokernameServer安装启动：下载安装https://archive.apache.org/dist

Artisan_w·2024-02-04 11:05

实战经验分享，Python 连接 Oracle 踩坑实录

最近的一个测试任务需要测试oracle同步hive数据库的性能，那就需要对oracle数据库灌注测试数据。我就又打开了我的IDE，准备把我之前一下可以灌50w数据到MySQL的代码，改一改，直接用。

咖啡加剁椒.·2024-02-04 11:26

大数据Hive--安装和配置

文章目录一、Hive的安装地址1.1Hive安装部署1.1.1安装Hive1.1.2启动Hive二、MySQL的安装地址2.1安装MySQL2.2配置MySQL2.3卸载MySQL三、配置Hive元数据存储到

泛黄的咖啡店·2024-02-04 11:44

大数据Hive--函数

文章目录一、函数1.1函数简介1.2单行函数1.2.1算术运算函数1.2.2数值函数1.2.3字符串函数1.2.4日期函数1.2.5流程控制函数1.2.6集合函数1.2.7案列演示1.2.7.1数据准备1.2.7.2需求1.3高级聚合函数1.3.1案例演示1.4炸裂函数1.4.1概述1.4.2案例演示1.4.2.1数据准备1.4.2.2需求1.5窗口函数（开窗函数）1.5.1概述1.5.2常用窗口

泛黄的咖啡店·2024-02-04 11:44

大数据Hive--DDL(数据定义)和DML(数据操作)

文章目录一、DDL1、数据库1.1创建数据库1.2查询数据库1.3修改数据库1.4删除数据库1.5切换当前数据库2、表2.1创建表1）普通建表2）CreateTableAsSelect（CTAS）建表3）CreateTableLike语法2.2案例1）内部表与外部表2）SERDE和复杂数据类型2.3查看表2.4修改表2.5删除表2.6清空表二、DML1.1Load1.2Insert1.2.1将查询

泛黄的咖啡店·2024-02-04 11:43

（五）springboot 配置多数据源连接mysql和hive

项目结构如下mysql执行如下建表语句，并插入一条测试数据12345CREATETABLE`user`(`id`int(11)NOTNULL,`name`varchar(255)COLLATEutf8mb4_general_ciDEFAULTNULL,PRIMARYKEY(`id`))ENGINE=InnoDBDEFAULTCHARSET=utf8mb4COLLATE=utf8mb4_genera

调试大师·2024-02-04 10:11

进程中线程使用率偏高问题排查

1.top命令查看CPU使用率高的进程2.top-H-p15931(进程PID)查看进程下的线程3.printf"%x\n"17503(线程PID)线程PID10进制转16进制0x445f4.jstack-l15931(JVM进程PID)导出java进程栈信息，里面包含线程nid=0x445f和所在的类，可结合grep命令搜索第二种：Arthas方式快捷明了thread列出所有线程信息thread

江山太美·2024-02-04 10:16

HiveSQL题——collect_set()/collect_list()聚合函数

一、collect_set()/collect_list()介绍collect_set()函数与collect_list()函数属于高级聚合函数（行转列），将分组中的某列转换成一个数组返回，常与concat_ws()函数连用实现字段拼接效果。collect_list：收集并形成list集合，结果不去重collect_set：收集并形成set集合，结果去重二、collect_set()/collec

爱吃辣条byte·2024-02-04 10:38

[转]互联网企业安全建设(一)

摘自：http://www.secpulse.com/archives/34805.html安全行业的第三流派-CSOs目前在大多数行业后加入者的眼中“二进制”和“脚本”流派广为人知，虽然他们是安全行业的主力军

angaoux03775·2024-02-04 08:30

Fink CDC数据同步（三）Flink集成Hive

1目的持久化元数据Flink利用Hive的MetaStore作为持久化的Catalog，我们可通过HiveCatalog将不同会话中的Flink元数据存储到HiveMetastore中。

苡~·2024-02-04 07:20

hiveSQL计算有效工作日核心思路

hiveSQL计算有效工作日核心思路SQL计算是否工作日SQL计算当天是否工作日，如果不是下个工作日是哪天SQL计算工作日之间的有效工作天数

weixin_44988612·2024-02-04 07:20

Hive 主要内容一览

Hive架构用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive)元数据：Metastore元数据包括：表名、表所属的数据库（默认是default

大数据左右手·2024-02-04 07:13

Jmeter 基于Docker 实现分布式测试

制作Jmeter基础镜像下载jmeter安装包https://archive.apache.org/dist/jmeter/binaries/apache-jmete

Chengdu.S·2024-02-04 06:28

大数据本地环境搭建03-Spark搭建

需要提前部署好Zookeeper/Hadoop/Hive环境1Local模式1.1上传压缩包下载链接链接：https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?

OnePandas·2024-02-04 06:31

Hadoop大数据实战系列文章之Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据可以将

测试帮日记·2024-02-04 05:45

spark运维问题记录

环境：spark-2.1.0-bin-hadoop2.71.Spark启动警告：neitherspark.yarn.jarsnotspark.yarn.archiveisset，fallingbacktouploadinglibrariesunderSPARK_HOME

lishengping_max·2024-02-04 05:11

当电脑gpu太强，安装最新对应的pytorch版本和对应版本的cuda

Ling_Ze·2024-02-04 05:05

大数据组件部署下载链接

Hadoop2.7下载连接:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接：http://archive.apache.org

运维道上奔跑者·2024-02-04 05:13

【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南

Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意：######################################

运维道上奔跑者·2024-02-04 05:43

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

spark和Hudi的安装部署文档，本人已经写完，连接：Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.1单机伪分布式安装注意：本篇文章是在本人写的Hadoop+Hive