hive动态分区

彻底解决Hive小文件问题

最近发现离线任务对一个增量Hive表的查询越来越慢，这引起了我的注意，我在cmd窗口手动执行count操作查询发现，速度确实很慢，才不到五千万的数据，居然需要300s，这显然是有问题的，我推测可能是有小文件
大数据技术派·2023-12-20 15:59

宝塔面板php7.3部署项目提示不支持ZipArchive

迁移ShowDoc到外部环境提示没有安装ZipArchvie1#cd/www/server/php/73/src/ext/zip/2#./configure--with-php-config=/www/server/php/73/bin/php-config3#make&&makeinstall4#echo"extension=zip.so">>/www/server/php/73/etc/php
i娟儿·2023-12-20 13:28

Issues about Ubuntu & ROS

://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64//:/usr/share/keyrings/cuda-archive-keyring.gpg
挪威的深林·2023-12-20 13:13

sqoop简介及安装配置

导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库1.png工作机制将导入或导出命令翻译成mapreduce
一个人一匹马·2023-12-20 11:30

解决 Hive 外部表分隔符问题的实用指南

简介：在使用Hive外部表时，分隔符设置不当可能导致数据导入和查询过程中的问题。本文将详细介绍如何解决在Hive外部表中正确设置分隔符的步骤。问题描述：在使用Hive外部表时，可能会遇到分隔符问题。
冷月半明·2023-12-20 09:56

hive的中时间和时间戳的转换

1.获取当前时间戳，按照我们设置的格式显示对应时间hive>selectfrom_unixtime(unix_timestamp(),'YYYY/MM/ddHH:mm:ss');OK2021/11/2613
今天该取什么名字好·2023-12-20 09:50

hive-sql-常用函数-留存分析-行列转换-连续登录

目录hive-sql-常用函数hive-sql-留存分析hive-sql-连续登录hive-sql-行列转换hive-sql-常用函数--返回第一个不为空的值selectcoalesce(NULL,1,2
宋------·2023-12-20 09:20

hive时间sql

Hive中，可以用String、Date和Timestamp表示日期时间，String用yyyy-MM-dd的形式表示，Date用yyyy-MM-dd的形式表示，Timestamp用yyyy-MM-ddhh
茂密头发的源猴·2023-12-20 09:49

hive sql 时间戳转换与时间的各种转换

目录from_unixtimefrom_unixtime日期转小时函数hour与年月日分秒from_unixtimefrom_unixtimehivesql中时间戳转换函数：由bigint类型的值转换为指定时间戳格式
旺仔的算法coding笔记·2023-12-20 09:19

Hive 观看时长秒数、毫秒数转化为时分秒格式

程序的计时元年是1970-01-0108:00:00，为了方便截取时间，采用1970-01-0101:00:00，时间戳毫秒数为-28800000，秒数为-28800在hive中转化为时间格式可以利用from_unixtime
陈金玉·2023-12-20 09:19

Hive SQL 查询时间

source：Hive日期时间操作_TriumPhSK的博客-CSDN博客_hive时间（1）获取日期hive>selectfrom_unixtime(unix_timestamp(),"yyyy-MM-dd
Karisn·2023-12-20 09:49

Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job faile

hiveonspark错误Errorwhileprocessingstatement:FAILED:ExecutionError,returncode3fromorg.apache.hadoop.hive.ql.exec.spark.SparkTask.Sparkjobfailedduringruntime.Pleasecheckstacktracefortherootcause
墨卿风竹·2023-12-20 09:48

hiveSQL时间日期处理

1.将字符串日期转为整型日期hive数据库中存储的时间是string类型的，但是我们在取数的时候，习惯把字符串型的日期转换为整型的日期，如将’2020-09-03’转换成’20200903’，转换方式如下
是唱唱呀·2023-12-20 09:48

Hive-SQL工作中常用函数总结及案例实战

目录0引言1空字段赋值2时间类3条件判断4多行转一行（行转列）5一行变多行（列转行）6窗口函数7排名函数8json解析函数9url解析函数10小结0引言本文针对hive进行数据分析时总结了工作中常用的查询函数及分析函数
莫叫石榴姐·2023-12-20 09:16

Hive-SQL语法大全

HiveSQL语法大全基于语法描述说明CREATEDATABASE[IFNOTEXISTS]db_name[LOCATION]'path';SELECTexpr,...FROMtblORDERBYcol_name
黑马程序员官方·2023-12-20 09:16

Hive时间戳的一个小坑

Hive时间戳的一个小坑1、时间戳问题2、执行顺序问题1、时间戳问题使用Hive数据平台取数时踩的一个和时间戳相关的小坑，记录下来，相当于在坑前插个小旗，让大家尽量避免掉到同样的坑里。
白白的一团团·2023-12-20 09:15

【SQL】Hive中的时间日期函数

1.日期与时间戳的转换时间戳转为日期from_unixtime(bigintunixtime[,stringformat])日期转为时间戳unix_timestamp(stringdate[,stringformat])to_unix_timestamp(stringdate[,stringformat])to_unix_timestamp和unix_timestamp都可以转化日期为时间戳，但据
EndlessLearn·2023-12-20 09:15

【Hive-Sql】Hive 处理 13 位时间戳得到年月日时分秒（北京时间）

【Hive-Sql】Hive处理13位时间戳得到年月日时分秒（北京时间）1）需求2）实现1）需求使用Hive自带函数将13位时间戳转成年月日时分秒（北京时间），格式样例：‘2023-01-1312:23
bmyyyyyy·2023-12-20 09:45

运行hive的beelin2时候going to print operations logs printed operations logs

运行hive的beelin2时候goingtoprintoperationslogsprintedoperationslogs检查HiveServer2的配置文件hive-site.xml，确保以下属性被正确设置
墨卿风竹·2023-12-20 09:44

linux 解压多个zip文件,Linux同时解压多个压缩档案的方法

我们先来简要讲解一下tar的用法.tar命令原用于从磁带设备读写文件(tar即是TapeARchiver的缩略
weixin_39930671·2023-12-20 09:08

用户行为分析遇到的问题-ubantu16,hadoop3.1.3

用户行为分析传送门我的版本ubantu16hadoop3.1.3habse2.2.2hive3.1.3zookeeper3.8.3sqoop1.46/1.47我sqoop把MySQL数据往hbase导数据时候有问题重磅
To Shine·2023-12-20 08:49

Xcode 14.3 cocoapod 1.12.0 打包报错解决

开发环境macOS:13.3.1Xcode:14.3CocoaPods:1.12.0问题描述[Xcode菜单栏]->[Product]->[Archive]，进行打包操作。
biyuhuaping·2023-12-20 07:21

Elasticsearch + Kibana 7.16.2 环境搭建（单机）

ElasticKibana7.16.2|Elastic官网文档：ElasticsearchGuide[7.16]|ElasticKibanaGuide[7.16]|Elastic1JDK设置JDK1.8下载链接：JavaArchiveDownloads-JavaSE8u211andlatervi
一介神符师·2023-12-20 07:11

hive企业级调优策略之数据倾斜

测试所用到的数据参考：原文链接：https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为HiveonMR。
Appreciate(欣赏)·2023-12-20 06:05

hive企业级调优策略之小文件合并

测试所用到的数据参考：原文链接：https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为HiveonMR。
Appreciate(欣赏)·2023-12-20 06:05

hive执行集群模式正常本地模式报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

问题：同样的SQL在集群模式执行成功，但是切换到本地模式执行失败出现以下报错原因：由于本地模式内存不够导致无法执行任务解决方法：将hive-env.sh.template后缀.template去掉默认HADOOP_HEAPSIZE
Appreciate(欣赏)·2023-12-20 06:05

hive企业级调优策略之分组聚合优化

测试用表准备hive企业级调优策略测试数据(阿里网盘下载链接)：https://www.alipan.com/s/xsqK6971Mrs订单表(2000w条数据)表结构建表语句droptableifexistsorder_detail
Appreciate(欣赏)·2023-12-20 06:35

hive企业级调优策略之Join优化

测试所用到的数据参考：原文链接：https://blog.csdn.net/m0_52606060/article/details/135080511本教程的计算环境为HiveonMR。
Appreciate(欣赏)·2023-12-20 06:00

《PySpark大数据分析实战》-15.云服务模式Databricks介绍创建集群

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2023-12-20 06:47

hive DML

/*从查询语句中获取数据插入某张表语法：Standardsyntax:INSERTOVERWRITETABLEtablename1[PARTITION(partcol1=val1,partcol2=val2...)[IFNOTEXISTS]]select_statement1FROMfrom_statement;INSERTINTOTABLEtablename1[PARTITION(partcol
新鲜氧气·2023-12-20 05:57

HIVE基本操作

1、启动远程服务端：hive--servicemetastore启动（这里是阻塞式），然后在客户端操作2、HiveDDL（数据库定义语言）--展示所有数据库showdatabases;--切换数据库usedatabase_name
新鲜氧气·2023-12-20 05:56

【Hive】——DQL

1SELECT1.1语法从哪里查询取决于FROM关键字后面的table_reference。可以是普通物理表、视图、join结果或子查询结果。[WITHCommonTableExpression(,CommonTableExpression)*]SELECT[ALL|DISTINCT]select_expr,select_expr,...FROMtable_reference[WHEREwhere
那时的样子_·2023-12-20 02:26

【Hive】——DML

1Load（加载数据）1.1概述1.2语法LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partc
那时的样子_·2023-12-20 02:26

Create, Read and Extract ZIP in .NET Apps

Create,ReadandExtractZIPArchivesin.NETAppsDecember15,2023IronZIPfor.NETisanewC#compressionlibrarythatenablesdeveloperstoeasilyaddarchivemanagementtotheir.NETapplications.IronZIPfor.NETisapowerfulandea
sdk大全·2023-12-19 23:10

Android Studio各个版本下载地址（要梯子）

https://developer.android.com/studio/archive点进去之后拉到最底部，点击同意下面就是官方的各个AS版本
先验·2023-12-19 23:34

谷歌官方Android studio所有历史版本下载地址

谷歌官方Androidstudio所有历史版本下载地址历史版本下载地址：https://developer.android.google.cn/studio/archive#android-studio
沅霖·2023-12-19 23:04

AndroidStudio官方全版本下载地址

官网下载链接:https://developer.android.com/studio/archive进入网址，等待加载：加载完成后，拉到最低部，点击同意协议：之后就可以看到所有的版本了：
燕雀安知鱼之乐·2023-12-19 23:03

Android studio 历史版本下载地址

https://developer.android.google.cn/studio/archive?
哈哈…咯·2023-12-19 23:33

268个官方免费android studio下载地址 Bumblebee Arctic Fox Canary chipmunk RC Beta

顿时我就自闭了~~~~解决问题后来想想官方肯定是有下载地址的，所以我最终查到了这个谷歌官方全部历史版本下载地址https://developer.android.google.cn/studio/archive
jalen2024·2023-12-19 23:33

官网下载不同版本的AndroidStudio

1.进入Android开发者首页，点击下载AndroidStudio：2.点击Downloadoptions3.点击downloadarchives：4.点击同意条款：5.进入AndroidStudio
Y X L·2023-12-19 23:03

【Android Studio】各个版本下载地址

下载地址：https://developer.android.com/studio/archive?hl=zh-cn
源代码杀手·2023-12-19 23:32

android studio 各个历史版本下载

https://developer.android.google.cn/studio/archive#android-studio-3-0?
Jonly_W·2023-12-19 23:32

HIVE优化场景八-数据裁剪问题

场景八_数据裁剪问题1)记录数裁剪i.通过分区，分桶表的优势去构建分桶表的构建过程与使用：https://blog.csdn.net/qq_26803795/article/details/105205702分区表与分桶表本身就是一个一个优化策略。分区表更适用可以合理方式进行数据组织的列，比如每天的log日志，由于每天的数据都差不多，可以按分区进行组织！！分桶表适用于无法形成合理分区的场景，并且可
xuanxing123·2023-12-19 23:17

Hive建表失败：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException

hive建表失败：解决办法：进入mysql修改hive数据库的编码：mysql>alterdatabasehivecharactersetlatin1;QueryOK,1rowaffected(0.00sec
匆匆岁月·2023-12-19 22:39

Hive学习新天地一站式掌握Hive技能，让你成为大数据领域的佼佼者！

介绍：Hive是一个构建在Hadoop顶层的数据仓库工具，起源于Facebook为了解决海量数据的统计分析需求。
知识分享小能手·2023-12-19 22:56

hive数据库分区表数据迁移到另一个分区/数据复制

文章目录一、分区表数据迁移到另一个分区表1.1、方式一1.2、方式二二、报错解决一、分区表数据迁移到另一个分区表有个需求，创建一张备份表，将分区表中的数据迁移到备份表中。以下整理一下几种迁移方式。创建分区表：createtableuser(idStringdefaultnullcomment'主键id',nameStringdefaultnullcomment'姓名',birthdayString
五月天的尾巴·2023-12-19 19:53

2019-07-04

cdn-aliyun.comus0001asdjasdf.cdn-aliyun.comus00002svmfdg.cdn-aliyun.com统一端口：4432019.03.23更新https://yisharepdf.site/archives
如意瑞德·2023-12-19 18:59

HQL的其他优化

在Hive中，计算成本模型考虑到了：数据的行数、CPU、本地IO、HDFSIO、网络IO等方面。Hive会计算同一SQL语句的不同执行计划的计算成本，并选出成本最低的执行计划。
zmx_messi·2023-12-19 18:18

XAgent的部署及运行

-turbo_config.ymlpython环境python>=3.10安装conda，通过conda激活python3.10的环境wgethttps://repo.anaconda.com/archive
碧海饮冰·2023-12-19 17:31

Hive底层如何和数据库进行交互

Hivehive是hadoop底层用于管理和查询结构化数据的系统。hive的功能实现是由HDFS+Mapreduce结合起来使用的。
旅僧·2023-12-19 17:31
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他