Hive安装和配置

如何用python编写hive udf函数

相比于java编写udf，python编写udf就显得简单的多。站在数据处理的角度来说，python也更合适。那python如何编写udf函数呢？使用方法：（1）将编写的python代码上传到服务器（2）添加python文件（3）使用函数：TRANSFORM(data)USING“pythonudf_test.py”as(name,address)对比java编写udf函数来说，少了打包、创建临时
不想起的昵称·2024-01-10 21:00

黑猴子的家：Hive 数据倾斜优化之 小文件合并

在map执行前合并小文件，减少map数：CombineHiveInputFormat具有对小文件进行合并的功能（系统默认的格式）。
黑猴子的家·2024-01-10 20:26

虚拟机安装centos7部署mysql5.7.33详细步骤

稍后安装选择更快捷选择Linux--->版本里可以根据需求再选择磁盘大小可根据需求自定义二.建立网络连接三.mysql官网取包Mysql下载地址https://downloads.mysql.com/archives
伪程序文艺猿·2024-01-10 20:02

Hive分组取满足某字段的记录

在SQL分组后取第一条记录中介绍了分组取满足条件的第一条记录的方法，现在业务上面临如此需求：在做公司流程监控时，要求监控每个流程每个节点的用时情况。其中有个字段isend可以判断流程是否结束，但是流程结束后可能还会有操作（例如转发、会签等）,分析时需要将结束后的节点删除掉。思路：根据流程ID分组，按照操作时间从小到大排序，得到字段rk，根据流程ID和isend分组，按照操作时间从小到大排序，得到字
Forge_ahead·2024-01-10 20:57

Hive常用函数

一、关系运算：1.等值比较:=举例：Hive>select1fromlxw_dualwhere1=1;2.不等值比较:select1fromlxw_dualwhere1select1fromlxw_dualwhere1select1fromlxw_dualwhere1
勤奋的超跑·2024-01-10 19:26

编写高质量代码的50条黄金守则-Day 03(首选is或as而不是强制类型转换)

转载请注明本文地址：https://www.byteflying.com/archives/6710。
比特飞_byteflying·2024-01-10 19:15

hive中的日期处理

hive自带的时间/日期处理函数将某种格式的时间转换为Unix时间戳selectunix_timestamp('2018053113:01:01','yyyyMMddHH:mm:ss');将Unix时间戳转换为指定格式的时间
evanzh7·2024-01-10 18:38

PHP 8.1.0 正式发布了

enumStatus{casedraft;casepublished;casearchived;publicfunctioncolor():string{returnmatch($this){Status
PHP技术社区·2024-01-10 17:09

在Linux上安装和配置CSF防火墙

ConfigServerSecurity&Firewall(CSF)是一款先进、免费、强大的开源工具，用于管理和处理Linux上的防火墙协议。您可以使用CSF工具来维护您设备上的传入和传出IP地址。您也可以用它来配置网络服务器上的安全和防火墙设置，以维护互联网流量。您可以通过OpenSSH和SSH服务器来配置CSF设置。CSF可以在RedHatLinux、Debian发行版和大多数其他基于云计算或
oMcLin·2024-01-10 14:04

《PySpark大数据分析实战》-26.数据可视化图表Seaborn介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-10 14:58

Hive分区表实战 - 单分区字段

文章目录一、实战概述二、实战步骤（一）创建图书数据库（二）创建国别分区的图书表（三）在本地创建数据文件（四）按分区加载数据1、加载中文书籍数据到`country=cn`分区2、加载英文书籍数据到`country=en`分区（五）查看分区表book全部记录（六）通过HDFS查看分区对应的目录及文件（七）手动创建分区并上传数据1、在HDFS上手动创建`country=jp`分区目录2、创建日文书籍数据
howard2005·2024-01-10 13:55

linux内核学习（好东西）

转自：http://blog.csdn.net/michaelrun/archive/2010/05/30/5634390.aspxlinux内核学习（好东西）2012-05-1121:12:13|分类
killcpp·2024-01-10 12:13

洞悉linux下的Netfilter&iptables

原文链接：http://blog.chinaunix.net/uid-23069658-id-3160506.htmlhttp://www.zsythink.net/archives/1199一、什么是
lx_jian·2024-01-10 12:11

Hive 日期处理函数汇总

Hive日期处理函数汇总最近项目处理日期操作比较繁杂,使用Hive的日期函数也较频繁1.加减日期date_add(‘日期字符串’,int值):把一个字符串日期格式加n天,n为int值selectdate_add
mizuhokaga·2024-01-10 09:30

Hive之set参数大全-7

指定HiveLLAP（LiveLongandProcess）守护进程的委托令牌的生存期在ApacheHive中，hive.llap.daemon.delegation.token.lifetime是一个配置属性
OnePandas·2024-01-10 09:59

Hive之set参数大全-6

L指定是否启用延迟评估（lazyevaluation）的扩展布尔字面量在ApacheHive中，hive.lazysimple.extended_boolean_literal是一个配置属性，用于指定是否启用延迟评估
OnePandas·2024-01-10 09:29

Hive之set参数大全-2

C指定是否启用表达式缓存的评估hive.cache.expr.evaluation是Hive中的一个配置属性，用于指定是否启用表达式缓存的评估。
OnePandas·2024-01-10 09:28

Hive之set参数大全-3

D是否启用本地任务调试模式hive.debug.localtask是ApacheHive中的一个配置参数，用于控制是否启用本地任务调试模式。
OnePandas·2024-01-10 09:28

Hive之set参数大全-4

F指定在使用FETCH命令提取查询结果时的序列化/反序列化器hive.fetch.output.serde是Hive的一个配置参数，用于指定在使用FETCH命令提取查询结果时的序列化/反序列化器。
OnePandas·2024-01-10 09:28

Hive的时间处理函数from_unixtime和unix_timestamp

一、概述hive时间处理函数from_unixtime和unix_timestamp的实现以及实例，从而方便后续的时间处理。
RayBreslin·2024-01-10 09:23

hive 基本操作与示例

comment'库的注释'][location'库在hdfs上存放的路径'][withdbproperties('属性名'='属性值'，...)]注意：location可以省略，默认存放在/user/hive
我很ruo·2024-01-10 08:49

centos安装mysql 5.7版本

前言在进行Web开发或者其他类型的项目时，安装和配置相关基础服务是通常必须的一步，这里我将按照如下清单，说明CentOS操作系统上如何安装和配置这些服务。
EelBarb·2024-01-10 08:00

使用Anaconda3安装tensorflow教程一步到位

可以在清华源镜像找到合适版本安装Anaconda，这里附链接：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/对于python3.
你好，明天，，·2024-01-10 06:34

【spark】基于Spark的电影推荐系统+[详细代码及配置]

基于Spark的电影推荐系统项目架构组件版本及配置名称版本Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0
BIG*BOSS·2024-01-10 06:25

大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建

1.Zookeeper环境安装链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal提取码：wgal1.1上传tar包zookeeper-3.4.6.tar注意：上传文件位置为/export/server目录1.2解压缩cd/export/servertarxvf/export/server/zookeeper-3.4.6.tar.g
OnePandas·2024-01-10 06:01

Hive之函数解析

1.1查看系统自带的函数--查看系统自带函数showfunctions;--查看自带函数的用法desc/describefunction函数名;--查看自带函数的具体用法desc/describefunctionextended函数;1.2窗口函数1.2.1相关函数说明函数说明over()指定分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变而变化。currentrow当前行nprece
OnePandas·2024-01-10 06:30

Hive之set参数大全-5

I限制外部表数据插入sethive.insert.into.external.tables=true;在ApacheHive中，通过INSERTINTO语句向外部表（ExternalTable）插入数据时
OnePandas·2024-01-10 06:00

Oozie WorkFlow中Shell Action使用案例

cp-rexamples/apps/shelloozie-apps/mvshellshell-hive-selecttouchstudent-select.sh#!
明明德撩码·2024-01-10 05:56

ubuntu20.04安装cuda11.7和显卡驱动

blacklistnouveausudoupdate-initramfs-usudoreboot输入命令，如果没有任何输出，证明禁用成功lsmod|grepnouveau2、安装cuda11.7CUDAToolkitArchive
莫克_Cheney·2024-01-10 04:25

软件安装及配置

一.安装Maven按照资料中文档安装和配置即可二.安装及配置jdk111.jdk安装资料中已经提供了jdk11https://blog.csdn.net/aixinxin1314myl/article/
xnninger·2024-01-10 03:30

大数据OLAP引擎发展原因及特性分析

在大数据高速发展时期，多个技术团队基于OLAP的应用需求，开发出多种OLAP技术，如Hive、SparkSql、FlinkSql、Impala、Kylin、ClickHouse、Doris等，或者在实现其他应用需求的时候
i7杨·2024-01-10 01:31

Hive的复杂数据类型

复杂数据类型：array、map、struct1.数组array，里边不能装不同类型的数据[hadoop@hadoop001data]$morehive_array.txtzhangsanbeijing
白面葫芦娃92·2024-01-10 00:35

2024-01-08 android studio CMakeLists.txt 把多个静态链接库打包成动态链接库so的方法

为了避免这种情况，您可以使用-Wl,--whole-archive和-Wl,--no-whole-archive这两个链接器标志包围您的静态库，这会告诉链接器把静
Donald Linux·2024-01-09 21:23

Docker基础镜像

镜像基础包安装1.Ubuntu/Debian#修改为阿里源（ubuntu）sudocp/etc/apt/sources.list/etc/apt/sources.list-baksudosed-is/cn.archive.ubuntu.com
boo_·2024-01-09 20:02

【Unity】 Render Streaming 云渲染基本环境搭建及应用（尽量详细，欢迎补充）

RenderStreamingWebServer:3.1.0-exp.6目录1.安装RenderStreaming2.安装WebRTC3.在使用前请确保已安装web服务器和Node.js（1）Node.js的安装和配置以
祁渺·2024-01-09 20:01

zookeeper安装和配置

简介分布式应用现在已经越来越广泛，作为服务治理之一的zookeeper应用也比较广泛。在mq集群、微服务、分布式定时任务、分布式锁等方面有着不错的表现。今天来简单介绍一下zookeeper的集群安装。下载下载地址：wgethttp://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gzzkDow
为爱放弃一切·2024-01-09 19:44

Flume的安装

下载地址：http://archive.apache.org/dist/flume/1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[honey@hadoop102software
静宸丶水默含声·2024-01-09 19:32

presto的hive connector连接以及JDBC访问(包含kerberos方式)

参考资料:https://prestodb.io/docs/current/connector/hive.html前言presto支持hiveconnector，并支持连接多个hiveconnector
早点起床晒太阳·2024-01-09 19:45

Oracle databas RMAN 备份脚本

RMAN删除归档日志进入rman管理操作rmantarget/查看所有的归档日志文件crosscheckarchivelogall;DELETEARCHIVELOGALLCOMPLETEDBEFORE‘
为什么不问问神奇的海螺呢丶·2024-01-09 17:19

Linux GitLab 安装部署笔记

说明以下为官方文档的安装说明，详细的信息请访问gitlab官网二、开始安装1、先查看自己的CentosOS版本#这下面的两种方式都可以查看当前Linux的版本信息uname-alsb_release-a2、安装和配置必要的依赖在
Wjhsmart·2024-01-09 16:55

解决：Unity : Error while downloading Asset Bundle: Couldn‘t move cache data 问题

问题日志如下：2-1815:04:10.9242869630223EUnity:Unabletoopenarchivefileforwr
魂玉天成·2024-01-09 15:06

Linux下Go和VSCode的安装和配置（CentOS7）

背景知识1.优势：学习简单，类C，但比C/C++简洁在云原生应用广泛，Docker，K8S等都是用go实现自带GC，方便使用2.劣势：不支持泛型和动态加载代码，发展时间段，生态不如Java，C++庞大安装GO（Linux环境）注意：在安装Go和VSCode时，特别注意root和普通用户权限问题，以下以普通用户zhangsan为例1.进入要安装的路径，在root下如/usr/local，普通用户如/
wxygf·2024-01-09 15:00

hive函数及性能优化

--函数--查询当前系统提供的所有函数showfunctions;--模糊查询函数showfunctionsLIKE'x*y*';--查询指定函数的具体用法DESCFUNCTION函数名称;--查询指定函数的具体用法且带示例DESCFUNCTIONEXTENDED函数名称;--字符（串）函数【注，不分单双引号】--返回字符个数SELECTlength('abc'),length('你我他');se
xinxinyydss·2024-01-09 15:00

6.1.CentOS7下安装Sqoop安装与使用

python编程快速上手（持续更新中…）推荐系统基础一、Sqoop介绍二、Sqoop原理三、Sqoop安装事前准备安装包解压安装四、Sqoop使用1、MySQL->HDFS2、创建job3、导入数据到Hive
IT瘾君·2024-01-09 15:29

sqoop 安装与使用

1.上传sqoop2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类：数据库中的数据导入到HDFS上sqoopimport--connectjdbc
麦香鸡翅·2024-01-09 15:27

大数据学习6-Sqoop安装与使用

sqoop搭建还是挺简单的,前提是hadoop与hive搭建完成上传解压首先下载sqoop,sqoop的版本是1.4.7,sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,提取码
asXt·2024-01-09 15:57

基于spark的Hive2Pg数据同步组件

一、背景Hive中的数据需要同步到pg供在线使用，通常sqoop具有数据同步的功能，但是sqoop具有一定的问题，比如对数据的切分碰到数据字段存在异常的情况下，数据字段的空值率高、数据字段重复太多，影响
zcc_0015·2024-01-09 15:53

Hive基础知识（三）：Linux系统下的MySQL安装

1）检查当前系统是否安装过MySQL[zzdq@hadoop100hive]$rpm-qa|grepmariadbmariadb-libs-5.5.68-1.el7.x86_64#如果存在，就用下面这条命令卸载
依晴无旧·2024-01-09 13:26

Hive基础知识（二）：Hive 安装部署教程

1.安装Hive1）把apache-hive-3.1.2-bin.tar.gz上传到linux的/opt/software目录下2）解压apache-hive-3.1.2-bin.tar.gz到/opt
依晴无旧·2024-01-09 13:25

Hive基础知识（一）：Hive入门与Hive架构原理

1.什么是Hive1）hive简介Hive：由Facebook开源用于解决海量、结构化日志的数据统计工具。
依晴无旧·2024-01-09 13:25
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他