E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive基本语法
python推导式
列表推导式
基本语法
如下图:其他推导式的语法也基本相似,看着有点lambda的感觉,上面图片遍历一个名为oldlist的列表,并将大于0的元素逐一进行双倍运算后,添加至新列表newlist中。
电商人学python
·
2024-03-15 16:17
python基础及进阶
python
开发语言
经验分享
Hive
中的NVL函数与COALESCE函数
ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.hadoop.
hive
.ql.udf.generic.GenericUDFNv
独影月下酌酒
·
2024-03-15 13:13
Hadoop
大数据
hive
hadoop
数据仓库
hive
库表占用空间大小的命令
1、查每个
hive
表占用的空间大小hdfsdfs-du-h/user/
hive
/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/
hive
/warehouse/ipms.db|
刀鋒偏冷
·
2024-03-15 13:13
hive
hadoop
数据仓库
Hive
中常用函数 wm_concat & concat_ws & collect_set & sort_array总结
concat_ws&collect_set:应用1:usereach_iduser_id1id1user_id1id2user_id2id1user_id2id2user_id2id3user_id3id1useridsuser_id1id1,id2user_id2id1,id2,id3user_id3id1selectdt,user_id,concat_ws(',',collect_set(ea
Lens5935
·
2024-03-15 13:12
Hive
数据库
数据分析
hive
大数据
sql
数据库
postgresql
HIVE
表中导入导出数据的几种方式
一:往
HIVE
表中导入导出数据语法结构:[]带括号的表示可选择字段LOADDATA[LOCAL]INPATH‘filepath’[OVERWRITE]INTOTABLEtablename[PARTITION
qq_37805784
·
2024-03-15 12:11
hive
大数据
数据仓库
Hive
中的CONCAT、CONCAT_WS与COLLECT_SET函数
1.CONCAT与CONCAT_WS函数1.1CONCAT函数--concat(str1,str2,...strN)-returnstheconcatenationofstr1,str2,...strNorconcat(bin1,bin2,...binN)-returnstheconcatenationofbytesinbinarydatabin1,bin2,...binNReturnsNULLi
独影月下酌酒
·
2024-03-15 11:09
大数据
Hadoop
hive
hadoop
数据仓库
03
hive
数仓安装与基础使用
hive
Hive
概述
Hive
是基于Hadoop的一个数据仓库工具。
daydayup9527
·
2024-03-14 13:39
hadoop_hive
运维
hadoop
Hive
函数 LAG 和 LEAD 使用示例
Hive
函数LAG和LEAD使用示例在
Hive
中LAG和LEAD是用于访问前一个或后一个行的函数,通常与窗口函数一起使用。
公子乂
·
2024-03-13 05:24
hive
hadoop
数据仓库
sql
大数据
Apache Paimon 使用之Creating Catalogs
hive
metastore,将metadata存储在
Hive
metastore中。用户可以直接从
Hive
访问表。
猫猫爱吃小鱼粮
·
2024-03-12 03:48
Paimon
apache
hive
hadoop
Sqoop一些常用命令及参数
命令类说明importImportTool将数据导入到集群exportExportTool将集群数据导出codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jarcreate-
hive
-tableCreate
Hive
TableTool
大数据小同学
·
2024-03-11 09:19
Spark从入门到精通29:Spark SQL:工作原理剖析以及性能优化
SparkSQL工作原理剖析1.编写SQL语句只要是在数据库类型的技术里面,例如MySQL、Oracle等,包括现在大数据领域的数据仓库,例如
Hive
。
勇于自信
·
2024-03-11 00:20
hive
--去除特殊字符regexp_replace
文章目录regexp_replace`'\tabc\ndef\rhij'`→`'abcdefhij'``'\tabc\ndef\rhij'`→`'abcdefhij'`看一下其他的情况regexp_replace'\tabc\ndef\rhij'→'abcdefhij'selectregexp_replace('\tabc\ndef\rhij','\n|\t|\r|','');'abcdefhij
韩家小志
·
2024-03-10 22:21
一些杂项
replace
hive去特殊字符
Hive
--行转列/列转行
行转列/列转行一、lateralview案例1:与explode连用案例2:与parse_url_tuple连用二、explode三、行列转换行转列多行转多列多行转单列列转行多列转多行单列转多行一、lateralview分类:视图功能:配合UDTF来使用,把某一行数据拆分成多行数据很多的UDTF不能将结果与源表进行关联,使用lateralview,可以将UDTF拆分的单个字段数据与原始表数据关联上
韩家小志
·
2024-03-10 22:51
#
Hive函数
hive
markdown学习笔记
2.
基本语法
2.1标题使用#来表示标题,标题的级别由#的数量决定。一个#表示一级标题,两个#表示二级标题,以此类推。#一级标题
imgsq
·
2024-03-10 21:21
笔记
学习
笔记
Markdown
Hive
SQL某天每个直播间最大在线人数
一张表dwd_user_log有如下字段:1)直播间:live_id2)用户:userid3)时间戳:date_stamp4)登陆类型:entry_type(登入in和登出out)求某天每个直播间最大在线人数?selectlive_id,max(total_users)max_total_usersfrom(selectlive_id,userid,date_stamp,sum(ind)over(
sofo2017
·
2024-03-09 21:51
数据仓库技术体系
hive
Hive
SQL 开发指南(三)优化及常见异常
在大数据领域,
Hive
SQL是一种常用的查询语言,用于在Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的
Hive
SQL开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
深度学习应该如何入门?
另外,选择一门编程语言作为工具,如Python,掌握其
基本语法
和常用库的使用。2.学习机器学习吴恩达的机器学习课程是一个很好的入门教程。虽然有些地
wypdao
·
2024-03-09 11:38
人工智能
深度学习
人工智能
大数据开发(Hadoop面试真题-卷九)
大数据开发(Hadoop面试真题)1、
Hive
count(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
Hive
分组排序取topN的sql查询示例
Hive
分组排序取topN的sql查询示例要在
Hive
中实现分组排序并取每组的前N条记录,可以使用ROW_NUMBER()窗口函数结合PARTITIONBY和ORDERBY子句。
公子乂
·
2024-03-06 08:31
hive
sql
hadoop
大数据
数据仓库
归档模式
1:归档日志文件在线日志——用于崩溃/实例恢复/介质恢复归档日志——用于介质恢复2:确认数据库是否为归档模式arc
hive
loglist;--查看数据归档信息selectlog_modefromv$database
个人精进成长营
·
2024-03-06 08:12
hbase、
hive
、clickhouse对比
概念架构hbasemaster存储元数据、regionServer实际控制表数据,存储单位是Region,底层数据存储使用HDFS
hive
通过driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库
freshrookie
·
2024-03-05 16:40
hbase
hive
hadoop
Mac 离线安装Qt5
1下载QT1.1.打开链接:https://download.qt.io/arc
hive
/qt/在这个链接上,可以看到不同版本的QT,我们选择稳定5.9/点开后,选择5.9.8版本,可以看到不同版本的QT
熊明之
·
2024-03-05 11:33
mac
c++
Linux gitps命令教程:简化Git操作的利器(附实例详解和注意事项)
Linuxgitps命令的
基本语法
g
我要下东西噢
·
2024-03-04 15:38
linux
linux
git
运维
hive
--字符串连接函数concat(),concat_ws()
一、字符串连接函数:concat功能:将多个字符串连接成一个字符串语法:concat(stringA,stringB…)返回值:string说明:返回输入字符串连接后的结果,支持任意个输入字符串举例:
hive
nuhao_
·
2024-03-03 17:08
sql
数据库
hive
hadoop
数据仓库
【Hadoop】使用Metorikku框架读取
hive
数据统计分析写入mysql
一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置,具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233
·
2024-03-03 06:23
Hadoop
Scala
hadoop
hive
mysql
hive
join中出现的数据暴增(数据重复)
什么是join过程中导致的数据暴增?例如:给左表的每个用户打上是否是新用户的标签,左表的用户数为100,但是关联右表之后,得到的用户数为200甚至更多什么原因导致的数据暴增呢?我们来看一下案例:spark-sql>withtest1as>(select'10001'asuid,'xiaomi'asqid>unionall>select'10002'asuid,'huawei'asqid>union
不想起的昵称
·
2024-03-02 15:03
hive
大数据
hadoop
hive
hive
四种常见的join
1.左连接leftjoinspark-sql>withtest1as(>select1asuser_id,'xiaoming'asname>unionall>select2asuser_id,'xiaolan'asname>unionall>select3asuser_id,'xiaoxin'asname>),>>test2as(>select1asuser_id,19asage>unionall
不想起的昵称
·
2024-03-02 15:33
hive
大数据
hadoop
hdfs
hive
UnityAPI的学习——Time类
realtimeSinceStartup属性:程序运行实时时间
基本语法
publicstaticfloatrealtimeSinceStartup{get;}功能说明此属性用于返回从游戏启动到现在已运行的实时
ht_game
·
2024-03-02 15:32
学习
如何用SQL语句创建数据库
以下是CREATEDATABASE语句的
基本语法
:CREATEDATABASEdata
望舒巴巴
·
2024-03-02 03:45
oracle
数据库
Linux之scp
SCP进行文件传输1、
基本语法
:2、具体用法1、从本地将文件传输到服务器2、从本地将文件夹传输到服务器3、将服务器上的文件传输到本地4、将服务器上的文件夹传输到本地1、
基本语法
:Linuxscp命令用于
阿汤哥的程序之路
·
2024-02-29 12:21
Linux
linux
运维
服务器
Spark整合
hive
(保姆级教程)
准备工作:1、需要安装配置好
hive
,如果不会安装可以跳转到Linux下编写脚本自动安装
hive
2、需要安装配置好spark,如果不会安装可以跳转到Spark安装与配置(单机版)3、需要安装配置好Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
Hive
复杂数据类型之array
定义格式如下:createtabletableName(......colNamearray......)说明:下标从0开始,越界不报错,以null代替案例准备:测试数据zhangsan78,89,92,96lisi67,75,83,94王五23,12createtableifnotexistsarr1(namestring,scoresarray)rowformatdelimitedfields
鸭梨山大哎
·
2024-02-28 08:48
hive
hive
array
数据类型
Hive
数据仓库行转列
查了很多资料发现网上很多文章都是转发和抄袭,有些问题。这里分享一个自己项目中使用的行转列例子,供大家参考。代码如下:SELECTmy_id,nm_cd_map['A']ASmy_cd_a,nm_cd_map['B']ASmy_cd_b,nm_cd_map['C']ASmy_cd_c,nm_num_map['A']ASmy_num_a,nm_num_map['B']ASmy_num_b,nm_num
XueminXu
·
2024-02-28 07:47
大数据
hive
行转列
str_to_map
COLLECT_LIST
STRUCT
Hive
--删除数据库
一、删除数据库注意:
Hive
与MySQL再删除数据库时是有一点不一样的。
Hive
再删除数据库操作时,要保证该库下没有任何数据表!
nuhao_
·
2024-02-26 19:33
hive
数据库
hadoop
转载:Linux全自动批量配置SSH免密
转载自https://www.mr-mao.cn/arc
hive
s/auto-configure-ssh-nopass-login.html1、在主机的操作系统上安装expect2、新建host_ip文件
徐sir(徐慧阳)
·
2024-02-26 04:14
系统集成
网络
服务器
linux
hive
学习笔记之九:基础UDF
欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;《
hive
程序员欣宸
·
2024-02-26 00:05
【超详细】
HIVE
日期函数(当前日期、时间戳转换、前一天日期等)
文章目录相关文献常量:当前日期、时间戳前一天日期、后一天日期获取日期中的年、季度、月、周、日、小时、分、秒等时间戳转换时间戳to日期日期to时间戳日期之间月、天数差作者:小猪快跑基础数学&计算数学,从事优化领域5年+,主要研究方向:MIP求解器、整数规划、随机规划、智能优化算法。如有错误,欢迎指正。如有更好的算法,也欢迎交流!!!——@小猪快跑相关文献LanguageManualUDF-Apach
小猪快跑爱摄影
·
2024-02-25 21:04
HIVE
hive
hadoop
数据仓库
數據集成平台:datax將MySQL數據以query方式同步到
hive
數據集成平台:datax將MySQL數據以query方式同步到
hive
1.py腳本#coding=utf-8importjsonimportgetoptimportosimportsysimportMySQLdbimportre
m0_37759590
·
2024-02-25 09:18
mysql
hive
datax
mysql
hive
datax
【如何系统学习Python】
第一步:理解Python的
基本语法
学习任何编程语言的前提都是理解它的
基本语法
。Python的语法相对更为简单易懂。
723z
·
2024-02-25 01:39
学习
python
开发语言
php 打包 zip
php使用原生的ZipArc
hive
类来打包zip。
·
2024-02-24 15:57
phpzip打包
SQLite Limit 子句
语法带有LIMIT子句的SELECT语句的
基本语法
如下:SELECTcolumn1,column2,columnNFROMtable_nameLIMIT[noofrows]下面是LIMIT子句与OFFSET
木易林1
·
2024-02-24 10:37
如何系统的自学python
自学Python可以按照以下步骤进行:了解基础知识:首先,你需要了解Python的
基本语法
和概念,如变量、数据类型、条件语句、循环语句、函数等。
MarkHD
·
2024-02-24 04:50
python
带你熟练掌握 css 基础
Css基础文章目录Css基础一、Css是什么二、
基本语法
规则2.1css的注释2.2格式规范三、选择器的种类四、基础选择器4.1标签选择器4.2类选择器(常用选择器)4.3id选择器4.4通配符选择器五
鸢也
·
2024-02-20 23:28
css
css3
前端
带你了解CSS上篇
CSS的
基本语法
规范选择器+{一条/N条声明}选择器决定针对谁修改(找谁)声明决定修改什么(干什么)声明的属性是键值对。使用;区分键值对,
fly in the sky !
·
2024-02-20 23:54
前端
css
前端
程序人生
学习
OpenHarmony JS和TS三方组件使用指导
OpenHarmonyJS和TS三方组件介绍OpenHarmonyJS和TS三方组件使用的是OpenHarmony静态共享包,即HAR(HarmonyArc
hive
),可以包含js/ts代码、c++库、
不入流HarmonyOS开发
·
2024-02-20 22:04
鸿蒙
HarmonyOS
OpenHarmony
harmonyos
华为
职场和发展
鸿蒙系统
鸿蒙开发
OpenHarmony
鸿蒙工程师
MATLAB 编程风格指南
转载自:http://blog.csdn.net/chenyusiyuan/arc
hive
/2007/11/19/1892378.aspxMATLAB编程风格指南——RichardJohnsonVersion1.5
DeepLearning
·
2024-02-20 22:13
Matlab学习
matlab
编程
文档
语言
测试
documentation
python - 错误处理和异常
以下是try-except语句的
基本语法
:try:#可能引发异常的代码
tanyyinyu
·
2024-02-20 21:03
python
开发语言
【从Python基础到深度学习】7. 使用scp命令实现主机间通讯
基本语法
如下:ssh-copy-id[-i[identity_file]]
风筝超冷
·
2024-02-20 21:21
linux
服务器
ubuntu
HarmonyOS开发准备 TypeScript
基本语法
HarmonyOS开发准备TypeScript
基本语法
TypsScript官网:https://www.typescriptlang.org/play可在官网Playround在线运行Typescript
宸子涵
·
2024-02-20 20:19
HarmonyOS
typescript
javascript
harmonyos
鸿蒙
hive
的map数和reduce如何确定
一、控制
hive
任务中的map数:1.通常情况下,作业会通过input的目录产生一个或者多个map任务。
Super乐
·
2024-02-20 20:38
hive
hive
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他