E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive聚合函数
Python大数据之linux学习总结——day10_hadoop原理
Hadoop原理Hadoop基础分布式和集群Hadoop框架概述生态圈版本更新hadoop架构[重点]官方示例圆周率练习词频统计[重点]需求:步骤:Hadoop-HDFS特点hdfs架构块和副本shell命令
Hive
笨小孩124
·
2023-11-19 20:38
Hadoop
学习总结
大数据
python
linux
mac基本工作环境搭建(iterm+zsh+tmux)
2019独角兽企业重金招聘Python工程师标准>>>首先,分享一篇文章,个人觉得他说的挺全的:http://www.wangyuxiong.com/arc
hive
s/52137今天分享一下自己的一些实用经验
weixin_33806509
·
2023-11-19 20:17
shell
ruby
python
mysql事务及隔离级别分析
实现可重复读并发写问题幻读问题背景原文地址:https://duktig.cn/arc
hive
s/73/事
Duktig丶
·
2023-11-19 19:12
mysql
mysql
数据库
事务
事务隔离级别
Minio安装
单节点单硬盘—适用于Linux的MinIO对象存储单例下载rpm,用中国镜像wgethttps://dl.minio.org.cn/server/minio/release/linux-amd64/arc
hive
科氏加速度
·
2023-11-19 19:08
linux
运维
服务器
linux常用命令_干货:Linux常用命令全称及讲解
毕竟常用命令比较多,如果没有你常用的还望海涵,可以评论区补充~文章较长,请耐心阅读,这篇文章比较实用,喜欢的朋友欢迎点赞、收藏、转发噢--------------ar命令–建立或修改备存文件ar命令是“arc
hive
r
weixin_39656513
·
2023-11-19 19:02
linux常用命令
spark 数据倾斜优化
目录spark数据倾斜优化数据倾斜产生的原因数据倾斜七种解决方案使用
Hive
ETL预处理数据过滤少数导致倾斜的key提高shuffle操作的并行度双重聚合将reducejoin转为mapjoin采样倾斜
赤兔胭脂小吕布
·
2023-11-19 17:15
spark
大数据
hive
hadoop
分布式
2️⃣Zookeeper(动物管理员)
封装了大量复杂关键的技术(服务),将简单的接口(API)暴露,高效的使用Zookeeper,稳定性非常高在大数据生态圈,Zookeeper(动物管理员)是一个非常重要的基础技术,Hadoop(大象),
Hive
WovJf
·
2023-11-19 17:40
zookeeper
分布式
云原生
4️⃣
Hive
Hive
是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
WovJf
·
2023-11-19 17:39
hive
数据仓库
Hive
函数
文章目录一、
Hive
建表SQL二、
Hive
函数三、函数1、查看内置函数2、空字段赋值(nvl)3、CASEWHENTHENELSEEND4、行转列5、列转行6、开窗函数6.1简介6.2语法6.3案例6.4LAG
ha_lydms
·
2023-11-19 16:40
大数据
hive
hadoop
数据仓库
oracle关闭数据库归档,如何启动或关闭Oracle的归档(ARC
HIVE
LOG)模式
如何启动或关闭Oracle的归档(ARC
HIVE
LOG)模式如何启动或关闭Oracle的归档(ARC
HIVE
LOG)模式1.管理员身份连接数据库C:\Users\Administrator>sqlplussys
Gaven Wang
·
2023-11-19 16:40
oracle关闭数据库归档
HIVE
与HDFS映射关系
问题1:
Hive
一条Select语句,底层是如何读取HDFS文件的?
Eqo
·
2023-11-19 15:40
centos oracle11g开启归档模式
使用SYSDBA权限连接到数据库打开终端应用程序,输入以下命令以使用SYSDBA权限连接到数据库:su-oracle;sqlplus/assysdba;查看是否已开启归档模式arc
hive
logli
柏伦 Belen
·
2023-11-19 15:01
oracle
oracle
数据库
分组表,分桶表
1,启动
Hive
服务(1)启动
Hive
Server2服务nohup
hive
--servicemetastore&(2)启动Metastore服务nohup
hive
--service
hive
server2&
祈愿lucky
·
2023-11-19 15:29
大数据
大数据
Hive
数据表操作--学习笔记
1,
Hive
数据表操作1,建表语句和内外部表①创建内部表create[external]table[ifnotexists]表名(字段名字段类型[comment'注释'],字段名字段类型[comment
祈愿lucky
·
2023-11-19 15:59
大数据
hive
学习
笔记
Python大数据之linux学习总结——day06_
hive
02
hive
02
hive
内外表操作建表语法数据类型表分类内部表基本操作[练习]知识点:外部表基本操作[练习]知识点:示例:查看/修改表示例:默认分隔符示例:快速映射表[练习]知识点:示例:数据导入和导出文件数据加载导入
笨小孩124
·
2023-11-19 15:58
hive
学习任务
python
大数据
linux
大数据之
Hive
:regexp_extract函数案例
目录一、正则的通配符简介1、正则表达式的符号及意义2、各种操作符的运算优先级:二、案例数据要求分析实现输出结果实现2实现3总结一、正则的通配符简介1、正则表达式的符号及意义符号含义实列/做为转意,即通常在"/"后面的字符不按原来意义解释如"*“匹配它前面元字符0次或多次,/a*/将匹配a,aa,aaa,加了”/"后,/a/*/将只匹配"a*".匹配任何一个字符^匹配一个输入或一行的开头/^a/匹配
浊酒南街
·
2023-11-19 15:27
大数据系列三
hive
hadoop
数据仓库
WINDOWS安装多个JDK,并随意切换JDK版本
WIN10系统JDK1.8JDK8的下载目录:JavaArc
hive
Downloads-JavaSE8Java
JYWWABF
·
2023-11-19 15:26
其他
idea
java
jdk
2023.11.16
hive
sql高阶函数之开窗函数
目录1.开窗函数的定义2.数据准备3.开窗函数之排序需求:用三种排序方法查询学生的语文成绩排名,并降序显示4.开窗函数分组需求:按照科目来分类,使用三种排序方式来排序学生的成绩5.
聚合函数
与分组配合使用
白白的wj
·
2023-11-19 15:49
数据库
sql
大数据
数据仓库
database
hadoop
hive
Android MQTT开发之
Hive
mq MQTT Client
使用一个开源库:
hive
mq-mqtt-client,这是Java生态的一个MQTT客户端框架,需要Java8,Android上使用的话问题不大,需要一些额外的配置,下面列出了相关的配置,尤其是packagingOptions
又菜又爱coding
·
2023-11-19 15:17
Android开发
android
mqtt
Hive
常见的面试题(十二道)
Hive
1.
Hive
SQL的执行流程⾸先客户端通过shell或者Beeline等⽅式向
Hive
提交SQL语句,之后sql在driver中经过解析器(SQLParser):将SQL字符串转换成抽象语法树AST
地球魔
·
2023-11-19 15:16
hive
hadoop
数据仓库
Hive
sql中条件写在on和where的区别
usedmp;createtabledmp.yl_test_1(idint,namestring);createtabledmp.yl_test_2(idint,ageint);insertintodmp.yl_test_1values(1,'aa');insertintodmp.yl_test_1values(2,'bb');insertintodmp.yl_test_1values(3,'cc
烟雨人长安
·
2023-11-19 15:13
hive
sql
hadoop
hive
sql 取当周周一 str_to_date(DATE_FORMAT(biz_date, ‘%Y%v‘), ‘%Y%v‘)
selectstr_to_date(DATE_FORMAT(biz_date,'%Y%v'),'%Y%v')方法拆解selectDATE_FORMAT(now(),'%Y%v'),str_to_date(202346,'%Y%v')
mohana48833985
·
2023-11-19 15:12
hive
sql
hadoop
Hive
语法,函数--学习笔记
1,排序处理1.1clusterby排序,在
Hive
中使用orderby排序时是全表扫描,且仅使用一个Reduce完成。在海量数据待排序查询处理时,可以采用【先分桶再排序】的策略提升效率。
祈愿lucky
·
2023-11-19 15:41
大数据
hive
学习
笔记
在windows操作系统下安装与配置MySQL
在其地址栏中输入网址“https://dev.mysql.com/downloads/mysql”,按回车键进入下载页面,然后选择5.7.24版本,此处选择“Windows(x86,64-bit),ZIPArc
hive
鹿其97
·
2023-11-19 14:18
MySQL
mysql
Hive
客户端
hive
与beeline的区别
hive
与beeline简介1、背景2、
hive
3、beeline4、
hive
与beeline的关系1、背景
Hive
的
hive
与beeline命令都可以为客户端提供
Hive
的控制台连接。
对许
·
2023-11-19 14:12
#
Hive
#
Hadoop生态圈
hive
hadoop
Hive
插入数据警告:
Hive
-on-MR is deprecated in
Hive
2 and may not be available in the future versions
Hive
插入表数据持续等待警告问题解决1、问题描述2、原因分析3、问题解决1、问题描述启动Hadoop,使用
hive
server2启动
Hive
的JDBC服务并使用IDE连接到
Hive
,创建表成功,但是INSERT
对许
·
2023-11-19 14:42
#
Hadoop生态圈
#
Hive
#
数据湖仓
hive
mr
hadoop
Apache Atlas 执行导入
hive
元数据脚本import-
hive
.sh报错
目录一、问题一1问题2解决二、问题二1问题2解决2.1查看
hive
是否正常2.2解决
hive
命令行无法启动问题2.3解决
hive
无法查询数据库问题2.4修改
hive
-site.xml一、问题一1问题ApacheAtlas
终回首
·
2023-11-19 14:18
大数据
Apache
Atlas
Apache
Hive
3.Apache
Hive
查询报错 FAILED: org.apache.hadoop.
hive
.ql.exec.mr.MapredLocalTask
版本CDH6.2.0
Hive
2.1.1-cdh6.2.0一、问题执行查询视图的sql报错:FAILED:ExecutionError,returncode3fromorg.apache.hadoop.
hive
.ql.exec.mr.MapredLocalTask
终回首
·
2023-11-19 14:18
大数据
#
Apache
Hive
hive
大数据
结合李沐动手学深度学习配置环境
也可以通过镜像源下载:清华源:https://mirrors.tuna.tsinghua.edu.cn/anaconda/arc
hive
/(大家安装完了千万不用pipinstalljupyter在一个虚拟环境
鱼小丸
·
2023-11-19 14:14
深度学习
python
tensorflow
Apache
Hive
源码阅读环境搭建
前置软件:JDK1.8Maven3.3.91下载源码#下载源码gitclonehttps://github.com/apache/
hive
.gitcd
hive
#查看标签gittag#切换到要阅读的指定版本的
终回首
·
2023-11-19 14:08
#
Apache
Hive
大数据
apache
hive
hadoop
ERROR: Cannot determine arc
hive
format of C:\Users\0000328421\AppData\Local\Temp\pip-req-build-b3m9h
ERROR:Cannotdeterminearc
hive
formatofC:\Users\0000328421\AppData\Local\Temp\pip-req-build-b3m9hzqbpipinstall-ihttps
_冰澈
·
2023-11-19 13:41
1024程序员节
Ubuntu 下 Anaconda的安装
Anaconda安装:UbuntuAnaconda下载地址:https://www.anaconda.com/distribution/或https://repo.anaconda.com/arc
hive
余亚伟_强化班
·
2023-11-19 13:53
Zookeeper C客户端库编译
yuminstall-ycppunit-develyuminstall-yant编译下载release版本的源码:wgethttps://github.com/apache/zookeeper/arc
hive
风雅的远行者
·
2023-11-19 13:59
php对接dubbo
php
MySQL-嵌套使用 CASE 表达式
嵌套使用CASE表达式完成CASE表达式可以写在SELECT子句里的
聚合函数
内部,也可以写在
聚合函数
外
IT小生2020
·
2023-11-19 13:56
开发应用-数据库MySQL
2023-
Hive
调优最全指南
本文基本涵盖以下内容:一、基于Hadoop的数据仓库
Hive
基础知识二、
Hive
SQL语法三、
Hive
性能优化四、
Hive
性能优化之数据倾斜专题五、
Hive
SQL优化十二板斧六、
Hive
面试题(一)七、
000X000
·
2023-11-19 13:43
数据仓库
性能测试和优化
HIVE
hive
hadoop
大数据
Hive调优最全指南
Hive
调优指南
Hive
调优指南Apache
Hive
是一个基于Hadoop的数据仓库解决方案,用于查询和分析大量的结构化数据。为了提高
Hive
查询性能和效率,本文将介绍一些
Hive
调优的策略和方法。
小泽长不胖
·
2023-11-19 13:41
大数据
hive
hadoop
大数据
Maxcompute 小记1
3、排除某个不想要的字段4、bigint和string关联5、sum()over()--级联求和6、lag()over()--(取出前n行数据)7、一次奇葩的数据倾斜调优经历\1、关于NULL值排序①
HIVE
大数据00
·
2023-11-19 13:10
阿里云
数据仓库
sql
mysql
数据库
数仓开发面试题之Hadoop相关
提纲MapReduce原理,map数、reduce数的参数说一下mapjoin与reducejoin
hive
sql怎么优spark和
hive
的区别数据倾斜几种解决方式数据如何清洗说一下udf、udtf、
话数Science
·
2023-11-19 13:39
面试
大数据
hadoop
大数据
Hive
Sql语法与调优
目录一.数据类型对比1.基本数据类型2.集合数据类型二.DDL数据定义1.数据库1.1.创建数据库1.2.显示数据库1.3.查看数据库详情1.4.切换数据库1.5.修改数据库1.6.删除数据库2.表2.1.创建表模板2.2.创建内部表与外部表2.3.创建表指定数据格式2.4.拷贝表结构2.5.创建分区表2.6.分桶与分桶排序2.7.设置表文件存储格式与压缩2.8.获取表信息2.9.修改表2.10.
派大星`
·
2023-11-19 13:09
hive
数据库
Hive
学习历程
Hive
学习历程使用
Hive
时需要打开Hadoop集群以及
hive
server这里可以使用脚本来打开[hadoop@node02~]$all.shstart[hadoop@node02~]$hvservice.shstart
jasondde
·
2023-11-19 12:06
hive
学习
数据库
【大数据项目】基于大数据可视化的互联网设备可视化平台
项目案例推荐天码编程-SSM项目案例推荐天码编程-Python项目案例推荐天码编程-小程序项目案例推荐天码编程-大数据项目案例推荐文末获取源码项目名基于大数据可视化的互联网设备可视化平台技术栈Hadoop+
Hive
天码编程
·
2023-11-19 12:32
[Python项目]
[大数据可视化项目]
大数据
信息可视化
2023.11.17-
hive
调优的常见方式
目录0.设置
hive
参数1.数据压缩2.
hive
数据存储格式3.fetch抓取策略4.本地模式5.join优化操作6.SQL优化(列裁剪,分区裁剪,map端聚合,count(distinct),笛卡尔积
白白的wj
·
2023-11-19 12:59
hive
hadoop
数据仓库
database
sql
大数据
SQL Server 数据库之
聚合函数
聚合函数
1.概述2.
聚合函数
2.1Sum函数求和2.2Avg求平均值2.3Min函数返回最小值2.4Max函数返回最大值2.5Count函数统计表记录数2.6Distinct函数取不重复记录2.7查询重复记录
菇毒
·
2023-11-19 12:05
SQL
server
sqlserver
数据库
聚合函数
Linux MMC子系统 - 3.eMMC 5.1常用命令说明(1)
By:AilsonJackDate:2023.11.05个人博客:http://www.only2fire.com/本文在我博客的地址是:http://www.only2fire.com/arc
hive
s
jackailson
·
2023-11-19 12:53
#
Linux
MMC子系统
linux
Linux内核与驱动
Linux
MMC子系统
eMMC
MMC
嵌入式
Linux MMC子系统 - 4.eMMC 5.1常用命令说明(2)
By:AilsonJackDate:2023.11.12个人博客:http://www.only2fire.com/本文在我博客的地址是:http://www.only2fire.com/arc
hive
s
jackailson
·
2023-11-19 12:53
#
Linux
MMC子系统
linux
Linux内核与驱动
Linux
MMC子系统
eMMC
MMC
嵌入式
Linux MMC子系统 - 5.eMMC 5.1工作模式-引导模式
By:AilsonJackDate:2023.11.19个人博客:http://www.only2fire.com/本文在我博客的地址是:http://www.only2fire.com/arc
hive
s
jackailson
·
2023-11-19 12:39
#
Linux
MMC子系统
linux
Linux内核与驱动
Linux
MMC子系统
eMMC
MMC
嵌入式
关于Ubutun20及以上安装gcc-4.4 gcc-4.4-multilib的方法
一般方法添加更新源sudoadd-apt-repository'debhttp://arc
hive
.ubuntu.com/ubuntu/trustymain'sudoadd-apt-repo
Tolalal
·
2023-11-19 11:53
学习笔记
linux
ubuntu
Pandas分组聚合_Python数据分析与可视化
Pandas分组聚合分组单列和多列分组Series系列分组通过数据类型或者字典分组获取单个分组对分组进行迭代聚合应用单个
聚合函数
应用多个
聚合函数
自定义函数传入agg()中对不同的列使用不同的
聚合函数
分组聚合的流程主要有三步
阿松爱睡觉
·
2023-11-19 11:39
Python数据分析可视化
数据分析
python
pandas
jupyter
数据可视化
JS截取URL中最后一个斜杠前(后)内容
varindex=url.lastIndexOf("\/");str=url.substring(0,index+1);console.log(str);//http://www.mywlaq.cn/arc
hive
s
诗无尽头i
·
2023-11-19 11:51
【MySQL】
聚合函数
:汇总、分组数据
使用UNION,SUM,BETEENAND)GROUPBY子句练习2(使用sum,groupby,joinon,joinusing)HAVING子句分组筛选WITHROLLUP运算符学习目标掌握常用的
聚合函数
xuwuuu
·
2023-11-19 11:06
mysql
上一页
69
70
71
72
73
74
75
76
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他