E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据仓库&Hive
【Flink入门修炼】1-1 为什么要学习 Flink?
一、批处理和流处理早些年,大数据处理还主要为批处理,一般按天或小时定时处理数据,代表性的框架为MapReduce、
Hive
、Spark等。
大数据王小皮
·
2024-02-06 07:29
Flink
入门修炼
flink
学习
大数据
SQL在数据中台/
数据仓库
领域的局限性
在复杂数据项目场景下,SQL的使用存在局限巨大的局限性可能表现为业务逻辑的碎片化、不能全局优化、无效的数据移动以及大量使用临时表。业务逻辑的碎片化问题在冗长的SQL脚本中,每一个目标数据项(指标、标签等)的逻辑分散在众多的SQL代码段中,每个SQL代码中又承载了多个目标数据项业务逻辑的碎片。在冗长的SQL脚本中,业务逻辑碎片交叉耦合。目标数据项目业务逻辑碎片化,破坏了业务逻辑的原子性,导致一系列问
Trident敏捷数据开发平台
·
2024-02-06 07:56
sql
大数据
数据仓库
etl
数据库开发
无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用)
sudorm/var/cache/apt/arc
hive
s/locksudorm/var/lib/dpkg/lock
我想回精神病院住
·
2024-02-06 07:44
【Iceberg学习四】Evolution和Maintenance在Iceberg的实现
例如,
Hive
表的分区布局无法更改,因此从每日分区布局变更到每小时分区布局需要新建一个表。而且因为查询依赖于分区,所以必须为新表重写查询。
周润发的弟弟
·
2024-02-06 07:53
Iceberg
学习
SAP BW/4HANA学习笔记1
1.MasterDataBW/4HANABW/4HANA简介BW/4HANA的前身是SAPBW(BusinessWarehouse),本质是一种
数据仓库
解决方案。
偶是不器
·
2024-02-06 05:01
学习
数据仓库
数据挖掘
数据库
数据分析
使用 python 写 COM
原帖地址:http://www.cppblog.com/bigsml/arc
hive
/2008/08/14/58851.htmlPython支持Com调用(clientcom)以及撰写COM组件(servercom
DarkChampion
·
2024-02-06 05:06
Python
python
server
module
import
debugging
path
【Unity打包APK报错BuildConfig is defined multiple times】
\RichTownU3D_2021\Library\Bee\Android\Prj\IL2CPP\Gradle\launcher\build\intermediates\project_dex_arc
hive
大号叉裆裤
·
2024-02-06 03:17
Unity
unity
android
gradle
Android studio gradle 编译异常 Error while merging dex arc
hive
s:
最近在androidstudio4.0.1版本导入androidcharts这个库的时候,编译遇到报错Errorwhilemergingdexarc
hive
s:AGPBI:{"kind":"error"
初见雪
·
2024-02-06 03:16
android
android
studio
android
gradle
debug
PySpark(四)PySpark SQL、Catalyst优化器、Spark SQL的执行流程
DataFrame代码风格DSLSQLSparkSQLShuffle分区数目DataFrame数据写出SparkUDFCatalyst优化器SparkSQL的执行流程PySparkSQL基础PySparkSQL与
Hive
独憩
·
2024-02-06 03:14
PySpark
sql
数据库
python
spark
Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装
就Ambari的作用来说,就是创建、管理、监视Hadoop集群,但是这里的Hadoop指的是Hadoop整个生态圈(例如
Hive
,Hbase,Sqoop,Zookeeper等),而并不仅是特指Had
WaiSaa
·
2024-02-06 02:53
邓白氏编码申请
公司在全球的身份证http://www.siixu.com/arc
hive
s/1581.进入开发者账号申请https://jingyan.baidu.com/article/27fa7326bd29df46f9271f10
全世界妳最美
·
2024-02-06 01:48
visual stuido.net 2005 下asp.net2.0网站简单发布
具体就看前面写的BLOGhttp://blog.csdn.net/hzleihuan/arc
hive
/2006/12/13/1441331.aspx了。
hzleihuan
·
2024-02-05 23:40
asp.net(vb)
asp.net
服务器
数据库服务器
报表
iis
x86
dialog嵌进widget qt_QT中QWidget、QDialog及QMainWindow的区别
本文转自http://www.cnblogs.com/aqxin/arc
hive
/2011/05/23/2054156.htmlQWidget类是所有用户界面对象的基类。
DetonationCP
·
2024-02-05 21:00
dialog嵌进widget
qt
在windows笔记本中安装tensorflow1.13.2版本的gpu环境
1.1Anaconda安装1.2tensorflow-gpu安装1.3python编译器-pycharm安装1.1Anaconda安装从镜像源处下载anaconda,地址:Indexof/anaconda/arc
hive
bug生成中
·
2024-02-05 20:22
python实用思路讲解
python
tensorflow
gpu
深度学习
Runtime实例运用-归档解档
一.回忆存储方法:XML归档解档NSUserDefaultNSKeyedArc
hive
r归档解档sqlite1.XML归档解档1)数据类型只支持NSString、NSDictionary、NSArayy
蔚尼
·
2024-02-05 19:11
kvm qemu 优化 windows 虚拟机速度
主要优化磁盘io和网络io都选为virtiowindows驱动下载https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/arc
hive
-virtio
nongcunqq
·
2024-02-05 18:34
Linux
笔记
windows
编译mnistCUDNN时出错:fatal error: FreeImage.h: No such file or directory
Nosuchfileordirectory在测试CUDNN是否正常使用时候报错测试CUDNN8.1是否正常使用1.在https://developer.nvidia.com/rdp/cudnn-arc
hive
勤奋的懒猫
·
2024-02-05 17:18
个人笔记
cuda
数据仓库
系列:星型模型和雪花型模型
在实际工作中多维分析的商业智能解决方案,根据事实表和维度表的关系,又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。一、星型模型星型模型:是一种多维的数据关系,它由一个事实表(FactTable)和一组维表(DimensionTable)组成。每个维表都有一个维作为主键,所有这些维的主键组合成事实表的主键。事实表的非主键属性称
小黎子数据分析
·
2024-02-05 16:02
Hudi学习1:概述
Hudi概念Hudi跟
hive
很像,不存储数据,只是管理hdfs数据。
hzp666
·
2024-02-05 14:59
Hudi
学习
hudi
数据湖
湖仓一体
计算机毕业设计hadoop+spark+
hive
小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计
流程1.爬取17k的小说数据约5-10万,存入mysql数据库;2.使用mapreduce对mysql中的小说数据集进行数据清洗,转为.csv文件上传至hdfs文件系统;3.根据.csv文件结构,使用
hive
计算机毕业设计大神
·
2024-02-05 14:48
工作流调度器azkaban(一) 简介与安装部署
为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、
hive
脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划
做个合格的大厂程序员
·
2024-02-05 13:11
Linux shell脚本超详细安装mysql
/bin/bash#自动化脚本安装mysql#本文使用的是wget下载mysql包#官方mysql下载的地址:https://downloads.mysql.com/arc
hive
s/community
蓝颜~岁月
·
2024-02-05 12:04
Shell
linux
mysql
数据库
SQL Parser
https://blog.csdn.net/w1047667241/article/details/123110220alibabadruid经过不断迭代,已经解决了很多
hive
解析的bug,比如2020
TaiKuLaHa
·
2024-02-05 11:27
sql
数据库
HIVE
经验汇总
```sql--一日期计算和转换--1.1系统时间SELECTSYSDATE--2021-01-27DATE,SYSTIME--18:01:57,SYSTIMESTAMP--2021-01-2718:01:57DATE,current_date--2020-05-14DATE,current_timestamp--2020-05-1410:26:57.613FROMSYSTEM.DUAL;--1.
长江中下游程序猿
·
2024-02-05 10:28
hive
hive
【
hive
日期函数】
hive
常用日期函数+扩展
日期函数1、from_unixtime:转化unix时间戳到当前时区的时间格式selectfrom_unixtime(1641044052,'yyyyMMdd');--输出:202201012.unix_timestamp:转换到UNIX时间戳--当前时间selectunix_timestamp();--输出:1665803372--yyyy-MM-ddHH:mm:ss日期selectunix_t
呱呱呱i
·
2024-02-05 10:28
hive
hadoop
数据仓库
大数据
hive
日期函数
目录
hive
outline
hive
日期函数格式化时间函数:date_format获取当前日期:current_date获取当前时间戳:current_timestamp2011-12-0713:01:03
塞上江南o
·
2024-02-05 10:58
Hive
hive
海豚dolphinscheduler-shell 执行
hive
sql任务 Permission denied 异常
一、dolphinscheduler执行shell处理hsql任务时出现没有访问权限关键异常:/tmp/dolphinscheduler/
hive
.log(Permissiondenied)java.io.FileNotFoundException
潘永青
·
2024-02-05 10:58
log4j
apache
java
hive
code 143
ExaminingtaskID:task_1468807885116_444914_r_000469(andmore)fromjobjob_1468807885116_444914ExaminingtaskID:task_1468807885116_444914_r_000490(andmore)fromjobjob_1468807885116_444914Taskwiththemostfailu
qq_24761901
·
2024-02-05 10:27
hive
hive
【
hive
日期函数 大全】
Hive
常用日期函数整理 史上最全
【
hive
日期函数大全】
Hive
常用日期函数整理注意:1)
hive
没有to_char函数2)
HIVE
日期函数只识别年-月-日不能识别年-月,所以处理月份的时候需要特殊处理1)
hive
字符创拼接:CONCAT
数仓大山哥
·
2024-02-05 10:57
hive
hive
日期函数
日期转换
英文日期
hive
日期格式转换
固定日期转换成时间戳selectunix_timestamp('2022-05-09','yyyy-MM-dd') ;selectunix_timestamp('20220509','yyyyMMdd') ;selectunix_timestamp('2022-05-09T10:02:41Z',"yyyy-MM-dd'T'HH:mm:ss'Z'");16/Mar/2022:12:25:01+080
chimchim66
·
2024-02-05 10:26
sql
Hadoop
hive
sql
hadoop
Hive
中分区表与分桶表的操作
目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_
hive
文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693
·
2024-02-05 10:26
hive
hadoop
数据仓库
Hive
drop 事务表 报错 flushing changes to datastore
13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.
hive
.ql.exec.DDLTask.MetaException
AdamShyly
·
2024-02-05 10:54
Hive
踩过的坑
hive
2024-02-04(
hive
)
1.
Hive
中的分区表可以选择字段作为表分区。分区其实就是HDFS上的不同文件夹。分区表可以极大的提高特定场景下
Hive
的操作性能。
陈xr
·
2024-02-05 10:54
随记日志
hadoop
hive
表加字段
cascade3.使用场景1.给表添加字段altertabledatabase.tablenameaddcolumns(字段名字段类型comment'字段中文含义')cascade;2.为什么使用cascade在
Hive
王一1995
·
2024-02-05 10:22
hive
hadoop
数据仓库
SparkSql读取外部Hql文件的公共类开发
SparkSql读取外部Hql文件的公共类开发SparkSQL与
Hive
的区别简介一、什么是SparkSQL?
岁月的眸
·
2024-02-05 09:27
#
Hive总结
#
Spark总结
大数据
hive
大数据
spark
在 CDH 中调优 Apache
Hive
on Spark
Spark上的
Hive
在提供相同功能的同时提供比MapReduce上的
Hive
更好的性能。在Spark上运行
Hive
不需要更改用户查询。
海阔天空&沫语
·
2024-02-05 09:27
大数据/架构
hive
hadoop
spark
ubuntu20之ROS-noetic的qt插件安装
然后把过程记录一下以免自己最后忘记1、qt5.9.9的安装:https://download.qt.io/arc
hive
/qt/5.9/5.9.9/下载完后在改文件夹打开终端,输
学习我是拒绝的
·
2024-02-05 09:56
ROS错误
qt
自动驾驶
ubuntu
flink实战--FlinkSQl实时写入hudi表元数据自动同步到
hive
简介为了实现
hive
,trino等组件实时查询hudi表的数据,可以通过使用
Hive
sync。在Flink操作表的时候,自动同步
Hive
的元数据。
阿华田512
·
2024-02-05 08:46
Flink学习必读系列
hudi
flink
hadoop
hudi
数据湖
Hive
与PrestoSQL中的并列列转行
并列列转行1、背景描述2、
Hive
实现3、PrestoSQL实现1、背景描述通常我们在处理数据时,如果遇到一个字段存储多个值,常常需要把一行数据转换为多行数据,形成标准的结构化数据例如,将下面的两列数据并列转换为三行
对许
·
2024-02-05 07:27
#
Hive
#
Presto
hive
Java开发基础环境的搭建
JDK各版本下载:https://www.oracle.com/technetwork/java/javase/arc
hive
-139210.htmlJDK(JavaDevelopmentKit)是整个
重庆淡静
·
2024-02-05 07:18
大数据框架(分区,分桶,分片)
建议收藏目录
Hive
分区与分桶ES分片Kafka分区HBase分区Kudu分区
Hive
Hive
分区是按照数据表的某列或者某些列分为多区,在
hive
存储上是hdfs文件,也就是文件夹形式。
坨坨的大数据
·
2024-02-05 06:29
Hive
调优
Hive
调优一、SQL语句分析——EXPLAIN二、Fetch抓取三、本地模式四、表的优化1、小表大表JOIN2、大表JOIN大表3、Groupby4、Count(Distinct)去重统计5、笛卡尔积
长不大的大灰狼
·
2024-02-05 04:03
大数据
hive
大数据
hadoop
列式数据库、行式数据库简介
行式数据库3、列式数据库4、行式、列式存储对比常见的行式数据库有Mysql,DB2,Oracle,Sql-server等;列数据库(Column-Based)数据存储方式按列存储,常见的列数据库有Hbase,
Hive
长不大的大灰狼
·
2024-02-05 04:32
大数据
数据库
大数据
hive
《Qt》Qt概述(二)
之前介绍了Qt的大致历史,现在我们继续安装QT安装软件首选官方网站Qt下载官⽹:http://download.qt.io/arc
hive
/qt/国内清华源:https://mirrors.tuna.tsinghua.edu.cn
绅士·永
·
2024-02-05 02:25
QT
qt
开发语言
Tomcat环境搭建
1.关闭防火墙和selinuxsetenforce0systemctlstopfirewalld2.下载jdk和Tomcatcd/optwgethttps://arc
hive
.apache.org/dist
暗隐之光
·
2024-02-05 02:50
运维高级篇
tomcat
java
数据库与
数据仓库
的区别
数据库Database(Oracle,Mysql,PostgreSQL)主要用于事务处理,
数据仓库
Datawarehouse(AmazonRedshift,
Hive
)主要用于数据分析。
42c64edf12e9
·
2024-02-05 02:12
HIVE
--------
hive
数据仓库
hive
底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_
·
2024-02-05 00:23
kernel里的头文件 asm 与 asm-generic
本文转载于:https://www.cnblogs.com/sammei/arc
hive
/2013/03/14/3295598.html路径asm的路径是arch/xxx/include/asm/asm-generic
最快乐的寂寞是独处
·
2024-02-04 23:08
hive
小文件合并问题
背景
Hive
query将运算好的数据写回hdfs(比如insertinto语句),有时候会产生大量的小文件,如果不采用Combine
Hive
InputFormat就对这些小文件进行操作的话会产生大量的maptask
DuLaGong
·
2024-02-04 20:16
(三)
Hive
的分桶详解
Hive
分桶通俗点来说就是将表(或者分区,也就是hdfs上的目录而真正的数据是存储在该目录下的文件)中文件分成几个文件去存储。
小猪Harry
·
2024-02-04 19:20
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他