E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hive数据仓库
深入理解Spark的前世今生
Spark,是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、
Hive
引擎,以及Storm流式实时计算引擎等。
闲云野鹤~~~
·
2024-02-08 14:01
Spark
SQL在云计算中的新角色:重新定义数据分析
文章目录1.云计算与数据分析的融合2.SQL在云计算中的新角色3.分布式SQL查询引擎4.SQL-on-Hadoop解决方案5.SQL与其他数据分析工具的集成6.实时数据分析与SQL7.SQL在云
数据仓库
中的角色
程序边界
·
2024-02-08 13:01
sql
云计算
数据分析
SQL面试题挑战15:sql实现分钟级的趋势图
问题在
Hive
或者ODPS中,怎么用sql实现分钟级的趋势图?比如从交易表中,如何统计0点到每分钟的交易趋势图?
浊酒南街
·
2024-02-08 12:28
SQL面试题
sql
数据库
Apache Doris 用户案例库
物化视图与索引在京东的典型应用ApacheDoris在京东客服OLAP中的应用实践京东搜索实时OLAP探索与实践知乎基于ApacheDoris的DMP平台架构建设实践同程数科基于ApacheDoris的
数据仓库
建设货拉拉基于
hf200012
·
2024-02-08 11:03
Doris
大数据
doris
13
数据仓库
设计
1.
数据仓库
分层该项目数据分层如下:2.
数据仓库
构建流程2.1数据调研数据调研重点做两项工作,分别是业务调研和需求分析。2.1.1业务调研业务调研主要目标是熟悉业务流程、熟悉业务数据。
kk_io
·
2024-02-08 10:32
数据仓库
数据仓库
大数据
数据库学习笔记
数据库学习笔记数据库系统概述基本概念关系型数据库和非关系型数据库redis数据库引擎MyISAM与InnoDB的区别OLTP联机事务处理onlinetransactionprocessingOLAP联机分析处理
数据仓库
三流淼货
·
2024-02-08 08:10
数据库
数据库
面试
涤生大数据实战:基于Flink+ODPS历史累计计算项目分析与优化(上)
涤生大数据实战:基于Flink+ODPS历史累计计算项目分析与优化(一)1.前置知识ODPS(OpenDataPlatformandService)是阿里云自研的一体化大数据计算平台和
数据仓库
产品,在集团内部离线作为离线数据处理和存储的产品
涤生大数据
·
2024-02-08 08:55
数仓建模/数据架构/数据治理
大数据
flink
odps
hive
2.3.2配置(带kerberos)
hive
-env.shexportHADOOP_HEAPSIZE=2048exportHADOOP_CLIENT_OPTS="-Xmx2g-Xms2g-Djava.net.preferIPv4Stack
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hive
hadoop
大数据
hive
自定义UDF依赖第三方jar包
上传jar包到HDFS上hdfsdfs-putxxxx.jar/tmp/
hive
/创建永久函数:createfunctionmy_funas'com.test.TestUDF'usingjar'hdfs
不会吐丝的蜘蛛侠。
·
2024-02-08 08:28
hive
hive
jar
hadoop
grafana+prometheus+
hive
server2(jmx_exporter+metrics)
一、
hive
server2开启metrics,并启动jmx_exporter1、修改
hive
-site.xml文件开启metrics
hive
.server2.metrics.enabledtrue
hive
.service.metrics.codahale.reporter.classesorg.apache.hadoop.
hive
.common.metrics.metrics2
不会吐丝的蜘蛛侠。
·
2024-02-08 08:24
hive
Hadoop
grafana
prometheus
hive监控
jmx_exporter
hive_metrics
删除和清空
Hive
外部表数据
外部表和内部表区别未被external修饰的是内部表(managedtable),被external修饰的为外部表(externaltable);区别:内部表数据由
Hive
自身管理,外部表数据由HDFS
SunnyRivers
·
2024-02-08 08:53
Hive
hive
drop
truncate
外部表
删除外部表
ubuntu 16.04 安装CUDNN 6.0
cudnn必须要看好版本下载,如果版本不匹配出现什么问题我暂时还不清楚,为了避免采坑还是按照搭配原则来吧,并且安装它之前要先安装好cuda二、官网下载cuda对应版本的cudnn,地址:cuDNNArc
hive
Hello_codingMan
·
2024-02-08 07:42
环境配置
ubuntu
linux
运维
sqoop导入数据到hdfs
Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据:将MySQL,Oracle导入数据到Hadoop的HDFS、
HIVE
、HBASE等数据存储系统导出数据:从Hadoop
鲲鹏猿
·
2024-02-08 06:40
hdfs
sqoop
hadoop
2024-02-07(Sqoop,Flume)
1.Sqoop的增量导入实际工作中,数据的导入很多时候只需要导入增量的数据,并不需要将表中的数据每次都全部导入到
hive
或者hdfs中,因为这样会造成数据重复问题。
陈xr
·
2024-02-08 06:35
随记日志
sqoop
flume
MySQL-mysql安装步骤
下载下载地址:https://downloads.mysql.com/arc
hive
s/community/安装下载后解压缩,将解压后的文件放在某个文件目录中(位置随意)1、创建写配置文件进入mysql
青柠t
·
2024-02-08 06:09
笔记
MySQL
mysql
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,
Hive
,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
关于转换mmap文件为mm文件[freemind]
首先附上参考资料:参考资料:1.转换资料参考http://www.cnblogs.com/jackei/arc
hive
/2005/04/12/13630
Shellphon
·
2024-02-08 06:05
软件使用
mmap格式转换
思维导图软件
面试官:SpringBoot 在打包部署的时候打包成 jar 和 war 有什么不同?
1.方便快捷2.更好的可移植性3.更好的性能jar包和war包的区别jar包和war包是Java程序常用的两种打包格式,它们之间的主要区别如下:1.用途不同jar文件(JavaArc
hive
)通常用于打包
编写美好前程
·
2024-02-08 05:55
#
Spring
#
JAVA
#
后端面试题
spring
boot
jar
java
『运维备忘录』之 TAR 命令详解
Tar(TapeARc
hive
流浪字节π
·
2024-02-08 04:39
运维备忘录
运维
linux
银河麒麟换源
sources.list/etc/apt/111.list2.进入编辑源文件sudovi/etc/apt/sources.list3.选择自己版本的源地址#4.0.2桌面版本:debhttp://arc
hive
.kylinos.cn
海棠半载
·
2024-02-08 02:05
linux
bash
运维
Extract Multi-Volume ZIP Arc
hive
s
ExtractMulti-VolumeZIPArc
hive
sAspose.ZIP24.1letsyoudecompressmultipartZIParc
hive
s,makingiteasytomanagelargedataarc
hive
swithoutsizerestrictions.Aspose.ZIPofferscomprehensiveZIParc
hive
managementcapabili
SEO-狼术
·
2024-02-08 02:17
net
Delphi
Crack
开发语言
AOP For Android -基于AspectJ
有兴趣的同学可以参考以下链接,感谢大神分享自定义注解学习:https://www.cnblogs.com/peida/arc
hive
/2013/04/26/3038503.htmlAspectJ自己去找找吧
信仰在空中zh
·
2024-02-08 01:08
SpringBoot:web开发
教程技术摘要webjarsBootstrap模板引擎thymeleaf嵌入式Servlet容器注册web三大组件一、webjarswebjars官网简介简介翻译WebJars是打包到JAR(JavaArc
hive
ChinaDragonDreamer
·
2024-02-08 00:21
#
Spring
Boot
spring
boot
前端
后端
bootstrap
Hive
SQL——借助聚合函数与case when行转列
一、条件函数if条件函数if函数是最常用到的条件函数,其写法是if(x=n,a,b),x=n代表判断条件,如果x=n时,那么结果返回a,否则返回b。selectif(age=20andage=25then'25岁及以上'else'其他'endasage_cutfromtable1;二、运用案例2.1行转列问题描述数据准备createtableifnotexiststest(col1stringco
爱吃辣条byte
·
2024-02-07 23:27
#
HIve
SQL
大数据
数据仓库
Hive
SQL——求解去除最大最小值后的平均薪水
0问题描述薪水表中是员工薪水的基本信息,包括雇员编号,部门编号和薪水第1行表示雇员编号为10001的员工在1号部门,薪水为60117元;第2行表示雇员编号为10002的员工在2号部门,薪水为92102元;...第10行表示雇员编号为10010的员工在1号部门,薪水为76884元问题:查询每个部门除去最高、最低薪水后的平均水平,并保留整数1数据准备createtableifnotexistssala
爱吃辣条byte
·
2024-02-07 23:26
#
HIve
SQL
大数据
数据仓库
数据仓库
入门介绍框架(附带完整项目实战)
一、诞生背景企业数据分析需要:各个部门自己建立独立的数据抽取系统,导致数据不一致概述
数据仓库
是一个面向主题的、集成、非易失的且随时间变化的数据集合主要用于组织积累的历史数据,并使用分析方法(OLAP、数据分析
麻辣清汤
·
2024-02-07 23:34
数据仓库
Ubuntu中安装微信的简单快捷方法
简单的四句命令行:##1.下载Wine环境包:http://arc
hive
.ubuntukylin.com/software/pool/partner/ukylin-wine_70.6.3.25_amd64
相信光的奥特王小懒
·
2024-02-07 22:37
笔记
ubuntu
linux
运维
Hadoop系统应用之Zookeeper分布式集群部署
一、Zoopkeeper安装包下载安装【Zookeeper版本型号为3.4.10】1.下载Zookeeper安装包(地址)https://arc
hive
.apache.org/dist/zookeeper
-牧心-
·
2024-02-07 22:31
分布式
hadoop
java-zookeeper
Hive
源码学习——CliDriver
Hive
版本:2.3.7CliDriver类image.pngmain方法:publicstaticvoidmain(String[]args)throwsException{intret=newCliDriver
僕名前
·
2024-02-07 22:34
Mac系统配置flutter环境 以及创建第一个flutter项目
1先去下载flutter的sdk地址如下:https://docs.flutter.dev/release/arc
hive
?
i就这样吧i
·
2024-02-07 22:25
macos
flutter
android
studio
大数据用户画像系统架构设计
文章目录一、用户画像
数据仓库
搭建、数据抽取部分二、大数据平台、用户画像集市分层设计、处理三、离线计算部分四、实时计算部分五、Solr/ES搜索引擎部分六、JavaWeb毫秒级实时用户画像接口服务七、用户画像实时展示异步触发获取
充电了么
·
2024-02-07 19:37
hive
练习含数据准备(0-1)
目录数据准备01、查询"01"课程⽐"02"课程成绩⾼的学⽣的信息及课程分数:数据准备学生表:01赵雷1990-01-01男02钱电1990-12-21男03孙风1990-05-20男04李云1990-08-06男05周梅1991-12-01⼥06吴兰1992-03-01⼥07郑⽵1989-07-01⼥08王菊1990-01-20⼥---------------------------------
嚄825
·
2024-02-07 19:02
hive
hadoop
大数据
hive
之DDl数据定义
接下来,我们了解一下
hive
的数据定义语言了解
hive
库
Hive
作为一个“数据库”,在结构上积极向传统数据库看齐,也分数据库(Schema),每个数据库下面有各自的表组成。
嚄825
·
2024-02-07 19:32
hive
hadoop
大数据
黑猴子的家:Spark SQL 的性能
1、内存列存储(In-MemoryColumnarStorage)内存列存储来说,将所有原生数据类型的列采用原生数组来存储,将
Hive
支持的复杂数据类型(如array、map等)先序列化后拼接成一个字节数组来存储
黑猴子的家
·
2024-02-07 18:48
postgresql开启归档模
查询数据库的安装位置和归档时否开启step1:查看数据目录(找出conf文件位置)showdata_directory;/var/lib/postgresql/datastep2:查看归档是否开启showarc
hive
_mode
海底列车
·
2024-02-07 18:09
数据库
数据库
postgresql
WAL 日志和归档配置
在PostgreSQL中配置归档的方法是在配置文件postgresql.conf中配置参数arc
hive
_mode和arc
hive
_command,命令如下:wal_
蜡津
·
2024-02-07 18:08
postgresql
postgresql
数据库
database
RMAN备份时出现 ORA-19625 ORA-27037 错误
1.错误现象及原因检查备份时,发现备份失败,日志中存在以下错误:Startingbackupat08-NOV-23currentlogarc
hive
dreleasedchannel:d1RMAN-00571
Floating warm sun
·
2024-02-07 18:36
oracle
dba
问题处理
数据库
PostgreSQL开启wal日志归档模式
1.检查归档模式是否开启postgres=#showarc
hive
_mode;arc
hive
_mode--------------off(1row)2.开启归档模式##创建归档目录mkdir-p/pgsql15.4
Floating warm sun
·
2024-02-07 18:03
postgresql
数据库
静态库和动态库
库的好处方便保密;便于部署和分发三、静态库和动态库的区别静态库在程序的链接阶段被复制到程序中;动态库在程序运行时被系统动态地加载到内存中使用四、静态库的制作1.通过gcc获得.o文件2.使用ar(arc
hive
孜孜不倦fly
·
2024-02-07 16:20
C++学习
c++
jira 破解(windows)
下载atlassian-jira-software-9.5.0-x64.exehttps://www.atlassian.com/zh/software/confluence/download-arc
hive
s2jdk83atlassian-agent.jarhttps
正怒月神
·
2024-02-07 15:26
jira
other
jira
mysql底层结构
常见的存储引擎包括InnoDB、MyISAM、Memory、Arc
hive
等。InnoDB是MySQL的默认存储引擎,具有事务支持、行级锁定
星光不问赶路人-
·
2024-02-07 14:40
mysql
mysql
数据库
rac使用默认闪回区归档空间满
业务不能连接,检查集群状态,发现节点二处于“stuckarc
hive
”状态:[grid@rac1/home/grid]$crsctlstatres-t--------------------------
烟雨归来
·
2024-02-07 14:04
oracle
数据库
DataX概述
1.概述DataX是阿里开源的的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、
Hive
、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据开发工程师-宋权
·
2024-02-07 14:01
DataX
hadoop
阿里云datax工具使用详解
介绍特征安装前准备工作-系统需求快速开始补充datax介绍DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、
Hive
王春星
·
2024-02-07 14:01
数据高效导入工具
大数据数据迁移工具选择
快速导数据工具
异构数据源导入工具
大数据工具
datax安装与使用详解
一、dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、
Hive
、HBase
jhchengxuyuan
·
2024-02-07 14:00
hadoop
大数据
datax
大数据
JMeter接口学习笔记2017
协议学习地址:http://www.cnblogs.com/TankXiao/arc
hive
/2012/02/13/2342672.html本篇学习笔记来自于慕课网上学习JMeter的学习笔记学习的内容包括
dianjieting8509
·
2024-02-07 13:09
error getting ip from ipam: operation get is not supported on blockkey
需要更新calico到3.6以上,支持kubernetes数据存储参考:https://docs.tigera.io/arc
hive
/v3.6/release-notes/#calico-ipam-fo
深耕云原生
·
2024-02-07 12:41
kubernetes
kubernetes
Jetson AGX Orin安装Anaconda,Cuda,Cudnn,pytorch,Tensorrt,ROS
Anaconda:https://repo.anaconda.com/arc
hive
/Cuda:https://forums.developer.nvidia.com/t/pytorch-for-jetson
枭玉龙
·
2024-02-07 12:38
#
ubuntu系统下安装
pytorch
人工智能
python
Linux tar命令教程:文件打包和压缩的神器(附案例详解和注意事项)
Linuxtar命令介绍tar(TapeARc
hive
),用于在linux中打包和备份文件。它可以将多个文件和目录打包成一个tar文件,也可以从tar文件中提取文件和目录。
我要下东西噢
·
2024-02-07 11:15
linux
linux
运维
服务器
【Iceberg学习一】什么是Iceberg?
Iceberg为包括Spark、Trino、PrestoDB、Flink、
Hive
和Impala在内的计算引擎增加了表格功能,使用一种高性能的表格格式,其工作方式就像一个SQL表一样。
周润发的弟弟
·
2024-02-07 10:56
Iceberg
学习
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他