E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hive查询语句
MySQL字段约束条件,外键约束条件,表关系
MERGEInnoDBArc
hive
BLACKHOLEblackhole与memory存取数据的特征Blackhole:丢弃写操作,读操作会返回空内容Memory:置于内存的表创建表的完整语法字段类型之整型字段类型之浮点型字段类型之字符类型字段类型之枚举与集合字段类型之日期类型约束条件自增
Yietong309
·
2025-01-21 01:10
MySQL数据库
mysql
数据库
开发语言
麒麟系统下载依赖到本地
在麒麟系统中下载依赖到本地,主要有以下几种方法:使用apt命令只下载不安装:在连接互联网的电脑上,使用sudoapt-get-dinstall命令,可以只下载软件包及其依赖到/var/cache/apt/arc
hive
s
乙龙
·
2025-01-20 20:59
linux
kylin
Apache
Hive
一、Apache
Hive
简介官方网址:https://
hive
.apache.org/TheApache
Hive
™datawarehousesoftwarefacilitatesreading,writing
_从头再来_
·
2025-01-20 10:09
大数据
tar命令详解:解压与压缩的技巧
一、tar命令概述tar(tapearc
hive
)是一个用于打包和压缩文件的命令行工具。它可以将多个文件和目录打包成一个文件,也可
wx_tangjinjinwx
·
2025-01-20 06:29
tar
linux
Hadoop 和 Spark 的内存管理机制分析
大数据技术:涵盖Hadoop(HDFS)、
Hive
、Spark、Fli
王子良.
·
2025-01-20 03:27
经验分享
hadoop
spark
大数据
mysql学习笔记(八):分页查询
groupby分组字段having分组后的筛选orderby排序的字段】limit【offset,】size;offset要显示条目的起始索引(起始索引从0开始)size要显示的条目个数特点:①limit语句放在
查询语句
的最后
代码魔法师Sunny
·
2025-01-19 23:22
MySQL
mysql
学习
笔记
在线格式化XML
http://xmlindent.com/转载于:https://www.cnblogs.com/DotNetNuke/arc
hive
/2010/07/14/1777096.html
weixin_34250709
·
2025-01-19 20:27
(1064, “You have an error in your SQL syntax; check the manual that corresponds to your MySQL server
checkthemanualthatcorrespondstoyourMySQLserverversionfortherightsyntaxtousenear‘==‘1’’atline1”)这个错误是由于SQL
查询语句
中使用了错误的语法或者不被
m0_74824483
·
2025-01-19 10:05
sql
数据库
Hive
小文件合并
作者:振鹭一、参数配置:在Map输入的时候,把小文件合并。--每个Map最大输入大小,决定合并后的文件数setmapred.max.split.size=256000000;--一个节点上split的至少的大小,决定了多个datanode上的文件是否需要合并setmapred.min.split.size.per.node=100000000;--一个交换机下split的至少的大小,决定了多个交换
云掣YUNCHE
·
2025-01-19 09:20
hive
hadoop
数据仓库
hive
小文件合并机制_
hive
小文件的问题弊端以及合并
小文件的弊端1、HDFS中每个文件的元数据信息,包括位置大小分块信息等,都保存在NN内存中,在小文件数较多的情况下,会造成占用大量内存空间,导致NN性能下降;2、在读取小文件多的目录时,MR会产生更多map数,造成GC频繁,浪费集群资源;3、现在大数据平台文件总数超过30亿,单个NS文件数超过4亿的时候,读写性能会急剧下降,影响到所有读写该NS的任务性能;4、如果队列限制最大map数是20000,
做生活的创作者
·
2025-01-19 08:49
hive小文件合并机制
数仓建模(五)选择数仓技术栈:
Hive
& ClickHouse & 其它
市场上主流数仓技术栈丰富,如
Hive
、ClickHouse、Druid、Greenplum等,对于初学者而言,选择合适的技术栈是一项挑战。
昊昊该干饭了
·
2025-01-19 08:45
数仓建模
大数据
hive
clickhouse
hadoop
Hive
--
Hive
Server2 命令行代码连接、
Hive
常用命令、自定义UDF函数、排序
目录1
Hive
--
Hive
Server2命令行代码连接1.1配置
Hive
Server2WEB参数1.2开启
Hive
Server21.3使用Beeline连接
Hive
Server21.4使用代码查询
Hive
Server21.5
XK&RM
·
2025-01-19 08:13
Hive
hive
hiveserver2
udf
java
Hive
数据类型全解析:大数据开发者的实用指南
在大数据处理领域,
Hive
作为一款基于Hadoop的数据仓库工具,被广泛应用于数据的存储、查询和分析。
大鳥
·
2025-01-19 08:42
sql
hive
数据仓库
Apache
Hive
--排序函数解析
在大数据处理与分析中,Apache
Hive
是一个至关重要的数据仓库工具。其丰富的函数库为数据处理提供了诸多便利,排序函数便是其中一类非常实用的工具。
大鳥
·
2025-01-19 06:31
apache
hive
hadoop
大数据新视界 --
Hive
数据仓库设计的优化原则(2 - 16 - 4)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-19 05:49
大数据新视界
#
Hive
之道
Hive
数据仓库
优化原则
数据分区
存储格式
查询优化
B
树索引
查询性能
大数据
MySQL SQL优化技巧与原理
前言随着业务数据量的不断增加,MySQL
查询语句
的执行效率对程序的运行效率影响逐渐增大。因此,进行SQL优化变得至关重要。
codeBrute
·
2025-01-19 01:10
关系型数据库
sql
使用 Hadoop 实现大数据的高效存储与查询
大数据技术:涵盖Hadoop(HDFS)、
Hive
、Spark、Fli
王子良.
·
2025-01-18 23:24
经验分享
大数据
hadoop
分布式
ORACLE与SQL SERVER的区别
ORACLE与SQLSERVER的区别转载自:https://www.cnblogs.com/chuncn/arc
hive
/2009/01/28/1381262.html体系结构ORACLE的文件体系结构为
nanzhuhe
·
2025-01-18 20:17
文章
笔记
数据库
Oracle
hdfs和
hive
对于小文件的处理方案
一、hdfs如何处理小文件小文件问题的危害小文件问题对HDFS的性能和稳定性产生显著影响,主要包括:占用过多的存储空间:每个小文件都会占用一个独立的Block,导致存储资源的浪费。降低数据处理效率:HDFS是为处理大文件而设计的,小文件会导致大量的Map任务启动,增加处理时间和资源消耗。NameNode内存压力增大:NameNode需要维护所有文件和目录的元数据信息,小文件过多会导致NameNod
二进制_博客
·
2025-01-18 19:35
大数据
hive
创建访问用户_
Hive
权限控制和超级管理员的实现
Hive
权限控制
Hive
权限机制:
Hive
从0.10可以通过元数据控制权限。但是
Hive
的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。
weixin_39826089
·
2025-01-18 18:31
hive
创建访问用户
hive
表级权限控制_
Hive
权限管理
最近遇到一个
hive
权限的问题,先简单记录一下,目前自己的理解不一定对,后续根据自己的理解程度更新一、
hive
用户的概念
hive
本身没有创建用户的命令,
hive
的用户就是Linux用户,若当前是用mr用户输入
weixin_39769091
·
2025-01-18 18:01
hive表级权限控制
HIVE
的权限控制和超级管理员的实现
Hive
用户权限管理从remote部署
hive
和mysql元数据表字典看,已经明确
hive
是通过存储在元数据中的信息来管理用户权限。现在重点是
Hive
怎么管理用户权限。
weixin_34364071
·
2025-01-18 18:59
大数据
数据库
java
hive
批量修复分区
/bin/bashset-x#定义
Hive
数据库的名称database_name="edu"#定义要排除的表名exclude_table="tab_name"#使用
Hive
的shell命令获取所有的表名
青云游子
·
2025-01-18 18:25
Hive
hive
数据库
hadoop
Hive
MetaException: Unknown version specified for initialization: 3.1.0(或者其他版本号)
遇到这个问题,也是很难发现的,查阅很多文章,乱七八糟,也可能是遇到的问题不相同吧,我们从以下两个方面去排查吧1.检查你的
hive
-site.xml和
hive
-env.sh,配置对就行,这个网上一大片,注意要正确
一品_人生
·
2025-01-18 18:25
mysql
hive
大数据
hive
表修改字段类型没有级连导致历史分区报错
一:问题背景修改
hive
的分区表时有级连概念,指字段的最新状态,默认只对往后的分区数据生效,而之前的分区保留历史元数据状态。
尘世壹俗人
·
2025-01-18 17:18
大数据Hive技术
hive
hadoop
数据仓库
Hive
查看partition 以及msck 修复分区
#checktable的partition
hive
>showpartitionstable_name;如果是外部表,不小心把表给删除了,可以适用下命令重新关联表和数据[MSCKREPAIRTABLE
dgsdaga3026010
·
2025-01-18 17:48
大数据
集群间
hive
数仓迁移
方式一:(此方法需要建库建表)第一步:建库建表在原集群
hive
上查看迁移表的建表语句及所在库,然后在新集群
hive
上建库建表;showcreatetabletb_name;createdatabasedb_name
one code
·
2025-01-18 17:15
database
HIVE
合并小文件
会产生多个MapTask,然而每个MapTask处理的数据量很少,那么导致MapTask启动时间大于执行时间,整体任务时间消耗较大如何合并小文件:1)在map执行前合并小文件,减少map数:Combine
Hive
InputFormat
难以触及的高度
·
2025-01-18 16:12
hive
hadoop
数据仓库
Hive
中没有超级管理员,如何进行权限控制
Hive
中没有超级管理员,任何用户都可以进行Grant/Revoke操作开发实现自己的权限控制类,确保某个用户为超级用户比如任何用户都可以grant权限给别的用户。
二进制_博客
·
2025-01-18 16:42
大数据
hive
hadoop
数据仓库
docker-ubuntu-24.04安装openresty1.21.4.3全过程
dockerpullubuntu:latest创建启动容器dockerrun-it--name容器名称-p8082:8082镜像id/bin/bash更换apt-get为阿里云镜像sed-i's@arc
hive
.ubuntu.com
司江龙
·
2025-01-18 12:43
ubuntu
linux
运维
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)
Hive
(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis
武子康
·
2025-01-18 10:29
大数据
离线数仓
大数据
数据仓库
java
后端
hadoop
hive
架构师反向代理Haproxy+压力测试 - 学习笔记
.Apache的编译安装:yuminstallapr-develapr-util-develpcre-developenssl-develcd/usr/local/src/wgethttp://arc
hive
.apache.org
无影V随风
·
2025-01-18 10:25
学习笔记
linux相关
TDengine 查询如何做到高效过滤
目的:带大家了解查询条件过滤是如何实现及编写高效过滤条件阅读对象:开发人员、构架师、运维人员等一、应用背景大家知道,TDengine的
查询语句
where条件中可以对普通列及标签列进行各种组合过滤查询,那这些过滤是如何高效实现的呢
TDengine (老段)
·
2025-01-18 09:21
算法
数据库
tdengine
大数据
时序数据库
物联网
Python 爬虫:获取网页数据的 5 种方法
大数据技术:涵盖Hadoop(HDFS)、
Hive
、Spark、Fli
王子良.
·
2025-01-18 07:35
经验分享
python
python
开发语言
爬虫
QT ListView 记录
http://www.cnblogs.com/chenxuelian/arc
hive
/2009/12/22/1629601.html转载于:https://www.cnblogs.com/whisht/
weixin_30872157
·
2025-01-18 07:03
数据库
linux安装卸载软件
(三)归档压缩程序仅归档ar:arc
hive
r。后缀名为.a,.arTar:TapeArc
hive
。通过Tar归档
int8
·
2025-01-18 06:29
linux
linux
运维
服务器
一步到位:购买适合 SEO 的域名全攻略
WebArc
hive
:查看域名以前的用途,判断是否有不良记录或与您的行业冲突。GoogleTransparencyReport:检
·
2025-01-18 05:14
后端
2024年最新Python:Page Object设计模式_python page object,BTAJ大厂最新面试题汇集
知识体系:含编程语言、算法、大数据生态圈组件(Mysql、
Hive
、Spark、Flink)、数据仓库、Python、前端等等。网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是
m0_60707708
·
2025-01-17 20:36
程序员
python
设计模式
开发语言
采用海豚调度器+Doris开发数仓保姆级教程(满满是踩坑干货细节,持续更新)
目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+
Hive
+Oozie的理由。
大模型大数据攻城狮
·
2025-01-17 19:56
海豚调度器从入门到精通
doris
海豚调度器
离线数仓
实时数仓
国产代替
信创大数据
flink数仓
ElasticSearch(3) - 慢查询优化思路
要优化ES查询性能,可以从
查询语句
和表结构两个方面入。从
查询语句
优化角度,可以优化查询类型、合理使用fliter、限制字段返回等都是有效的方法。
川涂
·
2025-01-17 13:30
搜索
elasticsearch
数据库
mysql
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【问题分类】功能兼容【关键字】YAS-07202、YAS\_MYERROR,不兼容【问题描述】本项目的架构是hadoop+
hive
+yashandb使用崖山数据库,将mysql相关的创建表语句进行初始化同步使用崖山
·
2025-01-17 10:58
数据库
Spring Boot 和微服务:快速入门指南
大数据技术:涵盖Hadoop(HDFS)、
Hive
、Spark、Fli
王子良.
·
2025-01-17 09:56
Java
经验分享
spring
boot
微服务
后端
oracle同步数据adg_oracle11g ADG主备切换
protection_mode,protection_level,switchover_statusfromv$database;altersystemswitchlogfile;altersystemarc
hive
logcurrent
weixin_39536630
·
2025-01-17 05:27
Oracle数据库
主备切换
日志实时应用
备库
切换状态
MySQL
查询语句
大全
常用的MySQL
查询语句
示例MySQL是常见的关系型数据库管理系统,广泛应用于数据存储、查询和管理。为了更高效地操作数据库,掌握常用的
查询语句
非常重要。
·
2025-01-17 05:33
CDP中的
Hive
3之
Hive
Metastore(HMS)
CDP中的
Hive
3之
Hive
Metastore(HMS)1、CDP中的HMS2、HMS表的存储(转换)3、HWC授权1、CDP中的HMSCDP中的
Hive
Metastore(HMS)是一种服务,用于在后端
对许
·
2025-01-17 02:31
#
Hive
#
Spark
hive
cdp
Hive
窗口函数与分析函数深度解析:开启大数据分析的新维度
Hive
窗口函数与分析函数深度解析:开启大数据分析的新维度在当今大数据蓬勃发展的时代,
Hive
作为一款强大的数据仓库工具,其窗口函数和分析函数犹如一把把精巧的手术刀,助力数据分析师们精准地剖析海量数据,
自节码
·
2025-01-17 02:25
大数据
hive
数据分析
hadoop
大数据新视界 -- 大数据大厂之
Hive
数据压缩算法对比与选择(下)(20 / 30)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-17 01:14
大数据新视界
#
Hive
之道
大数据
Hive
数据压缩
压缩算法对比
选择因素
案例分析
实时数据处理
数据存储优化
sql
大数据新视界 -- 大数据大厂之
Hive
数据安全:权限管理体系的深度解读(上)(15/ 30)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-17 01:14
大数据新视界
#
Hive
之道
大数据
Hive
集成
大数据工具
集成模式
优化策略
未来趋势
数据一致性
【YashanDB知识库】
Hive
命令工具insert崖山数据库报错
【问题分类】功能兼容【关键字】spark30041、不兼容【问题描述】本项目的架构是hadoop+
hive
+yashandb使用崖山数据库,初始化所有的原数据表和数据新建表之后,插入数据时候报错,hadoopcode30041
·
2025-01-17 00:46
数据库
大数据新视界 --
Hive
数据仓库设计模式:星型与雪花型架构(2 - 16 - 3)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-16 23:03
大数据新视界
#
Hive
之道
Hive
数据仓库
星型架构
雪花型架构
对比分析
大数据应用
Hive
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他