hive云原生

Spark：SparkSQL与Hive on Spark（Shark）的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
花和尚也有春天·2024-01-21 06:17

拾肆：Spark with Hive和Hive on Spark

在Hive与Spark这对“万金油”组合中，Hive擅长元数据管理，而Spark的专长是高效的分布式计算，二者的结合可谓是“强强联合”。
for your wish·2024-01-21 06:47

Hive on Spark and Spark sql on Hive

结构上HiveOnSpark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。
请叫我小帅哥·2024-01-21 06:14

spark集成hive

1.集成原理说明思考:SparkOnHive的目的:将客户端提交的SQL语句从原来翻译MR变更为翻译为Spark的RDD程序(Spark程序),然后交给Yarn执行那么也就意味着,一旦Spark和HIVE
lijian972·2024-01-21 06:11

sparkSQL sparkSQL整合hive（spark on hive）

sparkSQL整合hivesparkSQL整合hivesparkSQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景sparkSQL整合hivesparkSQL整合hive，即sparkonhive
爱吃甜食_·2024-01-21 06:39

Spark完全分布式集群下的Hive的安装和配置-安装步骤

Spark完全分布式集群下的Hive的安装和配置-安装步骤：文章目录Spark完全分布式集群下的Hive的安装和配置-安装步骤：2.安装MySQL数据库3.配置MySQL相关5.设置环境变量6.修改hive
Deng872347348·2024-01-21 06:39

【Spark分布式内存计算框架——Spark SQL】14. 分布式SQL引擎

第八章分布式SQL引擎回顾一下，如何使用Hive进行数据分析的，提供哪些方式交互分析？？？
csdnGuoYuying·2024-01-21 06:38

Spark On Hive配置测试及分布式SQL ThriftServer配置

文章目录SparkOnHive的原理及配置配置步骤在代码中集成SparkOnHiveSpark分布式SQL执行原理及配置配置步骤在代码中集成SparkJDBCThriftServer总结SparkOnHive
蜜桃上的小叮当·2024-01-21 06:07

mysql 磁盘读取原理_MySQL的数据库引擎之一 InnoDB 的底层原理

InnoDB、MyISAM、Memory、CSV、Archive、Blackhole、Merge、Feder
兔农农·2024-01-21 06:18

【数据库】MySQL 的存储引擎

MySQL中的锁机制MySQL的存储引擎1.前言2.各种存储引擎的特征介绍2.1Federated2.2Memory2.3Performance_schema2.4Blackhole2.5CSV2.6Archive2.7MyISAM2.8MRG_MyISAM2.9InnoDB3
G皮T·2024-01-21 06:46

IOS实现视频直播－RTMP协议的一些参考资料

http://www.cnblogs.com/ikodota/archive/2012/09/12/compile_ffmpeg_for_iOS.html不过按这篇文章介绍的方法编译出来的库文
WeiQ_·2024-01-21 06:40

Docker-解决Debian9阿里云源 apt update时需要公钥的问题

首先，最新的Debian9阿里云源如下（底下这个源是正确的，在阿里云评论区里找到的，阿里云官网上面的是旧的，是不行的）：debhttp://mirrors.aliyun.com/debian-archive
WeiQ_·2024-01-21 06:37

通用web自动扩缩容_智能运维引擎CudgX

一、概述CudgX是星汉未来自主研发的面向云原生时代的智能运维引擎，支持根据MetricQPS分段耗时指标进行自动扩缩容。
徒步远方999·2024-01-21 05:30

在 EggJS 中实现 Redis 上锁

配置环境下载RedisWindows访问https://github.com/microsoftarchive/redis/releases选择版本进行下载-勾选[配置到环境变量]-无脑下一步并安装命令行执行
JS.Huang·2024-01-21 05:22

Centos7.6安装Conda

安装包地址：https://repo.anaconda.com/archive/使用最新的版本，安装链接命令如下：>wgethttps://repo.anaconda.com/archive/Anaconda3
zlchen·2024-01-21 03:37

kubesphere最小化安装

Kubesphere集成了很多套件，集群要求较高https://kubesphere.io/Kuboard也很不错，集群要求不高https://kuboard.cn/support/简介KubeSphere是一款面向云原生设计的开源项目
北996·2024-01-21 02:30

云原生学习-KubeKey安装 Kubesphere3.3.0 快速搭建K8S集群（二）（超详细，修正配置错误）

KubeSphere愿景是打造一个以Kubernetes为内核的云原生分布式操作系统，它的架构可以非常方便地使第三方应用与云原生生态组件进行即插即用（plug-and-play）的集成，支持云原生应用在多云与多集群的统一分发和运维管理
平塘码道·2024-01-21 02:30

【重识云原生】第六章容器基础6.4.9.3节——Service拓扑感知

1拓扑感知1.1使用拓扑键实现拓扑感知的流量路由特性状态Kubernetesv1.21[deprecated]说明：此功能特性，尤其是Alpha阶段的topologyKeysAPI，在Kubernetesv1.21版本中已被废弃。Kubernetesv1.21版本中引入的拓扑感知的提示,提供类似的功能。服务拓扑（ServiceTopology）可以让一个服务基于集群的Node拓扑进行流量路由。例如
江中散人·2024-01-21 02:29

云原生Java架构师（五）Kubernetes上安装KubeSphere

目录一、简介二、安装流程三、安装Docker四、安装Kubernetes4.1准备基础环境4.2安装kubelet、kubeadm、kubectl4.3初始化master节点4.4安装Calico网络插件4.5安装KubeSphere前置环境4.5.1nfs文件系统4.5.2metrics-server集群指标监控组件五、安装KubeSphere5.1下载核心文件5.2修改cluster-conf
Liu_Shihao·2024-01-21 02:29

[云原生专题-61]：Kubesphere云治理-安装(3)-可插拔组件的安装

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：https://blog.csdn.net/HiWangWenBing/article/details/122910292目录第1章概述1.1Kubesphere在系统中的位置1.2可插拔组件的安装概述1.3官网安装步骤：第2章Kubesphere支持的可插拔组件2.1组件类型2.2可插拔功能组件配
文火冰糖的硅基工坊·2024-01-21 02:29

16.云原生之kubesphere组件安装卸载

云原生专栏大纲文章目录KubeSphere组件介绍KubeSphere组件安装卸载配置内容参考安装组件步骤卸载组件步骤KubeSphere组件介绍KubeSphere的全部可插拔组件如下：配置项功能组件描述
野心与梦·2024-01-21 02:28

18.云原生可观测性之kubesphere监控报警系统使用实战

云原生专栏大纲文章目录kubesphere监控报警系统介绍监控功能与使用监控系统介绍集群状态监控物理资源监控集群资源节点资源Kubernetes核心组件监控APIServer监控Scheduler监控应用资源监控集群层级项目与应用资源统计用量排行企业空间层级项目层级工作负载层级容器组层级容器层级基于租户的告警与通知告警功能介绍集群告警内置告警策咯物理资源
野心与梦·2024-01-21 02:47

17.云原生可观测性之kubesphere中的支持

云原生专栏大纲文章目录可观测性介绍kubesphere可观测性支持容器日志查询收集卷上的日志日志查询维度日志搜索案例资源事件查询审计日志查询资源消费统计启用计费查看计费情况可观测性介绍可观测性是指在软件系统中收集
野心与梦·2024-01-21 02:46

19.云原生CICD之ArgoCD入门

云原生专栏大纲文章目录ArgoCDArgoCD简介GitOps介绍ArgoCD的工作流程argocd和jinkens对比kustomize介绍ArgoCD和kustomize关系安装argocdargocd
野心与梦·2024-01-21 02:43

【大数据Hive】hive 行列转换使用详解

目录一、前言二、使用场景介绍2.1使用场景12.2使用场景2三、多行转多列3.1casewhen函数语法一语法二操作演示3.2多行转多列操作演示四、多行转单列4.1concat函数语法4.2concat_ws函数语法4.3collect_list函数语法4.4collect_set函数语法4.5多行转多列操作演示五、多列转多行5.1union语法5.2unionall语法5.3多列转多行操作演示六
逆风飞翔的小叔·2024-01-21 02:13

111.Parquet表的使用

Parquet格式：数据模型:Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL
大勇任卷舒·2024-01-21 02:33

多表形成树形结构

多表形成树形结构：packagecom.js.archive.assistant.domain.vo;importcom.js.core.domain.vo.BaseVO;importio.swagger.annotations.ApiModel
北执南念·2024-01-21 00:28

解决在hive中创建表时TBLPROPERTIES中的长度问题

如果在hive中创建表时，如果TBLPROPERTIES中的长度过长，在hive的命令行中执行showcreatetable表名；发现创建的表语句中的TBLPROPERTIES的长度不完全，以下是解决办法
justdoit180·2024-01-21 00:11

【Quarkus技术系列】「云原生架构体系」配置参考指南相关的功能机制配置介绍分析

回顾Quarkus介绍Quarkus的概念定义Quarkus是一个为Java虚拟机（JVM）和原生编译而设计的全堆栈Kubernetes原生Java框架，用于专门针对容器优化Java，并使其成为无服务器、云和Kubernetes环境的高效平台。Quarkus与框架整合Quarkus可与常用Java标准、框架和库协同工作，例如：EclipseMicroProfile、Spring、ApacheKaf
洛神灬殇·2024-01-20 22:45

使用Sqoop从Oracle数据库导入数据

Sqoop是一个用于在Hadoop生态系统（如HDFS和Hive）与关系型数据库之间传输数据的工具。它使数据工程师
晓之以理的喵~~·2024-01-20 19:27

Dockershim 即将被移除？看 SUSE Rancher 的应对之道！

行业数字化转型如火如荼，企业正在全面转向云原生平台，并由此引发了架构方案、生产方式、思维模式、商业模式等一系列的变革。
RancherLabs·2024-01-20 18:44

11.Join的MapReduce实现

Join在MapReduce中的实现一、概述tips:Hive:MapReduce/Spark巧用explain查看语法树常见的面试题:描述如何使用MapReduce来实现join功能：考察点MapReduce
哈哈大圣·2024-01-20 18:40

hive 数字转换字符串_hive数据类型转换、字符串函数、条件判断

http://blog.csdn.net/yimingsilence/article/details/70057638函数数据类型转换同Java语言同样，Hive也包括隐式转换(implicitconversions
小宇boi·2024-01-20 18:08

LLM：ALiBi - 给注意力加上线性偏置

pdf代码：https://github.com/ofirpress/attention_with_linear_biases发表：2021长度外推参考：https://spaces.ac.cn/archives
微风❤水墨·2024-01-20 17:18

MySQL安装教程，windows下（超详细，根据步骤一步步来）

1.官网下载安装包下载链接：（本人下载的是mysqlCommunity8.0.19.0.msi）MySQL::DownloadMySQLInstaller(ArchivedVersions)https:
阿里嘎多f·2024-01-20 17:40

CUDA安装遇到问题及安装方法汇总

CMD输入nvidia-smi注意事项：安装低于显示的CUDA版本（兼容性）kCUDAToolkitArchive|NVIDIADeveloper————————CUDA版本网站进入选择合适版本安装如下图
jiang_changsheng·2024-01-20 15:12

Hive性能优化

Hive性能优化数据量大不是问题，数据倾斜是个问题。jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。
La victoria·2024-01-20 13:23

Hive性能调优(二)——一文搞懂HiveSQL执行计划

测试的数据请看上一篇博客，数据行数500万。目录一.简单SQL的执行计划二.带普通函数SQL的执行计划三.带聚合函数SQL的执行计划四.带窗口函数SQL的执行计划五.表连接的SQL的执行计划一.简单SQL的执行计划explainselects_age,s_scorefromstudent_tb_seqwheres_age=20;+----------------------------------
程研板·2024-01-20 13:19

一文说全HiveConf类（Hive3.1.2版本）

一文说全HiveConf类（Hive3.1.2版本）作者：Eeeddieee工作中大部分时间都用到了Hive，虽然对Hive的架构、运行原理、调优方式有一定了解，但是很多都是在前人总结的基础上进行学习，
Eeeddieee·2024-01-20 13:17

Hive调优一文打尽

一、调优概述Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。
跟着大数据和AI去旅行·2024-01-20 13:16

将 SQL Server 2022 数据库备份到 MinIO

他们还可以利用对象存储来备份SQLServer，这是开放性和云原生灵活性的又一次巨大飞跃。对象存储在备份和恢复领域占据主导地位，因为它可靠、可扩展、高性能且不可变。
MinIO官方账号·2024-01-20 12:05

阿里云 E-MapReduce 全面开启 Serverless 时代

EMR2.0平台阿里云正式发布云原生开源大数据平台EMR2.0已历经一年时间，如今EMR2.0全新平台在生产上已经全面落地，资源占比超过60%。
Apache Spark中国社区·2024-01-20 12:22

阿里云开源大数据产品年度发布

其中，云原生架构已成为主流趋势，因为它可以提高数据处理和应用程序的可伸缩性和灵活性，支持大规模部署和更快的响应时间。同时，Serverless作为一种
Apache Spark中国社区·2024-01-20 12:52

Doris配置外表以及多个Hive外表的配置

1.场景分析以Clickhouse、Doris、Starrocks等为代表的mpp分析数据库正在快速的兴起，以其高效查询、跨库整合能力收到广大技术人员的喜爱。本文主要浅显介绍下作者在使用Doris时，通过建立catlog进行跨库查询。废话不多少，直接上代码2.相关配置#Tidb外表，jdbc方式连接，如果没有服务器权限可以直接在driver_url上填写jar包的maven地址#如果报connec
tuoluzhe8521·2024-01-20 12:37

Hive / Presto 行转列 列转行

Hive/Presto行转列列转行行转列1、Hive：2、Presto：列转行Hive1、split将order_ids拆分成数组，lateralviewexplode将数组炸裂开Presto1、split
吴法刚·2024-01-20 12:37

hive Error while compiling statement: FAILED: ClassCastException org.apache.hadoop.hive.serde2.objec

Errorwhilecompilingstatement:FAILED:ClassCastExceptionorg.apache.hadoop.hive.serde2.objectinspector.primitive.WritableConstantStringObjectInspectorcannotbecasttoorg.apache.hadoop.hive.serde2
圆周率的后六位·2024-01-20 12:35

hive 运行报错

Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用spark跑数据出现这个情况，最后查到问题是sum(if(a.idisnotnull,1,0))asshouldrepay_count,一开始写的是sum(a.idisnotnull,1,0)asshou
圆周率的后六位·2024-01-20 12:35

hive join 很慢

hive跑的很慢原因解析：背景如下将下面4个表join起来，然后在做聚合操作selectcount(1)fromcustomer_merchant_anti_fraud_demand1_1–19864656
圆周率的后六位·2024-01-20 12:35

hadoop运行任务出错，Hive Runtime Error while processing row

Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:HiveRuntimeErrorwhileprocessingrow
圆周率的后六位·2024-01-20 12:05

【Flink】Flink1.12.0 FlinkSQL消费Kafka 使用 temporal join 关联维表Hive 最新分区数据 join 不上

文章目录1.概述2.场景12.1概述2.2解决1.概述2.场景12.1概述场景是这样的FlinkSQL消费kafka关联Hive维表最新分区刚开始我往Hive维表里筛了10条左右数据运行FlinkSQL
九师兄·2024-01-20 11:27
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他