hive

Spark-SQL核心编程：DataFrame、DataSet与RDD深度解析

Spark-SQL的前身是Shark，它摆脱了对Hive的过度依赖，在数据兼容、性能优化和组件扩展上有显著提升。
不要天天开心·2025-04-18 11:51

spark-SQL核心编程

1.Spark-SQL简介起源与发展：Spark-SQL前身为Shark，因对Hive依赖制约Spark发展而被弃用。它汲取Shark优点重新开发，在数据兼容、性能优化和组件扩展方面表现出色。
桑榆0806·2025-04-18 10:16

Spark SQL架构工作原理及流程解析

SparkSQL架构工作原理及流程解析，sparksql从shark发展而来，Shark为了实现Hive兼容，在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑。
我想去吃ya·2025-04-18 06:47

大数据面试题目_综合面试_hadoop面试题_hive面试题_sqoop面试题_spark面试题_flume面试题_kafka面试题---大数据面试题007

大数据面试:1.说一下hadoop的集群部署模式有哪几种,完全分布式如何部署以及配置?2.hadoop的守护进程有哪些?2.之前的公司,为什么要离职?3.之前公司的待遇工资多少?4.用Flink处理过什么场景的业务,是如何实现的,说一下流程?5.有没有用过NIFI?6.做的时候后端是如何做的,用的什么框架?有没有了解过springcloudTencent?7.hadoop中的代理用户功能的作用,和
添柴程序猿·2025-04-18 03:00

Mysql数据库测试工具——sysbench

yum-yinstallmakeautomakelibtoolpkgconfiglibaio-developenssl-develmysql-devel#cd/usr/src/#wgethttps://github.com/akopytov/sysbench/archive
鱼鱼不愚与·2025-04-18 00:39

ipa解包打包工具_ios打包ipa的四种实用方法(.app转.ipa)

总结一下，目前.app包转为.ipa包的方法有以下几种：1、Apple推荐的方式，即实用xcode的archive功能Xcode菜单栏->Product->Archive->三选一，一般选后两个。
weixin_39657662·2025-04-17 18:33

spark spark-sql提交方式及参数优化建议

Spark作为分布式的SQL查询引擎，官方测试结果比Hivesql快100倍。
爱折腾的小土豆·2025-04-17 12:25

blender 超逼真角色daz 纹理材质 humanpro插件

https://www.youtube.com/@KhanhVo-zp9lh/featuredhttps://superhivemarket.com/products/humanprohttps://superhivemarket.com
子燕若水·2025-04-16 12:15

Trino深度解析

与同类引擎（如Spark、Hive）相比，Trino具备以下显著优势：存算分离架构：通过连接器（Connector）抽象数据源，支持Hive、M
Debug_TheWorld·2025-04-16 08:15

sql 中的with as语句使用，用法

一、with的用法Withalias_nameas(select1)[,alias_nameas(selectn)]--中括号可以省略Select…二、关键字概述在标准的数据库中，如hive，Oracle
四脚小蜗·2025-04-15 18:45

大数据学长面试-------腾讯面试

（3）有一hivesql，怎么计算这个sql会产生多少个map数？（4）怎么查看hive有什么自带函数？怎么查看函数
大数据小理·2025-04-15 13:14

推荐干货 | Apache Iceberg 快速入门课程（视频+代码+资料+学习笔记）.zip

mp43、Iceberg简介_特性.mp44、Iceberg简介_其他数据湖框架的对比.mp45、Iceberg存储结构_基本概念.mp46、Iceberg存储结构_查询流程分析.mp47、Iceberg与Hive
AI方案2025·2025-04-15 12:39

Hadoop 之 Hive安装

一：ApacheHive元数据HiveMetadataHiveMetadata即Hive的元数据。包含用Hive创建的database、table、表的位置、类型、属性、字段顺序类型等元数据。
家在水草丰茂的地方·2025-04-15 06:31

大数据Hadoop+HBase+Spark+Hive集群搭建教程：一站式掌握大数据技术

大数据Hadoop+HBase+Spark+Hive集群搭建教程：一站式掌握大数据技术【下载地址】大数据HadoopHBaseSparkHive集群搭建教程七月在线1本资源文件提供了关于如何搭建大数据集群的详细教程
贾诺翼·2025-04-15 06:01

【hadoop】Hive数据仓库安装部署

一、MySQL的安装与配置换源：最下面附加部分1、在master上直接使用yum命令在线安装MySQL数据库：sudoyuminstallmysql-server途中会询问是否继续，输入Y并按回车。2、启动MySQL服务：sudoservicemysqldstart3、设置MySQL的root用户密码：MySQL安装完成后，默认root用户是没有密码的，需要先登录并设置其密码：mysql-uroo
火龙谷·2025-04-15 06:29

Kernel32--内核库函数提供的API

转自：http://www.cnblogs.com/cwy173/archive/2010/10/02/1841321.htmlAddAtom向本地原子表添加一个字符串AllocConsole为当前进程分配一个新控制台
狂奔之林·2025-04-15 02:59

(54) C# 调用 kernel32.dll

https://www.cnblogs.com/cwy173/archive/2010/10/02/1841321.htmlKernel32APIAddAtom向本地原子表添加一个字符串AllocConsole
ainixi7099·2025-04-15 02:59

mysql master-master配置

同ubuntu下配置：（转自：http://archive.cnblogs.com/a/2214282/）Master1ConfigFile:##TheMySQLdatabaseserverconfigurationfile
findingwork·2025-04-15 02:28

通过分治策略解决内存限制问题完成大型Hive表数据的去重的PySpark代码实现

在Hive集群中，有一张历史交易记录表，要从这张历史交易记录表中抽取一年的数据按某些字段进行Spark去重，由于这一年的数据超过整个集群的内存容量，需要分解成每个月的数据，分别用Spark去重，并保存为
weixin_30777913·2025-04-14 12:58

ubuntu20.04安装QT5.12.9

一、下载QT安装包：https://download.qt.io/archive/qt/5.12/5.12.9/qt-opensource-linux-x64-5.12.9.run二、安装QT1、输入执行命令
wonderfuliy·2025-04-14 07:26

最全大数据学习路线指南：大数据知识点汇总保姆级教程（2万字长文）

目录第一章大数据基础篇1.1Linux基础学习1.2SQL基础学习1.3Java与Scala基础学习第二章数据采集与存储技术2.1Hadoop基础及实战2.2Hive与Hbase技术2.3ETL流程及原理第三章数据管理与查询技术
大模型大数据攻城狮·2025-04-14 06:17

windows下安装mysql5.7.44

1、下载mysql的zip安装包进入mysql开源下载官网（https://dev.mysql.com/downloads/mysql/）点击【archives】选项选择需要的版本选择符合操作系统对应位数的安装包
无所事事的海绵宝宝·2025-04-13 05:36

mysql 5.7.30安装指南

MySQL::MySQLDownloadshttp://www.mysql.com/downloads/官网解压版下载地址：MySQL::DownloadMySQLCommunityServer(ArchivedVersions
星辰淼·2025-04-13 05:02

【Hadoop入门】Hadoop生态之Oozie简介

作为一个基于工作流的调度服务器，它能够在复杂的任务依赖关系中协调HadoopMapReduce、Pig、Hive等任务的执行，是大数据平台中任务编排的核心组件之一。
IT成长日记·2025-04-12 18:27

WSL ubuntu升级到最新版CMake

sudoapt-getupdatesudoapt-getinstallgpgwget获取官方的签名密钥副本wget-O-https://apt.kitware.com/keys/kitware-archive-latest.asc2
dotphoenix·2025-04-12 06:37

FacialExpressionDetection的conda虚拟环境搭建Window

安装conda的URL：Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror清华源下载conda版本，哪个最新用哪个，这里下载Anaconda3
xzl04·2025-04-11 21:37

hive on spark报错解决(基于hive-3.1.3和spark-2.3.0)

相关配置可参考：https://blog.csdn.net/weixin_46389691/article/details/134126254原作者：月亮给我抄代码他写的很详细ERROR:Jobfailedwithjava.lang.IllegalAccessError:triedtoaccessmethodcom.google.common.base.Stopwatch.()Vfromclass
我不会敲代码a·2025-04-11 13:11

HIVE架构

什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
SpringHeather·2025-04-11 12:10

Hive简介及架构

Hive简介hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将类sql语句转换为MapReduce任务进行运行。
afei00123·2025-04-11 12:09

python如何使用hive

要在Python中使用Hive，您可以使用PyHive库。PyHive是一个Python库，可让您连接到Hive服务器并执行查询。
酷爱码·2025-04-11 08:41

linux安装jdk1.8

以下是从OpenJDK官网下载的链接：https://hg.openjdk.java.net/jdk8/jdk8/archive/tip.tar.gz通过终端，使用wget命令下载JDK：wgethttps
小佟·2025-04-11 05:25

Linux源码编译安装MySQL + Qt连接MySQL

银河麒麟V10+飞腾D2000CPU2.下载MySQL源码这里编译的是5.7.44版本，带Boost库，这是官网的下载地址：MySQL::DownloadMySQLCommunityServer(ArchivedVersions
Sakuya__·2025-04-10 21:03

【Hadoop+Hive】哔哩哔哩视频网站数据分析与可视化系统 计算机毕业设计 大数据毕业设计 Python bllibili b站 舆情分析 情感分析

演示视频：【Hadoop+Hive】哔哩哔哩视频网站数据分析与可视化系统计算机毕业设计大数据毕业设计Pythonbllibilib站舆情分析情感分析任务书：基于Hadoop框架，构建的Hive数据仓库工具
weixin_45469617·2025-04-10 10:20

大数据（4）Hive数仓三大核心特性解剖：面向主题性、集成性、非易失性如何重塑企业数据价值？

目录背景：企业数据治理的困境与破局一、Hive数据仓库核心特性深度解析1.‌面向主题性（Subject-Oriented）：从业务视角重构数据‌2.‌集成性（Integrated）：打破数据孤岛的统一视图‌
一个天蝎座 白勺 程序猿·2025-04-10 09:16

flutter环境搭建

1下载flutterSDK选择版本3.19.6https://docs.flutter.dev/release/archive2解压到d:/env/flutterpath中添加d:\env\flutter
qq_34324703·2025-04-10 05:20

Flink读取Kafka数据写入IceBerg（HiveCatalog）

Readmejava8flink1.13kafka3iceberg0.13链路：Kafka->Flink->IceBerg（HiveCatalog）代码importorg.apache.flink.api.common.serialization.SimpleStringSchema
徐一闪_BigData·2025-04-09 18:34

python模块之zipfile

转载自：http://blog.csdn.net/zhaoweikid/archive/2007/05/30/1630842.aspx这篇文章是从我的另一个blog转过来的:http://hi.baidu.com
weixin_30516243·2025-04-09 17:23

初识Java-jdk 版本说明

CompressedArchive：二进制包，已编译好的可直接使用的程序，解压缩后，点击bin目录下的.sh或者.bat执行文件即可使用。
超懒的猿·2025-04-09 11:21

大数据架构师选型必懂：大数据离线数仓开发框架详解与对比(hive、Spark SQL、Impala、Doris）

第一章相关理论1.1大数据离线数仓理论1.1.1基本原理大数据离线数仓，作为一个专门构建用于支持决策分析过程的数据集合，具有面向主题、集成、不可更新以及随时间变化的特点。其核心价值在于，通过对历史数据的深度存储、精细加工、全面整合与深入分析，能够为企业或组织提供一个多角度、多维度的数据视图，从而助力高层管理者做出更为明智与精准的决策。1.2SQL-on-Hadoop解决方案SQL-on-Hadoo
大模型大数据攻城狮·2025-04-09 05:10

公钥算法的基本数论知识——欧几里得算法、扩展的欧几里得算法、 欧拉函数、费马小定理、欧拉定理

公钥算法的基本数论知识包含内容欧几里得算法、扩展的欧几里得算法、欧拉函数、费马小定理、欧拉定理http://www.huangjihao.com/index.php/archives/625一、欧几里得算法
南隅笙箫·2025-04-09 01:16

linux xxd 命令

http://www.cnblogs.com/openix/archive/2012/04/23/2466320.htmlxxd-idht.jpgdht.h
weixin_34166847·2025-04-09 00:10

探索Hadoop生态圈：核心组件介绍

Hadoop生态圈包括多个组件，如HDFS提供分布式存储，MapReduce处理大数据计算，YARN管理资源调度，HBase支持非结构化数据存储，Hive实现数据仓库功能，Pig提供高级数据流处理，Sqoop
放。756·2025-04-08 12:49

TDH计算引擎针对数据倾斜现象的保护机制

Bucketsizeistoolarge(>2G)aftercompress的报错提醒，此时应当调整reducenumber或者调整分桶策略；shuffleread阶段参数一：ngmr.safety.size.single.entry--hive-site.xml
若愚致远·2025-04-08 10:02

Python 中的错误处理与调试技巧

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-04-08 09:00

数据分析开源可视化工具

superset简单易用，可以对接mysql、presto、doris、postgresql、ClickHouse、sparkSQL、hive、oracle、sqlserver、Elasticsearch
PONY LEE·2025-04-08 07:17

Redash：让数据可视化变得简单

Redash支持查询多个数据库，包括：Redshift、GoogleBigQuery、PostgreSQL、MySQL、Graphite、Presto、Google电子表格、ClouderaImpala、Hive
开源项目精选·2025-04-08 07:13

大数据新视界 -- Hive 数据仓库设计模式：星型与雪花型架构

Hive是基于Hadoop的数据仓库工具，它能够提供一个SQL类似的查询语言（HiveQL），并通过MapReduce或者其他引擎进行查询处理。
一只蜗牛儿·2025-04-07 11:14

MySQL 存储引擎详解

下面详细介绍几种常见的MySQL存储引擎，包括InnoDB、MyISAM、MEMORY、CSV、ARCHIVE和NDB。
微笑听雨。·2025-04-07 03:23

大数据面试题整理——Hive

系列文章目录大数据面试题专栏点击进入文章目录系列文章目录Hive面试知识点全面解析一、函数相关（一）函数分类与特点（二）`concat`和`concat_ws`的区别二、SQL的书写和执行顺序（一）书写顺序
自节码·2025-04-06 22:50

Hive ETL自动化实战：6大清洗策略×4种转换技巧×DolphinScheduler全链路调度方案

目录背景一、HiveETL核心架构设计1.三阶段核心流程2.企业级ETL分层模型二、六大清洗策略实战场景1：电商订单数据清洗三、四大转换技巧解析技巧1：SCD2历史维度处理技巧2：跨表指标计算四、DolphinScheduler
一个天蝎座 白勺 程序猿·2025-04-06 12:18
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他