Hive开发总结

《MySQL系列-InnoDB引擎01》MySQL体系结构和存储引擎

数据库和实例2MySQL配置文件3MySQL数据库路径4MySQL体系结构5MySQL存储引擎5.1InnoDB存储引擎5.2MyISAM存储引擎5.3NDB存储引擎5.4Memory存储引擎5.5Archive
DATA数据猿·2023-12-29 03:51

Hive安装笔记——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info
Stitch .·2023-12-29 02:29

ubuntu安装cuda、cudnn、anaconda

按照自己的版本来哦，不要直接复制哦一、安装cuda1、使用nvidia-smi命令查看可安装最高版本的cuda，如下图，我这里显示最高支持12.1版本的cuda2、在官网CUDAToolkitArchive
小鳄鱼先生·2023-12-29 01:54

Hive和Spark生产集群搭建（spark on doris）

003bigdata-004bigdata-005MySQL-8.0.31mysqlDataxDataxDataxDataxDataxDataxSpark-3.3.1SparkSparkSparkSparkSparkHive
tuoluzhe8521·2023-12-28 23:56

Hive的DataBase数据定义操作语言

1,官网提供的创建数据库格式CREATE(DATABASE|SCHEMA)[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path][MANAGEDLOCATIONhdfs_path][WITHDBPROPERTIES(property_name=property_value,...)];1.2,[COMMENTda
BABA_777·2023-12-28 23:43

python post cookies_【已解决】Python中实现带Cookie的Http的Post请求

【解决过程】1.看了这里http://www.ideawu.net/blog/archives/270.html的介绍，好像是cookiejar，自动管理的，不需要手
一支神笔融资助手·2023-12-28 20:44

【大数据】Hudi HMS Catalog 完全使用指南

HudiHMSCatalog完全使用指南1.HudiHMSCatalog基本介绍2.在Flink中写入数据3.在FlinkSQL中查看数据4.在Spark中查看数据5.在Hive中查看数据1.HudiHMSCatalog
G皮T·2023-12-28 18:24

Dbeaver，Hudi，Hive，Spark，Presto应用问题及解决措施梳理

近期频繁在mysql源端数据通过底层位Flink的平台进行数据接入至Hudi，过程中出现了一些问题，也通过了其他办法进行解决，现将整个过程的思路进行总结，以供大家共同学习进步。问题1：基于Dbeaver工具，新建的Hudi表无法进行更新（即表结构，新增字段等）；解决措施：在Dbeaver中集成spark的包，通过sparkSQL的方式进行Hudi表的新建，解决表无法更新问题。问题2：新建的Hudi
p1i2n3g4·2023-12-28 17:31

Flink on K8s 企业生产化实践

平台从Hive、Hbase、关系型数据库等大数据ODS(OperationalDatastore)层进行快速的数据ETL，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学
house.zhang·2023-12-28 15:00

Hadoop：Flink on Yarn服务配置与设置

flink服务方便管理，但是发现ambari集成的flink会出现很多问题反而不方便管理（可能是没找到正确的方法），于是打算单独配置服务下载两个文件文件flink-1.10.1文件：https://archive.apache.org
william_cheng666·2023-12-28 13:14

Ubuntu 20.04 安装docker报错

sudoapt-keyadv--keyserverkeyserver.ubuntu.com--recv-keys7EA0A9C3F273FCD8chmoda+r/usr/share/keyrings/docker-archive-keyring.gpg
柯九思kk·2023-12-28 13:31

探究Presto SQL引擎(1)-巧用Antlr

从Hadoop生态的Hive,Spark,Presto,Kylin,Druid到非Hadoop生态的Clic
vivo互联网技术·2023-12-28 12:14

Hive详解、配置、数据结构、Hive CLI

一、Hive认识1.Hive应用问题：公司的经营状况？
Byyyi耀·2023-12-28 12:37

【C#】程序以单例形式运行

33896726/article/details/89587575【2】WPF的单实例这里有设置显示和前端显示的方法：【3】https://www.cnblogs.com/Charles2008/archive
一叶清风扬·2023-12-28 12:04

Hadoop安装笔记_单机/伪分布式配置_Hadoop3.1.3——备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

将下发的ds_db01.sql数据库文件放置mysql中12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info
Stitch .·2023-12-28 12:32

hadoop hive spark flink 安装

下载地址Indexof/distubuntu安装hadoop集群准备IP地址主机名称192.168.1.21node1192.168.1.22node2192.168.1.23node3上传hadoop-3.3.5.tar.gz、jdk-8u391-linux-x64.tar.gzJDK环境node1、node2、node3三个节点解压tar-zxvfjdk-8u391-linux-x64.tar
nsa65223·2023-12-28 11:59

Hive DDL语法

Hive的语法和MySQL大部分都相同一、数据库操作1.1、创建数据库CREATEDATABASE[IFNOTEXISTS]databasename[COMMENTdatabase_comment][LOCATIONhdfspath
有人看我吗·2023-12-28 11:28

hql、数据仓库、sql调优、hive sql、python

SQL/HQLHQL(HibernateQueryLanguage)是面向对象的查询语言SQL的操作对象是数据列、表等数据库数据;而HQL操作的是类、实例、属性#FROMStringhql="fromcom.demo.bean.User"="select*fromuser"#WHERE"formUseruwhereu.id=1"="select*formuserwhereid=1"#查询出一个St
许一世流年 绝不嵩手 cium·2023-12-28 11:46

Hive实战：统计总分与平均分

文章目录一、实战概述二、提出任务三、完成任务（一）准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录（二）实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、
howard2005·2023-12-28 10:16

了解Anaconda Navigator 2.5.1

Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSour
Q1780020·2023-12-28 09:45

Spark从入门到精通23：Spark SQL简介

我们知道Hive是Hadoop生态中的一个数据分析引擎，它可以将HiveSQL转换成MapReduce任务提交到Hadoop集群中执行，大大简化了编写MapReduce程序的
金字塔下的小蜗牛·2023-12-28 09:20

JavaScript获取DOM元素位置和尺寸大小

--摘自《博客园》博主：谦行，原文链接：http://www.cnblogs.com/dolphinX/archive/2012/11/19/2777756.html在一些复杂的页面中经常会用JavaScript
亦花茶·2023-12-28 08:31

Servlet之间的几个跳转方法(转载整理)

原文地址：http://www.cnblogs.com/clara/archive/2011/07/21/2112732.html1.Forword转向（forward）是通过RequestDispatcher
oQianQu·2023-12-28 07:22

Java - Lambda 表达式

个人博客:转载自:https://erzbir.com/archives/java—lambdabiao-expressionLambda语法:使用lambda表达式的一般语法是:(Parameters
Erzbir·2023-12-28 03:37

idea中java单元测试报错

1.报错内容Errorrunning'HiveTest.loadData':Commandlineistoolong.ShortencommandlineforHiveTest.loadDataoralsoforJUnitdefaultconfiguration
sunweiking·2023-12-28 03:59

sqoop运行报错

Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/commons/lang/StringUtilsatorg.apache.sqoop.tool.BaseSqoopTool.validateHiveOptions
sunweiking·2023-12-28 03:29

Hive

Hive概述由于MapReduce开发难度大，学习成本高，Hdfs文件没有字段名、没有数据类型，不方便进行数据的有效管理。因此使用MapReduce框架开发，项目周期长，成本高。
之古·2023-12-28 02:58

Hadoop集成对象存储和HDFS磁盘文件存储

1.环境配置1.1版本说明组件版本是否必须其他事项Hadoop3.3.0+是hadoop3.3.0之后原生支持国内主要对象存储Hive3.1.3否实测没有Hive也可以使用sparksql，使用hive
tuoluzhe8521·2023-12-28 02:38

Hadoop集群找不到native-hadoop

1.问题描述========hive运行中的问题，需要把把native复制进去/usr/lib2023-02-1519:59:42,165WARNscheduler.TaskSetManager:Losttask11.0instage1.0
tuoluzhe8521·2023-12-28 02:38

EMR集群迁移自建Hadoop(元数据及HDFS数据）

EMR版本：3.1.2自建Hadoop版本：3.1.32.集群迁移步骤2.1数据迁移nohuphadoopdistcp-i-phdfs://emrhdf存储地址/usr/hive/warehouse/*
tuoluzhe8521·2023-12-28 02:37

大数据开发之Sqoop详细介绍

用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。
lcz-2000·2023-12-27 23:31

Hive 部署

一、介绍ApacheHive是一个分布式、容错的数据仓库系统，支持大规模的分析。
有人看我吗·2023-12-27 23:54

Hive实战：词频统计

文章目录一、实战概述二、提出任务三、完成任务（一）准备数据文件1、在虚拟机上创建文本文件2、将文本文件上传到HDFS指定目录（二）实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、
howard2005·2023-12-27 23:24

spark开发笔记(三、Spark SQL笔记)

基本概念Shark、SparkSQL和Hive之间的关系：Shark借用了Hive大部分的组件，包括词法分析、语法分析和逻辑分析阶段，只是在最后将逻辑执行计划转化为物理执行计划这一步，将底层的实现从MapReduce
眼君·2023-12-27 22:27

HarmonyOS共享包HAR

共享包概述OpenHarmony提供了两种共享包，HAR（HarmonyArchive）静态共享包，和HSP（HarmonySharedPackage）动态共享包。
阿玮编程_·2023-12-27 21:41

大数据-Hive练习-环比增长率、同比增长率、复合增长率

目录12.1环比增长率1.概述2.公式3.示例4.练习-需求:计算各类商品的月环比增长率12.2同比增长率1.概述2.公式3.示例4.练习-需求:计算各类商品的月同比增长率12.3复合增长率1.概述2.公式3.示例4.练习-需求:计算各类商品的月同比增长率练习数据表--创建销量表sales_monthly--product表示产品名称，ym表示年月，amount表示销售金额（元）CREATETAB
王哪跑nn·2023-12-27 21:08

大数据库分析

ElasticSearch和impala首先，对于两个数据库作出说明，有hive查询比较慢，hbase会针对于列的查询不太友好，所以CDH推出了impala搜索引擎，都是基于HDFS的。
靈08_1024·2023-12-27 19:00

Impala 基于hive的交互式实时分析工具(一) 概念及原理介绍

技术背景impala是参照谷歌的新三篇论文（caffeine-网络搜索引擎，pregel-图形数据库，dremel-瞬时类sql查询）当中的dremel而来，号称是当前大数据领域最快的sql查询工具，比sparksql还要快速。但是sparksql是计算效率和数据安全的性价比最优的。谷歌旧三篇论文（GFS-分布式文件存储，Bigtable-分布式数据库，Mapreduce-分布式计算）设计目的为了
章云邰·2023-12-27 19:59

hive总结06_企业级调优

去重统计笛卡尔积行列过滤动态分区调整分桶分区数据倾斜合理设置Map数小文件进行合并复杂文件增加Map数合理设置Reduce数并行执行严格模式JVM重用推测执行压缩执行计划（Explain）Fetch抓取Fetch抓取是指，Hive
自由地带·2023-12-27 18:21

Hive 执行计划 & 性能调优

一、执行计划explain，查看基本信息explaindependency，查看依赖信息explainauthorization，查看权限信息1.explain用法--explain+执行语句例如：explainselects2.s_id,avg(s2.s_score)asavg_scorefromedu.studentsjoinedu.scores2ons.s_id=s2.s_idwheres.
巷子里的猫X·2023-12-27 18:51

【Hive】性能调优 - Map JOIN

Hive版本:hive-3.1.3map-sideJOIN和MapJOIN的区别map-sideJOIN就是预聚合，在map阶段先聚合一下，这样数据到了reduce有可能就不倾斜了MapJOIN就是缓存小表
青云游子·2023-12-27 18:21

大数据篇--Hive调优

文章目录一、表设计层面1.关闭动态分区：2.开启分桶：3.采用合适的存储格式：二、参数调优1.严格模式：2.FetchTask功能：3.reduce个数控制：4.mapjoin：5.skewjoin方案：6.groupby导致的数据倾斜：7.调整切片数（Map任务数）：8.本地模式：三、语法层面调优1.orderby和sortby：2.clusterby和distributeby：3.执行计划Ex
小强签名设计·2023-12-27 18:20

Hive优化-SQL调优

Hive优化-SQL调优此博客参考了其他博客：hivesqlhttps://www.cnblogs.com/fnlingnzb-learner/p/13087976.html后续还会继续更新和优化优化的根本思想
ShyGlow·2023-12-27 18:20

Hive 在工作中的调优总结

总结了一下在以往工作中，对于HiveSQL调优的一些实际应用，是日常积累的一些优化技巧，如有出入，欢迎在评论区留言探讨~一、EXPLAIN查看执行计划二、建表优化2.1分区分区表基本操作，partitioned
fx67ll·2023-12-27 18:50

大数据之hive_hive的企业级调优

简单调优:1.测试数据可以本地模式运行2.select字段时禁止使用*还可以加上where进行行列过滤3.selectfromajoinb时避免直接join,因为会产生笛卡尔积,建议加上on进行过滤,减少数据量4.使用groupbyname进行count(name)聚合,比count(distinctname)聚合效率更高5.count(1)>count(*)>count(字段)6.可以适当减少或
普罗米修斯之火·2023-12-27 18:50

Hive之企业级调优实战

1：Fetch抓取Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算例如：select*fromscore;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件
不要迷恋发哥·2023-12-27 18:50

【Hive_05】企业调优1（资源配置、explain、join优化）

1、计算资源配置1.1Yarn资源配置1.2MapReduce资源配置2、Explain查看执行计划（重点）2.1Explain执行计划概述2.2基本语法2.3案例实操3、分组聚合优化3.1优化说明（1）map-side聚合相关的参数3.2优化案例4、join优化4.1Join算法概述（1）CommonJoin（2）MapJoin（3）BucketMapJoin（4）SortMergeBucket
温欣2030·2023-12-27 18:49

Hive学习——企业级调优

目录一、计算资源调优(一)Yarn资源配置——集群1.Yarn配置说明(1)yarn.nodemanager.resource.memory-mb(2)yarn.nodemanager.resource.cpu-vcores(3)yarn.scheduler.maximum-allocation-mb(4)yarn.scheduler.minimum-allocation-mb(二)MapRedu
雷神乐乐·2023-12-27 18:49

【hive】hive的调优经验

一、hive自己进行优化对union这样的命令进行了优化二、数据本地化率hdfs数据本地化率对hive性能产生影响在数据大小一定的情况下，500个128M的文件和2个30G的文件跑hive任务，性能是有差异的
kiraraLou·2023-12-27 18:49

ubuntu 16安装git出错

ubuntu16安装git：出现：在终端中敲入以下两句sudorm/var/cache/apt/archives/locksudorm/var/lib/dpkg/lock如果不行，多试验几次就ok
lsp_addf·2023-12-27 18:37
上一页 33 34 35 36 37 38 39 40 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他