hive动态分区

【SparkSQL】基础入门（重点：SparkSQL和Hive的异同、SparkSQL数据抽象）

【大家好，我是爱干饭的猿，本文重点介绍SparkSQL的定义、特点、发展历史、与hive的区别、数据抽象、SparkSession对象。
爱干饭的猿·2023-12-03 06:13

深入 C 语言和程序运行原理 实战项目代码在CentOS 7上编译

安装gtest参考博客《使用gtest和lcov测试代码覆盖率》wgethttps://github.com/google/googletest/archive/refs/tags/r
seasidezhb·2023-12-03 06:56

解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘

你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、Spark和Flink等工具来编写SQL查询。
Light Gao·2023-12-03 06:21

VS中创建编译QT项目工程

1.安装qt-vs-tools工具qt-vs-tools下载地址：https://download.qt.io/archive/vsaddin/也可以在VS工具中下载。
离歌漠·2023-12-03 05:59

Qt5.14.2-windows平台配置Qt Creator的ARM体系结构Linux交叉编译器

1、安装Qt并下载对应源码下载并安装Qt下载对应的源码包，windows版本选择zip格式的源码包Indexof/archive/qt/5.14/5.14.2https://download.qt.io
babyheda·2023-12-03 05:09

Qt5.14.2-Linux平台配置Qt Creator的ARM体系结构Linux交叉编译器

1、安装Qt并下载对应源码下载并安装Qt编辑下载对应的源码包，Linux版本选择tar.gz格式的源码包Indexof/archive/qt/5.14/5.14.2链接2、下载ARM交叉编译工具ArmGNUToolchainDownloads–ArmDeveloperLinaroReleasesARM
babyheda·2023-12-03 05:09

在k8s上安装Harbor

kubernetes(k8s)存储动态挂载》《在k8s（kubernetes）上安装ingressV1.1.3》参考我之前的文档进行部署https://www.oiox.cn/index.php/archives
小陈运维·2023-12-03 05:00

黑猴子的家：Hive 基本查询（SELECT…FROM）

1、全表和特定字段查询1）全表查询hive(default)>select*fromemp;2）选择特定列查询hive(default)>selectempno,enamefromemp;注意：（1）SQL
黑猴子的家·2023-12-03 02:45

Windows10下安装QT5.10+QWT6.13教程

首先安装QT5.10,可以去官网下载，也可以去这里下载http://download.qt.io/archive/qt/。本文使用的后者。1.进入网页后选择最新的QT5.10进行下载。
Snow_2018·2023-12-03 02:12

MMA安装及使用优化

1.背景公司自建的Hadoop集群，后期使用阿里的Maxcompute，就需要迁移数据到新环境中，阿里提供众多的迁移方案，在经过我们的实践后，最终选择了MMA，迁移数据Hive到Maxcompute。
选手一号位·2023-12-03 02:14

spark读取GBK文件的方法

args:Array[String]):Unit={valspark=SparkSession.builder.appName("PowerLeo").master("local[*]").enableHiveSuppo
NikolasNull·2023-12-03 02:31

Servlet线程安全？不安全？

扩展：http://hi.baidu.com/donggw2030521/item/c42989f325788f0ac6dc45e0http://www.cnblogs.com/gw811/archive
進擊的胖蛇·2023-12-03 01:06

BUUCTF [UTCTF2020]docx 1

（office的文件似乎都是zip压缩包，通过某种技术呈现为我们看到的样子）（ZIPArchive(zip)，
玥轩_521·2023-12-02 23:30

reboot与shutdown -r now 区别与联系

reboot与shutdown-rnow区别与联系（又收集了init和halt的小知识）转载自：http://www.cnblogs.com/summergarden/archive/2013/01/12
biolxy·2023-12-02 22:09

Hive----基本概念

Hive基本概念1、Hive：由Facebook开源用于解决海量结构化日志的数据统计。2、Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
Hi杯酒故人·2023-12-02 21:21

Hadoop进阶学习---MapReduce分布式计算架构

1.单词统计流程(文字简单描述)已知文件内容:hadoophivehadoopsparkhiveflinkhivelinuxhivemysql计算每个单词出现的次数2.MR底层计算原理[重点]MAP阶段第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片
Yan_bigdata·2023-12-02 19:30

Hive环境准备[重点学习]

1.前提启动hadoop集群hadoop在统一虚拟机中已经配置了环境变量启动hdfs和yarn集群命令:start-all.sh[root@node1/]#start-all.sh启动mr历史服务命令:mapred--daemonstarthistoryserver[root@node1/]#mapred--daemonstarthistoryserver检查服务命令:jps[root@node1
Yan_bigdata·2023-12-02 19:59

大数据技术学习笔记之hive框架基础3-sqoop工具的使用及具体业务分析

CDH-》Hortonworks:HDP-》选用CDH版本的好处-》解决每个框架之间的兼容性问题-》不需要对其他框架进行对应版本的编译-》cdh5框架的下载：cdh-5.3.6-》http://archive.cloudera.com
黄剑锋1996·2023-12-02 19:50

HIVE SQL 、Hive MR参数设置

1、知识点回顾hive数据库是hdfs上的文件夹，表也是文件夹，表里的数据是文件hive建表createtable表名(字段1类型1,字段2类型2……)rowformatdelimitedfieldsterminatedby
故里良田·2023-12-02 15:39

在Linux下如何安装Jupyter Notebook

www.anaconda.com/distribution/#download-section如果嫌慢的话，可以去清华镜像源下载：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive
Micheal超·2023-12-02 15:17

linux 安装 Anaconda 及 jupyter notebook

一、安装Anaconda1、下载（直接到清华镜像下载）下载链接：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/，选择合适的版本(Anaconda3
songxiaozhuo·2023-12-02 15:17

大数据——一文详解数据仓库概念（数据仓库的分层概念和维度建模详解）

ods层最好理解，基本上就是数据从源表拉过来，进行etl，比如MySQL映射到Hive，那么到了Hive里面就是ods层。
静惘·2023-12-02 15:14

一个Hive curator-client.jar包冲突问题排查解决

开发环境比较乱昨天遇到hiveserver2启动失败，查看日志报错java.lang.NoSuchMethodError:org.apache.curator.shaded.com.google.common.util.concurrent.MoreExecutors.sameThreadExecutor
Java小田·2023-12-02 12:56

apk下载变为Zip格式的几种解决方案

1.我使用的是Tomcat服务器，在Tomcat/conf/web.xml文件中添加如下配置apkapplication/vnd.android.package-archiveapkapplication
峪幽兰·2023-12-02 12:03

操作系统复习第四章：存储器管理

文章目录4.1存储器的层次结构4.2程序的装入和链接程序的装入：程序的链接：4.3连续分配存储管理方式单一连续分配：固定分区分配动态分区分配基于顺序搜索的动态分区分配算法1.首次适应算法（FirstFit
程序员Andy.·2023-12-02 11:32

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive文章目录一、mysql全量导入hive[分区表]需求介绍：二、mysql增量导入hive1.增量导入的第一种实现方法2.另一种方法是时间字段
程序终结者·2023-12-02 10:22

【DBeaver】驱动添加-Hive和星环

驱动Hive驱动hive驱动可以直接去官网下载官网地址，填一下个人信息。如果想直接下载可以去我上次的资源下地址，需要用zip解压。
不专业得Cook·2023-12-02 10:20

Hive中parquet压缩格式分区表的跨集群迁移记录

文章目录环境与需求集群环境需求描述操作步骤STEP1STEP2STEP3STEP4STEP5STEP6环境与需求集群环境华为FushionInsightA华为FushionInsightB华为集群管理机localHive3.1.0HDFS3.3.1
程序终结者·2023-12-02 10:17

Spark---DataFrame存储、Spark UDF函数、UDAF函数

、DataFrame存储+SparkUDF函数1、储存DataFrame1）、将DataFrame存储为parquet文件2）、将DataFrame存储到JDBC数据库3）、将DataFrame存储到Hive
30岁老阿姨·2023-12-02 10:46

Hive jar包冲突问题排查解决

1、报错情况hiveserver2启动失败，查看日志报错：2022-07-04T20:14:53,315WARN[main]:server.HiveServer2(HiveServer2.java:startHiveServer2
Java小田·2023-12-02 10:14

SparkSQL－MR、RDD、DataFrame三个编程模型演进

2011的时候，Hive可以说是SQLOnHadoop的唯一选择，负责将SQL解析成MR任务运行在大数据上，实现交互
扎克begod·2023-12-02 10:12

Spark---Spark on Hive

1、SparkOnHive的配置1）、在Spark客户端配置HiveOnSpark在Spark客户端安装包下spark-2.3.1/conf中创建文件hive-site.xml：配置hive的metastore
30岁老阿姨·2023-12-02 10:40

2023.11.29 -hmzx电商平台建设项目 -核销主题阶段总结

目录1.准备源数据2.准备数仓工具进行源数据同步到ods层,本项目使用Datax3.使用Datax完成数据同步前建表时的方案选择3.1同步方式区别:3.2存储格式和压缩区别:4.在hive中创建表,共31
白白的wj·2023-12-02 09:53

2023.11.28-电商平台建设03 - 大数据调优手段

1.优化手段1.1分桶表HIVE的分桶本质上就是MR的分区操作建表语句:createtable表名(字段类型,....)clusteredby(分桶字段)[sortedby(字段[asc|desc])]
白白的wj·2023-12-02 09:52

java不支持解压rar5的解决办法--引用本地7zip.exe

在运行中报错：javacom.github.junrar.exception.RarException:badRarArchive通过引用本地7zip.exe，命令行执行解决：privatestaticvoidunZipRar5File
山高终有顶，人行无尽头·2023-12-02 09:15

Hive--时间函数大全

hive时间函数1.current_date()：获取当前格式化日期2.current_timestamp()：获取当前格式化时间3.unix_timestamp()：获取当前unix时间戳4.from_unixtime
小陈菜奈-·2023-12-02 07:37

Hive-sql切割字符串法(列转行)

selectid,namefrom(select1asid,'1,2,3,4'asname)aLATERALVIEWexplode(split(name,','))tempasname
小陈菜奈-·2023-12-02 07:07

clickhouse查询语法--array join

arrayjoinarrayjoin子句允许在数据表的内部，与数组或嵌套类型的字段进行join操作，从而将一行数组展开为多行，类似于hive中的exploded炸裂函数的功能createtabletb_array_join
小陈菜奈-·2023-12-02 07:37

Hdoop学习笔记（HDP）-Part.15 安装HIVE

十五、安装HIVE1.配置MetaStore利用ambari创建的MySQL作为MetaStore，创建用户hive及数据库hivemysql-uroot-pCREATEDATABASEhive;CREATEUSER'hive
这啥命啊·2023-12-02 06:58

备份与归档的区别

归档（Archive），也称数据存档，是将不经常使用但重要的
云祺vinchin·2023-12-02 05:30

单目标遗传算法 精英保留策略

该文章引自：https://www.cnblogs.com/devilmaycry812839668/p/6445762.htmlhttp://www.cnhup.com/index.php/archives
捌椒·2023-12-02 03:42

SMO优化算法（Sequential minimal optimization）

分类器中SMO算法https://blog.csdn.net/qq_28503457/article/details/96704927https://www.cnblogs.com/liqizhou/archive
正在学习的小天师兄·2023-12-02 01:36

PG14归档失败解决办法archiver failed on wal_lsn

案例1:pg_wal下有wal_lsn文件案例1适用于以下场景：pg_wal下有该wal_lsn文件而归档目录下无该wal_lsn文件pg_wal和归档目录下同时都有该wal_lsn文件问题描述昨晚Repmgr+PG14主备主库因wal日志撑爆磁盘，删除主库过期wal文件重做备库后上午进行主备状态巡查，主库向备库发送wal文件正常，但是查主库状态时发现显示有1条归档失败的记录。postgres:a
福娃筱欢·2023-12-02 01:22

PG14归档失败解决办法archiver failed on wal_lsn

案例1:pg_wal下有wal_lsn文件案例1适用于以下场景：pg_wal下有该wal_lsn文件而归档目录下无该wal_lsn文件pg_wal和归档目录下同时都有该wal_lsn文件问题描述昨晚Repmgr+PG14主备主库因wal日志撑爆磁盘，删除主库过期wal文件重做备库后上午进行主备状态巡查，主库向备库发送wal文件正常，但是查主库状态时发现显示有1条归档失败的记录。postgres:a
福娃筱欢·2023-12-02 01:22

4.hadoop集群扩容与hive异常处理

异常处理当我们使用sqoop同步数据时候，出现了异常。Errorwritingfile‘/tmp/MYYEBa32’(Errcode:28-NospaceleftondeviceINFOmapreduce.Job:Theurltotrackthejob:http://node3:8088/proxy/application_1681182527108_0002/INFOmapreduce.Job:
想成为数据分析师的开发工程师·2023-12-02 00:10

Linux 安装 git

不能自己指定安装目录、安装版本方式2下载tar.gz包配置查看git版本：Indexof/pub/software/scm/git/下载git:wgethttps://Github.com/Git/Git/archive
路灯下的程序员·2023-12-02 00:06

ubuntu 更换国内镜像

备份cd/etc/aptcpsources.listsources.list.bakup修改源为清华源sed-i's/archive.ubuntu.com/mirrors.aliyun.com/g'sources.list
有谁看见我的剑了？·2023-12-01 22:44

利用python实现文件压缩打包的功能

主要是利用了zipfile实现文件压缩打包，简单实例代码如下：importzipfilewithzipfile.ZipFile("archive.zip",'w')aszipf:zipf.write("
dataat·2023-12-01 22:13

hive sql练习题

由下面的数据image生成imagecreatetabletmp_access(namestring,monstring,numint);insertintotabletmp_accessselectuname,umonth,sum(ucount)fromt_accesstgroupbyt.uname,t.umonth;createviewtmp_viewasselecta.nameanme,a.
大数据修行·2023-12-01 21:44

mysql linux tar rpm 一键安装shell脚本

linux版本centos7mysql版本8.0.22下载地址：https://downloads.mysql.com/archives/community/如下图：image.png开始linux当前角色为
名称真多·2023-12-01 21:46
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他