hive数据倾斜

Ubuntu18.04安装gcc-4.9

若是直接使用sudoaptinstallgcc-4.9会报如下错误，步骤如下：1.修改源sudogedit/etc/apt/sources.list2.打开的文件最后添加如下两行debhttp://dk.archive.ubuntu.com
qq_38196982·2023-11-30 20:16

源码安装mysql

使用源码安装mysql，这里选择的版本是mysql5.7.35,系统是Centos7.6官网下载地址：https://downloads.mysql.com/archives/community/下载源码压缩包
有谁看见我的剑了？·2023-11-30 19:42

Mysql 表结构 到 hive 表结构的转换 （DDL自动生成）

最近在做mysql入hive数仓的工作，由于业务表数量较大，单独写hiveDDL太过耗时，就找到了如下方法。
雾岛与鲸·2023-11-30 16:56

大数据学习-离线数仓项目实战笔记（上）

1.前置1.1.软件版本产品版本Hadoop2.9.2Hive2.3.7Flume1.9DataX3.0Airflow1.10Atlas1.2.0Griffin0.4.0Impalaimpala-2.3.0
ys4tnaf·2023-11-30 15:24

CSS——浮动float属性详解

声明：本文为转载学习，原文地址为：https://www.cnblogs.com/iyangyuan/archive/2013/03/27/2983813.html首先要知道，div是块级元素，在页面中独占一行
小唐要努力·2023-11-30 15:24

如何读懂人类图，快速了解你自己！

01绘制自己的人类图人类图出图官方网站：http://www.jovianarchive.com/Get_Your_Chart按照要求填写以上内容，包括出生年、月、日（需要精确到几点几分），国家（需填写英文
思语人类图·2023-11-30 15:40

【现学现卖】宏基因组数据与深度学习

现在测序技术发展快速，序列数据越来越多，NCBI中SequenceReadArchive(SRA)数据库中的reads成倍地增长。
乔伊nikkie·2023-11-30 13:34

Spark---SparkSQL介绍

一、SparkSQL介绍1、SharkShark是基于Spark计算框架之上且兼容Hive语法的SQL执行引擎，由于底层的计算采用了Spark，性能比MapReduce的Hive普遍快2倍以上，当数据全部
30岁老阿姨·2023-11-30 13:52

1 每天一个linux 命令-ls

来源：https://www.cnblogs.com/peida/archive/2012/10/23/2734829.htmllsls命令是linux下最常用的命令。
光小月·2023-11-30 11:06

2019-12-11

Hive基本介绍及配置www.jianshu.comHive：由Facebook开源用于解决海量结构化日志的数据统计。
diedfish_qyf·2023-11-30 11:41

IconStiX for Mac V3.9.0 破解版 (图标制作工具(包含icns格式))

软件地址：https://macdwn.com/archives/2645.htmlIconStiXforMacV3.9.0破解版(图标制作工具(包含i
feixiongyuan·2023-11-30 10:06

Jira Software最新版本（9.11.2）安装

haxqer/confluence/releases/download/v1.3.3/atlassian-agent.jarMySQL驱动包MySQL::DownloadMySQLConnector/J(ArchivedVer
简烦·2023-11-30 10:32

获取windows用户密码——Jhon

root密码：123456kali用户名：kali密码：kali实验步骤:第一步：①打开管理员的命令提示符②通过吗命令cdc:/切换到c盘符下第二步：通过命令：①"regsavehklm\samsam.hive
Krismile☜·2023-11-30 09:07

【物联网与大数据应用】Hadoop数据处理

Hadoop利用分而治之的思想为大数据提供了一整套解决方案，如分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。
Bosenya12·2023-11-30 09:06

使用Kuboard管理工具k8s容器化部署skywalking实现链路追踪监控

下载mysql驱动Jar包，我使用的是8.0.15版本，下载地址：https://cdn.mysql.com//archives/mysql-connector-java-8.0/mysql-connector
新手村代码小白·2023-11-30 06:01

hive两张表实现like模糊匹配关联

testa表(字段a)aaabbacccddddddaaatestb表(字段b)ab1.使用like+concat模糊配对selecta.afromtestaa,testbbwherealikeconcat('%',b.b,'%')groupbya.a2.使用locate函数selecta.afromtestaa,testbbwherelocate(b.b,a.a)>0groupbya.a3.使用
有语忆语·2023-11-30 06:23

DLL中调用约定和名称修饰(转)

转自：http://blog.csdn.net/rivershan/archive/2004/03/05/15785.aspx调用约定（CallingConvention）是指在程序设计语言中为了实现函数调用而建立的一种协议
bairny·2023-11-30 06:12

Hadoop入门学习笔记-第五天（hadoop-hive安装部署与配置笔记）

1.准备安装包：MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundlemysql-connector-java-5.1.39.jar（驱动,需要放入/hive/lib
渣男程序员007·2023-11-30 05:44

Hadoop入门学习笔记-第六天（hive数据库命令相关操作）

hive命令行操作/user/hive/warehouse（hdfs目录）)说明：hive创建的数据库和数据库表都存在hdfs,一般默认目录为：/user/hive/warehouse1…创建hive的数据库
渣男程序员007·2023-11-30 05:44

MAC环境离线查看mysql的binlog文件

mac环境配置，安装mysql：下载地址：https://downloads.mysql.com/archives/community/安装Homebrew命令1:/usr/bin/ruby-e"$(curl-fsSLhttps
YimBa·2023-11-30 04:34

idea中maven项目一直卡在Resolving Maven dependencies

我的问题主要原因：maven版本，我使用的就是3.5.2现在使用3.5.4maven版本下载：https://archive.apache.org/dist/maven/maven-3/3.5.4/转载地址
原来~如此·2023-11-30 03:48

ambari部署hadoop

服务启动ambari服务登陆ambari-ui配置为何选用ambariAmbari是ApacheSoftwareFoundation中的一个顶级项目，它可以创建、管理、监视Hadoop整个生态圈（例如Hive
hello_world_99·2023-11-30 03:23

hive替换数据中的制表符和换行符

在我们的hive表中存在某些特殊字符和hive表的列分隔符号或者行分隔符冲突的时候，会导致数据串列串行，所以可以使用以下方式进行对应符号的替换，进行解决。
雾岛与鲸·2023-11-30 02:40

本地sparksql调试遇到的一些问题

本地sparksql调试遇到的一些问题1.报错：HivesupportisrequiredtoCREATEHiveTABLE(ASSELECT)解决办法：在spark中添加.enableHiveSupport
码大哈的园子·2023-11-30 02:10

本地IDEA、spark程序远程读取hive数据

描述问题数据在linux系统服务器上，在自己windows上用IDEA编写spark程序，需要远程访问hive数据。
一加六·2023-11-30 02:08

IDEA使用sparkSQL方式操作Hudi

环境与依赖对表进行操作打包提交集群运行环境与依赖添加依赖：org.apache.sparkspark-core_2.123.2.2org.apache.sparkspark-sql_2.123.2.2org.apache.sparkspark-hive
open_test01·2023-11-30 02:37

idea对spark程序进行远程提交和调试

3台主机的spark集群hadoop102hadoop103hadoop104IntelliJIDEA2020.3.2(UltimateEdition)背景知识若要把SparkSQL连接到一个部署好的Hive
akenseren·2023-11-30 02:06

phpstudy php7 redis,phpstudy安装redis

wampsesrver安装过一次redis,结果失败了,,今天又来搞一次,没想到成功了,赶紧记下来,.1.redis的下载和安装.下载地址:https://github.com/MicrosoftArchive
路I·2023-11-29 23:48

spark-submit 样例

spark-submit--confspark.driver.host=xx\--confhive.metastore.uris=xx\--classcom.mainclass\--num-executors1
旅途心情·2023-11-29 22:03

Hive_last_value()

在SQL中，LAST_VALUE()函数是一个窗口函数，用于返回窗口内的最后一个值。窗口函数允许你在一组行上执行计算，这组行与当前行有某种关系。可以将它们想象为与当前行相关的“窗口”。LAST_VALUE()函数通常与OVER()子句一起使用，后者定义了窗口的分区、排序和范围。以下是LAST_VALUE()函数的一般用法：LAST_VALUE(column_name)OVER([PARTITION
高达一号·2023-11-29 22:41

Hive_Spark_left()函数

在SQL中，LEFT()函数是一个字符串函数，用于从一个字符串的左侧开始提取指定数量的字符。这个函数通常接受两个参数：第一个参数是要从中提取字符的字符串。第二个参数指定要提取的字符数。语法如下：LEFT(string_expression,number_of_characters)string_expression是你想要从中提取子字符串的字符串表达式。number_of_characters是一
高达一号·2023-11-29 22:41

D365: 压缩

using(System.IO.MemoryStreamzipStream=newSystem.IO.MemoryStream()){using(System.IO.Compression.ZipArchivearchive
飘灬渺·2023-11-29 22:40

元数据管理|Hive Hooks和Metastore监听器介绍

本文主要介绍HiveHook和MetaStoreListener，使用这些功能可以进行自动的元数据管理。
大数据技术与数仓·2023-11-29 21:58

SpringBoot:kaptcha生成验证码

GitHub项目地址：GitHub-penggle/kaptcha:kaptcha-Akaptchagenerationengine.kaptcha介绍kaptcha官网（GoogleCodeArchive-Long-termstorageforGoogleCodeProjectHosting
是席木木啊·2023-11-29 21:01

【运维】hive 高可用详解： Hive MetaStore HA、hive server HA原理详解；hive高可用实现

文章目录一.hive高可用原理说明1.HiveMetaStoreHA2.hiveserverHA二.hive高可用实现1.配置2.beeline链接测试3.zookeeper相关操作一.hive高可用原理说明
roman_日积跬步-终至千里·2023-11-29 20:39

Hive数据倾斜优化：两个亿级表join

问题原始查询:selecta.strmd5,a.uiscoreporngroupcredit,b.dbitchclassifysexscorefrom(selectstrmd5,uiscoreporngroupcreditfromuserwheredt=20180925)asajoin#第一个子查询(selectstrpicdownloadimgmd5,dbitchclassifysexscore
YG_9013·2023-11-29 18:47

mac下常用软件

可以很方便的卸载软件，mac下大多数软件很容易删除，直接在应用程序中删除软件就可以，但是有些软件像itunes这样和mac结合的很深的软件要想删除干净就需要用appdelete这样的软件来删除了theunarchiver
zhangcaiyanbeyond·2023-11-29 17:50

Java jmx学习---Hive metric

1、问题最近接到一个新需求，要求监控hive服务。
小可0306·2023-11-29 17:01

大数据学习(24)-spark on hive和hive on spark的区别

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦1）SparkonHiveSparkonHive是Hive只作为存储角色
viperrrrrrr·2023-11-29 17:30

大数据学习(26)-数据倾斜总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦Hive数据倾斜问题是指在HiveSQL查询过程中，由于数据在表或列上的分布不均衡
viperrrrrrr·2023-11-29 17:30

大数据学习之HiveSQL

一.DDL(数据定义语言)1.DDL概述数据定义语言(DataDefinitionLanguage,DDL)，是SQL语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括database（schema）、table、view、index等。核心语法由CREATE、ALTER与DROP三个所组成。DDL并不涉及表内部数据的操作。2.DDL建表2.1完整建表语法树蓝色字体
煜筱子·2023-11-29 17:29

大数据学习(25)-hive核心总结

&&大数据学习&&系列专栏：哲学语录:承认自己的无知，乃是开启智慧的大门如果觉得博主的文章还不错的话，请点赞+收藏⭐️+留言支持一下博主哦1）用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC。说明：JDBC和ODBC的区别。（1）JDBC的移植性比ODBC好；（通常情况下，安装完ODBC驱动程序之后，还需要经过确定的配置才能够应用。而不相同的配置在不相
viperrrrrrr·2023-11-29 17:20

屏幕取词技术实现原理与关键源码

转自：https://www.cnblogs.com/seacryfly/archive/2012/01/08/2316511.html虽然屏幕取词技术早已经不是什么秘密，以至于除了汉化工具、翻译工具、
hemeinvyiqiluoben·2023-11-29 16:26

VC++ 操作excel 转

VCExcel在VC中彻底玩转Excel原文：http://blog.csdn.net/vicozo/archive/2009/04/12/4067804.aspx如今Excel是越来越重要了，在我们自己开发的程序中不免要和
beyondgirlzxm·2023-11-29 16:55

123.Impala查询缓慢问题与解决

123.1问题情况前提ImpalaDaemon已启用-convert_legacy_hive_parquet_utc_timestampsHive创建测试表，其中“statsdate”字段为TIMESTAMP
大勇任卷舒·2023-11-29 15:53

HBase初识之学生心得总结

c、HBase：理解为Hadoopbase--3.大数据框架：a、数据的存储：hdfs/hive/hbaseb、数据的传输：flume/sqoopc、数据的计算
程序员驴子酱·2023-11-29 15:33

三种背包的模板

01：http://www.ahathinking.com/archives/95.html0-1背包2012年4月30日Yx.Ac发表评论阅读评论文章作者：Yx.Ac文章来源：勇幸|Thinking(
dianmengshan5280·2023-11-29 14:17

Nginx访问间歇性卡顿的解决办法

转载：https://www.javatang.com/archives/2020/08/11/22403140.html降低Nginx的error级别并排除错误然后打开nginx的error.log文件
lpping90·2023-11-29 14:21

Linux中tar命令的几个高级用法

一、命令概述Tar(tapearchive)是Linux中最经典的归档工具之一。它能够打包多个文件或目录，并可选进行压缩，生成一个归档文件。无论是备份文件、传输数据还是节省存储空间，
胖头鱼不吃鱼-·2023-11-29 11:56

APP 如何不借助第三方平台实现分发

前期准备（也可以之后再换）1）一个企业签名的ipa包2）一个ipa包上传服务器的网址3）一个57X57png格式的网址4）一个512X512png格式的网址步骤1）打包Product->Archive-
马小撂·2023-11-29 10:27
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他