E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hive学习记录
(15)
Hive
调优——数据倾斜的解决指南
目录前言一、什么是数据倾斜二、发生数据倾斜的表现2.1MapReduce任务2.2Spark任务三、如何定位发生数据倾斜的代码四、发生数据倾斜的原因3.1key分布不均匀3.1.1某些key存在大量相同值3.1.2存在大量异常值或空值3.2业务数据本身的特性3.3SQL语句本身就有数据倾斜3.4建表时考虑不周四、触发数据倾斜的SQL操作五、数据倾斜的解决方案5.1Map长尾优化5.1.1Map读取
爱吃辣条byte
·
2024-02-19 11:50
#
Hive
大数据
hive
20. Qt 表格控件tableWidget的使用(1)
目录前言:内容:1.界面2.代码参考:前言:学习表格控件tableWidget的
学习记录
1,主要是用代码实现表格本身的设计(上篇)内容:1.界面ui文件添加tableWidget控件,想要名字的话另外用
都是报错快CV吧
·
2024-02-19 10:32
QT学习记录与资源提供
qt
开发语言
ui
visualstudio
20.Qt 表格控件tableWidget的使用(2)-单元格操作
目录前言:技能:内容:1.界面2.pushbutton的槽函数参考:前言:
学习记录
那位博主表格使用,尤其是单元格的基本操作,他讲的很好,详细看参考链接!!
都是报错快CV吧
·
2024-02-19 10:32
QT学习记录与资源提供
qt
开发语言
ui
visualstudio
Hive
入门,
Hive
是什么?
1.1
Hive
是什么?
Hive
是一个开源的数据仓库工具,主要用于处理大规模数据集。它是建立在Hadoop生态系统之上的,利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy
·
2024-02-19 10:31
hive
hadoop
数据仓库
Hive
Distribute by 应用之动态分区小文件过多问题优化
Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumberofdynamicpartitionsiscontrolledby
hive
.exec.max.dynamic.p
莫叫石榴姐
·
2024-02-15 10:58
hive
hive
Hive
调优——count distinct替换
离线数仓开发过程中经常会对数据去重后聚合统计,而对于大数据量来说,count(distinct)操作消耗资源且查询性能很慢,以下是调优的方式。解决方案一:groupby替代原sql如下:#=====7日、14日的app点击的用户数(user_id去重统计)selectgroup_id,app_id,--7日内UVcount(distinctcasewhendt>='${7d_before}'the
爱吃辣条byte
·
2024-02-15 10:58
#
Hive
hive
数据仓库
Hive
的相关概念——架构、数据存储、读写文件机制
目录一、架构及组件介绍1.1
Hive
整体架构1.2
Hive
组件1.3
Hive
数据模型(DataModel)1.3.1Databases1.3.2Tables1.3.3Partitions1.3.4Buckets
爱吃辣条byte
·
2024-02-15 10:57
#
Hive
hive
数据仓库
Hive
的相关概念——分区表、分桶表
目录一、
Hive
分区表1.1分区表的概念1.2分区表的创建1.3分区表数据加载及查询1.3.1静态分区1.3.2动态分区1.4分区表的本质及使用1.5分区表的注意事项1.6多重分区表二、
Hive
分桶表2.1
爱吃辣条byte
·
2024-02-15 10:57
#
Hive
hive
数据仓库
Hive
——动态分区导致的小文件问题
目录0问题现象1问题解决解决方案一:调整动态分区数方案一弊端:小文件剧增解决方案二:distributeby方案二弊端:数据倾斜解决方案三:distributeby命令2思考3小结0问题现象现象:报错errorr如下:[Error20004]:Fatalerroroccurredwhennodetriedtocreatetoomanydynamicpartitions.Themaximumnumb
爱吃辣条byte
·
2024-02-15 10:25
#
Hive
hive
数据仓库
【大数据
Hive
】
hive
表设计常用优化策略
目录一、前言二、
hive
普通表查询原理2.1操作演示说明2.1.1创建一张表,并加载数据2.1.2统计3月24号的登录人数2.1.3查询原理过程总结2.2普通表结构带来的问题三、
hive
分区表设计3.1
逆风飞翔的小叔
·
2024-02-15 10:22
大数据
hive表优化策略
hive常用的优化策略
如何对hive表优化
hive分桶表
hive索引
hive索引使用
hive分区表设计
Hive
on Spark配置
前提条件1、安装好
Hive
,参考:
Hive
安装部署-CSDN博客2、下载好Spark安装包,链接:https://pan.baidu.com/s/1plIBKPUAv79WJxBSbdPODw?
在下区区俗物
·
2024-02-15 10:51
hive
spark
hadoop
配置
hive
on spark
配置
hive
onspark1、上传Spark纯净版jar包到HDFS:hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改
空白格2519
·
2024-02-15 10:51
数据采集
big
data
hive
spark
hadoop
hive
on spark配置经验
常规配置配置完,开启hadoop,开启spark(如果在hdfs上上传了纯净版的spark则不需要开启),开启
hive
注:当前节点一定要是namenode的active节点,因为hadoop长时间不用namenode
小五冲冲冲
·
2024-02-15 10:21
Spark
hive
spark
hadoop
部署一个3节点的Kafka集群
一Java环境部署:1.1官网下载jdkJava下载官网https://www.oracle.com/cn/java/technologies/javase/javase8u211-later-arc
hive
-downloads.html1.12
小关暗器
·
2024-02-15 09:25
kafka
分布式
Hive
3.1.2——企业级调优
前言本篇文章主要整理
hive
-3.1.2版本的企业调优经验,有误请指出~一、性能评估和优化1.1Explain查询计划使用explain命令可以分析查询计划,查看计划中的资源消耗情况,定位潜在的性能问题
爱吃辣条byte
·
2024-02-15 09:48
#
Hive
hive
数据仓库
Attention +Transformer
学习记录
(二)
目录a.注意力机制和自注意力机制的区别b.引入自注意力机制的原因c.计算公式d.代码实现二、Multi-HeadAttention1.Multi-HeadAttention的计算2.位置编码三、Transformer模型1.Transformer整体结构2.Transformer的input输入2.1如何获得位置编码?3.Transformer的Encoder3.1Add&Normalize3.2
LLC74
·
2024-02-15 08:41
transformer
学习
深度学习
2020暑假八月
学习记录
- 8.15
数学:自从9号完成了因式分解后,到现在,一共自学了11.20,11.21两节,问题还挺多的,还是老毛病,看题目抄题计算中不是丢掉一些数据,就是看错了数据,另外,再次遇到x的平方不等于1,只回答了x≠1,也就是对于负数,还是没有在脑海里留下什么印象,不自觉就给舍弃了。这个我不打算给他强调了,留着开学后,老师去讲吧。今天在我的监督下看11.22,多项式除以多项式,发现他没有能够究根结底,只是依葫芦画瓢
icymath
·
2024-02-15 08:44
三分钟教你如何把不要钱的ChatGPT3.5用出花钱4.0的效果!
关注微信公众号DeepGoAI计算机杂谈及深度
学习记录
&分享上一期我们聊到ChatGPT4.0确实在各方面都优于3.5花了钱的就是不一样但我们有没有办法去弥补这一差距呢?
Longlongaaago
·
2024-02-15 07:07
程序人生
三分钟教你如何把不要钱的ChatGPT3.5用出花钱4.0的效果!
关注微信公众号DeepGoAI计算机杂谈及深度
学习记录
&分享上一期我们聊到ChatGPT4.0确实在各方面都优于3.5花了钱的就是不一样但我们有没有办法去弥补这一差距呢?
Longlongaaago
·
2024-02-15 07:05
机器学习
gpt-3
人工智能
chatgpt
python 线程池ThreadPoolExecutor
参考链接(https://www.codersrc.com/arc
hive
s/6732
沧海二阳
·
2024-02-15 06:42
Python
进阶技能
python
开发语言
中科大计网
学习记录
笔记(十一):CDN
前言:学习视频:中科大郑烇、杨坚全套《计算机网络(自顶向下方法第7版,JamesF.Kurose,KeithW.Ross)》课程该视频是B站非常著名的计网学习视频,但相信很多朋友和我一样在听完前面的部分发现信息量过大,有太多无法理解的地方,在我第一次点开的时候也有相同的感受,但经过了一段时间项目的学习,对计网有了更多的了解,所以我准备在这次学习的时候做一些记录并且加入一些我的理解,希望能够帮助到大
*Soo_Young*
·
2024-02-15 05:28
计算机网络
学习
笔记
计算机网络
conan安装
这里以pip安装为例,python安装建议anaconda,下载地址:https://repo.anaconda.com/arc
hive
/Anaconda3-2021.11-Windows-x86_64
曳帆
·
2024-02-15 05:39
cuBLAS Level-1 Function
仅为
学习记录
,具体内容请以nvidia官方文档为准:https://docs.nvidia.com/cuda/cublas/index.html#cublas-level-1-function-reference
Junr_0926
·
2024-02-15 04:17
Sqoop你用对了吗?
个人想法,有错请指出怎么让sqoop流程化1.首先创造配置表和任务表tb_configidjdbc_urluserpass_wordcolumnstable
hive
_tableis_incremental1jdbc
你值得拥有更好的12138
·
2024-02-15 03:43
FFmpeg+x264编码qcif会出现花屏的问题
http://www.cppblog.com/tx7do/arc
hive
/2013/01/11
cyqyong
·
2024-02-15 02:59
ffmpeg
x264
qcif
花屏
编码
Kibana启动问题
chrome-mac.zip时访问超时,日志如下[2022-09-05T11:57:55.901+08:00][WARN][plugins.screenshotting.chromium]Browserarc
hive
fordarwin
qinghuazs
·
2024-02-15 01:19
elasticsearch
大数据
搜索引擎
HIVE
优化场景七--数据倾斜--Join 倾斜
2)由于数据类型不一致,导致的转换问题,导致的数据倾斜场景说明:用户表中user_id字段为int,log表中user_id为既有string也有int的类型。当按照两个表的user_id进行join操作的时候,默认的hash操作会按照int类型的id进行分配,这样就会导致所有的string类型的id就被分到同一个reducer当中。解决方案:将INT类型id,转换为STRING类型的id.SEL
xuanxing123
·
2024-02-15 01:10
Unity类银河恶魔城
学习记录
7-3 P69 Setting up sword‘s aim源代码
Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释,可供学习Alex教程的人参考此代码仅为较上一P有所改变的代码【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibiliPlayerAimSwordState.csusingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;//从地面状
SuKacZev
·
2024-02-15 01:27
学习
游戏引擎
C#
Unity
unity
Unity类银河恶魔城
学习记录
7-1 P67 Sword Throw Skill State源代码
Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释,可供学习Alex教程的人参考此代码仅为较上一P有所改变的代码【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibiliSword_Skill.csusingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;publicclassSwo
SuKacZev
·
2024-02-15 01:26
类银河城学习记录
学习
Unity
C#
类银河
游戏引擎
unity
Unity类银河恶魔城
学习记录
7-2 P68 Setting up details of sword源代码
Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释,可供学习Alex教程的人参考此代码仅为较上一P有所改变的代码【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibiliSword_Skill.csusingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;publicclassSwo
SuKacZev
·
2024-02-15 01:26
学习
Unity
类银河
unity
C#
游戏引擎
Unity类银河恶魔城
学习记录
7-4 P70 Improving sword‘s behaviour源代码
Alex教程每一P的教程原代码加上我自己的理解初步理解写的注释,可供学习Alex教程的人参考此代码仅为较上一P有所改变的代码【Unity教程】从0编程制作类银河恶魔城游戏_哔哩哔哩_bilibiliSword_Skill_Controller.csusingSystem.Collections;usingSystem.Collections.Generic;usingUnityEngine;pub
SuKacZev
·
2024-02-15 00:56
类银河城学习记录
学习
unity
C#
类银河
Unity
游戏引擎
第四届全国智力运动会口号 吉祥物和会徽介绍
转自:第四届智运会官网http://www.imsa.cn/arc
hive
s/75194四智会主题口号:四智会主题口号释义:在儒家的道德规范体系中“智”是最基本最重要的德目之一,东方的儒雅智慧绵延不息,
五子棋宝典APP
·
2024-02-14 21:38
把自己的应用添加到系统的“分享”列表中
不要跟原先的一块,要不然不生效;mimeType代表支持分享的类型:{".3gp","video/3gpp"},{".apk","application/vnd.android.package-arc
hive
桃先森_
·
2024-02-14 20:51
Hive
经典面试题
1.
Hive
表关联查询,如何解决数据倾斜的问题1)倾斜原因:map输出数据按keyHash的分配到reduce中,由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce上的数据量差异过大
Yang_6234
·
2024-02-14 20:03
Hive
MR任务结束后进行文件合并
set
hive
.merge.mapfiles=true;set
hive
.merge.mapredfiles=true;set
hive
.merge.size.per.task=256000000;set
hive
.merge.smallfiles.avgsize
破阵子沙场秋点兵
·
2024-02-14 20:06
hive
中的三种建表方法
文章目录一、直接建表二、查询建表三、like建表一、直接建表CREATE[EXTERNAL]TABLE[IFNOTEXISTS]employee_external(//EXTERNAL关键字添加为外部表namestring,work_placeARRAY,sex_ageSTRUCT,skills_scoreMAP,depart_titleMAP>)COMMENT'Thisisanexternalt
日写BUG八百行
·
2024-02-14 19:40
mysql
数据库
java
hive
hive
中的Load data 和 insert的区别
文章目录一、Loaddata二、insert三、IMPORT/EXPORT一、Loaddata语法为LOADDATA[LOCAL]INPATH'filepath'[OVERWRITE]INTOTABLEtablename[PARTITION(partcol1=val1,partcol2=val2...)]local关键字:有,表示从本地文件系统中导入没有,表示从HDFS文件系统中导入,这里是文件的
日写BUG八百行
·
2024-02-14 19:10
hive
mysql
大数据
java
数据库
px4无人机编队
学习记录
-单机控制接口
笔者使用的源码及学习的内容来自https://www.bilibili.com/video/BV1rh4y1K7No/?share_source=copy_web&vd_source=be33b1553b08cc7b94afdd6c8a50dc5a源码下载链接在这个视频的简介里。这位up在csdn有同名账号,超维空间科技,大佬还有很多其他精彩的博文,欢迎大家去关注学习笔者是直接下载的源码,过程跟着
写点什么呢
·
2024-02-14 17:31
学习记录
Linux
无人机
学习
c++
ubuntu
linux
Winform中使用NPOI实现导出Excel并文件另存为
NPOI官网https://arc
hive
.codeplex.com/?
霸道流氓气质
·
2024-02-14 16:48
C#
通讯的基本概念理解
#纯属个人笔记作为
学习记录
用途#较多个人比较好理解的说法可能不太准确若发现错误欢迎评论区指正通讯的基本概念一、串行通讯与并行通讯按数据传送的方式,通讯可分为串行通讯与并行通讯,串行通讯是指设备之间通过少量数据信号线
懈 & CJ
·
2024-02-14 16:14
stm32
设置系统时钟深度理解
#纯属个人笔记作为
学习记录
用途#较多个人比较好理解的说法可能不太准确若发现错误欢迎评论区指正使用HSE时,设置系统时钟的步骤1、开启HSE,并等待HSE稳定2、设置AHB、APB2、APB1的预分频因子
懈 & CJ
·
2024-02-14 16:44
stm32
2021.12.19|
学习记录
与积累|巧言,令色,足恭,左丘明耻之,丘亦耻之
WelcometoFirry'slearninglog.Thisisthe_86thdayofmyrecord.——————————欢迎来每日外语朗读小组打卡哦!指路→灯塔打卡→公开小组→外语每日朗读隐私友好,形式多样,21天点亮一座灯塔,记录点滴进步,监督持续练习————————————————➽今日小记➽✍今天收拾家,收拾鸟舍,换了土,贴了墙。吃了粉丝。看了纪录片《文学的故乡》莫言,毕飞宇,刘
SciPsyLearning
·
2024-02-14 08:20
学习记录
(自用)
Java学习路径及记录,纯粹个人自用,请多指教JavaJava基础常用类常用类8种基础数据类型的包装类自动打包/解包序列化深入理解Java序列化深度解析JAVA序列化异常处理JavaSE基础:异常处理六个例子彻底理解finally语句块JVM原理Java高级特性泛型Java泛型详解细说Java泛型及其应用细说Java泛型及其应用反射注解Java注解完全解析Java网络编程Java多线程编程线程基础
weixin_33962621
·
2024-02-14 07:12
java
大数据
数据库
Java代码精简之道
作者常意内容来自微信公众号天池大数据科研平台此处仅供本人
学习记录
之用,侵删前言古语有云:道为术之灵,术为道之体;以道统术,以术得道。其中:“道”指“规律、道理、理论”,“术”指“方法、技巧、技术”。
longLiveData
·
2024-02-14 07:56
寒假
学习记录
11:grid布局
1.display:grid2.grid-template-columns:100px100px100px//指定每列的宽度grid-template-rows:100px100px100px//指定每行的宽度3.column-gap:24px//列间距row-gap:24px//行间距gap:24px//都设置4.grid-template-areas用法Document.container{w
博丽七七
·
2024-02-14 07:03
寒假学习记录
学习
前端
每日阅读《应对焦虑》
(为了保持每日知识获取的阅读习惯,自己打算以读书笔记的形式,来保持这种习惯,并且用文字表达的方式记录自己阅读的书籍,也算是自己的自我
学习记录
,留给未来自己的回忆。)
晚卍城
·
2024-02-14 07:42
Hive
Serde 序列化与反序列化
Hive
Serde序列化与反序列化
hive
Serde官方文档RegEx基于正则的匹配CREATETABLEapachelog(hostSTRING,identitySTRING,userSTRING,timeSTRING
星瀚光晨
·
2024-02-14 07:30
Hive系列
hive
Hive
serde 序列化表例子
文章转载自:http://blog.csdn.net/mango_song/article/details/125621371.概述一个文本f1.txt的格式如下:[plain]viewplaincopyprint?1tom2jame3mango它的第一列是id,第二列是name,第一列和第二列间通过不固定长度的空白(如空格制表符等)分割;我们希望创建一个user表,能够识别f1.txt,通过创建
苍穆
·
2024-02-14 07:30
hive
hive
序列化
SerDe
0基础学数据分析 MySQL多种安装方式
#MySQL数据库多种安装方式数据库官网下载地址https://downloads.mysql.com/arc
hive
s/community/##一linux系统###1.1源码安装数据库(自定义安装目录
资深数据分析师jason
·
2024-02-14 07:13
HIVE
中小文件问题
动态分区插入数据,会产生大量小文件2.数据源本来就含有大量小文件3.数据增量导入,如Sqoop数据导入,增量insert导入数据等4.分桶表(主要是切分文件,容易产生小文件问题)1.2.3都是数据导入的问题:
hive
这孩子谁懂哈
·
2024-02-14 06:45
HIVE
hive
hadoop
数据仓库
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他