hive性能调优

最佳实践分享：SQL性能调优

SQL性能调优是一个需要不断探索和实践的过程，旨在确保数据库查询的高效运行。本文将分享一些SQL性能调优的最佳实践，帮助您提升数据库性能，减少查询响应时间。一、索引优化索引是提高查询性能的关键。
白日梦批发商·2024-01-16 13:33

Linux离线安装MySQL5.7

Linux离线安装MySQL5.7准备tar包官方链接：MySQL::DownloadMySQLCommunityServer(ArchivedVersions)将MySQLtar包上传至服务器内部解压并重命名
神志不清.·2024-01-16 11:37

linux安装mysql5.7教程

目录一、下载安装包（推荐第二种）二、安装mysql三、设置密码和开启远程连接一、下载安装包（推荐第二种）1.官网下载：https://downloads.mysql.com/archives/community
这人很懒没留下什么·2024-01-16 11:06

DataX&数据同步（全量）

1.DataX简介1.1DataX概述  DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
韩顺平的小迷弟·2024-01-16 11:29

R语言【paleobioDB】——pbdb_scale()：通过ID选择，返回一个时间刻度的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 10:46

R语言【paleobioDB】——pbdb_scales()：返回多个时间刻度的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 10:13

HIVE总结

HIVE总结一、创建数据库CREATEDATABASEIFNOTEXISTSTEST;数据库在HDFS的默认位置为：/user/hive/warehouse/test.dbCREATEDATABASEIFNOTEXISTSTESTLOCATION
天选之子123·2024-01-16 10:52

添加Anaconda国内镜像

Anaconda安装包可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载。
TR老于·2024-01-16 09:11

HIve项目入门 环境部署遇到的问题及解决方案

环境布置的步骤建议是jdk,hadoophive这几个分别去下载，参考以下几个安装教程：【主要参考：傻瓜式教程】Windows下安装HiveMySQL版【附安装Hadoop教程】全网最详细的图文教程【有一些补充的内容
Manchesterr·2024-01-16 09:47

R语言【paleobioDB】——pbdb_strata()：通过名称、等级和/或 地理位置选择，返回地质地层的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 09:07

R语言【paleobioDB】——pbdb_richness()：绘制指定类群的数量丰度

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 09:01

【JVM】性能调优

一、前言性能调优，顾名思义，就是对系统或软件的性能进行优化，以提高其运行效率和响应速度。在计算机科学中，性能调优通常涉及到硬件、操作系统、数据库、网络等多个方面。
hope笔记·2024-01-16 08:57

jupyter lab 安装与远程使用（并配置C/C++ kernel）

服务器是新建议一个用户xxx，并切换到相应的用户sudoxxx;2、在/home/xxx/下载安装脚本wgethttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive
jxncxgx·2024-01-16 08:21

Hive 数据迁移

一、需求同步集团的数据到断直连环境。二、思路三、同步数据（方案）1、环境：断直连模拟环境2、操作机器：ETL机器XX.14.36.2163、工作路径：cd/usr/local/fqlhadoop/hadoop/bin4、执行命令：命令格式：./hadoopdistcphdfs://${NameNode_IP}:${NameNode_RPC_IP}/${源文件}hdfs://${NameNode_I
bigdata-余建新·2024-01-16 07:14

MongoDB系统性能调优(持续更新)

cache_size指定WT存储引擎内部cache的内存用量上限。需要注意的是，仅作用于WiredTigercache，而非mongod进程的内存用量上限。MongoDB同时使用WTcache和文件系统cache，往往mongod进程的内存用量高于该值。cache_size相对于物理内存总量不要设置的太满，需要留有一定内存为操作系统所用，否则有OOM潜在风险。默认情况下，cache_used超过8
豆奶快攻·2024-01-16 07:30

SparkSQL和Hive语法差异

SparkSQL和Hive语法差异1、仅支持HiveSparkSQL关联条件on不支持函数rand()创建零时表时，Spark不支持直接赋值nullSpark无法读取字段类型为void的表SparkSQL
中长跑路上crush·2024-01-16 07:28

Hive知识点

之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：面向主题的，集成的，非易失的和时变的数据集合，用以支持管理决策HIve
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

Hive（二）

修改表的结构：重命名：altertabletable_1renametotable_2;增加列信息：altertabletable_1addcolumns(mycolstring,myscostring);更新列：altertabletable_1changecolumnmycolint;删除表：droptabletable_1;数据查询：查询所有列（全表查询）：select*fromscore;
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

Hive使用shell调用命令行特殊字符处理

1.场景分析数据处理常用hive-e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试的繁琐。
tuoluzhe8521·2024-01-16 07:17

将Sqoop与Hive集成无缝的数据分析

将Sqoop与Hive集成是实现无缝数据分析的重要一步，它可以将关系型数据库中的数据导入到Hive中进行高级数据处理和查询。
晓之以理的喵~~·2024-01-16 06:44

免费的域名要不要？

-雪饼前言eu.org的免费域名相比于其他免费域名注册服务，https://xue6ing.cn/archives/free-yu-ming-yao-bu-yao注册账号EU.org注册页面填写必要
xB77·2024-01-16 06:06

Hive基础知识（十五）：Hive中SQL排序方式全解

Reducer1）使用ORDERBY子句排序ASC（ascend）:升序（默认）DESC（descend）:降序2）ORDERBY子句在SELECT语句的结尾3）案例实操（1）查询员工信息按工资升序排列hive
依晴无旧·2024-01-16 06:24

Hive基础知识（十六）：Hive-SQL分区表使用与优化

Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。
依晴无旧·2024-01-16 05:11

Clickhouse集成离线hive、实时kafka数据实操

Clickhouse集成hive一、官网介绍：1、clickhouse集成hive、kafka官网介绍：2、clickhouse支持的数据类型：二、创建对应hive的clickhouse表1、利用clickhouse
静听枫语·2024-01-16 05:11

maven3.3.3安装以及lombok安装

前提条件：Windows下安装好jdk1.8一、maven安装步骤1解压下载地址：http://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/
CopyLower·2024-01-16 05:02

大数据技术原理与应用 第三版 林子雨 期末复习（四） Hive

大数据技术原理与应用第三版林子雨期末复习（四）Hive概念数据仓库层次传统数据仓库面临的挑战Hive简介Hive与传统数据库对比概念Hive是一个基于Hadoop的数据仓库工具。
头发多多，肆意生长·2024-01-16 05:22

maven仓库

https://archive.apache.org/dist/maven/maven-3/https://mvnrepository.com/
vily_luky·2024-01-16 04:21

Oracle11g DG实战配置（Windows版）（五）主备库DG配置

5.1DG主库配置（主库操作）5.1.1配置OracleDataGuard#登录数据库sqlplus/assysdba#查看数据库归档模式，确认Archivelog已启用selectname,log_modefromv
0xfather·2024-01-16 03:33

R语言【paleobioDB】——pbdb_subtaxa()：统计指定类群下的子类群数量

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:48

R语言【paleobioDB】——pbdb_taxa()：获得多个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:18

R语言【paleobioDB】——pbdb_taxa_auto()：根据部分名称或前缀，获得多个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:18

R语言【paleobioDB】——pbdb_taxon()：通过名称或标识符，获得一个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:14

ClickHouse - 01

png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理，也可以直接将数据抽取到Hive
ArthurHC·2024-01-16 02:17

git

//版本比较，打包差异文件gitarchiveHEAD-oupdate.zip$(gitdiff--name-only--diff-filter=MDHEADHEAD~1)//比较改动的文件gitdiff
马铁狗·2024-01-16 00:18

通过hive元数据查询hive库和表的总条数

1、传统方式获得总条数例如以下：selectcount(*)fromods.tracklog;2、通过元数据获取方式如下：A、查指定库不含分区selectFORMAT(sum(tb.PARAM_VALUE),0)fromTBLStleftjoinDBSdont.DB_ID=d.DB_IDleftjoinTABLE_PARAMStbont.TBL_ID=tb.TBL_IDwhered.NAME='h
王木头·2024-01-15 22:34

pycharm中集成Qt desinger，并用pyqtgraph实现K线图在GUI界面中的嵌入

原文来自：https://zmister.com/archives/187.html原文中由于缺少讲解几个import，导致代码无法跑，这里是完整的例子。
Eva215665·2024-01-15 22:42

JVM性能调优工具

JVM性能调优工具1什么是性能调优性能调优就是对计算机硬件、操作系统和应用有相当深入的了解，调节三者之间的关系，实现整个系统（包括硬件、操作系统、应用）的性能最大化，并能不断的满足现有的业务需求。
efzy·2024-01-15 20:10

Hive窗口函数整理

Hive中的窗口函数允许你在结果集的一个特定“窗口”内对行进行计算。这些窗口可以是物理的（基于行在数据中的实际位置）或逻辑的（基于行的一些排序标准）。
田晖扬·2024-01-15 19:21

Hive常用函数

一、窗口函数1、窗口函数基础结构窗口函数=分析函数+over函数分析函数：sum()、max()、row_number()等等over函数：over(partitionbyuser_idorderbydatedesc/asc)按照user_id字段分区，每个分区内根据date字段排序，asc：升序desc：降序（默认升序）2、排序函数：row_number/rank/dense_ranka）row
kaiker·2024-01-15 18:28

find_shape_model

,-2],0.9,Row,Column,Angle,Score)*创建一个初始化矩阵hom_mat2d_identity(HomMat2D)*从点和角度计算刚性仿射变换，找出模板和卡尺工具的对应关系Phivector_angle_t
小张小迪·2024-01-15 17:13

在 CentOS 中，zip 是一个常用的命令行工具，用于创建和提取 zip 归档文件。

以下是一些常见的zip命令用法创建zip归档文件：#创建包含目录或文件的zip归档文件zip-rarchive.zip/path/to/directory_or_file#创建并压缩zip归档文件zip-r
二当家的素材网·2024-01-15 15:34

在 CentOS 上，tar 是一个常用的命令行工具，用于创建、查看和提取 tar 归档文件

以下是一些常见的tar命令用法：创建tar归档文件：#创建一个包含目录或文件的tar归档文件tar-cvfarchive.tar/path/to/directory_or_file#创建一个gzip压缩的
二当家的素材网·2024-01-15 13:42

Hive导入数据的五种方法

在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir控制，默认值是/user/hive/
冬瓜的编程笔记·2024-01-15 12:04

大数据开发之Hive（压缩和存储）

第9章：压缩和存储Hive不会强制要求将数据转换成特定的格式才能使用。
Key-Key·2024-01-15 12:34

大数据开发之Hive（企业级调优）

第10章：企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,url_rankint,click_numint,click_urlstring)rowformatdelimitedfieldsterminatedby'\t';//创建小表createtable
Key-Key·2024-01-15 12:34

大数据开发之Hive（统计影音视频网站的常规指标）

第11章：Hive实战11.1数据结构1、视频表字段备注详细描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄
Key-Key·2024-01-15 12:34

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:04

大数据开发之Hive(查询、分区表和分桶表、函数)

第6章：查询6.1基本语法及执行顺序1、查询语句语法select_expr,select_expr,...FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list][ORDERBYcol_list][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][SORTBYcol_list]][LIMITnumber]2
Key-Key·2024-01-15 12:04

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:29

dpkg-deb: error: paste subprocess was killed by signal (Broken pipe)

:pastesubprocesswaskilledbysignal(Brokenpipe)Errorswereencounteredwhileprocessing:/var/cache/apt/archives
joker-wt·2024-01-15 12:11
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他