hive性能调优

Hive05_DML 操作

1DML数据操作1.1数据导入1.1.1向表中装载数据（Load）1）语法hive>loaddata[local]inpath'数据的path'[overwrite]intotablestudent[partition
程序喵猴·2023-12-26 08:02

MQTT之客户端工具

HiveMQHiveMQ是一个实时的MQTT服务的一个网站，他们既提供MQTT信息中转服务也提供一个客户端工具，http://www.mqtt-dashboard.co
梁睿坤·2023-12-26 08:32

hive高级查询（2）

--分组查询SELECTsex,SUM(mark)sum_markFROMscoreGROUPBYsexHAVINGsum_mark>555;SELECTsex,sum_markFROM(SELECTsex,SUM(mark)sum_markFROMscoreGROUPBYsex)tWHEREsum_mark>555;SELECTAVG(gid),SUM(gid)/COUNT(gid)FROMst
xinxinyydss·2023-12-26 07:51

iceberg1.4.2 +minio通过spark创建表，插入数据

下层支持hadoop，s3,对象存储，上层支持hive，spark，flink等应用。实现在中间把两部分隔离开来，实现一种对接和数据管理的标准。有这个标准，不管是谁建的表，都可以操作和访问。
smileyboy2009·2023-12-26 06:39

linux命令后台运行

linux命令后台运行-北国的雨-博客园https://www.cnblogs.com/lwm-1988/archive/2011/08/20/2147299.html
一剑仙人跪_·2023-12-26 06:14

大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队

摘要：在大数据领域中，HiveSQL被广泛应用于数据仓库的数据查询和分析。然而，由于数据量庞大和复杂的查询需求，HiveSQL查询的性能往往不尽人意。
京东云技术团队·2023-12-26 06:33

软件体系结构

Hive：hive是
城堡修炼者·2023-12-26 04:42

Elsevier 期刊模板

www.elsevier.com/authors/author-schemas/latex-instructionsorElsevier期刊模板直接下载地址https://ctan.org/tex-archive
日拱一卒_·2023-12-26 03:41

Pulsar 详解 - 索引目录

）Pulsar详解3—工作原理&客户端API（示例：Go语言）Pulsar详解4—Pulsar的高级特性（示例：Go语言）Pulsar详解5—Pulsar的管理和监控Pulsar详解6—Pulsar的性能调优
风不归Alkaid·2023-12-26 02:29

Linux安装MySQL5.7

MySQL下载地址：https://downloads.mysql.com/archives/community/图片.png修改密码步骤需要谨慎1，解压tar-xvfmysql-5.7.26-linux-glibc2.12
CoderZS·2023-12-26 02:43

大数据——技术生态体系

ApacheHive是一个用于数据查询和分析的数据仓库工具。
Imrea·2023-12-26 01:56

Hortonworks中修改Hive使用postgresql数据库

首先停止Hive服务从Ambari管理界面上停止Hive服务修改Hive配置在Hive->Configs->Advanced中，将数据库改为使用已存在的postgresql数据库，然后修改数据库用户，密码和数据库名称
kongxx·2023-12-26 00:05

spark启动程序命令

/spark-submit--masterspark://hive01:7077--deploy-modeclient--classorg.apache.spark.examples.SparkPi..
安安DE爸爸·2023-12-25 23:00

git 命令的使用

TableofContentsgitTableofContentsaddarchiveblamebranchcheckoutcherry-pickclonecommitconfigdifffetchfor-each-refgithubinitlog
xiannvlei·2023-12-25 23:56

京东一面：20多种异步方式，你知道几个？含协程

圈内一大波顶级高手、架构师、发烧友已经实现技术自由；另外一大波卷王，正在狠狠卷，奔向技术自由29篇原创内容公众号异步，作为性能调优核心方式之一，经常被用于各种高并发场景。
竹林幽深·2023-12-25 22:28

Java性能调优

一个用Java写的GUI程序，作用是分析日志，它会将一定数量的格式相同的文本日志文件读入内存分析处理，然后将结果合并输出。文件数量几十个，文件大小几KB，日志记录几千条左右，此工具可以流畅处理，轻松满足需求。然而，因为记录日志的方案调整，记录日志类型范围从warn、error级别扩大到了连info、debug级别的日志也要记录，从而导致了日志量激增，固定时间范围内产生的日志文件增加到了几百个，单个
Java高级架构狮·2023-12-25 20:25

C#读取Excel的三种方式以及比较

本文转载自：http://www.cnblogs.com/jingkunliu/archive/2015/01/19/4234099.html作者：Jingkunliu转载请注明该声明。
zhengxiuchen86·2023-12-25 19:21

hive中struct相关函数总结

目录hive官方函数解释示例实战hive官方函数解释hive官网函数大全地址：添加链接描述ReturnTypeNameDescriptionstructstruct(val1,val2,val3,…)Createsastructwiththegivenfieldvalues.Structfieldnameswillbecol1
浊酒南街·2023-12-25 17:01

Hive-数据模型详解（超详细）

文章目录一、Hive数据模型1.概述2.数据库和表(1)创建数据库(2)使用数据库(3)创建表格(4)查看表结构3.分区与桶(1)分区(2)桶4.数据加载与查询(1)数据导入(2)查询语句5.总结一、Hive
大数据魔法师·2023-12-25 16:17

隐含规则搜索算法

如果目标是"archive(member)"的函数库文件模式，那么这个算法会被运行两次，第一次是找目标T，如果没有找到的话，那么进入第二次，第二次会把"member"当作T来搜索。
Caiaolun·2023-12-25 15:24

云计算与大数据之间的羁绊（期末不挂科版）：云计算 | 大数据 | Hadoop | HDFS | MapReduce | Hive | Spark

文章目录前言：一、云计算1.1云计算的基本思想1.2云计算概述——什么是云计算？1.3云计算的基本特征1.4云计算的部署模式1.5云服务1.6云计算的关键技术——虚拟化技术1.6.1虚拟化的好处1.6.2虚拟化技术的应用——12306使用阿里云避免了高峰期的崩溃1.6.3虚拟化的关键特征1.6.4虚拟化的HA指的是什么？1.6.5服务器虚拟化1.6.6虚拟机迁移1.6.6.1虚拟机实时迁移对云计算
春人.·2023-12-25 14:59

MySQL-lesson05-存储引擎

只不过比文件系统强大2、功能了解数据读写数据安全和一致性提高性能热备份自动故障恢复高可用方面支持等.3、存储引擎种类（笔试）3.1介绍(OracleMySQL)InnoDBMyISAMMEMORYARCHIVEFEDERATEDEXAMPLEBLACKHOLEMERGENDBCLUSTERCSV3.2
丶Daniel·2023-12-25 14:52

hive 配置metastore hiveserver2服务开启

安装mysqlcreatedatabasemetastore;配置hivehive-site.xml:javax.jdo.option.ConnectionURLjdbc:mysql://hadoop102
赤土 炙焱·2023-12-25 12:50

用户没有权限操作hadoop User: wu is not allowed to impersonate wu (state=08S01,code=0)

Error:CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://ubuntu:10000:Failedtoopennewsession:java.lang.RuntimeException
赤土 炙焱·2023-12-25 12:50

hive日常报错 | 处理步骤

报错首先，hive最基本的查询语句运行报错了：Causedby:java.net.ConnectException:Yourendpointconfigurationiswrong;Formoredetailssee
赤土 炙焱·2023-12-25 12:50

spark 连接 hive 报错 Identifier principalName is unresolved (not a static field)

spark连接hive的mysql元数据库metastore，不能直接访问，需要通过metastoreserver间接访问因此需要开启元数据服务修改hive-site.xml配置    hive.metastore.uris
赤土 炙焱·2023-12-25 12:20

Rocksdb sst_dump工具的安装和使用

系统安装找到rocksdb仓库：Releases·facebook/rocksdb·GitHub找到对应版本的二进制，比如：https://github.com/facebook/rocksdb/archive
Mint6·2023-12-25 12:03

【美团大数据面试】大数据面试题附答案

TopN求法，大数据量无法完全写入内存解决方案，MapReduce实现方法7.spark部署、调度原理8.spark的stage划分方法9.reducejoin执行过程10.大数据量join优化方法11.hive
话数Science·2023-12-25 11:19

深入理解ASP.NET的内部运行机制

IIS：http://www.cnblogs.com/panchunting/archive/2013/04/11/ASPNET_Architecture.html管道事件：http://blog.csdn.net
MsdnWoo·2023-12-25 11:18

（三）hive学习笔记——1.1hive入门

（三）hive学习笔记——1.1hive入门1.Hive介绍2.Hive的安装3.Hive数据的存储4.配置安装mysql5.配置Hive元数据保存到mysql中6.元数据的结构7.jdbc连接hive8
我是菜鸟程序员·2023-12-25 11:01

Spark 学习笔记——001【spark-mysql+spark-hive】

在本地提交spark-submitspark-sql窗口的进入./spark-sql--masterlocal[4]--jars/home/hadoop/software/mysql-connector-java-5.1.27-bin.jar\--driver-class-path/home/hadoop/software/mysql-connector-java-5.1.27-bin.jarsp
冰冷热带鱼·2023-12-25 11:01

Hive-DDL详解（超详细）

文章目录前言HiveQL的数据定义语言（DDL）1.创建数据库2.切换到指定数据库3.创建表格(1)基本形式:(2)示例:4.查看表格结构5.删除数据库和表格(1)删除数据库:(2)删除数据表:总结前言本教程将介绍
大数据魔法师·2023-12-25 10:26

Centos7 安装swoole扩展

安装环境centos7.2php7.2.51、下载安装包下载地址https://github.com/swoole/swoole-src/archive/v2.0.6.tar.gz$sudowgethttps
萧格·2023-12-25 08:06

在windows笔记本中安装tensorflow1.13.2版本的gpu环境2

1.1Anaconda安装1.2tensorflow-gpu安装1.3python编译器-pycharm安装1.1Anaconda安装从镜像源处下载anaconda，地址：Indexof/anaconda/archive
bug生成中·2023-12-25 06:43

Qt Creator可视化交互界面exe快速入门1

Qt的安装链接：Indexof/archive/qt5.14版本之前都是可以直接离线安装，即下载完整安装包之后在本地安装。最新及5,15版本之后的都不支持直接的离线安装了，需要通过下载器来进行安装。
bug生成中·2023-12-25 06:43

西电数据挖掘实验三 关联规则挖掘 投票记录

1.实验内容1、数据来源http://archive.ics.uci.edu/ml/datasets/Congressional+Voting+Records2、使用Apriori算法，支持度设为30%
oges·2023-12-25 06:43

hive行转列、列转行

selectcol1,col22fromtable1lateralviewexplode(col2)tmp_tblascol22处理后可得数据：col1col22a1aa1b语法解释：EXPLODE(col)：将hive
山上的小竹子·2023-12-25 06:59

Linux中安装Maven3.6.1

下载maven安装包首先需要切换到自己需要安装的目录我自己是把配置都放到了：/usr/local/maven路径下cd/usr/local/maven下载maven安装包：wgethttps://archive.apache.org
枸杞配码·2023-12-25 05:50

Hive的视图和索引

Hive的视图和索引1、HiveLateralView1、基本介绍LateralView用于和UDTF函数（explode、split）结合来使用。
新鲜氧气·2023-12-25 03:03

Java实现异步的原因、场景、实现异步的方式

文章目录实现异步的原因：异步和同步的区别异步使用的场景实现异步的方式：实现异步的20种实现方式异步，作为性能调优核心方式之一，经常被用于各种高并发场景。
思静语·2023-12-25 02:13

经验杂谈——CUDA以及CUDNN安装配置（WIN10为例）

NVIDIA控制面板右键如同所示：2.我们将看见控制面板的主页点击帮助3.显示如下，点击组件我们可以看见该显卡支持CUDA最高版本号二.此时已知该显卡支持的最高版本号，进入官网下载CUDAToolkitArchive
小小杨树·2023-12-25 02:10

mysql的性能调优，explain的用法，explain各字段的解释

EXPLAIN一条语句的各字段解析如下id首先我们要知道explain的每一条记录都对应着访问单表的方式，即使说一条查询语句可能用了两个表，那也要拆成两条记录，只不过二者id相同，因为一个SELECT对应一个id。并且出现在前面的s1代表mysql选择它作为驱动表，而后面的s2代表mysql选择其作为被驱动表：假设是一个SELECT的查询结果作为临时表给另一个SELECT，那就是两个id了：但我们
結城·2023-12-25 00:33

Mac安装配置MySQL

1.MySQL->MySQLCommunityServer然后SelectOperatingSystem:macOS选择macOS11(x86,64-bit),DMGArchive文件下载2.打开刚下载的
涓涓细流汇聚成海·2023-12-24 23:00

大数据学习笔记——数据仓库hive重要的总结

1、外部表和内部表Hive表分为两类，即内部表和外部表。
新宿一次狼·2023-12-24 23:27

大数据高级开发工程师——Hive学习笔记（3）

文章目录Hive提高篇Hive的使用Hive的常用函数1.系统内置函数2.数值计算取整函数:round向下取整函数:floor向上取整函数:ceil向上取整函数:ceiling取随机数函数:rand3.
讲文明的喜羊羊拒绝pua·2023-12-24 23:26

Hive学习笔记（一）—— Hive的入门

文章目录Hive基本概念1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据存储位置1.4.3数据更新1.4.4
Alienware^·2023-12-24 23:56

【Hadoop学习笔记】（二）——Hive的原理及使用

一、Hive概述Hive是一个在Hadoop中用来处理结构化数据的数据仓库基础工具。
wanger61·2023-12-24 23:25

四、Hadoop学习笔记————各种工具用法

hive基本hql语法Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如
weixin_30528371·2023-12-24 23:25

Hive学习笔记（1）——Hive原理初探

文章目录前言一、hive的特点二、hive体系架构及基本原理三、Hive的存储四、总结前言相信大家通过学习MapReduce，已经认识到hadoop利用多台廉价机器集群进行并行计算的优势，了解了HDFS
Zhou.Y.M·2023-12-24 23:55

Hadoop基础学习十一（hive语法）

文章目录1.map阶段2.reduce阶段3.where2.join3.groupby4.orderby5.sortby6.if（判断条件，成立的返回值，否则的返回值）7.casewhenxxthenyyelsezzend8、函数1）split2）concat_ws3）datediff4）concat5）向下取整函数floor6）日期增加函数date_add7）类型转换函数cast8）explod
一只小呆呆·2023-12-24 23:55
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他