hive性能调优

《PySpark大数据分析实战》-22.Pandas介绍Series介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:25

《PySpark大数据分析实战》-25.数据可视化图表Matplotlib介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:24

HIVE优化场景一：去重场景问题

场景一.去重场景问题1)UNION--UNIONALL之间的区别，如何取舍2)DISTINCT替代方式GROUPBY1)UNION--UNIONALL之间的区别，如何取舍注意SQL中UNIONALL与UNION是不一样的，UNIONALL不会对合并的数据去重UNION会对合并的数据去重例子：EXPLAINSELECTcompany_name,dep_name,user_id,user_nameFR
xuanxing123·2024-01-07 00:22

2024.1.5 Hadoop各组件工作原理,面试题

3.请简述hive元数据服务配置的三种模式?4.数据库与数据仓库的区别?5.简述下数据仓库经典三层架构?6.请简述内部表和外部表的区别?
白白的wj·2024-01-06 23:34

MySQL之四大引擎、建库建表以及账号管理

目录一.四大引擎1.1InnoDB1.2MyISAM1.3MEMORY1.4Archive二.数据库管理2.1元数据库简介2.2元数据库分类2.3数据库的增删改查及使用2.4MySQL库权限相关三.数据表管理
星辰.606·2024-01-06 23:16

Diffusion扩散模型学习2：DDPM前向加噪过程torch实现

code_videos/blob/main/01_Diffusion_Models_Tutorial/Diffusion%20Model.ipynb##codehttps://spaces.ac.cn/archives
loong_XL·2024-01-06 23:10

jetson Xavier NX安装PySide2

安装步骤下载Qt5资源包（完整资源包、基础资源，包二选一）完整资源包下载命令：wgethttp://master.qt.io/archive/qt/5.15/5.15.2/single/qt-everywhere-src
Andy_mq·2024-01-06 22:59

VS修改新建页面后默认的using引用项

引用：http://www.cnblogs.com/hebn/archive/2012/07/10/2584458.html每次新建类文件后都要很郁闷的去添加几个引用命名空间，VS自己又没有更改默认引用命名空间的选项
龙井茶Sky·2024-01-06 21:38

Linux下QT安装笔记

QT安装笔记1.操作系统：Centos72.下载Qt：官网：https://download.qt.io/archive/qt/5.9/5.9.5/qt-opensource-linux-x64-5.9.5
兮追儿·2024-01-06 21:03

【数据库】MySQL数据库存储引擎、数据库管理和数据库账号管理

文章目录一、数据库存储引擎1.1概述1.2InnoDB1.3MyISAM1.4Memory（HEAP）1.5Archive二、数据库管理2.1元数据库2.2分类2.3CURD2.4权限相关三、数据表管理
许潜行·2024-01-06 20:07

VirtualBox安装centos8

原文链接：https://www.wjcms.net/archives/vagrantbox%E5%AE%89%E8%A3%85centos8VirtualBox安装centos8在线安装（不推荐）打开
wjcms·2024-01-06 19:36

Mysql数据库中表名和数据导入hive数据库中

使用的是shell脚本#!/bin/bash#mysql地址mysql_host="ip地址"#mysql端口mysql_port="3306"#mysql用户名mysql_user="root"#mysql密码mysql_password="root"#mysql数据库mysql_database="testdb"#连接mysql执行sql语句查询所有的表名mysql-h${mysql_host
lcz-2000·2024-01-06 18:48

调整几行代码，接口吞吐提升 10 倍，性能调优妙啊！

景分析过程总结背景公司的一个ToB系统，因为客户使用的也不多，没啥并发要求，就一直没有经过压测。这两天来了一个“大客户”，对并发量提出了要求：核心接口与几个重点使用场景单节点吞吐量要满足最低500/s的要求。当时一想，500/s吞吐量还不简单。Tomcat按照100个线程，那就是单线程1S内处理5个请求，200ms处理一个请求即可。这个没有问题，平时接口响应时间大部分都100ms左右，还不是分分钟
LINgZone2·2024-01-06 18:05

MySQL四大引擎&建库建表&账号管理

目录一.数据库四大引擎1.1引擎查看1.2InnoDB引擎1.3MyISAM引擎1.4MEMORY引擎1.5Archive引擎二.数据库管理2.1元数据库2.2数据库的增删改查及使用2.3权限相关表三.
不念那年晚春·2024-01-06 18:00

hive源码

第1章HQL是如何转换为MR任务的1.1Hive的核心组成介绍1）用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问
Loreeta·2024-01-06 17:55

Hive源码阅读--导读

总述Hive的执行流程大致分为两部分，即任务的提交与返回,命令的编译与执行。
寒 暄·2024-01-06 17:25

Hive 源码解析一：Driver

本文为Hive源码系列的第一节(共三节)客户端部分，本节主要内容是通过源码分析总结从bin/hive启动到SQL解析转换成MR再到提交任务打印结果的一个宏观流程；第二节则针对HSQL如何解析、转换成MR
小王是个弟弟·2024-01-06 17:25

《Hive系列》Hive详细入门教程

目录1Hive基本概念1.1什么是HiveHive简介Hive：由FaceBook开源用于解决海量结构化日志的数据统计工具Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表
DATA数据猿·2024-01-06 17:55

Hive（一）概述

Hive（一）概述一.简介1.概述2.Hive架构3.Hive数据模型4.Hive文件格式5.Hive压缩6.Hive配置7.关于小文件问题二.安装Hive三.Hive基本使用一.简介1.概述什么是HiveHive
Jumanji_·2024-01-06 17:54

Hive源码图解

1、hive的核心组件1）用户接口：ClientCLI（command-lineinterface）、JDBC/ODBC(jdbc访问hive)、WEBUI（浏览器访问hive）2）元数据：Metastore
小泽码丽亚·2024-01-06 17:24

Hive 源码

hive编译issueFailedtoexecutegoalcom.github.os72:protoc-jar-maven-plugin:3.5.1.1:run(default)onprojecthive-standalone-metastore
zhixingheyi_tian·2024-01-06 17:54

教你如何将本地虚拟机变成服务器，供其它电脑访问

在虚拟机上安装hadoop和hive，然后同学机子上安装kettle进行连接。最后发现是可以的。本文介绍如何将本地虚拟机变成服务器，供其它电脑访问。
吾浴西风·2024-01-06 16:01

ubuntu 安装 anaconda

ubuntu安装anaconda下载wgethttps://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh安装bashAnaconda3
李昊哲小课·2024-01-06 15:37

【HQL实用】时间格式YYYYMMDD转换成YYYY-MM-DD

涉及的函数：unix_timestampfrom_unixtime【HiveSQL】常用日期函数汇总：错误思路：我寻思这不挺简单的吗？直接给你安排上to_date不就完事儿了。
王久也你又在造BUG·2024-01-06 15:55

Xcode15在iOS12系统上崩溃的原因

1.1.崩溃在_dyld_start，如图：崩溃截图解决办法：在otherlinkflags添加-ld64注意：该办法只能解决运行真机，archive出来的包依然报错闪退......1.2SwiftUI
ochenmengo·2024-01-06 13:22

MySQL之四大引擎、建库建表以及账号管理

目录一、数据库存储引擎1.1存储引擎查看1.2InnoDB1.3MyISAM1.4MEMORY1.5Archive二、数据库管理2.1元数据库简介2.2数据库相关操作2.3MySQL库三、数据库表管理3.1
Duarte·2024-01-06 13:19

linux环境seatunnel安装运行

环境：jdk8seatunnel2.3.3版本clickhouse22.1.125.7.37-loglinux下载exportversion="2.3.3"wget"https://archive.apache.org
喜羊羊love红太狼·2024-01-06 13:12

嵌入式开发（七）：thrift库ubuntu端编译

【嵌牛正文】：1.下载thrift下载路径：http://archive.apache.
Yyauun·2024-01-06 13:45

【ARMv8架构系统安装PySide2】

下载和配置PySide2Step6.检验PySide2是否安装成功Step1.下载Qt资源包ifyouneedthewholeQt5(~900MB):wgethttp://master.qt.io/archive
Dymc·2024-01-06 11:46

如何在windows安装php redis扩展

同时github上也提供了windows的版本可供下载：https://github.com/MicrosoftArchive/redis/releases。
AI视客·2024-01-06 11:13

RMAN-03002 RMAN-06059 ORA-19625

有个现场经理反馈，每天的rman备份异常，登录系统查看rman的log日志，报错信息如下RMAN>run{2>backupfilesperset50archivelogallformat'/backup
bestsun999·2024-01-06 11:03

鸿蒙系列--动态共享包的依赖与使用

一、前言HarmonyOS的共享包相当于Android的Library，在HarmonyOS中，给开发者提供了两种共享包，HAR（HarmonyArchive）静态共享包，和HSP（HarmonySharedPackage
郑子·2024-01-06 11:25

iOS app间文件分享

一般types文件格式支持：https://developer.apple.com/library/archive/documentation/Miscellaneous/Reference/UTIRef
西瓜吃了吗·2024-01-06 11:12

这篇360°全方面性能调优（含一线大厂Android端性能优化方案），帮您分分钟解决APP卡顿

什么是性能调优？性能调优就是对计算机硬件、操作系统和应用有相当深入的了解，调节三者之间的关系，实现整个系统（包括硬件、操作系统、应用）的性能最大化，并能不断的满足现有的业务需求。
程序员小何SS·2024-01-06 10:29

Hive SQLException: Method not supported问题

概述项目使用到impala/hive查询引擎，ELK记录每天都要抛出差不多一两条报错信息：java.net.SocketTimeoutException:Readtimedout。
johnny233·2024-01-06 10:26

FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException:

FAILED:SemanticExceptionorg.apache.hadoop.hive.ql.metadata.HiveException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
深度检测·2024-01-06 10:25

Hive实战：分科汇总求月考平均分

文章目录一、实战概述二、提出任务三、完成任务（一）准备数据1、在虚拟机上创建文本文件2、上传文件到HDFS指定目录（二）实现步骤1、启动HiveMetastore服务2、启动Hive客户端3、创建分区的学生成绩表
howard2005·2024-01-06 10:48

Golang高质量编程与性能调优实战

1.1简介高质量：编写的代码能否达到正确可靠、简洁清晰的目标各种边界条件是否考虑完备异常情况处理，稳定性保证易读易维护编程原则简单性消除多余的重复性，以简单清晰的逻辑编写代码不理解的代码无法修复改进可读性代码是写给人看的，并不是机器编写可维护代码的第一步是确保代码可读生产力团队整体工作效率非常重要1.2编码规范如何编写高质量的Go代码1.2.1代码格式推荐使用gofmt自动格式化代码主要有两种：g
豆沙睡不醒·2024-01-06 09:21

网络安全-使用HTTP动词篡改的认证旁路

分析AppScan扫描报告的时候，发现报告里提示“HTTP动词篡改导致的认证旁路”，于是在网上搜索资料，查到一个不错的博客：http://www.jackieathome.net/archives/363
XFTL·2024-01-06 09:58

【大数据进阶第三阶段之Hive学习笔记】Hive常用命令和属性配置

【大数据进阶第三阶段之Hive学习笔记】Hive安装-CSDN博客【大数据进阶第三阶段之Hive学习笔记】Hive常用命令和属性配置-CSDN博客【大数据进阶第三阶段之Hive学习笔记】Hive基础入门
伊达·2024-01-06 09:26

【大数据进阶第三阶段之Hive学习笔记】Hive的数据类型与数据操作

【大数据进阶第三阶段之Hive学习笔记】Hive安装-CSDN博客【大数据进阶第三阶段之Hive学习笔记】Hive常用命令和属性配置-CSDN博客【大数据进阶第三阶段之Hive学习笔记】Hive基础入门
伊达·2024-01-06 08:50

Hbase进阶

通过hive操作hbase的注意事项：（1）启动yarn服务：yarn-daemon.shstartresourcemanageryarn-daemon.shstartnodemanager（2）在hive
xinxinyydss·2024-01-06 08:36

Hadoop： SpringBoot Hive项目报java.lang.AbstractMethodError: org.apache.jasper.servlet.TldScanner$Tl

修改hive-jdbc依赖org.apache.hivehive-jdbc3.1.2org.eclipse.jettyjetty-runner
amadeus_liu2·2024-01-06 08:30

Hadoop:jdbc连接hive maven 依赖

junitjunit3.8.1testorg.apache.hadoophadoop-common3.3.0org.apache.hivehive-jdbc3.1.2jdk.toolsjdk.tools1.8system
amadeus_liu2·2024-01-06 08:30

springboot项目打jar包报Failed to execute goal org.apache.maven.plugins:maven-jar-plugin:3.1.2:jar

在springboot2.2.0.RELEASE版本的项目中想通过maven打jar包时，出现以下错误[WARNING]Errorinjecting:org.codehaus.plexus.archiver.jar.JarArchiverjava.lang.NoClassDefFoundError
Cyufeng·2024-01-06 08:29

ANTLR4

/antlr4/blob/master/doc/getting-started.md#安装jdk11和antlr4.13#wgethttps://github.com/antlr/antlr4/archive
wyg_031113·2024-01-06 07:43

【大数据进阶第三阶段之Hive学习笔记】Hive安装

zookeeper的安装与配置》自行百度《Linux环境配置MySQL》自行百度2、下载安装CSDN下载：https://download.csdn.net/download/liguohuaty/88702104Hive
伊达·2024-01-06 07:07

DataX部署及迁移操作说明

DataX安装部署1、DataX简介DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
曹弘毅·2024-01-06 06:11

简易机器学习笔记（十）Windows下 PaddlePaddle配置CUDA加速环境

前言大伙既然都来做这个了，那配个CUDA环境肯定是必不可少的了吧（笑）最前面的最前面，流程确定当前设备支持的CUDA版本安装CUDAToolkit和GPU版的Paddlepaddle下载cuDNNArchive
Leventure_轩先生·2024-01-06 06:46

jvm原理与性能调优

文章目录一、JVM内存结构1.运行时数据区2.直接内存二、JVM中的对象1.对象的创建2.对象的内存布局3.对象的访问定位三、垃圾回收算法和垃圾回收器1.如何判断对象是已死2.分代回收理论3.垃圾回收算法4.垃圾收集器四、JVM执行子系统1.Class文件结构2.类加载机制3.类加载器4.双亲委派模式五、JVM性能优化1.内存溢出2.内存泄露3.JDK提供的优化工具一、JVM内存结构1.运行时数据
不才不才不不才·2024-01-06 06:04
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他