hive数据倾斜

生物信息神奇网站系列（十二）：机器学习数据集

十二：加州大学欧文分校机器学习数据集http://archive.ics.uci.edu/ml/index.php1、登录网站，可以看到“Welcom
基因学苑·2023-12-26 09:34

Hive02_基本使用，常用命令

一、Hive基本概念1什么是Hive1）hive简介Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。
程序喵猴·2023-12-26 08:39

Hive03_数据类型

在Hive下访问的格式为{"name":"wukong","friends":["bajie","lili"],//列表Array,"children":{//键值Map,"xiaosun":18,"xiaoxiaosun
程序喵猴·2023-12-26 08:39

Hive04_DDL操作

HiveDDL操作1DDL数据定义1.1创建数据库CREATEDATABASE[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path
程序喵猴·2023-12-26 08:39

Hive05_DML 操作

1DML数据操作1.1数据导入1.1.1向表中装载数据（Load）1）语法hive>loaddata[local]inpath'数据的path'[overwrite]intotablestudent[partition
程序喵猴·2023-12-26 08:02

MQTT之客户端工具

HiveMQHiveMQ是一个实时的MQTT服务的一个网站，他们既提供MQTT信息中转服务也提供一个客户端工具，http://www.mqtt-dashboard.co
梁睿坤·2023-12-26 08:32

hive高级查询（2）

--分组查询SELECTsex,SUM(mark)sum_markFROMscoreGROUPBYsexHAVINGsum_mark>555;SELECTsex,sum_markFROM(SELECTsex,SUM(mark)sum_markFROMscoreGROUPBYsex)tWHEREsum_mark>555;SELECTAVG(gid),SUM(gid)/COUNT(gid)FROMst
xinxinyydss·2023-12-26 07:51

iceberg1.4.2 +minio通过spark创建表，插入数据

下层支持hadoop，s3,对象存储，上层支持hive，spark，flink等应用。实现在中间把两部分隔离开来，实现一种对接和数据管理的标准。有这个标准，不管是谁建的表，都可以操作和访问。
smileyboy2009·2023-12-26 06:39

linux命令后台运行

linux命令后台运行-北国的雨-博客园https://www.cnblogs.com/lwm-1988/archive/2011/08/20/2147299.html
一剑仙人跪_·2023-12-26 06:14

大数据从业者必知必会的Hive SQL调优技巧 | 京东云技术团队

摘要：在大数据领域中，HiveSQL被广泛应用于数据仓库的数据查询和分析。然而，由于数据量庞大和复杂的查询需求，HiveSQL查询的性能往往不尽人意。
京东云技术团队·2023-12-26 06:33

软件体系结构

Hive：hive是
城堡修炼者·2023-12-26 04:42

Elsevier 期刊模板

www.elsevier.com/authors/author-schemas/latex-instructionsorElsevier期刊模板直接下载地址https://ctan.org/tex-archive
日拱一卒_·2023-12-26 03:41

Linux安装MySQL5.7

MySQL下载地址：https://downloads.mysql.com/archives/community/图片.png修改密码步骤需要谨慎1，解压tar-xvfmysql-5.7.26-linux-glibc2.12
CoderZS·2023-12-26 02:43

大数据——技术生态体系

ApacheHive是一个用于数据查询和分析的数据仓库工具。
Imrea·2023-12-26 01:56

Hortonworks中修改Hive使用postgresql数据库

首先停止Hive服务从Ambari管理界面上停止Hive服务修改Hive配置在Hive->Configs->Advanced中，将数据库改为使用已存在的postgresql数据库，然后修改数据库用户，密码和数据库名称
kongxx·2023-12-26 00:05

spark启动程序命令

/spark-submit--masterspark://hive01:7077--deploy-modeclient--classorg.apache.spark.examples.SparkPi..
安安DE爸爸·2023-12-25 23:00

git 命令的使用

TableofContentsgitTableofContentsaddarchiveblamebranchcheckoutcherry-pickclonecommitconfigdifffetchfor-each-refgithubinitlog
xiannvlei·2023-12-25 23:56

Spark数据倾斜解决方案四：使用随机Key进行双重聚合

在使用reduceByKey，groupByKey算子时，都是针对PairRDD进行操作，那么，我们就可以PairRDD的每个元素的Key加上一个随机数前缀，这样的话，之前存在的大量相同而导致数据倾斜问题的
hipeer·2023-12-25 20:55

C#读取Excel的三种方式以及比较

本文转载自：http://www.cnblogs.com/jingkunliu/archive/2015/01/19/4234099.html作者：Jingkunliu转载请注明该声明。
zhengxiuchen86·2023-12-25 19:21

hive中struct相关函数总结

目录hive官方函数解释示例实战hive官方函数解释hive官网函数大全地址：添加链接描述ReturnTypeNameDescriptionstructstruct(val1,val2,val3,…)Createsastructwiththegivenfieldvalues.Structfieldnameswillbecol1
浊酒南街·2023-12-25 17:01

Hive-数据模型详解（超详细）

文章目录一、Hive数据模型1.概述2.数据库和表(1)创建数据库(2)使用数据库(3)创建表格(4)查看表结构3.分区与桶(1)分区(2)桶4.数据加载与查询(1)数据导入(2)查询语句5.总结一、Hive
大数据魔法师·2023-12-25 16:17

隐含规则搜索算法

如果目标是"archive(member)"的函数库文件模式，那么这个算法会被运行两次，第一次是找目标T，如果没有找到的话，那么进入第二次，第二次会把"member"当作T来搜索。
Caiaolun·2023-12-25 15:24

云计算与大数据之间的羁绊（期末不挂科版）：云计算 | 大数据 | Hadoop | HDFS | MapReduce | Hive | Spark

文章目录前言：一、云计算1.1云计算的基本思想1.2云计算概述——什么是云计算？1.3云计算的基本特征1.4云计算的部署模式1.5云服务1.6云计算的关键技术——虚拟化技术1.6.1虚拟化的好处1.6.2虚拟化技术的应用——12306使用阿里云避免了高峰期的崩溃1.6.3虚拟化的关键特征1.6.4虚拟化的HA指的是什么？1.6.5服务器虚拟化1.6.6虚拟机迁移1.6.6.1虚拟机实时迁移对云计算
春人.·2023-12-25 14:59

MySQL-lesson05-存储引擎

只不过比文件系统强大2、功能了解数据读写数据安全和一致性提高性能热备份自动故障恢复高可用方面支持等.3、存储引擎种类（笔试）3.1介绍(OracleMySQL)InnoDBMyISAMMEMORYARCHIVEFEDERATEDEXAMPLEBLACKHOLEMERGENDBCLUSTERCSV3.2
丶Daniel·2023-12-25 14:52

hive 配置metastore hiveserver2服务开启

安装mysqlcreatedatabasemetastore;配置hivehive-site.xml:javax.jdo.option.ConnectionURLjdbc:mysql://hadoop102
赤土 炙焱·2023-12-25 12:50

用户没有权限操作hadoop User: wu is not allowed to impersonate wu (state=08S01,code=0)

Error:CouldnotopenclienttransportwithJDBCUri:jdbc:hive2://ubuntu:10000:Failedtoopennewsession:java.lang.RuntimeException
赤土 炙焱·2023-12-25 12:50

hive日常报错 | 处理步骤

报错首先，hive最基本的查询语句运行报错了：Causedby:java.net.ConnectException:Yourendpointconfigurationiswrong;Formoredetailssee
赤土 炙焱·2023-12-25 12:50

spark 连接 hive 报错 Identifier principalName is unresolved (not a static field)

spark连接hive的mysql元数据库metastore，不能直接访问，需要通过metastoreserver间接访问因此需要开启元数据服务修改hive-site.xml配置    hive.metastore.uris
赤土 炙焱·2023-12-25 12:20

Rocksdb sst_dump工具的安装和使用

系统安装找到rocksdb仓库：Releases·facebook/rocksdb·GitHub找到对应版本的二进制，比如：https://github.com/facebook/rocksdb/archive
Mint6·2023-12-25 12:03

[HADOOP]数据倾斜的避免和处理

避免数据倾斜初始设计方面：设计阶段考虑数据分布，并尽可能确保数据均匀分布。预处理数据：在数据加载到Hadoop之前进行预处理，以减少倾斜。使用抽样或统计方法来了解数据分布特征，并据此调整。
wātɔ:h·2023-12-25 12:02

【美团大数据面试】大数据面试题附答案

TopN求法，大数据量无法完全写入内存解决方案，MapReduce实现方法7.spark部署、调度原理8.spark的stage划分方法9.reducejoin执行过程10.大数据量join优化方法11.hive
话数Science·2023-12-25 11:19

深入理解ASP.NET的内部运行机制

IIS：http://www.cnblogs.com/panchunting/archive/2013/04/11/ASPNET_Architecture.html管道事件：http://blog.csdn.net
MsdnWoo·2023-12-25 11:18

（三）hive学习笔记——1.1hive入门

（三）hive学习笔记——1.1hive入门1.Hive介绍2.Hive的安装3.Hive数据的存储4.配置安装mysql5.配置Hive元数据保存到mysql中6.元数据的结构7.jdbc连接hive8
我是菜鸟程序员·2023-12-25 11:01

Spark 学习笔记——001【spark-mysql+spark-hive】

在本地提交spark-submitspark-sql窗口的进入./spark-sql--masterlocal[4]--jars/home/hadoop/software/mysql-connector-java-5.1.27-bin.jar\--driver-class-path/home/hadoop/software/mysql-connector-java-5.1.27-bin.jarsp
冰冷热带鱼·2023-12-25 11:01

Hive-DDL详解（超详细）

文章目录前言HiveQL的数据定义语言（DDL）1.创建数据库2.切换到指定数据库3.创建表格(1)基本形式:(2)示例:4.查看表格结构5.删除数据库和表格(1)删除数据库:(2)删除数据表:总结前言本教程将介绍
大数据魔法师·2023-12-25 10:26

Centos7 安装swoole扩展

安装环境centos7.2php7.2.51、下载安装包下载地址https://github.com/swoole/swoole-src/archive/v2.0.6.tar.gz$sudowgethttps
萧格·2023-12-25 08:06

在windows笔记本中安装tensorflow1.13.2版本的gpu环境2

1.1Anaconda安装1.2tensorflow-gpu安装1.3python编译器-pycharm安装1.1Anaconda安装从镜像源处下载anaconda，地址：Indexof/anaconda/archive
bug生成中·2023-12-25 06:43

Qt Creator可视化交互界面exe快速入门1

Qt的安装链接：Indexof/archive/qt5.14版本之前都是可以直接离线安装，即下载完整安装包之后在本地安装。最新及5,15版本之后的都不支持直接的离线安装了，需要通过下载器来进行安装。
bug生成中·2023-12-25 06:43

西电数据挖掘实验三 关联规则挖掘 投票记录

1.实验内容1、数据来源http://archive.ics.uci.edu/ml/datasets/Congressional+Voting+Records2、使用Apriori算法，支持度设为30%
oges·2023-12-25 06:43

hive行转列、列转行

selectcol1,col22fromtable1lateralviewexplode(col2)tmp_tblascol22处理后可得数据：col1col22a1aa1b语法解释：EXPLODE(col)：将hive
山上的小竹子·2023-12-25 06:59

Linux中安装Maven3.6.1

下载maven安装包首先需要切换到自己需要安装的目录我自己是把配置都放到了：/usr/local/maven路径下cd/usr/local/maven下载maven安装包：wgethttps://archive.apache.org
枸杞配码·2023-12-25 05:50

Hive的视图和索引

Hive的视图和索引1、HiveLateralView1、基本介绍LateralView用于和UDTF函数（explode、split）结合来使用。
新鲜氧气·2023-12-25 03:03

经验杂谈——CUDA以及CUDNN安装配置（WIN10为例）

NVIDIA控制面板右键如同所示：2.我们将看见控制面板的主页点击帮助3.显示如下，点击组件我们可以看见该显卡支持CUDA最高版本号二.此时已知该显卡支持的最高版本号，进入官网下载CUDAToolkitArchive
小小杨树·2023-12-25 02:10

Mac安装配置MySQL

1.MySQL->MySQLCommunityServer然后SelectOperatingSystem:macOS选择macOS11(x86,64-bit),DMGArchive文件下载2.打开刚下载的
涓涓细流汇聚成海·2023-12-24 23:00

大数据学习笔记——数据仓库hive重要的总结

1、外部表和内部表Hive表分为两类，即内部表和外部表。
新宿一次狼·2023-12-24 23:27

大数据高级开发工程师——Hive学习笔记（3）

文章目录Hive提高篇Hive的使用Hive的常用函数1.系统内置函数2.数值计算取整函数:round向下取整函数:floor向上取整函数:ceil向上取整函数:ceiling取随机数函数:rand3.
讲文明的喜羊羊拒绝pua·2023-12-24 23:26

Hive学习笔记（一）—— Hive的入门

文章目录Hive基本概念1.1什么是Hive1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据存储位置1.4.3数据更新1.4.4
Alienware^·2023-12-24 23:56

【Hadoop学习笔记】（二）——Hive的原理及使用

一、Hive概述Hive是一个在Hadoop中用来处理结构化数据的数据仓库基础工具。
wanger61·2023-12-24 23:25

四、Hadoop学习笔记————各种工具用法

hive基本hql语法Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如
weixin_30528371·2023-12-24 23:25

Hive学习笔记（1）——Hive原理初探

文章目录前言一、hive的特点二、hive体系架构及基本原理三、Hive的存储四、总结前言相信大家通过学习MapReduce，已经认识到hadoop利用多台廉价机器集群进行并行计算的优势，了解了HDFS
Zhou.Y.M·2023-12-24 23:55
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他