Hive开发总结

OpenVPN一键Linux安装脚本

/open-install.ziphttps://gitee.com/mzllon/open-install/repository/archive/v20230728unzipopen-
ststcheung·2024-01-16 18:33

hive:创建自定义python UDF

Java-UDFvs.Python-UDFJava实现UDF，需要引用包含HiveAPI的外部jar包，而Python无需引起其他外部包；Java实现UDF后，需要打包后才可被Hi
-柚子皮-·2024-01-16 16:35

hive:创建自定义python UDF

addfilehdfs://home/user/py3_script/;setspark.yarn.dist.archives=hdfs://home/user/py3.tar.gz;setspark.shuffle.hdfs.enabled
青盏·2024-01-16 16:35

2017年高考英语北京卷 - 阅读理解A

NorthCarolina.ThegirlsontheWesleyanAcademysoftballwerewaitingfortheirnextturnsatbatduringpractice,stampingtheirfeettostaywarm,Eighth-graderTaylorBisbeeshiveredalittleassh
让文字更美·2024-01-16 16:36

78、Spark SQL之延伸知识之Hive On Spark

SparkSQL与HiveOnSpark区别Hive是目前大数据领域，事实上的SQL标准。
ZFH__ZJ·2024-01-16 15:10

apt-get install 出现错误的解决办法

我遇到的错误信息如下：dpkg:errorprocessingarchive/var/cache/apt/archives/mongodb-database-tools_100.2.0_amd64.deb
ztenv·2024-01-16 14:30

Three.js基础入门介绍——Three.js学习五【让模型沿着轨迹移动】

流程基本流程添加模型增加运动轨迹让模型沿轨迹运动工程文件结构如下图：static：存放静态资源文件three.js-master：为官网下载的代码包，包含所有需要用到的资源包，链接：https://github.com/mrdoob/three.js/archive
小猪猪哟·2024-01-16 14:21

Linux离线安装MySQL5.7

Linux离线安装MySQL5.7准备tar包官方链接：MySQL::DownloadMySQLCommunityServer(ArchivedVersions)将MySQLtar包上传至服务器内部解压并重命名
神志不清.·2024-01-16 11:37

linux安装mysql5.7教程

目录一、下载安装包（推荐第二种）二、安装mysql三、设置密码和开启远程连接一、下载安装包（推荐第二种）1.官网下载：https://downloads.mysql.com/archives/community
这人很懒没留下什么·2024-01-16 11:06

DataX&数据同步（全量）

1.DataX简介1.1DataX概述  DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
韩顺平的小迷弟·2024-01-16 11:29

vue-manage-system 后台管理系统开发总结

前言vue-manage-system，一个基于Vue.js和element-ui的后台管理系统模板，从2016年年底第一个commit，到现在差不多两年了，GitHub上也有了5kstar，也是这些让我有了持续更新的动力，其中也踩了很多坑，在这总结一下。github地址：vue-manage-system线上地址：lin-xin.gitee.io/example/work/自定义图标elemen
林鑫_·2024-01-16 11:18

R语言【paleobioDB】——pbdb_scale()：通过ID选择，返回一个时间刻度的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 10:46

R语言【paleobioDB】——pbdb_scales()：返回多个时间刻度的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 10:13

HIVE总结

HIVE总结一、创建数据库CREATEDATABASEIFNOTEXISTSTEST;数据库在HDFS的默认位置为：/user/hive/warehouse/test.dbCREATEDATABASEIFNOTEXISTSTESTLOCATION
天选之子123·2024-01-16 10:52

添加Anaconda国内镜像

Anaconda安装包可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载。
TR老于·2024-01-16 09:11

HIve项目入门 环境部署遇到的问题及解决方案

环境布置的步骤建议是jdk,hadoophive这几个分别去下载，参考以下几个安装教程：【主要参考：傻瓜式教程】Windows下安装HiveMySQL版【附安装Hadoop教程】全网最详细的图文教程【有一些补充的内容
Manchesterr·2024-01-16 09:47

R语言【paleobioDB】——pbdb_strata()：通过名称、等级和/或 地理位置选择，返回地质地层的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 09:07

R语言【paleobioDB】——pbdb_richness()：绘制指定类群的数量丰度

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 09:01

jupyter lab 安装与远程使用（并配置C/C++ kernel）

服务器是新建议一个用户xxx，并切换到相应的用户sudoxxx;2、在/home/xxx/下载安装脚本wgethttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive
jxncxgx·2024-01-16 08:21

Hive 数据迁移

一、需求同步集团的数据到断直连环境。二、思路三、同步数据（方案）1、环境：断直连模拟环境2、操作机器：ETL机器XX.14.36.2163、工作路径：cd/usr/local/fqlhadoop/hadoop/bin4、执行命令：命令格式：./hadoopdistcphdfs://${NameNode_IP}:${NameNode_RPC_IP}/${源文件}hdfs://${NameNode_I
bigdata-余建新·2024-01-16 07:14

SparkSQL和Hive语法差异

SparkSQL和Hive语法差异1、仅支持HiveSparkSQL关联条件on不支持函数rand()创建零时表时，Spark不支持直接赋值nullSpark无法读取字段类型为void的表SparkSQL
中长跑路上crush·2024-01-16 07:28

Hive知识点

之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：面向主题的，集成的，非易失的和时变的数据集合，用以支持管理决策HIve
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

Hive（二）

修改表的结构：重命名：altertabletable_1renametotable_2;增加列信息：altertabletable_1addcolumns(mycolstring,myscostring);更新列：altertabletable_1changecolumnmycolint;删除表：droptabletable_1;数据查询：查询所有列（全表查询）：select*fromscore;
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

Hive使用shell调用命令行特殊字符处理

1.场景分析数据处理常用hive-e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试的繁琐。
tuoluzhe8521·2024-01-16 07:17

将Sqoop与Hive集成无缝的数据分析

将Sqoop与Hive集成是实现无缝数据分析的重要一步，它可以将关系型数据库中的数据导入到Hive中进行高级数据处理和查询。
晓之以理的喵~~·2024-01-16 06:44

免费的域名要不要？

-雪饼前言eu.org的免费域名相比于其他免费域名注册服务，https://xue6ing.cn/archives/free-yu-ming-yao-bu-yao注册账号EU.org注册页面填写必要
xB77·2024-01-16 06:06

Hive基础知识（十五）：Hive中SQL排序方式全解

Reducer1）使用ORDERBY子句排序ASC（ascend）:升序（默认）DESC（descend）:降序2）ORDERBY子句在SELECT语句的结尾3）案例实操（1）查询员工信息按工资升序排列hive
依晴无旧·2024-01-16 06:24

Hive基础知识（十六）：Hive-SQL分区表使用与优化

Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。
依晴无旧·2024-01-16 05:11

Clickhouse集成离线hive、实时kafka数据实操

Clickhouse集成hive一、官网介绍：1、clickhouse集成hive、kafka官网介绍：2、clickhouse支持的数据类型：二、创建对应hive的clickhouse表1、利用clickhouse
静听枫语·2024-01-16 05:11

maven3.3.3安装以及lombok安装

前提条件：Windows下安装好jdk1.8一、maven安装步骤1解压下载地址：http://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/
CopyLower·2024-01-16 05:02

大数据技术原理与应用 第三版 林子雨 期末复习（四） Hive

大数据技术原理与应用第三版林子雨期末复习（四）Hive概念数据仓库层次传统数据仓库面临的挑战Hive简介Hive与传统数据库对比概念Hive是一个基于Hadoop的数据仓库工具。
头发多多，肆意生长·2024-01-16 05:22

maven仓库

https://archive.apache.org/dist/maven/maven-3/https://mvnrepository.com/
vily_luky·2024-01-16 04:21

Oracle11g DG实战配置（Windows版）（五）主备库DG配置

5.1DG主库配置（主库操作）5.1.1配置OracleDataGuard#登录数据库sqlplus/assysdba#查看数据库归档模式，确认Archivelog已启用selectname,log_modefromv
0xfather·2024-01-16 03:33

R语言【paleobioDB】——pbdb_subtaxa()：统计指定类群下的子类群数量

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:48

R语言【paleobioDB】——pbdb_taxa()：获得多个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:18

R语言【paleobioDB】——pbdb_taxa_auto()：根据部分名称或前缀，获得多个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:18

R语言【paleobioDB】——pbdb_taxon()：通过名称或标识符，获得一个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:14

ClickHouse - 01

png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理，也可以直接将数据抽取到Hive
ArthurHC·2024-01-16 02:17

git

//版本比较，打包差异文件gitarchiveHEAD-oupdate.zip$(gitdiff--name-only--diff-filter=MDHEADHEAD~1)//比较改动的文件gitdiff
马铁狗·2024-01-16 00:18

通过hive元数据查询hive库和表的总条数

1、传统方式获得总条数例如以下：selectcount(*)fromods.tracklog;2、通过元数据获取方式如下：A、查指定库不含分区selectFORMAT(sum(tb.PARAM_VALUE),0)fromTBLStleftjoinDBSdont.DB_ID=d.DB_IDleftjoinTABLE_PARAMStbont.TBL_ID=tb.TBL_IDwhered.NAME='h
王木头·2024-01-15 22:34

pycharm中集成Qt desinger，并用pyqtgraph实现K线图在GUI界面中的嵌入

原文来自：https://zmister.com/archives/187.html原文中由于缺少讲解几个import，导致代码无法跑，这里是完整的例子。
Eva215665·2024-01-15 22:42

Hive窗口函数整理

Hive中的窗口函数允许你在结果集的一个特定“窗口”内对行进行计算。这些窗口可以是物理的（基于行在数据中的实际位置）或逻辑的（基于行的一些排序标准）。
田晖扬·2024-01-15 19:21

Hive常用函数

一、窗口函数1、窗口函数基础结构窗口函数=分析函数+over函数分析函数：sum()、max()、row_number()等等over函数：over(partitionbyuser_idorderbydatedesc/asc)按照user_id字段分区，每个分区内根据date字段排序，asc：升序desc：降序（默认升序）2、排序函数：row_number/rank/dense_ranka）row
kaiker·2024-01-15 18:28

find_shape_model

,-2],0.9,Row,Column,Angle,Score)*创建一个初始化矩阵hom_mat2d_identity(HomMat2D)*从点和角度计算刚性仿射变换，找出模板和卡尺工具的对应关系Phivector_angle_t
小张小迪·2024-01-15 17:13

在 CentOS 中，zip 是一个常用的命令行工具，用于创建和提取 zip 归档文件。

以下是一些常见的zip命令用法创建zip归档文件：#创建包含目录或文件的zip归档文件zip-rarchive.zip/path/to/directory_or_file#创建并压缩zip归档文件zip-r
二当家的素材网·2024-01-15 15:34

在 CentOS 上，tar 是一个常用的命令行工具，用于创建、查看和提取 tar 归档文件

以下是一些常见的tar命令用法：创建tar归档文件：#创建一个包含目录或文件的tar归档文件tar-cvfarchive.tar/path/to/directory_or_file#创建一个gzip压缩的
二当家的素材网·2024-01-15 13:42

Hive导入数据的五种方法

在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir控制，默认值是/user/hive/
冬瓜的编程笔记·2024-01-15 12:04

大数据开发之Hive（压缩和存储）

第9章：压缩和存储Hive不会强制要求将数据转换成特定的格式才能使用。
Key-Key·2024-01-15 12:34

大数据开发之Hive（企业级调优）

第10章：企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,url_rankint,click_numint,click_urlstring)rowformatdelimitedfieldsterminatedby'\t';//创建小表createtable
Key-Key·2024-01-15 12:34

大数据开发之Hive（统计影音视频网站的常规指标）

第11章：Hive实战11.1数据结构1、视频表字段备注详细描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄
Key-Key·2024-01-15 12:34
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他