hive动态分区

DataX&数据同步（全量）

1.DataX简介1.1DataX概述  DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
韩顺平的小迷弟·2024-01-16 11:29

R语言【paleobioDB】——pbdb_scale()：通过ID选择，返回一个时间刻度的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 10:46

R语言【paleobioDB】——pbdb_scales()：返回多个时间刻度的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 10:13

HIVE总结

HIVE总结一、创建数据库CREATEDATABASEIFNOTEXISTSTEST;数据库在HDFS的默认位置为：/user/hive/warehouse/test.dbCREATEDATABASEIFNOTEXISTSTESTLOCATION
天选之子123·2024-01-16 10:52

添加Anaconda国内镜像

Anaconda安装包可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载。
TR老于·2024-01-16 09:11

HIve项目入门 环境部署遇到的问题及解决方案

环境布置的步骤建议是jdk,hadoophive这几个分别去下载，参考以下几个安装教程：【主要参考：傻瓜式教程】Windows下安装HiveMySQL版【附安装Hadoop教程】全网最详细的图文教程【有一些补充的内容
Manchesterr·2024-01-16 09:47

R语言【paleobioDB】——pbdb_strata()：通过名称、等级和/或 地理位置选择，返回地质地层的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 09:07

R语言【paleobioDB】——pbdb_richness()：绘制指定类群的数量丰度

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 09:01

jupyter lab 安装与远程使用（并配置C/C++ kernel）

服务器是新建议一个用户xxx，并切换到相应的用户sudoxxx;2、在/home/xxx/下载安装脚本wgethttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive
jxncxgx·2024-01-16 08:21

Hive 数据迁移

一、需求同步集团的数据到断直连环境。二、思路三、同步数据（方案）1、环境：断直连模拟环境2、操作机器：ETL机器XX.14.36.2163、工作路径：cd/usr/local/fqlhadoop/hadoop/bin4、执行命令：命令格式：./hadoopdistcphdfs://${NameNode_IP}:${NameNode_RPC_IP}/${源文件}hdfs://${NameNode_I
bigdata-余建新·2024-01-16 07:14

SparkSQL和Hive语法差异

SparkSQL和Hive语法差异1、仅支持HiveSparkSQL关联条件on不支持函数rand()创建零时表时，Spark不支持直接赋值nullSpark无法读取字段类型为void的表SparkSQL
中长跑路上crush·2024-01-16 07:28

Hive知识点

之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：面向主题的，集成的，非易失的和时变的数据集合，用以支持管理决策HIve
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

Hive（二）

修改表的结构：重命名：altertabletable_1renametotable_2;增加列信息：altertabletable_1addcolumns(mycolstring,myscostring);更新列：altertabletable_1changecolumnmycolint;删除表：droptabletable_1;数据查询：查询所有列（全表查询）：select*fromscore;
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

Hive使用shell调用命令行特殊字符处理

1.场景分析数据处理常用hive-e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试的繁琐。
tuoluzhe8521·2024-01-16 07:17

将Sqoop与Hive集成无缝的数据分析

将Sqoop与Hive集成是实现无缝数据分析的重要一步，它可以将关系型数据库中的数据导入到Hive中进行高级数据处理和查询。
晓之以理的喵~~·2024-01-16 06:44

免费的域名要不要？

-雪饼前言eu.org的免费域名相比于其他免费域名注册服务，https://xue6ing.cn/archives/free-yu-ming-yao-bu-yao注册账号EU.org注册页面填写必要
xB77·2024-01-16 06:06

Hive基础知识（十五）：Hive中SQL排序方式全解

Reducer1）使用ORDERBY子句排序ASC（ascend）:升序（默认）DESC（descend）:降序2）ORDERBY子句在SELECT语句的结尾3）案例实操（1）查询员工信息按工资升序排列hive
依晴无旧·2024-01-16 06:24

Hive基础知识（十六）：Hive-SQL分区表使用与优化

Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。
依晴无旧·2024-01-16 05:11

Clickhouse集成离线hive、实时kafka数据实操

Clickhouse集成hive一、官网介绍：1、clickhouse集成hive、kafka官网介绍：2、clickhouse支持的数据类型：二、创建对应hive的clickhouse表1、利用clickhouse
静听枫语·2024-01-16 05:11

maven3.3.3安装以及lombok安装

前提条件：Windows下安装好jdk1.8一、maven安装步骤1解压下载地址：http://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/
CopyLower·2024-01-16 05:02

大数据技术原理与应用 第三版 林子雨 期末复习（四） Hive

大数据技术原理与应用第三版林子雨期末复习（四）Hive概念数据仓库层次传统数据仓库面临的挑战Hive简介Hive与传统数据库对比概念Hive是一个基于Hadoop的数据仓库工具。
头发多多，肆意生长·2024-01-16 05:22

maven仓库

https://archive.apache.org/dist/maven/maven-3/https://mvnrepository.com/
vily_luky·2024-01-16 04:21

Oracle11g DG实战配置（Windows版）（五）主备库DG配置

5.1DG主库配置（主库操作）5.1.1配置OracleDataGuard#登录数据库sqlplus/assysdba#查看数据库归档模式，确认Archivelog已启用selectname,log_modefromv
0xfather·2024-01-16 03:33

R语言【paleobioDB】——pbdb_subtaxa()：统计指定类群下的子类群数量

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:48

R语言【paleobioDB】——pbdb_taxa()：获得多个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:18

R语言【paleobioDB】——pbdb_taxa_auto()：根据部分名称或前缀，获得多个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:18

R语言【paleobioDB】——pbdb_taxon()：通过名称或标识符，获得一个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:14

ClickHouse - 01

png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理，也可以直接将数据抽取到Hive
ArthurHC·2024-01-16 02:17

git

//版本比较，打包差异文件gitarchiveHEAD-oupdate.zip$(gitdiff--name-only--diff-filter=MDHEADHEAD~1)//比较改动的文件gitdiff
马铁狗·2024-01-16 00:18

通过hive元数据查询hive库和表的总条数

1、传统方式获得总条数例如以下：selectcount(*)fromods.tracklog;2、通过元数据获取方式如下：A、查指定库不含分区selectFORMAT(sum(tb.PARAM_VALUE),0)fromTBLStleftjoinDBSdont.DB_ID=d.DB_IDleftjoinTABLE_PARAMStbont.TBL_ID=tb.TBL_IDwhered.NAME='h
王木头·2024-01-15 22:34

pycharm中集成Qt desinger，并用pyqtgraph实现K线图在GUI界面中的嵌入

原文来自：https://zmister.com/archives/187.html原文中由于缺少讲解几个import，导致代码无法跑，这里是完整的例子。
Eva215665·2024-01-15 22:42

Hive窗口函数整理

Hive中的窗口函数允许你在结果集的一个特定“窗口”内对行进行计算。这些窗口可以是物理的（基于行在数据中的实际位置）或逻辑的（基于行的一些排序标准）。
田晖扬·2024-01-15 19:21

Hive常用函数

一、窗口函数1、窗口函数基础结构窗口函数=分析函数+over函数分析函数：sum()、max()、row_number()等等over函数：over(partitionbyuser_idorderbydatedesc/asc)按照user_id字段分区，每个分区内根据date字段排序，asc：升序desc：降序（默认升序）2、排序函数：row_number/rank/dense_ranka）row
kaiker·2024-01-15 18:28

find_shape_model

,-2],0.9,Row,Column,Angle,Score)*创建一个初始化矩阵hom_mat2d_identity(HomMat2D)*从点和角度计算刚性仿射变换，找出模板和卡尺工具的对应关系Phivector_angle_t
小张小迪·2024-01-15 17:13

操作系统复习 七、八章

八章第七章内存管理内存管理的基本要求和原理覆盖与交换连续分配管理方式非连续分配管理方式基本分段存储管理方式段页式管理方式补充第八章虚拟内存虚拟内存的基本概念请求分页管理方式易混知识点页面置换算法页面分配策略抖动工作集第七章内存管理基本概念重定位机制、内存的保护和共享、逻辑地址、物理地址等内存管理技术(表7.1)放置算法，地址计算方法固定分区动态分区简单分
xwhking·2024-01-15 16:34

在 CentOS 中，zip 是一个常用的命令行工具，用于创建和提取 zip 归档文件。

以下是一些常见的zip命令用法创建zip归档文件：#创建包含目录或文件的zip归档文件zip-rarchive.zip/path/to/directory_or_file#创建并压缩zip归档文件zip-r
二当家的素材网·2024-01-15 15:34

在 CentOS 上，tar 是一个常用的命令行工具，用于创建、查看和提取 tar 归档文件

以下是一些常见的tar命令用法：创建tar归档文件：#创建一个包含目录或文件的tar归档文件tar-cvfarchive.tar/path/to/directory_or_file#创建一个gzip压缩的
二当家的素材网·2024-01-15 13:42

Hive导入数据的五种方法

在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir控制，默认值是/user/hive/
冬瓜的编程笔记·2024-01-15 12:04

大数据开发之Hive（压缩和存储）

第9章：压缩和存储Hive不会强制要求将数据转换成特定的格式才能使用。
Key-Key·2024-01-15 12:34

大数据开发之Hive（企业级调优）

第10章：企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,url_rankint,click_numint,click_urlstring)rowformatdelimitedfieldsterminatedby'\t';//创建小表createtable
Key-Key·2024-01-15 12:34

大数据开发之Hive（统计影音视频网站的常规指标）

第11章：Hive实战11.1数据结构1、视频表字段备注详细描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄
Key-Key·2024-01-15 12:34

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:04

大数据开发之Hive(查询、分区表和分桶表、函数)

第6章：查询6.1基本语法及执行顺序1、查询语句语法select_expr,select_expr,...FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list][ORDERBYcol_list][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][SORTBYcol_list]][LIMITnumber]2
Key-Key·2024-01-15 12:04

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:29

dpkg-deb: error: paste subprocess was killed by signal (Broken pipe)

:pastesubprocesswaskilledbysignal(Brokenpipe)Errorswereencounteredwhileprocessing:/var/cache/apt/archives
joker-wt·2024-01-15 12:11

在Ubuntu中安装node.js工具

2.更新系统的软件包列表：sudoaptupdate3.安装Node.js的PPA（PersonalPackageArchive）：sudoaptinstall-ycurlsoftware
~半城·2024-01-15 12:36

dpkg-deb: error: paste subprocess was killed by signal

但最有效）sudodpkg-i--force-overwrite"报错的package路径"sudoapt-finstall其中，我电脑报错package的路径是：/var/cache/apt/archives
秋雨梧桐落满阶·2024-01-15 12:34

dpkgdeb: error: paste subprocess was killed by signal (Broken pipe) 错误解决方法

错误描述dpkg:errorprocessingarchive/var/cache/apt/archives/mongodb-org-server_4.2.19_amd64.deb(--unpack):
astronautyi·2024-01-15 12:34

sudo apt-get -f install报错dpkg-deb: error: subprocess paste was killed by signal (Broken pipe) wine

终端执行：sudodpkg-i--force-overwrite相关路径如：sudodpkgautoremove/var/cache/apt/archives/wine1.6_1%3a1.6.2-0ubuntu14.2
今年不吃饭...·2024-01-15 12:33

报错显示：dpkg-deb: error: paste subprocess was killed by signal (Broken pipe)

deb.nodesource.com/setup_18.x|sudo-Ebash-结果出现报错显示Errorswereencounteredwhileprocessing:/var/cache/apt/archives
~半城·2024-01-15 12:02
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他