Hive问题排查

Hive知识点

之上的数据仓库，数据计算是mapreduce，数据存储是HDFS目的是构建面向分析的集成的数据环境，为企业提供决策支持（面向分析的存储系统）主要特征：面向主题的，集成的，非易失的和时变的数据集合，用以支持管理决策HIve
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

Hive（二）

修改表的结构：重命名：altertabletable_1renametotable_2;增加列信息：altertabletable_1addcolumns(mycolstring,myscostring);更新列：altertabletable_1changecolumnmycolint;删除表：droptabletable_1;数据查询：查询所有列（全表查询）：select*fromscore;
꧁༺朝花夕逝༻꧂·2024-01-16 07:25

Hive使用shell调用命令行特殊字符处理

1.场景分析数据处理常用hive-e的方式，通过脚本操作数仓，过程中常常遇到特殊字符的处理，如单双引号、反斜杠、换行符等，现将特殊字符用法总结使用如下，可直接引用，避免自行测试的繁琐。
tuoluzhe8521·2024-01-16 07:17

将Sqoop与Hive集成无缝的数据分析

将Sqoop与Hive集成是实现无缝数据分析的重要一步，它可以将关系型数据库中的数据导入到Hive中进行高级数据处理和查询。
晓之以理的喵~~·2024-01-16 06:44

免费的域名要不要？

-雪饼前言eu.org的免费域名相比于其他免费域名注册服务，https://xue6ing.cn/archives/free-yu-ming-yao-bu-yao注册账号EU.org注册页面填写必要
xB77·2024-01-16 06:06

Hive基础知识（十五）：Hive中SQL排序方式全解

Reducer1）使用ORDERBY子句排序ASC（ascend）:升序（默认）DESC（descend）:降序2）ORDERBY子句在SELECT语句的结尾3）案例实操（1）查询员工信息按工资升序排列hive
依晴无旧·2024-01-16 06:24

Hive基础知识（十六）：Hive-SQL分区表使用与优化

Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多。
依晴无旧·2024-01-16 05:11

Clickhouse集成离线hive、实时kafka数据实操

Clickhouse集成hive一、官网介绍：1、clickhouse集成hive、kafka官网介绍：2、clickhouse支持的数据类型：二、创建对应hive的clickhouse表1、利用clickhouse
静听枫语·2024-01-16 05:11

maven3.3.3安装以及lombok安装

前提条件：Windows下安装好jdk1.8一、maven安装步骤1解压下载地址：http://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/
CopyLower·2024-01-16 05:02

大数据技术原理与应用 第三版 林子雨 期末复习（四） Hive

大数据技术原理与应用第三版林子雨期末复习（四）Hive概念数据仓库层次传统数据仓库面临的挑战Hive简介Hive与传统数据库对比概念Hive是一个基于Hadoop的数据仓库工具。
头发多多，肆意生长·2024-01-16 05:22

maven仓库

https://archive.apache.org/dist/maven/maven-3/https://mvnrepository.com/
vily_luky·2024-01-16 04:21

Oracle11g DG实战配置（Windows版）（五）主备库DG配置

5.1DG主库配置（主库操作）5.1.1配置OracleDataGuard#登录数据库sqlplus/assysdba#查看数据库归档模式，确认Archivelog已启用selectname,log_modefromv
0xfather·2024-01-16 03:33

Oracle监听连接速度很慢且不稳定问题排查与解决

现象：本机数据库启动和关闭正常sqlplus/assysdbastartupshutdownimmediateOracle监听启动时需要几分钟并且大概率启动失败（监听服务启动也很慢）lsnrctlstart查询监听状态也需要几分钟才能出结果lsnrctlstatus应用程序或Oracle客户端（PL/SQL等）连接时好时坏，并且连接很慢（连接上之后正常使用），但很容易导致应用程序数据库连接池阻塞问
0xfather·2024-01-16 03:33

R语言【paleobioDB】——pbdb_subtaxa()：统计指定类群下的子类群数量

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:48

R语言【paleobioDB】——pbdb_taxa()：获得多个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:18

R语言【paleobioDB】——pbdb_taxa_auto()：根据部分名称或前缀，获得多个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:18

R语言【paleobioDB】——pbdb_taxon()：通过名称或标识符，获得一个类群名的基本信息

可以选择在Indexof/src/contrib/Archive/paleobioDB(r-project.org)下载安装包后，执行本地安装。
ALittleHigh·2024-01-16 03:14

ClickHouse - 01

png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark、Flink技术对数据进行ETL清洗处理，也可以直接将数据抽取到Hive
ArthurHC·2024-01-16 02:17

git

//版本比较，打包差异文件gitarchiveHEAD-oupdate.zip$(gitdiff--name-only--diff-filter=MDHEADHEAD~1)//比较改动的文件gitdiff
马铁狗·2024-01-16 00:18

java线上问题排查清单

前言平时的工作中经常碰到很多疑难问题的处理，在解决问题的同时，有一些工具起到了相当大的作用，在此书写下来，一是作为笔记，可以让自己后续忘记了可快速翻阅，二是分享，希望看到此文的同学们可以拿出自己日常觉得帮助很大的工具，大家一起进步。闲话不多说，开搞。Linux命令类tail最常用的tail-ftail-300fshopbase.log#倒数300行并进入实时监听文件写入模式grepgrepfore
会飞的架狗师·2024-01-16 00:41

Account locked due to X failed logins

二、现象业务监控页面显示服务未启动三、问题排查过程1、检查业务日志未发现异常（原因是一线人员手动重启了服务，未使用管理平台操作）2、根据修改密码的动作检查ssh日志发现，频繁有访问失败的请求3、从别的机器访问出问题的机器
王木头·2024-01-15 22:35

清理mysql中的binlog

三、问题排查过程1、du查看数据盘使用情况，发现mysql磁盘基本占用了所有磁盘2、继续使用du查看，数据目录占用不到200G，但是binlog目录却占用了1.7T3、查看binlog的保留策略mysql
王木头·2024-01-15 22:05

通过hive元数据查询hive库和表的总条数

1、传统方式获得总条数例如以下：selectcount(*)fromods.tracklog;2、通过元数据获取方式如下：A、查指定库不含分区selectFORMAT(sum(tb.PARAM_VALUE),0)fromTBLStleftjoinDBSdont.DB_ID=d.DB_IDleftjoinTABLE_PARAMStbont.TBL_ID=tb.TBL_IDwhered.NAME='h
王木头·2024-01-15 22:34

Java 数据库连接泄露、RPC连接泄露问题排查

在Java系统中，实际中你可能会遇到1.数据库连接如果忘记关闭或者其他原因没有关闭，就会出现系统运行一段时间就会卡死、后台数据库不停的报错、停止服务等等。这时候如果系统比较庞大，你使用的连接池又没有连接泄露监控功能，想排查出连接没有关闭的代码位置很难，复现也不一定容易。2.RPC时候使用http或者其他基于tcp协议的接口调用，一些原因导致的连接没有关闭想排查也不容易。针对上面的问题我开发了个小工
侯亮平dm·2024-01-15 22:17

pycharm中集成Qt desinger，并用pyqtgraph实现K线图在GUI界面中的嵌入

原文来自：https://zmister.com/archives/187.html原文中由于缺少讲解几个import，导致代码无法跑，这里是完整的例子。
Eva215665·2024-01-15 22:42

Hive窗口函数整理

Hive中的窗口函数允许你在结果集的一个特定“窗口”内对行进行计算。这些窗口可以是物理的（基于行在数据中的实际位置）或逻辑的（基于行的一些排序标准）。
田晖扬·2024-01-15 19:21

Hive常用函数

一、窗口函数1、窗口函数基础结构窗口函数=分析函数+over函数分析函数：sum()、max()、row_number()等等over函数：over(partitionbyuser_idorderbydatedesc/asc)按照user_id字段分区，每个分区内根据date字段排序，asc：升序desc：降序（默认升序）2、排序函数：row_number/rank/dense_ranka）row
kaiker·2024-01-15 18:28

find_shape_model

,-2],0.9,Row,Column,Angle,Score)*创建一个初始化矩阵hom_mat2d_identity(HomMat2D)*从点和角度计算刚性仿射变换，找出模板和卡尺工具的对应关系Phivector_angle_t
小张小迪·2024-01-15 17:13

hover背景图偏移、抖动问题

各浏览器渲染问题>>>>排查所有代码均没有问题，但鼠标移入后出现背景图1-2px抖动，（笔者删除自己代码特定样式后不再出现抖动：删除父元素width样式、删除margin:0auto----解决问题）问题排查
Alex浪·2024-01-15 16:24

在 CentOS 中，zip 是一个常用的命令行工具，用于创建和提取 zip 归档文件。

以下是一些常见的zip命令用法创建zip归档文件：#创建包含目录或文件的zip归档文件zip-rarchive.zip/path/to/directory_or_file#创建并压缩zip归档文件zip-r
二当家的素材网·2024-01-15 15:34

在 CentOS 上，tar 是一个常用的命令行工具，用于创建、查看和提取 tar 归档文件

以下是一些常见的tar命令用法：创建tar归档文件：#创建一个包含目录或文件的tar归档文件tar-cvfarchive.tar/path/to/directory_or_file#创建一个gzip压缩的
二当家的素材网·2024-01-15 13:42

Hive导入数据的五种方法

在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir控制，默认值是/user/hive/
冬瓜的编程笔记·2024-01-15 12:04

大数据开发之Hive（压缩和存储）

第9章：压缩和存储Hive不会强制要求将数据转换成特定的格式才能使用。
Key-Key·2024-01-15 12:34

大数据开发之Hive（企业级调优）

第10章：企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,url_rankint,click_numint,click_urlstring)rowformatdelimitedfieldsterminatedby'\t';//创建小表createtable
Key-Key·2024-01-15 12:34

大数据开发之Hive（统计影音视频网站的常规指标）

第11章：Hive实战11.1数据结构1、视频表字段备注详细描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄
Key-Key·2024-01-15 12:34

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:04

大数据开发之Hive(查询、分区表和分桶表、函数)

第6章：查询6.1基本语法及执行顺序1、查询语句语法select_expr,select_expr,...FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list][ORDERBYcol_list][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][SORTBYcol_list]][LIMITnumber]2
Key-Key·2024-01-15 12:04

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。
Key-Key·2024-01-15 12:29

关于超大目录数据异常增长的问题排查

近期在整理一些运维问题处理笔记，这篇主要是记录排查思路转换，以及实用的排查方式，这是个比较简单的案例，希望有所帮助情况描述：某天，有一台服务器磁盘空间告警，我依稀记得磁盘分区有14T，平时数据量不会太大的，于是认为是异常的数据量，需要进行排查。初步分析：一、第一要务是解决告警，保障系统正常运行环境1）先找找找可以清理的历史数据以及历史日志，一般有定时任务的，直接跑清理任务即可。发现，由于前期上线认
码农终结者·2024-01-15 12:49

dpkg-deb: error: paste subprocess was killed by signal (Broken pipe)

:pastesubprocesswaskilledbysignal(Brokenpipe)Errorswereencounteredwhileprocessing:/var/cache/apt/archives
joker-wt·2024-01-15 12:11

在Ubuntu中安装node.js工具

2.更新系统的软件包列表：sudoaptupdate3.安装Node.js的PPA（PersonalPackageArchive）：sudoaptinstall-ycurlsoftware
~半城·2024-01-15 12:36

dpkg-deb: error: paste subprocess was killed by signal

但最有效）sudodpkg-i--force-overwrite"报错的package路径"sudoapt-finstall其中，我电脑报错package的路径是：/var/cache/apt/archives
秋雨梧桐落满阶·2024-01-15 12:34

dpkgdeb: error: paste subprocess was killed by signal (Broken pipe) 错误解决方法

错误描述dpkg:errorprocessingarchive/var/cache/apt/archives/mongodb-org-server_4.2.19_amd64.deb(--unpack):
astronautyi·2024-01-15 12:34

sudo apt-get -f install报错dpkg-deb: error: subprocess paste was killed by signal (Broken pipe) wine

终端执行：sudodpkg-i--force-overwrite相关路径如：sudodpkgautoremove/var/cache/apt/archives/wine1.6_1%3a1.6.2-0ubuntu14.2
今年不吃饭...·2024-01-15 12:33

报错显示：dpkg-deb: error: paste subprocess was killed by signal (Broken pipe)

deb.nodesource.com/setup_18.x|sudo-Ebash-结果出现报错显示Errorswereencounteredwhileprocessing:/var/cache/apt/archives
~半城·2024-01-15 12:02

Datax同步（高可用HDFS版本）

这是一个mysql同步到hive的json脚本，hive的底层使用的是HDFS存储，同步到hive，只能用hdfswritermysql->hive{"job":{"setting":{"speed":
暴走的贼宇·2024-01-15 12:59

postgresql12 客户端命令浅析

这里写自定义目录标题potgresql12客户端命令参数浅析pg_archivecleanuppg_configpg_dumpallpg_dumppg_restorepg_basebackuppg_resetwalpg_test_fsyncpg_controldatapg_recvlogicalpg_isreadypg_test_timingpgbenchpg_rewindpg_upgradeva
不上进的菜鸟·2024-01-15 10:03

Zookeeper教程1

Zookeeper翻译过来就是动物园管理员，他是用来管Hadoop（大象）、Hive(蜜蜂)、Pig(小猪)的管理员。简称zkZookeeper是一个分布式的、开源的分布式应用程序的协调服务。
暗雪之格·2024-01-15 09:56

Cloudera公司的CDH与HDP均无法下载问题（403 Forbidden (varnish) the provided credentials were incorrect）

2.解决方法使用开源的Apache的相关软件包http://archive.apache.org/dist/CDH&Ambari安装包百度云
小宇0926·2024-01-15 07:41

pipeline制品 archiveArtifacts

脚本pipeline{agentanyoptions{timestamps()}stages{stage('getcode'){steps{checkout([$class:'GitSCM',branches:[[name:'*/master']],doGenerateSubmoduleConfigurations:false,extensions:[],submoduleCfg:[],userR
野猪佩挤·2024-01-15 06:54
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他