大数据运维hive 第3页

Spark SQL 结构化数据处理流程及原理是什么？

SparkSQL可以使用现有的Hive元存储、SerDes和UDF。它可以使用JDBC/ODBC连接到现有的BI工具。有了SparkSQL，用户可以编写SQL风格的查询。

我想去吃ya·2024-08-31 16:18

Ubuntn安装Xfce桌面环境

原文：https://blog.c12th.cn/archives/11.html前言最近搞了台云服务器(2H2G)玩玩，其实一直想挂一些奇奇怪怪的东西到服务器？

c12th·2024-08-31 09:03

解决Butterfly主题图标不显示问题

文章目录原文：https://blog.c12th.cn/archives/4.html前言解决方法主题4.3.0及以上主题4.2.0及以上方法之一主题4.2.0以下方法一(不推荐)方法二(推荐)补充原文

c12th·2024-08-31 09:33

halo主题开发环境搭建

halo主题开发环境搭建|LogDicthttps://www.logdict.com/archives/halozhu-ti-kai-fa-huan-jing-da-jian

该账号已被封禁丨·2024-08-31 06:41

tar命令解压报错“Error is not recoverable: exiting now”

tar命令解压报错：gzip:stdin:invalidcompresseddata--formatviolatedtar:UnexpectedEOFinarchivetar:UnexpectedEOFinarchivetar

Yana.com·2024-08-31 05:58

Gulp入门个人总结

Gulp入门个人总结参考资料：http://www.ydcss.com/archives/18http://www.techug.com/gulphttp://www.browsersync.cn/一．

薰衣草smile·2024-08-31 02:45

常用ES查询DSL语句

1.针对hive表中jsonObject类型的String数据mapping中定义如下："esf_room":{"type":"text","fields":{"keyword":{"type":"keyword

攻城狮Kevin·2024-08-30 22:15

hive中的分区

文章目录Hive分区1.简介为什么要分区如何分区以及细节2.Hive分区的建立创建分区静态分区动态分区启动动态分区功能多分区单分区区别创建多分区插入分区查看分区数查看表结构Hive分区1.简介Hive分区的概念与传统关系型数据库分区不一样

百流·2024-08-30 16:07

linux网络流程分析（一）---网卡驱动

转载：https://www.cnblogs.com/gogly/archive/2012/06/10/2541573.html分析linux网络的书已经很多了，包括《追踪LinuxTCP/IP代码运行

wang603603·2024-08-30 15:55

关于vue2运行时filemanager-webpack-plugin报错isFile is undefind

/dist.zip'],archive:[{source:'./dist',destination:'./dist.zip'}]}})在对应的路径下建一个dist文件夹

又写了一天BUG·2024-08-30 12:34

sql-函数

SQL函数及报错问题合集一、sql函数1.日期函数（**Hive**）1.1日期减少函数:date_sub1.2日期增加函数：date_add1.3日期格式转化函数：date2datekey/datekey2date2

weixin_45925478·2024-08-30 11:03

Hive3：列注释、表注释等乱码解决方案

--在Hive的MySQL元数据库中执行usehive;1).修改字段注释字符集altertableCOLUMNS_V2modifycolumnCOMMENTvarchar(256)charactersetutf8

生产队队长·2024-08-30 08:09

常见的实时数仓方案

实时部分以消息队列的方式实时增量消费，一般以Flink+Kafka的组合实现，维度表存在关系型数据库或者HBase；离线部分一般采用T+1周期调度分析历史存量数据，每天凌晨产出，更新覆盖前一天的结果数据，计算引擎通常会选择Hive

北极冰雨·2024-08-30 05:27

hive中的数据同步到hbase

hive中的数据同步到hbase工作中遇到了这个工作，就是将hive中的数据同步到hbase中，然后java通过hbase相关的API来访问hbase中的数据。

流~星~雨·2024-08-29 21:31

HIVE 数据模型

type=hive集群状态管理：http://tdxy-bigdata-03:7180/cmf/home基于HDFS没有专门的数据

HFDYCYY·2024-08-29 19:47

Hive 数据模型切换后的数据验证方案

记录这样一个场景，cdp/dmp等等标签模型系统，会出现这样一种情况。标签系统一般属于ads集市层加工的模型数据，如果上游（数仓/业务）表进行了切换，比如我们项目最近上游从fdl/gdl切换到了dwd/dws，切换完毕后的数据一般都会出现问题，如何进行数据验证是一个需要好好思考的问题。首先，如果把切换后的结果表当成左表去匹配切换前的结果表，很容易出现因未验证语法不正确导致的数据验证问题，例如：切换

小菜菜1223·2024-08-29 19:16

Mysql 查询数据库或数据表中的数据量以及数据大小_mysql 获取查询记录的数据大小

许多数据库的元数据都是存储在mysql中的，例如hive、startrockes，因此可以通过mysql中的“information_schema.TABLES”表来查询对应数据库或对应数据表的具体信息

m0_74932057·2024-08-29 17:02

Kylin的工作原理及使用分享操作指南

1.Kylin概述Kylin是一个开源项目，支持SQL查询，兼容与Hive和MapReduce等大数据技术的集成。

vvvae1234·2024-08-29 05:14

git打包某个分支的特定提交

假设你已经知道提交的哈希值是1234abcd#创建一个新分支指向特定提交gitbranchnew-branch1234abcd#或者创建一个标签gittagv1.01234abcd创建分支或标签后，使用gitarchive

每一天，每一步·2024-08-28 22:22

Java高级技术day75：Zookeeper与Dubbo

一、Zookeeper的介绍1.Zookeeper介绍：顾名思义zookeeper就是动物园管理员，他是用来管hadoop（大象）、Hive(蜜蜂)、pig(小猪)的管理员，ApacheHbase和ApacheSolr

开源oo柒·2024-08-28 20:54

Hive 分区表 & 数据加载

1.Hive表数据的导入方式1.1本地上传至hdfs命令：hdfsdfs-put[文件名][hdfs绝对路径]例如：测试文件test_001.txt内容如下在hdfs绝对路径：/user/hive/warehouse

Wu_Candy·2024-08-28 18:22

SparkSql

3、兼容Hive4、标准的数据连接（JDBC/ODBC）SQL优缺点优点：表达非常清晰，难度低、易学习。缺点：复杂的业务需

李思缘的大数据之路·2024-08-28 09:00

Ubuntu下部署Hadoop集群+Hive（三）

Hive部署准备环境apache-hive-4.0.0-bin.tar.gz、mysql-connector-j-8.1.0.jar如果是离线安装的话，使用mysql-8.0.34-1.el7.x86_

岩屿·2024-08-28 01:07

人类图学习之优惠政策

请认准人类图官网IHDS~https://www.ihdschool.com/Jovian~https://www.jovianarchive.com20%折扣，即8折IHDS和Jovian两大官网上针对两种人群有同样的

人类图_活出独一无二的自己·2024-08-27 20:02

python import settings报错的解决

首先是按上一篇文章把pip更新了环境变量配好了然后importsettings还是不行…最后发现原因是pycharm下的文件夹是PythonProject再里面是Archive文件夹，再往里面才是我运行的文件和

yuan_yuan_z·2024-08-27 19:24

想提神，喝中药，咖啡可可没用的

想提神，喝中药，咖啡可可没用的rtpostedon2010-08-1621:24lexus阅读(...)评论(...)编辑收藏转载于:https://www.cnblogs.com/lexus/archive

a13393665983·2024-08-27 15:00

Hive SQL

一、基本数据类型tinyint1byte有符号整数smallint2byte有符号整数int4byte有符号整数bigint8byte有符号整数boolean布尔类型，true或者falsefloat单精度浮点数double双精度浮点数decimal十进制精准数字类型decimal(16,2)varchar字符序列，需指定最大长度，最大长度的范围是[1,65535]varchar(32)strin

diluosixu·2024-08-27 13:19

CDH 之 hive 数据迁移

当你想切换了集群想把hive迁移至新集群，两个集群之间又互不相通，一个最简单快捷的方法，就是批量导出元数据信息，同时把数据文件下载上传至新服务器的数据文件存放目录下1.导出元数据信息#database即是数据库名称

啊这·2024-08-27 13:18

Hive 数据迁移与备份

迁移类型同时迁移表及其数据（使用import和export）分步迁移表和数据迁移表（showcreatetable）迁移数据关联表和数据（msckrepair）迁移步骤将表和数据从Hive导出到HDFS

linzeyu·2024-08-27 13:17

Spark-第六周

CSDN博客摸鱼大数据——SparkSQL——SparkSQL的运行机制-CSDN博客2.熟练使用thriftserver服务thriftserver和beeline的使用，代码连接server（连接hive

fightingD&W·2024-08-27 12:13

unity学习之编辑器拓展 20190722

https://www.xuanyusong.com/archives/category/unity/unity3deditor-师傅给的教程总体来说，这个教程还是挺好的，说的很全面，但是这个教程使用的

那年白马啸西风·2024-08-27 01:05

javaweb-数据库

DataBaseManagementSystem，简称DBMS）MySQL官网：MySQL::DeveloperZone安装官网下载地址：MySQL::DownloadMySQLCommunityServer(ArchivedVersions

kussmcx·2024-08-26 21:37

基于Zookeeper搭建Kafka高可用集群

官方下载地址：https://archive.apache.org/dist/zookeeper/#下载wgethttps://archi

数字游牧人0v0·2024-08-26 16:58

Android代码实现 px和mm相互转换，DPI的计算

第一步：px和mm之间转换首先要计算出屏幕的dpi，参考文章https://www.cnblogs.com/mixiyou/archive/2013/03/13/2957810.htmlDPI计算公式：

Maggie-hub·2024-08-26 09:10

基于spark+hadoop+hive大数据分析的电影推荐系统的设计与实现

系统介绍2.1图片展示三、部分代码设计3.1.部分代码如下：**总结****大家可以帮忙点赞、收藏、关注、评论啦****有问题评论区交流**一、开发介绍1.1开发环境技术栈：spark+hadoop+hive

毕设木哥·2024-08-26 06:26

Emacs的插件生态系统

以下是对Emacs插件生态系统的详细介绍：1.插件数量与多样性Emacs的插件生态系统极为庞大，用户可以通过EmacsLispPackageArchive（MELPA）等仓库获取到数千个插件。

shiming8879·2024-08-25 16:25

oracle pdb 临时表空间,12c datagurad 创建临时表空间遇到的问题

主库添加临时文件SQL>createtemporarytablespacetemp_1tempfile'+datadg'size10m;Tablespacecreated.SQL>altersystemarchivelogcurrent

寅成·2024-08-25 02:57

zookeeper集群安装

java-centos安装java-linux配置java环境变量zookeeper单机安装说明版本选择：apache-zookeeper-3.5.7-bin.tar.gz下载地址：https://archive.apache.org

shuair·2024-08-24 18:13

Ubuntu下部署Hadoop集群+Hive（一）

准备环境：3台Ubuntu服务器（版本20.04），自建的虚拟机也可以；推荐内存：8GB以上；部署也支持Ubuntu20.04以上版本，或是Centos也可以。配置主机Host在三台服务器上添加主机名与IP的映射，以方便在局域网内进行主机间的快速访问和后续的文件配置；配置方法：vi/etc/hosts为方便配置：我的三台主机取名为HadoopMaster、HadoopSlave01、HadoopS

岩屿·2024-08-24 17:41

Hive3：数据随机抽样查询

于是，Hive提供了快速抽样的解决办法，可以快速从大表中随机抽取一些数据供用户查看。二、实操1、基于随机分桶抽样语法SELECT...FROMtblTABLESAMPLE(BU

生产队队长·2024-08-24 17:40

Objective-C中的时光机器：NSKeyedArchiver与NSKeyedUnarchiver的序列化之旅

标题：Objective-C中的时光机器：NSKeyedArchiver与NSKeyedUnarchiver的序列化之旅在Objective-C的世界中，对象序列化是一种将对象状态转换为可以存储或传输的形式的技术

杨哥带你写代码·2024-08-24 17:39

linux下hive指令快使用无介绍版（一）

问题背景平常项目基本都是直接在代码里面执行hiveSql，在linux下操作hive的指令总是忘记，基于此基础，写一个快速使用版的注意事项：默认已安装hive，并配置环境变量语句结尾的分号不能少，这是语法

时间是一种毒药·2024-08-24 17:00

https://developer.nvidia.com/cuda-toolkit-archive

CUDAToolkitArchive|NVIDIADeveloperhttps://developer.nvidia.com/cuda-toolkit-archive

aiotud·2024-08-24 14:17

【Pyspark-驯化】一文搞懂Pyspark修改hive表描述以及增加列使用技巧

【Pyspark-驯化】一文搞懂Pyspark修改hive表描述以及增加列使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地！

算法驯化师·2024-08-24 13:43

【Pyspark-驯化】一文搞懂Pyspark写入hive表的使用技巧

【Pyspark-驯化】一文搞懂Pyspark写入hive表的使用技巧本次修炼方法请往下查看欢迎莅临我的个人主页这里是我工作、学习、实践IT领域、真诚分享踩坑集合，智慧小天地！