hive源码分析

Hudi学习1：概述

Hudi概念Hudi跟hive很像，不存储数据，只是管理hdfs数据。
hzp666·2024-02-05 14:59

了解Vue2全局API这一篇就够了

复习完之后小哆啦也会跟着大佬去学习vue的源码分析，在总结的时候小哆啦也尽量去理解大佬的设计思想。
故梦867·2024-02-05 14:56

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive
计算机毕业设计大神·2024-02-05 14:48

SpringBoot自动装配原理源码分析（详细）

SpringBoot自动装配原理源码分析1.前言2.SpringBoot源码2.1@SpringBootApplication注解2.2@EnableAutoConfiguration注解2.2.1selectImports
coderedma·2024-02-05 13:55

工作流调度器azkaban(一) 简介与安装部署

为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划
做个合格的大厂程序员·2024-02-05 13:11

Linux shell脚本超详细安装mysql

/bin/bash#自动化脚本安装mysql#本文使用的是wget下载mysql包#官方mysql下载的地址：https://downloads.mysql.com/archives/community
蓝颜～岁月·2024-02-05 12:04

trinitycore 魔兽服务器源码分析(一) 网络

trinitycore是游戏服务器的开源代码许多玩家使用魔兽的数据来进行测试,使用它来假设魔兽私服。官方网址https://www.trinitycore.org/类似的还有mangos和kbengine不过mangos使用庞大的ACE网络框架kbengine使用自写网络库两者均使用了多语言进行开发作为trinitycore主要使用c++。代码比较好读，就开启本篇这个代码阅读的坑代码要求具备c++
weixin_30781107·2024-02-05 12:03

Nacos 源码分析

Nacos源码分析1.下载Nacos源码并运行要研究Nacos源码自然不能用打包好的Nacos服务端jar包来运行，需要下载源码自己编译来运行。
萧曵 丶·2024-02-05 11:55

Sentinel 源码分析

Sentinel源码分析项目源码1.Sentinel的基本概念Sentinel实现限流、隔离、降级、熔断等功能，本质要做的就是两件事情：统计数据：统计某个资源的访问数据（QPS、RT等信息）规则判断：判断限流规则
萧曵 丶·2024-02-05 11:55

SQL Parser

https://blog.csdn.net/w1047667241/article/details/123110220alibabadruid经过不断迭代，已经解决了很多hive解析的bug，比如2020
TaiKuLaHa·2024-02-05 11:27

HIVE经验汇总

```sql--一日期计算和转换--1.1系统时间SELECTSYSDATE--2021-01-27DATE,SYSTIME--18:01:57,SYSTIMESTAMP--2021-01-2718:01:57DATE,current_date--2020-05-14DATE,current_timestamp--2020-05-1410:26:57.613FROMSYSTEM.DUAL;--1.
长江中下游程序猿·2024-02-05 10:28

【hive日期函数】hive常用日期函数+扩展

日期函数1、from_unixtime：转化unix时间戳到当前时区的时间格式selectfrom_unixtime(1641044052,'yyyyMMdd');--输出：202201012.unix_timestamp：转换到UNIX时间戳--当前时间selectunix_timestamp();--输出：1665803372--yyyy-MM-ddHH:mm:ss日期selectunix_t
呱呱呱i·2024-02-05 10:28

hive 日期函数

目录hiveoutlinehive日期函数格式化时间函数：date_format获取当前日期:current_date获取当前时间戳:current_timestamp2011-12-0713:01:03
塞上江南o·2024-02-05 10:58

海豚dolphinscheduler-shell 执行hivesql任务 Permission denied 异常

一、dolphinscheduler执行shell处理hsql任务时出现没有访问权限关键异常：/tmp/dolphinscheduler/hive.log(Permissiondenied)java.io.FileNotFoundException
潘永青·2024-02-05 10:58

hive code 143

ExaminingtaskID:task_1468807885116_444914_r_000469(andmore)fromjobjob_1468807885116_444914ExaminingtaskID:task_1468807885116_444914_r_000490(andmore)fromjobjob_1468807885116_444914Taskwiththemostfailu
qq_24761901·2024-02-05 10:27

【hive 日期函数 大全】Hive常用日期函数整理 史上最全

【hive日期函数大全】Hive常用日期函数整理注意：1)hive没有to_char函数2)HIVE日期函数只识别年-月-日不能识别年-月，所以处理月份的时候需要特殊处理1)hive字符创拼接:CONCAT
数仓大山哥·2024-02-05 10:57

hive日期格式转换

固定日期转换成时间戳selectunix_timestamp('2022-05-09','yyyy-MM-dd') ;selectunix_timestamp('20220509','yyyyMMdd') ;selectunix_timestamp('2022-05-09T10:02:41Z',"yyyy-MM-dd'T'HH:mm:ss'Z'");16/Mar/2022:12:25:01+080
chimchim66·2024-02-05 10:26

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

Hive drop 事务表 报错 flushing changes to datastore

13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

2024-02-04（hive）

1.Hive中的分区表可以选择字段作为表分区。分区其实就是HDFS上的不同文件夹。分区表可以极大的提高特定场景下Hive的操作性能。
陈xr·2024-02-05 10:54

hive表加字段

cascade3.使用场景1.给表添加字段altertabledatabase.tablenameaddcolumns(字段名字段类型comment'字段中文含义')cascade;2.为什么使用cascade在Hive
王一1995·2024-02-05 10:22

SpringMVC精简知识点

数据格式化基本数据类型和字符串自动转换特殊数据类型和字符串自动转换验证及国际化应用实例注意事项和使用细节注解的结合使用数据类型转换校验核心类-DatBinder取消某个属性的绑定中文乱码解决处理json和HttpMessageConverter作业布置SpringMVC文件上传自定义拦截器异常处理SpringMVC执行流程-源码分析作业布置数据格式化
~ 小团子·2024-02-05 10:22

SparkSql读取外部Hql文件的公共类开发

SparkSql读取外部Hql文件的公共类开发SparkSQL与Hive的区别简介一、什么是SparkSQL？
岁月的眸·2024-02-05 09:27

在 CDH 中调优 Apache Hive on Spark

Spark上的Hive在提供相同功能的同时提供比MapReduce上的Hive更好的性能。在Spark上运行Hive不需要更改用户查询。
海阔天空&沫语·2024-02-05 09:27

ubuntu20之ROS-noetic的qt插件安装

然后把过程记录一下以免自己最后忘记1、qt5.9.9的安装：https://download.qt.io/archive/qt/5.9/5.9.9/下载完后在改文件夹打开终端，输
学习我是拒绝的·2024-02-05 09:56

flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive

简介为了实现hive,trino等组件实时查询hudi表的数据，可以通过使用Hivesync。在Flink操作表的时候，自动同步Hive的元数据。
阿华田512·2024-02-05 08:46

Runtime源码剖析 对象、类(元类)与isa

从这篇博客开始我们就会进行Runtime源码分析，所以你需要准备一份最新的源代码，源码建议从Apple官方获取本篇博客所用的是750.1版本的objc4源码(目前最新版)对象objc_object定义在
萨缪·2024-02-05 08:20

Hive与PrestoSQL中的并列列转行

并列列转行1、背景描述2、Hive实现3、PrestoSQL实现1、背景描述通常我们在处理数据时，如果遇到一个字段存储多个值，常常需要把一行数据转换为多行数据，形成标准的结构化数据例如，将下面的两列数据并列转换为三行
对许·2024-02-05 07:27

Java开发基础环境的搭建

JDK各版本下载：https://www.oracle.com/technetwork/java/javase/archive-139210.htmlJDK(JavaDevelopmentKit)是整个
重庆淡静·2024-02-05 07:18

nginx slice模块的使用和源码分析

文章目录1.为什么需要ngx_http_slice_module2.配置指令3.加载模块4.源码分析4.1指令分析4.2模块初始化4.3slice模块的上下文4.2$slice_range字段值获取4.3httpheader
码农心语·2024-02-05 06:40

nginx flv模块的使用和源码分析

这里写自定义目录标题1.为什么需要ngx_http_flv_module2.配置指令3.加载ngx_http_flv_module模块4.源码分析4.1指令分析4.2ngx_http_flv_handler
码农心语·2024-02-05 06:40

大数据框架(分区，分桶，分片)

建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。
坨坨的大数据·2024-02-05 06:29

Hive 调优

Hive调优一、SQL语句分析——EXPLAIN二、Fetch抓取三、本地模式四、表的优化1、小表大表JOIN2、大表JOIN大表3、Groupby4、Count(Distinct)去重统计5、笛卡尔积
长不大的大灰狼·2024-02-05 04:03

列式数据库、行式数据库简介

行式数据库3、列式数据库4、行式、列式存储对比常见的行式数据库有Mysql，DB2，Oracle，Sql-server等；列数据库（Column-Based）数据存储方式按列存储，常见的列数据库有Hbase，Hive
长不大的大灰狼·2024-02-05 04:32

《Qt》Qt概述（二）

之前介绍了Qt的大致历史，现在我们继续安装QT安装软件首选官方网站Qt下载官⽹：http://download.qt.io/archive/qt/国内清华源：https://mirrors.tuna.tsinghua.edu.cn
绅士·永·2024-02-05 02:25

Tomcat环境搭建

1.关闭防火墙和selinuxsetenforce0systemctlstopfirewalld2.下载jdk和Tomcatcd/optwgethttps://archive.apache.org/dist
暗隐之光·2024-02-05 02:50

数据库与数据仓库的区别

数据库Database(Oracle,Mysql,PostgreSQL)主要用于事务处理，数据仓库Datawarehouse(AmazonRedshift,Hive)主要用于数据分析。
42c64edf12e9·2024-02-05 02:12

HIVE

--------hive数据仓库hive底层执行引擎有MapReduceTezSpark压缩GZIPLZOSnappyBZIP2等存储TextFileSequenceFileRCFileORCParquetUDF
Yagami_·2024-02-05 00:23

kernel里的头文件 asm 与 asm-generic

本文转载于:https://www.cnblogs.com/sammei/archive/2013/03/14/3295598.html路径asm的路径是arch/xxx/include/asm/asm-generic
最快乐的寂寞是独处·2024-02-04 23:08

JAVASE进阶：Collection高级（2）——源码剖析ArrayList、LinkedList、迭代器

‍作者简介：一位大四、研0学生，正在努力准备大四暑假的实习上期文章：JAVASE进阶：Collection高级（1）——源码分析contains方法、lambda遍历集合订阅专栏：JAVASE进阶希望文章对你们有所帮助
布布要成为最负责的男人·2024-02-04 23:04

JAVASE进阶：函数式编程——lambda表达式替代匿名内部类

源码分析——字符串拼接底层原理、StringBuilder底层原理订阅专栏：JAVASE进阶希望文章对你们有所帮助lambda表达式，高级程序员写起来真的是信手拈来，而且他们经常是把lambda放在Collection
布布要成为最负责的男人·2024-02-04 23:34

JAVASE进阶：Collection高级（1）——源码分析contains方法、lambda遍历集合

‍作者简介：一位大四、研0学生，正在努力准备大四暑假的实习上期文章：JAVASE进阶：函数式编程——lambda表达式替代匿名内部类订阅专栏：JAVASE进阶希望文章对你们有所帮助打算法竞赛的时候用的C++，为了方便敲代码基本上都不怎么用iterator来遍历集合，都是直接使用的下标。但在JAVA，下标遍历的方式不适合所有的集合，因为集合中还包含了Set，其没有索引的概念。又因为Java具有泛型编
布布要成为最负责的男人·2024-02-04 23:03

SpringBoot响应处理源码分析以及自定义MessageConverter

文章目录自定义pojo类通过@ResponseBody响应数据为json格式源码解析内容协商自定义MessageConverter自定义pojo类通过@ResponseBody响应数据为json格式源码解析1、RequestMappingHandlerAdapter.class返回值处理器执行目标方法2、ServletInvocableHandlerMethod.class确定参数，真正执行目标方
Allure丶soul·2024-02-04 22:09

RocketMQ源码分析（五）消息的存储

RocketMQ存储的文件主要包括Comitlog文件、ConsumeQueue文件、IndexFile文件。CommitLog：消息存储文件，所有消息主题的消息都存储在CommitLog文件中。ConsumeQueue：消息消费队列，消息到达CommitLog文件后，将异步转发到消息消费队列，供消息消费者消费。IndexFile：消息索引文件，主要存储消息Key与Offset的对应关系。以下是核
甘_·2024-02-04 21:16

hive小文件合并问题

背景Hivequery将运算好的数据写回hdfs（比如insertinto语句），有时候会产生大量的小文件，如果不采用CombineHiveInputFormat就对这些小文件进行操作的话会产生大量的maptask
DuLaGong·2024-02-04 20:16

【tomcat路径匹配源码分析】搞懂tomcat中web.xml配置servlet的url-pattern为“/“和“/*“的区别

搞懂tomcat中web.xml配置servlet的url-pattern为"/"和"/*"的区别前言结论Servlet匹配规则（tomcat源码）分析举个例子路径配置为`/`导致拦截静态资源问题的解决方案总结原文地址前言我在写原生javaWEB项目时，想通过注册一个servlet实现拦截所有请求由HandOutServlet统一分发，于是我就想到把urlPatterns设置为"/"但是这个会出现
MysticalDream·2024-02-04 20:35

nginx源码分析笔记（二）：nginx整体结构、进程模型

1、nginx的整体结构master属于root用户worker进程属于nobody，权限比较低，安全性比较高。受到攻击时。2、nginx进程模型一个master多个worker进程。master是监控进程，不处理具体业务，管理worker进程。worker处理具体业务，包括连接和读写信号。3、master和worker之间采用信号或者共享内存进行通讯。看代码。4、worker进程如果死掉，mas
奥斯特洛司机·2024-02-04 19:51

（三）Hive的分桶详解

Hive分桶通俗点来说就是将表（或者分区，也就是hdfs上的目录而真正的数据是存储在该目录下的文件）中文件分成几个文件去存储。
小猪Harry·2024-02-04 19:20

docker 主进程 日志_docker exec 与容器日志

主讲人为DaoCloud核心开发团队成员Allen(孙宏亮)，他是InfoQ「Docker源码分析」专栏作者，已出版《Docker源码分析》一书。
weixin_39977488·2024-02-04 19:13

CocosCreator3.8源码分析

CocosCreator架构CocosCreator拥有两套引擎内核，C++内核和TypeScript内核。C++内核用于原生平台，TypeScript内核用于Web和小游戏平台。在引擎内核之上，是用TypeScript编写的引擎框架层，用以统一两套内核的差异，让开发更便捷。engine的图像与Android的Surface对接安卓平台下是从一个标准的activity启动，然后加载一个Native
破竹15·2024-02-04 18:41
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他