hive源码分析

datax 学习记录

初识DataX是由阿里巴巴研发并开源的一个异构数据源离线同步工具，DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase
咳咳00·2024-02-02 17:58

datax避坑记录

DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
佛祖保佑永不宕机·2024-02-02 17:28

IDEA如何进行远程Debug调试

背景：使用docker进行CVE漏洞复现的时候，由于只能黑盒进行复现，并不能知道为什么会产生这个漏洞，以及漏洞的POC为什么要这么写，之前我都是通过本地debug来进行源码分析，后来搜了一下，发现可以进行远程代码
Smileassissan·2024-02-02 16:47

Qt下载（多种下载通道+所有版本）

Qt官方下载（非常慢）Qt官网有一个专门的资源下载网站，所有的开发环境和相关工具都可以从这里下载，具体地址是：Indexof/图1：Qt官方下载网站截图archive和official_releases
码上农民·2024-02-02 16:37

M1 安装 homebrew

在/opt文件夹下创建homebrew文件夹，然后将解压后的内容全部复制到homebrew文件夹下下载地址为：https://github.com/Homebrew/brew/archive/refs/
一杯可乐、·2024-02-02 16:53

「连载」边缘计算（十四）02-02：边缘部分源码（源码分析篇）

CloudCore功能模块之间通信的消息框架CloudCore组件中各个功能模块之间是通过Beehive
十越科技·2024-02-02 15:12

Hack The Box-Challenges-Misc-M0rsarchive

解压压缩包，里面是一张图片和一个新的zip文件图片放大后的图案是----.考虑到为莫斯密码，将其解密密码为9，继续解压缩包又是一张莫斯密码图加压缩包，写一段脚本去解密图片中的莫斯密码，并自动解压缩包importreimportosimportsysimportzipfilefromPILimportImagedefget_pass(morse_list):password=""MORSE_CODE
0415i·2024-02-02 14:55

Hive调优

禁用低效SQL),动态分区数...关闭或者减小某些设置(配置).严格模式(动态分区),推测执行...减少IO传输.Input(输入)/Output(输出),列存储orc,压缩协议snappy,join优化Hive
我走之後·2024-02-02 14:25

大数据技术之Hive

ApacheHive概述分布式SQL计算1.以分布式的形式，执行SQL语句，进行数据统计分析2.对数据进行统计分析，SQL是目前最为方便的编程工具。
我走之後·2024-02-02 14:55

Hive函数--窗口函数

窗口函数介绍:概述:窗口函数指的是over()函数,它可以结合特定的函数一起使用,完成不同的功能.目的、作用:窗口函数=给表新增一列,至于新增的内容是什么,取决于窗口函数和什么函数一起使用.格式:能和窗口函数一起使用的函数over(partitionby分组字段orderby排序字段rowsbetween起始行and结束行)，能和窗口函数一起使用:聚合函数:count(),sum(),max(),
我走之後·2024-02-02 14:55

Hive核心优化

数据采样分桶表概述:分桶就是分文件,在创建表的时候,指定分桶字段,并设置分多少个桶,在添加数据的时候,hive会根据设置分桶字段,将数据划分到N个桶(文件)中,默认情况采用HASH分桶方案,分多少个桶,
我走之後·2024-02-02 14:54

生产环境踩坑系列::Hive on Spark的connection timeout 问题

起因7/16凌晨，钉钉突然收到了一条告警，一个公司所有业务部门的组织架构表的ETL过程中，数据推送到DIM层的过程中出现异常，导致任务失败。因为这个数据会影响到第二天所有大数据组对外的应用服务中组织架构基础数据，当然，我们的Pla-nB也不是吃素的，一旦出现错误，后面的权限管理模块与网关会自动配合切换前一天的最后一次成功处理到DIM中的组织架构数据，只会影响到在前一天做过组织架构变化的同事在系统上
dclar_·2024-02-02 13:08

spark livy hue

为Spark提供了REST接口，有如下特性:*提供交互式shell*批量提交*多用户使用用一个服务(用户模拟)*可以从任何地方使用REST的方式提交*无需对代码进行任何修改wgethttp://archive.cloudera.com
bigdataf·2024-02-02 13:08

生产环境_Spark接收传入的sql并替换sql中的表名与解析_非常NB

在爷们开发这段生产中的代码，可适配mysql,hive,hbase，gbase等等等等，基本涉及到数据库的情况基本可以进行。可以说是非常之NB！！！！！
Matrix70·2024-02-02 13:06

读写Word的组件DocX介绍与入门

本文为转载内容：文章原地址：http://www.cnblogs.com/asxinyu/archive/2013/02/22/2921861.html开源Word读写组件DocX介绍与入门阅读目录1.
uiwgi·2024-02-02 13:29

Debezium系列之：深入理解GTID全局事务标识，并记录一次数据库重启造成数据丢失的原因和解决方案

Debezium系列之：深入理解GTID，并记录一次数据库重启造成数据丢失的原因和解决方案一、背景二、深入理解什么是GTID三、深入理解gtid的uuid部分四、判断GTID之间的顺序大小五、解决方案一、背景hive
最笨的羊羊·2024-02-02 12:51

Android源码分析：Activity启动流程

分析流程基于Android8.0源码一般情况下我们通过Activity中的startActivity方法启动一个Activity。这个流程中涉及一下几个类：android.app.Activityandroid.app.Instrumentationcom.android.server.am.ActivityManagerServicecom.android.server.am.ActivityS
LeaYw·2024-02-02 12:27

实时数据湖：Flink CDC流式写入Hudi

点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜1.环境准备•Flink1.12.2_2.11•Hudi0.9.0-SNAPSHOT(master分支)•Spark2.4.5、Hadoop3.1.3、Hive3.1.22
王知无(import_bigdata)·2024-02-02 12:01

Hive基本操作

hive操作启动hivebin/hive创建数据库createdatabasedb_hivedb_hive使用数据库usedb_hive创建表createtablestudent(idint,namestring
明明德撩码·2024-02-02 11:19

mysql常见的存储引擎有哪些？

MySQL中常用的四种存储引擎分别是：MyISAM、InnoDB、MEMORY、ARCHIVE。MySQL5.5版本后默认的存储引擎为InnoDB。
宇亲·2024-02-02 09:16

Nginx RTMP源码分析--GOP的实现

nginxrtmpmodule的默认实现中，不支持gop缓存。我们可以自己进行开发，实现的主要原理是：当遇到关键帧时，清空旧的gop缓存并开始缓存新的帧数据；当play时，先将缓存的gop发送给对方，然后开始正常的发送的逻辑。具体逻辑如下：（这里只列出了主要的流程，并不是全部的代码实现）初始化在ngx_rtmp_session_t增加gop相关的字段：typedefstruct{....../*g
龙--技术总结分享·2024-02-02 09:12

「连载」边缘计算（八）01-25：边缘部分源码（源码分析篇）

搭建开发环境KubeEdge开发环境的搭建与7.1节高度相似，详情见《深入理解边缘计算：云、边、端工作原理与源码分析》。
十越科技·2024-02-02 08:18

「连载」边缘计算（十一）01-30：边缘部分源码（源码分析篇）

（接上篇）函数StartModules()定义具体如下所示。//StartModulesstartsmodulesthatareregisteredfuncStartModules(){coreContext:=context.GetContext(context.MsgCtxTypeChannel)modules:=GetModules()forname,module:=rangemodules
十越科技·2024-02-02 08:18

「连载」边缘计算（十二）01-31：边缘部分源码（源码分析篇）

组件源码分析本节将对Kubernetes的核心组件的源码进行梳理和分析。
十越科技·2024-02-02 08:18

「连载」边缘计算（十三）02-01：边缘部分源码（源码分析篇）

（接上篇）配置模块初始化配置模块初始化具体如下所示。err:=archaius.Init()...CONFIG=archaius.GetConfigFactory()（3）获取内存配置源获取内存配置源具体如下所示。ms:=memoryconfigsource.NewMemoryConfigurationSource()CONFIG.AddSource(ms)（4）获取命令行配置源获取命令行配置源具
十越科技·2024-02-02 08:46

freertos 源码分析一 list链表数据结构

链表和任务管理是freertos的核心，先分析链表源码，freertos的链表是双向环形链表，定义与数据结构在list.h中，表项的初始化，插入与删除在list.c中。数据结构一、表项数据结构structxLIST_ITEM{listFIRST_LIST_ITEM_INTEGRITY_CHECK_VALUEconfigLIST_VOLATILETickType_txItemValue;struct
yvee·2024-02-02 08:05

MySQL 8.0 安装脚本

1下载安装包首先，我们下载MySQL8.0.25的安装包：wgethttps://downloads.mysql.com/archives/get/p/23/file/mysql-8.0.25-linux-glibc2.12
only°夏至besos·2024-02-02 07:35

【Hive】配置

目录Hive参数配置方式参数的配置方式1.文件配置2.命令行参数配置3.参数声明配置配置源数据库配置元数据到MySQL查看MySQL中的元数据Hive服务部署hiveserver2服务介绍部署启动远程连接
返返返·2024-02-02 07:33

hive学习笔记

安装配置安装hive下载hive解压重命名添加环境变量Vi/etc/proflie使环境变量生效Source/etc/profile修改配置文件cphive-env.sh.templatehive-env.shHiveMetastore
一加六·2024-02-02 06:58

Java技术栈 —— Hive与HBase

Java技术栈——Hive与HBase一、什么是Hive与HBase二、如何使用Hive与HBase？
键盘国治理专家·2024-02-02 06:23

SpringBoot统一功能处理，拦截器，统一数据格式，捕捉异常

编辑@ControllerAdvice源码分析数据结构面试:HashMap,ConcurrentHashMap,ThreadLocal要看(建议看源码)网络:
狗哥不是甜妹·2024-02-02 06:49

Unity 内置着色器下载方法

Unity内置着色器下载方法官方下载GitHub下载官方下载需要科学上网官方下载链接https://unity3d.com/get-unity/download/archiveGitHub下载更新到2019.4.1Unity-Built-in-Shadershttps
SlowFeather·2024-02-02 06:55

【分布式技术专题】Guava RateLimiter 针对于限流器的入门到实战（含源码分析介绍）

GuavaRateLimiter针对于限流器的入门到实战限流器的思路和算法漏桶算法令牌算法RateLimiter限流器RateLimiter的作用create方法acquire方法tryAcquire方法详细分析参数抛出异常参数抛出异常实践案例第1次获取10个令牌第2次获取1个令牌第3次获取10个令牌资料参考限流器的思路和算法如果让你来造一个限流器，有啥想法？漏桶算法用一个固定大小的队列。比如设置
洛神灬殇·2024-02-02 06:52

深度学习Pytorch框架搭建

记录下安装anaconda并配置GPU版本的pytorch1.清华镜像安装anaconda1.1安装地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive
不想学习的Lucy·2024-02-02 04:56

linux 内核协议栈 ip_loopback,Linux内核协议栈源码分析.pdf

Linux内核协议栈源码分析.pdfLinux2.6协议栈源代码分析基于Linux2.6.18内核源码V0.1luoyu第i页Linux2.6协议栈源代码分析目录目录ii图目录iv表目录viii前言xiii
周雨鑫·2024-02-02 03:14

消息中间件之RocketMQ源码分析(三)

RocketMQ中的Consumer启动流程RocketMQ客户端中有两个独立的消费者实现类分别为DefaultMQPullConsumer和DefaultMQPushConsumer，DefaultMQPullConsumerDefaultMQPullConsumer,该消费者使用时需要用户主动从Broker中Pull消息和消费消息，提交消费位点继承关系图核心属性namesrvAddr:继承自C
coffee_babe·2024-02-02 01:55

消息中间件之RocketMQ源码分析(四)

消费者的Rebalance机制客户端是通过Rebalance服务做到高可靠的。当发生Broker掉线、消费者实例掉线、Topic扩容等各种突发情况时，消费者组中的消费者实例是怎么重平衡的，以支持全部队列的正常消费的?Rebalance服务的类图RebalanceImpl的核心属性ConcurrentMapprocessQueueTable:记录MessageQueue和ProcessQueue的关
coffee_babe·2024-02-02 01:55

LidarView源码分析（十三）vtkLidarReader类

该类负责读取pcap文件，并调用vtkLidarPacketInterpreter类进行数据解析。然后将数据传入vtk的渲染管线中。可以通过各种索引获取数据：帧数，网络时间，数据时间。头文件在渲染管线中调用的函数为RequestData，获取数据的函数为GetFrame。classLVIOLIDAR_EXPORTvtkLidarReader:publicvtkPolyDataAlgorithm{p
上官天耀·2024-02-02 01:05

LidarView源码分析（十四）vtkPacketFileReader类

简介vtkPacketFileReader是对libpcap的包装（windows系统下是winpcap，linux下是libpcap）。winpcap已经停止维护。可以使用Npcap。在LidarView中仍然使用的是winpcap（http://github.com/patmarion/winpcap.git）。vtkPacketFileReader负责对pcap数据进行读取，并可以获取或者设
上官天耀·2024-02-02 01:05

LidarView源码分析（一）源码组织概览

LidarView源码组织结构Application：界面程序。内容比较简单，主要定义了界面的主框架，然后使用ParaView相关的功能进行初始化。LVCore：核心功能及插件。包含LidarView的数据源，滤波器等插件代码。整个程序是使用ParaView开发模式。显示界面只是个框架，主要功能结构是使用插件的形式实现的。源代码目录树如下：├─Application│├─Icons│├─Softw
上官天耀·2024-02-02 01:04

requestLayout()引起的问题

requestLayout()引起的问题网上有大量写的很深入的requestLayout()源码分析的文章。故这里不再写了，只做一个实际情况下遇到的问题的分析。
HWilliamgo·2024-02-01 23:55

【NIO与Netty】Netty优化与源码

文章名链接JavaNIO入门：结合尚硅谷课程文章地址Netty入门文章地址Netty进阶文章地址|粘包、半包Netty优化与源码文章地址|源码分析一、优化1.1扩展序列化算法序列化，反序列化主要用在消息正文的转换上序列化时
愿你满腹经纶·2024-02-01 22:57

OpenHarmony—开发及引用静态共享包（API 9）

HAR(HarmonyArchive）是静态共享包，可以包含代码、C++库、资源和配置文件。通过HAR可以实现多个模块或多个工程共享ArkUI组件、资源等相关代码。
码牛程序猿·2024-02-01 22:53

图解java.util.concurrent并发包源码系列——深入理解定时任务线程池ScheduledThreadPoolExecutor

ScheduledThreadPoolExecutorScheduledThreadPoolExecutor作用与用法ScheduledThreadPoolExecutor内部执行流程DelayedWorkQueueScheduledFutureTask源码分析任务提交
黄俊懿·2024-02-01 21:55

Observable【Rx.js源码分析】

几个月前读完了Rx.js的源码（v6）版本，领悟到了Stream模式的实现原理，并将其思想广泛应用在业务代码中。这个过程让我深刻的见识到Stream模式的好处，业务逻辑由此在代码层面更加清晰。接下来的文章中我会讲述Rx.js的核心实现原理，希望大家也可以因此而获益。由于2个原因：1.源码是用ts编写，不熟悉ts的同学可能会不习惯；2.源码不好大段拎出分析。所以我会将其核心实现用js的代码精简后表述
编码的哲哲·2024-02-01 21:27

Zookeeper单机版/伪集群搭建

(如java8)2使用wget命令或者xshelleditplus工具远程上传tar包到Linux(1)使用wget命令下载zookeeper安装包到linux环境下命令:wgethttp://archive.apac
我不是吴彦祖i·2024-02-01 20:43

Zookeeper单机环境和集群环境搭建

官方下载地址：https://archive.apache.org/dist/zookeeper/#wgethttps://archive.apache.org/dist/zookeeper/zookeeper
数字游牧人0v0·2024-02-01 20:12

基于Java+Neo4j开发的知识图谱+全文检索的知识库管理系统（源码分析）

在数字化高度普及的时代，企事业机关单位在日常工作中会产生大量的文档，例如医院制度汇编，企业知识共享库等。针对这些文档性的东西，手工纸质化去管理是非常消耗工作量的，并且纸质化查阅难，易损耗，所以电子化管理显得尤为重要。【springboot+elasticsearch+neo4j+vue+activiti】实现数字知识库管理系统。一、项目概要1.springboot、vue前后端分离技术。2.先进的
瓯雅爱分享·2024-02-01 20:41

安装配置hive

1、下载上传apache-hive-2.3.7-bin.tar.gz到虚拟机/root目录下或在虚拟机正常联网的情况下使用下面的wget命令下载文件。
m0_69595107·2024-02-01 19:28

全志lichee的pack命令

一、脚本源码分析#!/bin/bashBR_SCRIPTS_DIR=`dirname$0`//$0就是这个文
小黄鸭-·2024-02-01 18:12
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他