hive底层原理

Hadoop 基础原理

基础原理基本介绍Hadoop的必要性Hadoop核心组件Hadoop生态系统中的附加组件HDFSHDFS集群架构HDFS读写流程HDFS写流程HDFS读流程NameNode持久化机制MapReduce底层原理示例
disgare·2025-02-26 11:38

nodejs npm run build 打包压缩zip文件

步骤1:安装npminstallarchiver-D步骤2:根目录下新建zip.js，内容如下constfs=require('fs')constarchiver=require('archiver')
xiaoxiao_0721·2025-02-26 10:36

本地Oracle数据库复制数据到Apache Hive的Linux服务器集群的分步流程

我们已经有安装ApacheHive的Linux服务器集群，它可以连接到一个OracleRDS数据库，需要在该Linux服务器上安装配置sqoop，然后将OracleRDS数据库中所有的表数据复制到Hive
weixin_30777913·2025-02-26 10:34

C++ 内联函数 函数重载

内联函数一、底层原理与编译器行为编译期展开机制内联函数在编译阶段会被直接插入到调用位置，消除函数调用指令（call指令）。
四代目 水门·2025-02-26 09:53

Vue 与 React 深度对比：从代码到原理的全方位解析

本文将从代码风格、底层原理、API设计、性能优化、生态系统等多个维度，对两者进行深度对比，助你在技术选型时做出明智决策。
北辰alk·2025-02-26 08:46

宿主机进程挂载到容器内_关于Docker的挂载

底层原理不懂就上手，上手出了问题就懵逼，最近在对接阿里云时遇到Docker存储驱动的神坑，爬了几天爬不出来，最后发现是节点中Docker存储驱动的问题，由此引发此次学习，避免类似问题再次懵逼。
weixin_33389183·2025-02-26 06:00

preview_220624,Day08_DM层建设实战,

抛弃DM.使用DataGrip在Hive中创建dm层注意，对于建库建表操作，需直接使用Hiv
啊六六六·2025-02-26 04:51

Spark Streaming 容错机制详解

接下来，我们将从底层原理和源代码的角度详细解释SparkStreaming是如何
goTsHgo·2025-02-26 04:20

Python进阶：详解`**kwargs`的底层原理与实战技巧，5大常见错误及解决方案

正文内容一、核心概念剖析定义：**kwargs是Python中用于接收任意数量关键字参数的特殊语法，将参数收集到字典对象中核心目的：增强函数参数处理的灵活性支持动态参数传递实现优雅的API设计基本语法：deffunction_name(**kwargs):#函数体二、语法规则详解1.标准使用范式defprocess_data(name,age=25,**info):print(f"Name:{na
燃灯工作室·2025-02-26 02:09

rust笔记9-引用与原始指针

&引用和*原始指针在底层原理上确实都可以认为是指针，它们都存储了某个内存地址，并指向该地址处的数据。然而，它们在安全性、使用方式和编译器支持上有显著的区别。
shanzhizi·2025-02-25 21:27

MVCC（多版本并发控制）底层原理

MVCC（多版本并发控制）底层原理总结：MVCC是通过维护数据的多个版本来控制并发访问的技术，它使得数据库能够支持高并发事务，同时保证事务之间的隔离性和一致性。
·2025-02-25 20:47

MySQL 8 公用表表达式（CTE）—— WITH关键字深入用法

更多介绍请查看官网：https://dev.mysql.com/blog-archive/mysql-8-0-labs-recursive-common-table-expressions-in-mysql-cte
gmHappy·2025-02-25 19:45

jar、war、pom

1.jar定义与用途用途：默认打包类型，生成JAR文件（JavaArchive），适用于普通Java应用或库。场景：开发工具类库（如commons-lang.jar）。
JIU_WW·2025-02-25 13:33

OKHttp 3.10源码解析（四）：连接机制

连接而不是URLConnection，所以整体来说还是比较复杂的，涉及到Http协议的封装和解封装、TLS/SSL安全协议的封装、Http2的封装等等，但还是非常值得我们去学习一下的，本篇文章不会对这些底层原理有详细的解析
十 月·2025-02-25 12:26

MAC电脑 初始化 开发环境（Java + Node）

1.后端1.1Java下载地址https://www.oracle.com/cn/java/technologies/javase/javase8-archive-downloads.html1.2Maven
Kevin_K2·2025-02-25 08:57

centOS 7.9 安装JDK MYSQL

jdk:JavaArchiveDownloads-JavaSE17.0.12andearlierCentOS安装JDK17教程（完整版）-秦胜飞-博客园sudoyumupdatewgethttps://
he25819·2025-02-25 07:23

lua垃圾回收机制

文章目录前言一、垃圾回收机制概述二、底层原理三、GC控制与调优四、GC的局限性总结前言Lua的垃圾回收（GarbageCollection,GC）机制是一种自动内存管理技术，主要基于标记-清除（Mark-and-Sweep
努力的小钟·2025-02-25 05:11

显卡3050ti等安培架构的GPU安装paddlepaddle

官网原话如果您使用的是安培架构的GPU，推荐使用CUDA11.2如果您使用的是非安培架构的GPU，推荐使用CUDA10.2，性能更优其他配套确定软件版本后，到官网下载对应版本的软件CUDA：CUDAToolkitArchive
社会闲散人员中的代码爱好者·2025-02-24 14:49

Oracle 19C DataGuard GAP 修复过程（RECOVER STANDBY DATABASE FROM SERVICE）

DGGAP主要分为以下两类情况：主库归档日志存在，可以通过配置FetchArchiveLog(FAL)参数，自动解决归档GAP；主库归档日志丢失，需要人工干预来修复；不同Oracle版本的GAP修复方式也不尽相同
莳花微语·2025-02-24 13:17

利用Python imaplib和email模块 读取邮件文本内容及附件内容

python使用imap接收邮件的过程探索https://www.cnblogs.com/yhlx/archive/2013/03/22/2975817.html#!
aobian2884·2025-02-24 12:06

底层原理是什么？

PHP的数据结构是编程中用来存储和组织数据的方式。它们就像不同的“容器”，可以用来装不同类型的东西。1.PHP的常见数据结构（1）数组（Array）定义：数组是一种可以存储多个值的容器。它可以是索引数组（用数字作为键）或关联数组（用字符串作为键）。示例：$fruits=["apple","banana","cherry"];//索引数组$person=["name"=>"Alice","age"=
快点好好学习吧·2025-02-24 06:54

hive运维

hive锁相关showlocks;查看锁unlocktable表名;释放锁发现释放不了锁，执行下面sethive.support.concurrency=false;sethive.txn.manager
花泽啸·2025-02-23 23:04

【003hive基础】hive的数据类型

文章目录一.数据类型1.基础数据类型2.复杂数据类型二.显式转换与隐式转换三.hive的读时模式一.数据类型1.基础数据类型2.复杂数据类型array:有序相同数据类型的集合。
roman_日积跬步-终至千里·2025-02-23 22:29

【Hive】学习路线：架构、运维、Hsql实战、源码分析

文章目录一.Hive基础学习1.基础知识2.安装与配置3.数据存储与表结构二.hive运维三.Hive实战1.HiveSQL基础2.高级查询与数据分析3.数据存储优化4.性能调优四.Hive源码分析一.
roman_日积跬步-终至千里·2025-02-23 22:25

被重复代码逼疯？AOP来当“舔狗”！日志/事务/权限，随叫随到！

（SpringBoot环境）0.添加依赖1.简单日志记录（@Before）2.方法性能监控（@Around）3.权限校验（自定义注解+@Before）4.缓存优化（@Around+缓存逻辑）四、AOP底层原理
码熔burning·2025-02-23 14:33

pg使用 archive_cleanup_command 自动清理归档日志

清理归档日志的方式1.使用archive_cleanup_command自动清理归档日志PostgreSQL提供了archive_cleanup_command参数，用于自动清理归档日志。
eaglesstone·2025-02-23 14:29

【React】React 性能优化

一、React更新流程（结合React18/19底层原理）React在props或者state发生改变时，会调用React的render方法，创建一颗不同的树。
秀秀_heo·2025-02-23 12:17

Java开发者必备：深入理解元素与对象比较的底层原理

Java开发者必备：深入理解元素与对象比较的底层原理个人主页：顾漂亮文章专栏：Java数据结构1.元素的比较Java中，基本类型的对象可以直接比较大小基本类型有：四类八种四类：整型、浮点型、字符型、布尔型八种
顾漂亮·2025-02-23 12:45

LINUX 安装mysql5.6.50 RPM

，记录一下安装过程的碰见的各种问题1.下载安装包抖店云上的系统是CentOS7.964位，因此下载Redhat7系统下面的安装包下载地址：https://downloads.mysql.com/archives
a21768541·2025-02-23 10:06

Hive排序函数源码解密：字节跳动面试官的底层三连问

Hive排序函数源码解密：字节跳动面试官的底层三连问作为数据工程师，理解Hive排序函数的源码就像掌握汽车的发动机原理。本文通过字节跳动内部技术文档，为你揭示三大排序函数的源码级实现差异。
数据大包哥·2025-02-23 06:31

笔记-Ubuntu本地镜像源配置

操作1、先在外网拿到安装包cd/var/cache/apt/archives2、复制至内网将所有deb复制至内网根目录下mkdir/ak/downloadchmod777-R/ak/download/3
丶花落谁家·2025-02-23 02:03

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
m0_74823705·2025-02-22 21:50

spark sql随记

1、sparksql访问hive将hive-site.xml放入到${SPARK_HOME}/conf下如果是sparkonyarn的cluster模式，由于driver是运行于哪个executor未知
cxy1991xm·2025-02-22 21:18

apk文件放到Linux服务器 nginx不支持apk ipa文件下载设置

修改/usr/local/nginx/conf目录下的mime.types增加如下配置，重启nginx生效application/vnd.android.package-archiveapk;//安卓application
云上上云·2025-02-22 11:00

[杂学笔记]STL容器简单介绍、高并发原理、数据库索引

目录1.STL容器简单介绍2.高并发实现原理3.MySQL数据库索引介绍底层原理注意事项1.STL容器简单介绍vector容器vector容器底层管理了一个动态开辟的空间，有三个指针start、finish
北顾南栀倾寒·2025-02-22 07:25

在虚拟机上安装MySQL和Hive

文章目录零、学习目标一、Hive概述（一）Hive的SQL-HQL（二）数据库与数据仓库（三）Hive的适用场景二、下载、安装和配置MySQL（一）下载MySQL组件压缩包（二）将MySQL组件压缩包上传到虚拟机
酒城译痴无心剑·2025-02-22 06:23

Python 的 WebSocket 实现详解

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-02-22 03:23

Linux命令终极指南：从入门到精通掌握150+核心指令

易读大小cd~#切换到用户家目录(ChangeDirectory)cd-#返回上一个工作目录2.文件操作touchfile.txt#创建空文件或更新时间戳cp-arvsrcdest#递归复制保留属性(Archive
放氮气的蜗牛·2025-02-21 23:43

V4L2采集图像基本流程

参考http://blog.csdn.net/tsuibeyond/article/details/50654823http://www.cnblogs.com/surpassal/archive/2012
yuyangyg·2025-02-21 19:14

【大数据技术】搭建完全分布式高可用大数据集群（MySQL+Hive）

搭建完全分布式高可用大数据集群（MySQL+Hive）apache-hive-3.1.3-bin.tar.gzmysql-connector-java-8.0.30注：请在阅读本篇文章前，将以上资源下载下来
Want595·2025-02-21 09:11

Linux下安装压缩包版MySQL记录

dev.mysql.com/downloads/mysql/操作系统选Linux-Generic，OS版本根据自己系统处理器架构和glibc版本选择，然后下载筛选结果中的CompressedTARArchive
蝶衣哦·2025-02-21 05:43

【大数据分析】Spark SQL查询：使用SQL命令

对于使用关系型数据库或分布式数据库的用户可能更容易和更自然地使用SQL，比如Hive。在SparkSQL编写SQL命令时，它们将被转换为DataFrame上的操作。
sword_csdn·2025-02-21 02:58

mysql8.4+mysql router读写分离

community-router8.4下载mysql_shellmysql-shell-9.0.1-linux-glibc2.17-x86-64bit.tar.gz下载地址:https://downloads.mysql.com/archives
Alex_z0897·2025-02-21 00:42

HarmonyOS进程通信及原理

大家好，我是学徒小z，最近在研究鸿蒙中一些偏底层原理的内容，今天分析进程通信给大家，请用餐文章目录进程间通信1.通过公共事件（@ohos.commonEventManager）公共事件的底层原理2.IPCKit
拥有一颗学徒的心·2025-02-20 15:28

安装配置MAVEN

安装配置MAVEN1.获取安装包下载apache-maven-3.8.1-bin.zip，下载地址：https://archive.apache.org/dist/maven/maven-3/3.8.1
ByteVoyager·2025-02-20 11:21

MapReduce 读取 Hive ORC ArrayIndexOutOfBoundsException: 1024 异常解决

个人博客地址：MapReduce读取HiveORCArrayIndexOutOfBoundsException:1024异常解决|一张假钞的真实世界在MR处理ORC的时候遇到如下异常：Exceptioninthread"main"java.lang.ArrayIndexOutOfBoundsException
一张假钞·2025-02-20 09:33

Anaconda 配置镜像源

Anaconda安装包可以到https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载。
猿代码_xiao·2025-02-20 06:37

linux安装python开发环境

安装Anaconda下载Anacondawgethttps://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh安装AnacondabashAnaconda3
燃冰结晶·2025-02-20 05:30

底层原理是什么？

PHP网站的架构设计对于确保网站的性能、可扩展性和可维护性至关重要。根据不同的业务需求和规模，可以选择不同的架构模式。1.单体架构（MonolithicArchitecture）1.1定义单体架构：将整个应用程序作为一个单一的单元进行开发、部署和运行。所有的功能模块都在同一个代码库中，共享同一个数据库。1.2使用场景小型项目：适合功能简单、用户量较少的小型网站。快速原型开发：适合快速开发和测试原型
快点好好学习吧·2025-02-19 16:13

实现MySQL数据全量迁移至Hive的简单脚本

1、主要思路：编写脚本执行建表语句、sqoop命令1.1、编写建表语句脚本思路：在虚拟机下执行hive-f/脚本路径即可执行hql脚本1.2、编写shell脚本脚本内容为分为两部分执行hql建表语句脚本
xiaoxaoyu·2025-02-19 16:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他