Yore Yuen
Yore Yuen

Hive 架构

Design

目录

  • Hive Architecture （Hive架构）
  • Hive Data Model（Hives数据模型）
  • Metastore（元数据）
    • Motivation（动因）
    • Metadata Objects （元数据对象）
    • Metastore Architecture （元数据架构）
    • Metastore Interface（元数据接口）
  • Hive Query Language（Hive查询语言）
  • Compiler（编译器）
  • Optimizer（优化器）
  • Hive APIs



Figure 1
Hive 架构_第1张图片

Hive Architecture（Hive 架构）

图1显示了Hive的主要组件及其与Hadoop的交互。如该图所示，Hive的主要组件是：

  • UI：用户向系统提交查询和其他操作的用户界面。
  • Driver：接收查询的组件（Component）。这个组件实现了session句柄的概念，并提供了在JDBC/ODBC接口上执行和获取模型化的API。
  • Compiler：解析查询的组件，对不同的查询块（query blocks）和查询表达式(query expressions)进行语义分析，最终在表(元数据表)的帮助下生成执行计划，并从Metastore中查找分区元数据。
  • MetaStore：存储仓库中各种表和分区的所有结构化信息的组件，包括列和列类型信息，读取和写入数据所需的序列化程序和反序列化程序，以及存储数据的相应HDFS文件。
  • Execution Engine：执行编译器创建的执行计划（execution plan）的组件。该计划是一个stage的DAG。执行引擎管理计划的这些不同stage之间的依赖关系，并在适当的系统组件上执行这些stage。

上图中显示了典型的查询如何在系统中流动（flows），UI调用Driver的执行接口（step 1）。Driver为查询创建会话句柄(session handle)，并将查询发送到Compiler以生成执行计划（step 2）。Compiler从Metastore获取必要的元数据（step 3 and 4），此元数据用于查询树中的表达式进行类型检查以及基于查询谓词修剪分区（prune partitions）。由Compiler生成的计划（step 5）是一个stage的DAG，每个stage 是一个 map/reduce job、元数据操作或一个 HDFS上的操作，对于map/reduce阶段，计划包含map运算树（在mappers上执行的运算树）和reduce运算树（用于需要reducers的操作），执行引擎(Execution engine)将这些stage提交给适当的组件（step 6，6.1，6.2和6.3），在每个Task（mapper/reducer）中与表或中间输出相关联的反序列化用于从HDFS文件中读取行，这些行通过关联的运算树传递。生成输出后，它将通过序列化程序写入临时HDFS文件（如果操作不需要reduce，则会在mapper中发生），临时文件用于向计划的后续map/reduce阶段提供数据。对于DML(Data Manipulation Language)操作，最终临时文件将移动到表的位置，此方案用于确保不读取脏数据（文件重命名是HDFS中的原子操作）。对于查询，执行引擎直接作为来自Driver的提取调用的一部分从HDFS读取临时文件内容（step 7,8和9）。


Hive Data Model（Hive 数据模型）

Hive中的数据分为：

  • Table（表）：类似于关系型数据库中的表，可以进行过滤(Filtered)、投影（Projected）、关联（Joined）和联合（Unioned）。此外表的所有数据都存储在HDFS的目录中，Hive还支持外表（external table）的概念，通过为表创建DDL提供的合适位置上，可以在HDFS中现有的文件或目录上创建表。表中的 rows 被组织为类似于关系型数据库中的 columns。
  • Partitions（分区）：每个表可以由一个或多个分区Key，用于确定数据的存储方式，例如具有日期分区列 ds 的表 T 具有存储在HDFS中的 /ds=\ 目录中的特定日期的数据的文件。分区允许根据查询谓词修剪要检查的数据，例如，对于 T 中满足判断的行感兴趣的查询T.ds = '2008-09-01'只需要在HDFS上查看
    /ds=2008-09-01/目录。
  • Buckets（桶）：每个分区中的数据可以依次根据表中列的散列划分为桶。每个存储桶都作为文件存储在分区目录中。Bucketing允许系统有效地评估依赖于数据样本的查询（这些是在表上使用SAMPLE子句的查询）。

    • 除了原始列类型（整数、浮点数、通用字符串、日期 和 booleans）之外，Hive还支持 array 和 map。此外用户可以从任何原语（primitives）、集合（collections）或其他用户定义的类型以编程方式组成自己的类型。typing系统与SerDe（Serailization/Deserialization）和对象检查器接口（object inspectors interfaces）密切相关。用户可以通过实现自己的对象检查器来创建自己的类型，并使用这些对象检查器，可以创建自己的SerDes来将其数据序列化和反序列化为HDFS文件。在理解其他数据格式和更丰富的类型时，这两个接口提供了必要的钩子(hooks)来扩展Hive的功能。像ListObjectInspector这样的内置对象检查器，StructObjectInspector和MapObjectInspector提供必要的原语，以可扩展的方式组成更丰富的类型。对于map和array，提供了有用的内置函数，如大小和索引运算符。点分表示法(dotted notation)用于导航嵌套类型，例如a.b.c = 1查看类型a字段的b字段的c并将其与1进行比较。


    MetaStore（元数据）

    Motivation（动因）

    Metastore提供了数据仓库的两个重要但经常被忽视的功能：数据抽象（data abstraction）和数据发现（data discovery）。如果没有Hive中提供的数据抽象，用户必须提供有关数据格式、提取器（extractors）和加载器(loaders)的信息以及查询。在Hive中，此信息在表创建期间给出，并在每次引用表时重用。这与传统的仓储系统非常相似。第二个功能是数据发现，使用户能够发现和探查仓库中的相关和特定的数据。可以使用此元数据构建其他工具，以公开并可能增强有关数据及其可用性的信息。Hive通过提供与Hive查询处理系统紧密集成的元数据存储库来实现这两个功能，以便数据和元数据保持同步。

    Metadata Objects（元数据对象）

    • Databases- 是表的 namespace。它可以在将来用作管理单元（administrative unit）。数据库 ‘default’ 用于用户未提供数据库的默认名称的表。
    • Table - 表的元数据包含列、所有者、存储和SerDe信息的列表。它还可以包含任何用户提供的键和值数据。存储信息包括底层数据的位置、文件输入和输出格式以及存储信息。SerDe元数据包括序列化器和反序列化器（serializer和deserializer）的实现类以及实现所需的任何支持信息。在创建表期间可以提供所有这些信息。
    • Partition - 每个分区都有自己的列和SerDe和存储信息。这有助于架构更改，而不会影响旧分区。

    Metastore Architecture（元数据架构）

    Metastore是一个带有数据库或文件备份存储的对象存储。数据库支持的存储是使用称为DataNucleus的对象关系映射（ORM）解决方案实现的。将其存储在关系数据库中的主要目的是元数据的可查询性。使用单独的数据存储而不是使用HDFS的一些缺点是同步和可伸缩性问题。此外，由于缺少对文件的随机更新，因此没有明确的方法在HDFS之上实现对象存储。这一点，再加上关系存储的可查询性的优势，使这种方法变得合情合理。

    Metastore可以配置为以两种方式使用：远程和嵌入式。在远程模式下，Metastore是Thrift服务。此模式对非Java客户端非常有用。在嵌入模式下，Hive客户端使用JDBC直接连接到底层的Metastore。此模式很有用，因为它避免了需要维护和监视的另一个系统。这两种模式都可以共存。（更新：本地Metastore是第三种可能性。有关详细信息，请参阅Hive Metastore Administration）

    Metastore Interface

    Metastore提供Thrift接口来操作和查询Hive元数据。Thrift提供许多流行语言的绑定。第三方工具可以使用此界面将Hive元数据集成到其他业务元数据存储库中。


    Hive Query Language (Hive 查询语言)

    HiveQL是Hive的类似SQL的查询语言。它主要模仿用于创建表的SQL语法，将数据加载到表中以及查询表的SQL语法。 HiveQL还允许用户嵌入他们的自定义map-reduce脚本。这些脚本可以使用简单的基于行的流接口以任何语言编写 - 从标准输入读取行并将行写出到标准输出。这种灵活性的代价是由于将行转换为字符串而导致性能损失。但是，我们已经看到用户不介意这一点，因为他们可以用他们选择的语言实现他们的脚本。 HiveQL的另一个独特功能是多表插入。在此构造中，用户可以使用单个HiveQL查询对相同的输入数据执行多个查询。 Hive优化这些查询以共享输入数据的扫描，从而将这些查询的吞吐量提高几个数量级。由于空间不足，我们省略了更多细节。有关HiveQL语言的更完整描述，请参阅语言手册。

    Compiler （编译器）

    • Parser （解析器）– 将查询字符串转换成解析树表示。
    • Semantic Analyser（语义分析器）-将解析树转换为内部查询表示，它仍然是基于 block 而不是运算树。作为这个步骤的一部分，将验证列名并执行类似 * 的扩展，此阶段还会执行类型检查和任何隐式类型转换，如果正在考虑的表是分区表（这种是常见的情况），则会收集该表的所有表达式，以便稍后可以使用它们来修剪不需要的分区。如果查询已指定采样，则也会收集该采样以便稍后使用。
    • Logical Plan Generator（逻辑计划生成器） - 将内部查询表示转换为逻辑计划，逻辑计划由运算树组成。一些运算符是关系代数运算符，如'filter', 'join'等。但是有一些运算符是特定于Hive的，后来用于将此计划转换为一系列map-reduce作业。一个这样的运算符是reduceSink运算符，它出现在map-reduce边界处。此步骤还包括优化器（Optimizer），用于转换计划以提高性能 - 其中一些转换包括：将一系列 join 转换为单个multi-way join，为分组执行映射端部分聚合，对于group-by,通过分两个阶段来避免单个reducer在存在group key的数据倾斜时成为瓶颈的情况。
    • Query Plan Generator（查询计划生成器）- 将逻辑计划转换为一系列map-reduce任务。递归遍历运算树，将其分解为一系列map-reduce可序列化Task，这些Task稍后可以提交到Hadoop分布式文件系统的map-reduce框架。reduceSink运算符是map-reduce边界，其描述符包含reduction key。如果查询指定了，则计划包含所需的samples/partitions。该计划已序列化并写入文件。

    (具体理解可以参考下面我整理的一张图)
    Hive 架构_第2张图片

    Optimizer （优化器）

    优化程序执行更多计划转换。 优化器是一个不断发展的组件。 截至2011年，它基于规则并执行以下操作：列修剪和谓词下推(predicate pushdown)。 但是，基础设施已经到位，正在进行的工作包括其他优化，例如map-side join。 （Hive 0.11添加了几个join optimizations）

    优化器可以增强为基于成本的（参见Cost-based optimization in Hive 和HIVE-5775）。 输出表的排序特性也可以保留并在以后用于生成更好的计划。 可以对少量数据样本执行查询以猜测数据分布，这可以用于生成更好的计划。

    在Hive 0.12中添加了correlation optimizer（关联优化器）。

    该计划是通用运算树，并且可以轻松操作。


    Hive APIs

    Hive API概述描述了Hive提供的各种面向公共的API。



    你可能感兴趣的:(大数据,数据库,Hive,Apache,Hive,Hive,Architecture,Hive,Data,Model,Metastore,Compiler)

    • 【数据集】全球预报系统GFS概述：数据下载及处理 WW、forever 数据集GFS
      【数据集】全球预报系统GFS概述：数据下载及处理GFSweatherdata数据下载NOAANOMADSNOAA数据处理基于Python完成数据重命名参考GFSweatherdata全球预报系统GFS（GlobalForecastSystem）是美国国家海洋和大气管理局（NOAA）开发和运行的数值天气预报模型。它是一个全球性的大气模式，提供中长期天气预报。以下是一些关键点：全球覆盖：GFS提供全球
    • OpenDRG/DRG_Datas 项目使用教程 咎宁准Karena
      OpenDRG/DRG_Datas项目使用教程项目地址:https://gitcode.com/gh_mirrors/dr/DRG_Datas1.项目目录结构及介绍DRG_Datas/├──ICD/│├──ICD诊断、手术操作编码.csv│├──基础数据.csv│├──版本对照关系.csv│└──手术操作类别属性.csv├──Payment/│├──各地DRG病组清单.csv│└──医保支付标准.
    • oracle goldengate from mongodb to oracle的实时同步 夹心饼2024 数据库运维案例分享oraclemongodb数据库
      oraclegoldengatefrommongodbtooracle的实时同步近期因公司项目需要，需要将mongodb数据同步到oracle数据库，由于第一次接触到mongodb数据库同步到Oracle的项目，故没有主动获取数据，而且让对方工程师把mongodb数据同步到我方的mongodb数据库，为此新建了一个mongodb数据库。我方工程师把mongodb数据库同步到doris数据仓库。考虑
    • MDX语言的数据类型 BinaryBardC 包罗万象golang开发语言后端
      MDX语言的数据类型详解引言MDX（多维表达式）是一种用于查询和操作多维数据集的查询语言，广泛用于数据分析和商业智能领域。MDX语言的设计旨在帮助用户高效地从多维数据库（如MicrosoftSQLServerAnalysisServices）中提取和分析数据。随着数据量的不断增加和数据结构的日益复杂，MDX提供了一种强大的方式来处理和分析这些多维数据。在MDX中，数据类型是理解和使用该语言的基础，
    • AWS SAP-C02教程6--安全_aws sap c02题库(1) 2401_84252743 程序员aws安全区块链
      有AWS管理密钥，因此安全度高AWSKMS与大多数用于加密数据的其他AWS服务集成例题：Acompanyneedstomoveitswrite-intensiveAmazonRDSforPostgreSQLdatabasefromtheeu-west-1Regiontotheeu-north-1Region.Aspartofthemigration,thecompanyneedstochangef
    • 《数据库学习之旅：探索数据的奥秘》 2301_82161368 oracle数据库
      在当今数字化的时代，数据库已成为信息管理和处理的核心基础设施。通过对数据库的学习和实践，我获得了许多宝贵的经验和深刻的认识。数据库就如同一座巨大的数据城堡，它有着严谨的结构和规则，却又充满了无限的可能。一开始，理解数据库的基本概念和原理并非易事，但随着逐步深入的学习，我渐渐揭开了它神秘的面纱。关系型数据库的表结构设计让我体会到了数据规划的重要性。合理地划分表、确定字段以及建立正确的关联关系，能够极
    • StarRocks Awards 2024 年度贡献人物 开源
      在过去一年，StarRocks在Lakehouse与AI等关键领域取得了显著进步，其卓越的产品功能极大地简化和提升了数据分析的效率，使得"OneData，AllAnalytics"的愿景变得更加触手可及。虽然实现这一目标的道路充满挑战且漫长，但我们并不孤单，因为有一群社区伙伴与我们并肩作战。每一位贡献者的代码提交和每一次的布道，都在推动着StarRocks社区向前发展。为了表达对这些贡献者的深深感
    • 图书管理数据库简单sql语句 空心木、 sql
      已知某图书管理数据库有如下表格：用户表user、部门表dept、角色表role、图书表book、图书分类表book_classify、图书借阅表book_borrow、还书表book_return、借阅预约表book_appoint、图书遗失表book_lose;用户表user、部门表dept、角色表role、图书表book、图书分类表book_classify、图书借阅表book_borrow、
    • 数据库高可用方案-09-数据库的灾难恢复演练 老马啸西风 databasemysql数据库oracle
      数据库数据高可用系列数据库高可用方案-01-数据库备份还原方案数据库高可用方案-02-多机房部署数据库高可用方案-03-主备等高可用架构数据库高可用方案-04-删除策略数据库高可用方案-05-备份与恢复数据库高可用方案-06-监控与报警数据库高可用方案-07-一致性校验数据库高可用方案-08-多版本管理数据库高可用方案-09-数据库的灾难恢复演练数据库的灾难恢复演练数据库的灾难恢复演练是确保数据库
    • 数据库高可用方案-05-备份与恢复 老马啸西风 databasemysql数据库oracle
      数据库数据高可用系列数据库高可用方案-01-数据库备份还原方案数据库高可用方案-02-多机房部署数据库高可用方案-03-主备等高可用架构数据库高可用方案-04-删除策略数据库高可用方案-05-备份与恢复数据库高可用方案-06-监控与报警数据库高可用方案-07-一致性校验数据库高可用方案-08-多版本管理数据库高可用方案-09-数据库的灾难恢复演练数据库的备份与恢复数据库备份与恢复是数据库管理中至关
    • 数据库高可用方案-07-一致性校验 老马啸西风 databasemysql数据库oracle
      数据库数据高可用系列数据库高可用方案-01-数据库备份还原方案数据库高可用方案-02-多机房部署数据库高可用方案-03-主备等高可用架构数据库高可用方案-04-删除策略数据库高可用方案-05-备份与恢复数据库高可用方案-06-监控与报警数据库高可用方案-07-一致性校验数据库高可用方案-08-多版本管理数据库高可用方案-09-数据库的灾难恢复演练数据库的数据一致性校验数据库的数据一致性校验是指确保
    • 数据库高可用方案-03-主备等高可用架构 老马啸西风 databasemysql数据库架构
      数据库数据高可用系列数据库高可用方案-01-数据库备份还原方案数据库高可用方案-02-多机房部署数据库高可用方案-03-主备等高可用架构数据库高可用方案-04-删除策略数据库高可用方案-05-备份与恢复数据库高可用方案-06-监控与报警数据库高可用方案-07-一致性校验数据库高可用方案-08-多版本管理数据库高可用方案-09-数据库的灾难恢复演练主备高可用架构主备高可用架构（Master-Slav
    • BUUCTF--October 2019 Twice SQL Injection Uzero.
      根据题目可以知道这是一个二次注入题注册时把我们sql语句放到username处,登录后即可看到我们想要的信息payload为:username=1'unionselectdatabase()#username=1'unionselectgroup_concat(table_name)frominformation_schema.tableswheretable_schema='ctftrainin
    • Python mysql数据库连接池 戴** Python
      最近在写一个Python的文本分析,需要大量的读取数据库(千万级别mysql)并进行更新操作,运行着程序发现一个问题,过了一会儿程序就报错说链接已经满了,或者是端口不可重复使用,因此我在网上找到了一个连接池的代码用于解决这个问题,在此处贴出代码本身是有配置文件的,因为我觉得在我的项目中不必要所以就删除了#!/usr/bin/envpython#-*-coding:utf-8-*-importpym
    • UML类图详解（全网最无敌详解版(自封的)） 可乐泡枸杞· 面向对象设计模式uml
      UML类图详解鉴于很多同学反馈《面向对象设计模式》系列博客中的类图看不懂，所以博主贴心的单独写了一篇关于UML的文章在开始阅读之前，请点赞收藏关注，三连鼓励下博主UML（UnifiedModelingLanguage，统一建模语言）类图是面向对象建模的重要工具，用于描述系统的静态结构。类图通过展示类、接口及其之间的关系，帮助开发者理解和设计系统。本文将详细介绍类图中的各个元素及其线条和图像。类图的
    • 深入了解Text2SQL开源项目（Chat2DB、SQL Chat 、Wren AI 、Vanna） m0_74823983 开源sql人工智能
      深入了解Text2SQL开源项目（Chat2DB、SQLChat、WrenAI、Vanna）前言1.Chat2DB2.SQLChat3.WrenAI4.Vanna前言在数据驱动决策的时代，将自然语言查询转化为结构化查询语言（SQL）的能力变得日益重要。无论是小型创业公司还是大型企业，都希望能够更轻松地从海量的数据中挖掘出有价值的见解。然而，对于那些不熟悉SQL或者数据库架构的用户来说，直接编写复杂
    • 04-初识Docker-Docker架构 我以为心都空了 微服务docker架构容器
      04-初识Docker-Docker架构1.镜像和容器：(1)镜像(Image)：Docker将应用程序及其所需的依赖、函数库、环境、配置等文件打包在一起，称为镜像。解释：比如之前讲过的Mysql镜像，它里面肯定就会有各种各样所需要的依赖。这些东西最终落到硬盘就是一个一个的文件。比如说这里有Mysql运行时需要写数据的data目录文件，还有log日志文件，当然还有bin里面的可执行文件，这些就组成
    • LeetCode Top Interview 150 - Linked List everecursion leetcode算法职场和发展开源python数据结构
      Alinkedlistisalineardatastructureconsistingofaseriesofnodes,whereeachnodecontainsdataandapointertothenextnode(inasinglylinkedlist)orbothpointerstothenextnodeandthepreviousnode(inadoublylinkedlist).The
    • 应学短视频App数据库表设计文档 2401_89285805 数据库
      |:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:|:-:||1|id|int|10|0|N|Y||||2|username|varchar|20|0|N|N||||3|password|varchar|20|0|N|N|||ROPTABLEIFEXISTSadmin;CREATETABLEadmin(idintNOTNULLAUTO_INCREMENT,usernamevarcha
    • Mysql数据库和Sql语句 Jessica小戴 数据库mysqlsql
      数据库管理：sql语句：数据库用来增删改查的语句（重要）备份：数据库的数据进行备份主从复制、读写分离、高可用（重要）Mysql数据库和Sql语句一、Mysql数据库1、数据库：组织、存储、管理数据的仓库2、数据库的管理系统（DBMS）：实现对数据有效组织、管理和存取的系统软件3、数据库软件：mysql、oracle（大数据系统一般使用、大企业使用）、sql-server、MariaDB也是mysq
    • 【2025年】全国CTF夺旗赛-从零基础入门到竞赛，看这一篇就稳了！ 白帽黑客鹏哥 linux网络安全web安全密码学CTF夺旗赛
      基于入门网络安全/黑客打造的：黑客&网络安全入门&进阶学习资源包目录一、CTF简介二、CTF竞赛模式三、CTF各大题型简介四、CTF学习路线4.1、初期1、html+css+js（2-3天）2、apache+php（4-5天）3、mysql（2-3天）4、python(2-3天)5、burpsuite（1-2天）4.2、中期1、SQL注入（7-8天）2、文件上传（7-8天）3、其他漏洞（14-15
    • Vue3项目el-table表格动态合并相同数据单元格(可指定列+自定义合并) KT553 vue.jsjavascript前端elementuihtml前端框架typescript
      一、先看效果：二、完整代码：import{reactive,onMounted}from'vue';//存放所有的表头一定要与tableData一致constcolFields=reactive(["city","name","life","ind","agr","eco"]);//存储合并单元格的开始位置constspanArr=reactive([]);//表格数据consttableData
    • 数据库管理语句分类 旦沐已成舟 数据库的日子数据库
      1.SQL语句概述它是一种对关系型数据库中的数据进行定义和操作的语言，是大多数关系数据库管理系统所支持的工业标准语言。1.2SQL语句的分类分类说明涉及语句DDL数据定义语言create(创建)，alter（修改），delete（删除）等DCL数据控制语言grant（授权），revoke（权限回收），commit（提交），rollback（回滚）DML数据操作语言insert，delete，upd
    • Android Kotlin MVP 架构项目教程 常樱沙Vigour
      AndroidKotlinMVP架构项目教程android-kotlin-mvp-architectureThisrepositorycontainsadetailedsampleappthatimplementsMVParchitectureinKotlinusingDagger2,Room,RxJava2,FastAndroidNetworkingandPlaceholderView项目地址:
    • 【计算机视觉】人脸识别 油泼辣子多加 计算机视觉计算机视觉opencv人工智能
      一、简介人脸识别是将图像或者视频帧中的人脸与数据库中的人脸进行对比，判断输入人脸是否与数据库中的某一张人脸匹配，即判断输入人脸是谁或者判断输入人脸是否是数据库中的某个人。人脸识别属于1：N的比对，输入人脸身份是1，数据库人脸身份数量为N，一般应用在办公室门禁，疑犯追踪；人脸验证属于1:1的比对，输入人脸身份为1，数据库中为同一人的数据，在安全领域应用比较多。一个完整的人脸识别流程主要包括人脸检测、
    • NAT静态原理NAT动态原理NAPT原理 aicc221016 计算机网络网络智能路由器
      现网:环境dev开发环境，开发专用sit:测试环境。测试人员用的，需要的测试的代码，程序之类的都会在测试环境运行。pre:预生产环境。在版本最后上线之前会在预生产最后执行一遍。确保万无一失(狗头)运维，也有测试。prd:生产环境/现网:10运维人员。数据库3DBA数据库运维。100.00129.9999991201361.36私网访问公网的过程:百度192.168.233.10(主机ip)180.
    • MySQL字段约束条件,外键约束条件,表关系 Yietong309 MySQL数据库mysql数据库开发语言
      目录字符编码与配置文件统一字符编码存储引擎修改存储引擎的方式自定义选项存储引擎不同存储引擎产生的表文件有几个?MERGEInnoDBArchiveBLACKHOLEblackhole与memory存取数据的特征Blackhole：丢弃写操作，读操作会返回空内容Memory：置于内存的表创建表的完整语法字段类型之整型字段类型之浮点型字段类型之字符类型字段类型之枚举与集合字段类型之日期类型约束条件自增
    • 大模型介绍 詹姆斯爱研究Java spring
      大模型（LargeModel）指的是拥有庞大参数量的机器学习模型。由于具有更多的参数，大模型能够更好地拟合复杂的数据和模式，从而提供更准确的预测和更好的性能。大模型的参数量通常远远超过常规模型，可以达到数百万甚至数十亿个参数。这些参数通常通过深度神经网络（DeepNeuralNetwork）来表示，包括多个隐藏层和大量的神经元。大模型的训练需要大量的计算资源和数据。通常，它们需要在多个GPU或TP
    • 家政招聘管理系统的设计与实现 詹姆斯爱研究Java springspringboot
      摘要随着互联网技术的发展，搭建一个满足每个家庭对家政服务需求的人性化管理系统，不仅能为客户提供更广的查询求职者信息的服务，也为求职者提供了方便、快捷的应聘途径。求职者和招聘者可以在网上进行交流，招聘者和求职者也可以在系统中上传自己的要求和优势，不受时间可空间的局限。网上招聘与传统招聘相比范围更广，资源更丰富，可挑选机会多等优点。我的系统主要用Java编程语言和Oracle数据库作为基础开发的平台，
    • 设计微服务的过程 Ethan3014 微服务每天一篇技术博客微服务java服务器
      原文：https://microservices.io/post/architecture/2023/02/09/assemblage-architecture-definition-process.html文章目录OverviewofAssemblageStep1:DiscoveringsystemoperationsStep2:DefiningsubdomainsStep3:Designing
    • springmvc 下 freemarker页面枚举的遍历输出 杨白白 enumfreemarker
      spring mvc freemarker 中遍历枚举 1枚举类型有一个本地方法叫values（），这个方法可以直接返回枚举数组。所以可以利用这个遍历。 enum public enum BooleanEnum { TRUE(Boolean.TRUE, "是"), FALSE(Boolean.FALSE, "否");
    • 实习简要总结 byalias 工作
      来白虹不知不觉中已经一个多月了，因为项目还在需求分析及项目架构阶段，自己在这段 时间都是在学习相关技术知识，现在对这段时间的工作及学习情况做一个总结： （1）工作技能方面 大体分为两个阶段，Java Web 基础阶段和Java EE阶段 1）Java Web阶段 在这个阶段，自己主要着重学习了 JSP, Servlet, JDBC, MySQL，这些知识的核心点都过 了一遍，也
    • Quartz——DateIntervalTrigger触发器 eksliang quartz
      转载请出自出处：http://eksliang.iteye.com/blog/2208559 一.概述 simpleTrigger 内部实现机制是通过计算间隔时间来计算下次的执行时间，这就导致他有不适合调度的定时任务。例如我们想每天的 1：00AM 执行任务，如果使用 SimpleTrigger，间隔时间就是一天。注意这里就会有一个问题，即当有 misfired 的任务并且恢复执行时，该执行时间
    • Unix快捷键 18289753290 unixUnix；快捷键;
      复制，删除，粘贴： dd:删除光标所在的行                             &nbs
    • 获取Android设备屏幕的相关参数 酷的飞上天空 android
      包含屏幕的分辨率  以及 屏幕宽度的最大dp 高度最大dp   TextView text = (TextView)findViewById(R.id.text); DisplayMetrics dm = new DisplayMetrics(); text.append("getResources().ge
    • 要做物联网？先保护好你的数据 蓝儿唯美 数据
      根据Beecham Research的说法，那些在行业中希望利用物联网的关键领域需要提供更好的安全性。 在Beecham的物联网安全威胁图谱上，展示了那些可能产生内外部攻击并且需要通过快速发展的物联网行业加以解决的关键领域。 Beecham Research的技术主管Jon Howes说：“之所以我们目前还没有看到与物联网相关的严重安全事件，是因为目前还没有在大型客户和企业应用中进行部署，也就
    • Java取模（求余）运算 随便小屋 java
              整数之间的取模求余运算很好求，但几乎没有遇到过对负数进行取模求余，直接看下面代码： /** * * @author Logic * */ public class Test { public static void main(String[] args) { // TODO A
    • SQL注入介绍 aijuans sql注入
      二、SQL注入范例 这里我们根据用户登录页面 <form action="" > 用户名：<input type="text" name="username"><br/> 密 码：<input type="password" name="passwor
    • 优雅代码风格 aoyouzi 代码
      总结了几点关于优雅代码风格的描述： 代码简单：不隐藏设计者的意图，抽象干净利落，控制语句直截了当。 接口清晰：类型接口表现力直白，字面表达含义，API 相互呼应以增强可测试性。 依赖项少：依赖关系越少越好，依赖少证明内聚程度高，低耦合利于自动测试，便于重构。 没有重复：重复代码意味着某些概念或想法没有在代码中良好的体现，及时重构消除重复。 战术分层：代码分层清晰，隔离明确，
    • 布尔数组 百合不是茶 java布尔数组
        androi中提到了布尔数组;   布尔数组默认的是false,  并且只会打印false或者是true   布尔数组的例子;  根据字符数组创建布尔数组 char[] c = {'p','u','b','l','i','c'}; //根据字符数组的长度创建布尔数组的个数 boolean[] b = new bool
    • web.xml之welcome-file-list、error-page bijian1013 javaweb.xmlservleterror-page
      welcome-file-list 1.定义： <welcome-file-list> <welcome-file>login.jsp</welcome> </welcome-file-list>  2.作用：用来指定WEB应用首页名称。   error-page1.定义： <error-page&g
    • richfaces 4 fileUpload组件删除上传的文件 sunjing clearRichfaces 4fileupload
       页面代码               <h:form id="fileForm">            <rich:
    • 技术文章备忘 bit1129 技术文章
      Zookeeper http://wenku.baidu.com/view/bab171ffaef8941ea76e05b8.html http://wenku.baidu.com/link?url=8thAIwFTnPh2KL2b0p1V7XSgmF9ZEFgw4V_MkIpA9j8BX2rDQMPgK5l3wcs9oBTxeekOnm5P3BK8c6K2DWynq9nfUCkRlTt9uV
    • org.hibernate.hql.ast.QuerySyntaxException: unexpected token: on near line 1解决方案 白糖_ Hibernate
      文章摘自：http://blog.csdn.net/yangwawa19870921/article/details/7553181   在编写HQL时，可能会出现这种代码： select a.name,b.age from TableA a left join TableB b on a.id=b.id  如果这是HQL，那么这段代码就是错误的，因为HQL不支持
    • sqlserver按照字段内容进行排序 bozch 按照内容排序
      在做项目的时候，遇到了这样的一个需求：           从数据库中取出的数据集，首先要将某个数据或者多个数据按照地段内容放到前面显示，例如:从学生表中取出姓李的放到数据集的前面；          select * fro
    • 编程珠玑-第一章-位图排序 bylijinnan java编程珠玑
      import java.io.BufferedWriter; import java.io.File; import java.io.FileWriter; import java.io.IOException; import java.io.Writer; import java.util.Random; public class BitMapSearch {
    • Java关于==和equals chenbowen00 java
      关于==和equals概念其实很简单，一个是比较内存地址是否相同，一个比较的是值内容是否相同。虽然理解上不难，但是有时存在一些理解误区，如下情况： 1、 String a = "aaa"; a=="aaa"; ==> true 2、 new String("aaa")==new String("aaa
    • [IT与资本]软件行业需对外界投资热情保持警惕 comsci it
            我还是那个看法,软件行业需要增强内生动力,尽量依靠自有资金和营业收入来进行经营,避免在资本市场上经受各种不同类型的风险,为企业自主研发核心技术和产品提供稳定,温和的外部环境...       如果我们在自己尚未掌握核心技术之前,企图依靠上市来筹集资金,然后使劲往某个领域砸钱,然
    • oracle 数据块结构 daizj oracle块数据块块结构行目录
      oracle 数据块是数据库存储的最小单位，一般为操作系统块的N倍。其结构为： 块头－－〉空行－－〉数据，其实际为纵行结构。 块的标准大小由初始化参数DB_BLOCK_SIZE指定。具有标准大小的块称为标准块（Standard Block）。块的大小和标准块的大小不同的块叫非标准块（Nonstandard Block）。同一数据库中，Oracle9i及以上版本支持同一数据库中同时使用标
    • github上一些觉得对自己工作有用的项目收集 dengkane github
      github上一些觉得对自己工作有用的项目收集 技能类 markdown语法中文说明 回到顶部 全文检索 elasticsearch bigdesk elasticsearch管理插件 回到顶部 nosql mapdb 支持亿级别map, list, 支持事务. 可考虑做为缓存使用 C
    • 初二上学期难记单词二 dcj3sjt126com englishword
      dangerous 危险的 panda 熊猫 lion 狮子 elephant 象 monkey 猴子 tiger 老虎 deer 鹿 snake 蛇 rabbit 兔子 duck 鸭 horse 马 forest 森林 fall 跌倒；落下 climb 爬；攀登 finish 完成；结束 cinema 电影院；电影 seafood 海鲜；海产食品 bank 银行
    • 8、mysql外键(FOREIGN KEY)的简单使用 dcj3sjt126com mysql
      一、基本概念 1、MySQL中“键”和“索引”的定义相同，所以外键和主键一样也是索引的一种。不同的是MySQL会自动为所有表的主键进行索引，但是外键字段必须由用户进行明确的索引。用于外键关系的字段必须在所有的参照表中进行明确地索引，InnoDB不能自动地创建索引。 2、外键可以是一对一的，一个表的记录只能与另一个表的一条记录连接，或者是一对多的，一个表的记录与另一个表的多条记录连接。 3、如
    • java循环标签 Foreach shuizhaosi888 标签java循环foreach
      1. 简单的for循环 public static void main(String[] args) { for (int i = 1, y = i + 10; i < 5 && y < 12; i++, y = i * 2) { System.err.println("i=" + i + " y="
    • Spring Security（05）——异常信息本地化 234390216 exceptionSpring Security异常信息本地化
      异常信息本地化          Spring Security支持将展现给终端用户看的异常信息本地化，这些信息包括认证失败、访问被拒绝等。而对于展现给开发者看的异常信息和日志信息（如配置错误）则是不能够进行本地化的，它们是以英文硬编码在Spring Security的代码中的。在Spring-Security-core-x
    • DUBBO架构服务端告警Failed to send message Response javamingtingzhao 架构DUBBO
       废话不多说，警告日志如下，不知道有哪位遇到过，此异常在服务端抛出(服务器启动第一次运行会有这个警告)，后续运行没问题，找了好久真心不知道哪里错了。    WARN 2015-07-18 22:31:15,272 com.alibaba.dubbo.remoting.transport.dispatcher.ChannelEventRunnable.run(84)
    • JS中Date对象中几个用法 leeqq JavaScriptDate最后一天
      近来工作中遇到这样的两个需求 1. 给个Date对象，找出该时间所在月的第一天和最后一天 2. 给个Date对象，找出该时间所在周的第一天和最后一天   需求1中的找月第一天很简单，我记得api中有setDate方法可以使用 使用setDate方法前，先看看getDate var date = new Date(); console.log(date); // Sat J
    • MFC中使用ado技术操作数据库 你不认识的休道人 sqlmfc
      1.在stdafx.h中导入ado动态链接库 #import"C:\Program Files\Common Files\System\ado\msado15.dll" no_namespace rename("EOF","end")2.在CTestApp文件的InitInstance()函数中domodal之前写::CoIniti
    • Android Studio加速 rensanning android studio
      Android Studio慢、吃内存！启动时后会立即通过Gradle来sync & build工程。 （1）设置Android Studio a) 禁用插件 File -> Settings...  Plugins 去掉一些没有用的插件。 比如：Git Integration、GitHub、Google Cloud Testing、Google Cloud
    • 各数据库的批量Update操作 tomcat_oracle javaoraclesqlmysqlsqlite
      MyBatis的update元素的用法与insert元素基本相同，因此本篇不打算重复了。本篇仅记录批量update操作的 sql语句，懂得SQL语句，那么MyBatis部分的操作就简单了。 　　注意：下列批量更新语句都是作为一个事务整体执行，要不全部成功，要不全部回滚。 MSSQL的SQL语句 　WITH R AS（ 　　SELECT 'John' as name, 18 as
    • html禁止清除input文本输入缓存 xp9802 input
      多数浏览器默认会缓存input的值，只有使用ctl+F5强制刷新的才可以清除缓存记录。如果不想让浏览器缓存input的值，有2种方法： 方法一： 在不想使用缓存的input中添加 autocomplete="off"; eg: <input type="text" autocomplete="off" name