apache-atlas 深度剖析

atlas  是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。支持对hive、storm、kafka、hbase、sqoop等进行元数据管理以及以图库的形式展示数据的血缘关系。

    • 各种Hadoop和非Hadoop元数据的预定义类型

    • 为要管理的元数据定义新类型的能力

    • 类型可以具有原始属性、复杂属性、对象引用；可以从其他类型继承。

    • 类型的实例，称为实体，捕获元数据对象细节及其关系

    • REST API与类型和实例一起工作更容易集成

    • 动态创建分类的能力，如PII、ExIPRESION、DATAAL质量、敏感

    • 分类可以包括属性，如EXPIRES_ON分类中的expiry_date 属性

    • 实体可以与多个分类相关联，从而能够更容易地发现和安全执行。

    • 通过谱系传播分类-自动确保分类跟随数据经过各种处理

    • 直观的UI，以查看数据的传承，因为它通过各种处理

    • REST API访问和更新血统

    • 通过类型、分类、属性值或自由文本搜索实体的直观UI

    • 丰富的 REST API 实现复杂的标准搜索

    • 搜索实体的SQL类查询语言——领域特定语言（DSL）

    • 用于元数据访问的细粒度安全性，允许对实体实例和操作（如添加/更新/删除分类）的访问进行控制

    • 与Apache Ranger的集成使得基于与Apache Atlas中的实体相关联的分类的数据访问的授权/数据屏蔽成为可能。例如：

    • 谁可以访问被分类为PII、敏感的数据

    • 客户服务用户只能看到被列为国家标识的列的最后4位数字

一、架构

整体架构实现如下图所示：

 

 

 

Type System: Atlas allows users to define a model for the metadata objects they want to manage. The model is composed of definitions called ‘types’. Instances of ‘types’ called ‘entities’ represent the actual metadata objects that are managed. The Type System is a component that allows users to define and manage the types and entities. All metadata objects managed by Atlas out of the box (like Hive tables, for e.g.) are modelled using types and represented as entities. To store new types of metadata in Atlas, one needs to understand the concepts of the type system component.

One key point to note is that the generic nature of the modelling in Atlas allows data stewards and integrators to define both technical metadata and business metadata. It is also possible to define rich relationships between the two using features of Atlas.

Graph Engine: Internally, Atlas persists metadata objects it manages using a Graph model. This approach provides great flexibility and enables efficient handling of rich relationships between the metadata objects. Graph engine component is responsible for translating between types and entities of the Atlas type system, and the underlying graph persistence model. In addition to managing the graph objects, the graph engine also creates the appropriate indices for the metadata objects so that they can be searched efficiently. Atlas uses the JanusGraph to store the metadata objects.

Atlas采用了分布式图数据库JanusGraph作为数据存储（ 具体介绍可以参考：https://docs.janusgraph.org/），目的在于用有向图灵活的存储、查询数据血缘关系。Atlas定义了一套atlas-graphdb-api，允许采用不同的图数据库引擎来实现api，便于切换底层存储。所以Atlas读写数据的过程可以看作就是将图数据库对象映射成Java类的过程，基本流程如下：

JanusGraph 的数据的底层存储支持Hbase、cassandra、embeddedcassandra、berkeleyje、inmemory（直接存储在内存中）等。

Ingest / Export: The Ingest component allows metadata to be added to Atlas. Similarly, the Export component exposes metadata changes detected by Atlas to be raised as events. Consumers can consume these change events to react to metadata changes in real time.

atlas  的搜索引擎支持solr和ElasticSearch

Applications：

Atlas Admin UI: This component is a web based application that allows data stewards and scientists to discover and annotate metadata. Of primary importance here is a search interface and SQL like query language that can be used to query the metadata types and objects managed by Atlas. The Admin UI uses the REST API of Atlas for building its functionality.- Atlas Admin UI: 该组件是一个基于 Web 的应用程序，允许数据管理员和科学家发现和注释元数据。Admin UI提供了搜索界面和 类SQL的查询语言，可以用来查询由 Atlas 管理的元数据类型和对象。Admin UI 使用 Atlas 的 REST API 来构建其功能。

Tag Based Policies: Apache Ranger is an advanced security management solution for the Hadoop ecosystem having wide integration with a variety of Hadoop components. By integrating with Atlas, Ranger allows security administrators to define metadata driven security policies for effective governance. Ranger is a consumer to the metadata change events notified by Atlas.

  - Tag Based Policies: Apache Ranger 是针对 Hadoop 生态系统的高级安全管理解决方案，与各种 Hadoop 组件具有广泛的集成。通过与 Atlas 集成，Ranger 允许安全管理员定义元数据驱动的安全策略，以实现有效的治理。 Ranger 是由 Atlas 通知的元数据更改事件的消费者。

  - Business Taxonomy:从元数据源获取到 Atlas 的元数据对象主要是一种技术形式的元数据。为了增强可发现性和治理能力，Atlas 提供了一个业务分类界面，允许用户首先定义一组代表其业务域的业务术语，并将其与 Atlas 管理的元数据实体相关联。业务分类法是一种 Web 应用程序，目前是 Atlas Admin UI 的一部分，并且使用 REST API 与 Atlas 集成。

    - 在HDP2.5中，Business Taxonomy是提供了Technical Preview版本，需要在Atlas > Configs > Advanced > Custom application-properties中添加atlas.feature.taxonomy.enable=true并重启atlas服务来开启

Integration

Users can manage metadata in Atlas using two methods:

API: All functionality of Atlas is exposed to end users via a REST API that allows types and entities to be created, updated and deleted. It is also the primary mechanism to query and discover the types and entities managed by Atlas.

Messaging: In addition to the API, users can choose to integrate with Atlas using a messaging interface that is based on Kafka. This is useful both for communicating metadata objects to Atlas, and also to consume metadata change events from Atlas using which applications can be built. The messaging interface is particularly useful if one wishes to use a more loosely coupled integration with Atlas that could allow for better scalability, reliability etc. Atlas uses Apache Kafka as a notification server for communication between hooks and downstream consumers of metadata notification events. Events are written by the hooks and Atlas to different Kafka topics.

Metadata source

Atlas 支持与许多元数据源的集成，将来还会添加更多集成。目前，Atlas 支持从以下数据源获取和管理元数据：

  - Hive：通过hive bridge， atlas可以接入Hive的元数据，包括hive_db/hive_table/hive_column/hive_process

  - Sqoop：通过sqoop bridge，atlas可以接入关系型数据库的元数据，包括sqoop_operation_type/ sqoop_dbstore_usage/sqoop_process/sqoop_dbdatastore

  - Falcon：通过falcon bridge，atlas可以接入Falcon的元数据，包括falcon_cluster/falcon_feed/falcon_feed_creation/falcon_feed_replication/ falcon_process

  - Storm：通过storm bridge，atlas可以接入流式处理的元数据，包括storm_topology/storm_spout/storm_bolt

  Atlas集成大数据组件的元数据源需要实现以下两点：

  - 首先，需要基于atlas的类型系统定义能够表达大数据组件元数据对象的元数据模型(例如Hive的元数据模型实现在org.apache.atlas.hive.model.HiveDataModelGenerator)；

  - 然后，需要提供hook组件去从大数据组件的元数据源中提取元数据对象，实时侦听元数据的变更并反馈给atlas；

元数据处理的整体流程入下图所示：

• 在Atlas中查询某一个元数据对象时往往需要遍历图数据库中的多个顶点与边，相比关系型数据库直接查询一行数据要复杂的多，当然使用图数据库作为底层存储也存在它的优势，比如可以支持复杂的数据类型和更好的支持血缘数据的读写。

二、安装与配置

1、atlas  只提供源码，不提供打好的安装包，源码下载页面：http://atlas.apache.org/#/Downloads

2、源码下载完后，按照如下方式进行打包：

tar xvfz apache-atlas-1.0.0-sources.tar.gz

cd apache-atlas-sources-1.0.0/
export MAVEN_OPTS="-Xms2g -Xmx2g"
安装：mvn clean -DskipTests install
打包：mvn clean -DskipTests package -Pdist
打包时增加 hbase和solr打入： mvn clean -DskipTests package -Pdist,embedded-hbase-solr
打包时增加cassandra和solr打入：mvn clean package -Pdist,embedded-cassandra-solr

3、配置与启动

tar -xzvf apache-atlas-{project.version}-server.tar.gz

cd atlas-{project.version}/conf，编辑atlas-application.properties配置文件

Graph Persistence engine - HBase配置：

1 2 3 4 5

atlas.graph.storage.backend=hbase   atlas.graph.storage.hostname=   atlas.graph.storage.hbase.table=atlas

Graph Index Search Engine配置：

Graph Search Index - Solr：

1 2 3 4 5 6 7 8 9

atlas.graph.index.search.backend=solr5 atlas.graph.index.search.solr.mode=cloud atlas.graph.index.search.solr.wait-searcher=true # ZK quorum setup for solr as comma separated value. Example: 10.1.6.4:2181,10.1.6.5:2181 atlas.graph.index.search.solr.zookeeper-url= # SolrCloud Zookeeper Connection Timeout. Default value is 60000 ms atlas.graph.index.search.solr.zookeeper-connect-timeout=60000 # SolrCloud Zookeeper Session Timeout. Default value is 60000 ms atlas.graph.index.search.solr.zookeeper-session-timeout=60000

Graph Search Index - Elasticsearch (Tech Preview)：

1 2 3

atlas.graph.index.search.backend=elasticsearch atlas.graph.index.search.hostname= atlas.graph.index.search.elasticsearch.client-only=true

Notification Configs：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

atlas.kafka.auto.commit.enable=false #Kafka servers. Example: localhost:6667 atlas.kafka.bootstrap.servers= atlas.kafka.hook.group.id=atlas #Zookeeper connect URL for Kafka. Example: localhost:2181 atlas.kafka.zookeeper.connect= atlas.kafka.zookeeper.connection.timeout.ms=30000 atlas.kafka.zookeeper.session.timeout.ms=60000 atlas.kafka.zookeeper.sync.time.ms=20 #Setup the following configurations only in test deployments where Kafka is started within Atlas in embedded mode #atlas.notification.embedded=true #atlas.kafka.data={sys:atlas.home}/data/kafka #Setup the following two properties if Kafka is running in Kerberized mode. #atlas.notification.kafka.service.principal=kafka/_HOST@EXAMPLE.COM #atlas.notification.kafka.keytab.location=/etc/security/keytabs/kafka.service.keytab

　Client Configs：

1 2 3 4

atlas.client.readTimeoutMSecs=60000 atlas.client.connectTimeoutMSecs=60000 # URL to access Atlas server. For example: http://localhost:21000 atlas.rest.address=

SSL config：

atlas.enableTLS=false

High Availability Properties：

# Set the following property to true, to enable High Availability. Default = false.
atlas.server.ha.enabled=true
# Specify the list of Atlas instances
atlas.server.ids=id1,id2
# For each instance defined above, define the host and port on which Atlas server listens.
atlas.server.address.id1=host1.company.com:21000
atlas.server.address.id2=host2.company.com:31000
# Specify Zookeeper properties needed for HA.
# Specify the list of services running Zookeeper servers as a comma separated list.
atlas.server.ha.zookeeper.connect=zk1.company.com:2181,zk2.company.com:2181,zk3.company.com:2181
# Specify how many times should connection try to be established with a Zookeeper cluster, in case of any connection issues.
atlas.server.ha.zookeeper.num.retries=3
# Specify how much time should the server wait before attempting connections to Zookeeper, in case of any connection issues.
atlas.server.ha.zookeeper.retry.sleeptime.ms=1000
# Specify how long a session to Zookeeper should last without inactiviy to be deemed as unreachable.
atlas.server.ha.zookeeper.session.timeout.ms=20000
# Specify the scheme and the identity to be used for setting up ACLs on nodes created in Zookeeper for HA.
# The format of these options is .
# For more information refer to 
http://zookeeper.apache.org/doc/r3.2.2/zookeeperProgrammers.html#sc_ZooKeeperAccessControl
# The 'acl' option allows to specify a scheme, identity pair to setup an ACL for.
atlas.server.ha.zookeeper.acl=sasl:[email protected]
# The 'auth' option specifies the authentication that should be used for connecting to Zookeeper.
atlas.server.ha.zookeeper.auth=sasl:[email protected]
# Since Zookeeper is a shared service that is typically used by many components,
# it is preferable for each component to set its znodes under a namespace.
# Specify the namespace under which the znodes should be written. Default = /apache_atlas
atlas.server.ha.zookeeper.zkroot=/apache_atlas
# Specify number of times a client should retry with an instance before selecting another active instance, or failing an operation.
atlas.client.ha.retries=4
# Specify interval between retries for a client.
atlas.client.ha.sleep.interval.ms=5000

cd atlas-{project.version}

bin/atlas_start.py

 本文作者:张永清，转载请出名博客园出处。https://www.cnblogs.com/laoqing/p/12674762.html

启动后，默认端口伟21000，通过http://ip:21000进行访问：

三、设置Hive Hook

支持的Hive Model：

Hive model includes the following types:

• Entity types:
  • hive_db
    • super-types: Asset
    • attributes: qualifiedName, name, description, owner, clusterName, location, parameters, ownerName
  • hive_table
    • super-types: DataSet
    • attributes: qualifiedName, name, description, owner, db, createTime, lastAccessTime, comment, retention, sd, partitionKeys, columns, aliases, parameters, viewOriginalText, viewExpandedText, tableType, temporary
    • hive_column
      • super-types: DataSet
      • attributes: qualifiedName, name, description, owner, type, comment, table
    • hive_storagedesc
      • super-types: Referenceable
      • attributes: qualifiedName, table, location, inputFormat, outputFormat, compressed, numBuckets, serdeInfo, bucketCols, sortCols, parameters, storedAsSubDirectories
    • hive_process
      • super-types: Process
      • attributes: qualifiedName, name, description, owner, inputs, outputs, startTime, endTime, userName, operationType, queryText, queryPlan, queryId, clusterName
    • hive_column_lineage
      • super-types: Process
      • attributes: qualifiedName, name, description, owner, inputs, outputs, query, depenendencyType, expression

• Enum types:
  • hive_principal_type
    • values: USER, ROLE, GROUP

• Struct types:
  • hive_order
    • attributes: col, order
  • hive_serde
    • attributes: name, serializationLib, parameters

 本文作者:张永清，转载请出名博客园出处。https://www.cnblogs.com/laoqing/p/12674762.html

 在hive的 hive-site.xml 配置文件中增加如下配置：

1 2 3 4

hive.exec.post.hooks       org.apache.atlas.hive.hook.HiveHook

• untar apache-atlas-${project.version}-hive-hook.tar.gz

cd apache-atlas-hive-hook-${project.version}

Copy entire contents of folder apache-atlas-hive-hook-${project.version}/hook/hive to /hook/hive

Add 'export HIVE_AUX_JARS_PATH=/hook/hive' in hive-env.sh of your hive configuration

Copy /atlas-application.properties to the hive conf directory.

atlas-application.properties的配置示例如下：

1 2 3 4 5 6 7 8

atlas.hook.hive.synchronous=false # whether to run the hook synchronously. false recommended to avoid delays in Hive query completion. Default: false atlas.hook.hive.numRetries=3      # number of retries for notification failure. Default: 3 atlas.hook.hive.queueSize=10000   # queue size for the threadpool. Default: 10000 atlas.cluster.name=primary # clusterName to use in qualifiedName of entities. Default: primary atlas.kafka.zookeeper.connect=                    # Zookeeper connect URL for Kafka. Example: localhost:2181 atlas.kafka.zookeeper.connection.timeout.ms=30000 # Zookeeper connection timeout. Default: 30000 atlas.kafka.zookeeper.session.timeout.ms=60000    # Zookeeper session timeout. Default: 60000 atlas.kafka.zookeeper.sync.time.ms=20             # Zookeeper sync time. Default: 20

Importing Hive Metadata

1 2 3 4 5 6 7

Usage 1: package>/hook-bin/import-hive.sh Usage 2: package>/hook-bin/import-hive.sh [-d OR --database ] [-t OR --table ] Usage 3: package>/hook-bin/import-hive.sh [-f ]            File Format:              database1:tbl1              database1:tbl2              database2:tbl1  未完待续，最近会把后续的补充完整 你可能感兴趣的:(apache-atlas 深度剖析) 【C#生态园】深度剖析：C#嵌入式开发工具大揭秘 friklogff C#生态园c#开发语言 C#嵌入式开发：全面了解六大框架与库前言随着物联网和嵌入式系统的快速发展，越来越多的开发者开始关注使用C#语言进行嵌入式开发。本文将介绍几种用于C#的嵌入式开发框架和相关库，以及它们的核心功能、安装配置方法和API概览，帮助读者了解并选择适合自己项目的工具和资源。欢迎订阅专栏：C#生态园文章目录C#嵌入式开发：全面了解六大框架与库前言1.nanoFramework：一个用于C#的嵌入式开发框架1. 探索高效开发之道：N-Tier架构开源项目深度剖析 钟洁祺 探索高效开发之道：N-Tier架构开源项目深度剖析N-Tier-ArchitectureThisisan-layerarchitecturebasedonCommonwebapplicationarchitectures.项目地址:https://gitcode.com/gh_mirrors/nt/N-Tier-Architecture在追求卓越的软件开发旅程中，一个清晰、高效的架构设计是基石。今 C#排序算法新境界：深度剖析与高效实现基数排序 AitTech 算法排序算法c#算法 基数排序（RadixSort）是一种非比较型整数排序算法，其原理是将整数按位数切割成不同的数字，然后按每个位数进行比较。具体来说，基数排序有两种方法：最低位优先（LSD,LeastSignificantDigitfirst）：从最低位开始，向最高位进行排序。最高位优先（MSD,MostSignificantDigitfirst）：通常用于字符串的排序，从最高位开始，向最低位进行排序，且常使用递归实 听书收获 果冻乐不乐 今天书不在手边，只有听樊登读书，选择听了李小萌的《你好，小孩》。李小萌，亲子教育专家，前央视著名节目主持人，一位女孩的妈妈。在这本书中，她深入探讨亲子教育核心问题，提供了一个真正可行的善意养育方案，更深度剖析了六大维度构建儿童友好的养育环境。我们应该为孩子创造一个怎样的成长环境？李小萌提出了儿童友好和善意养育。她一头扎进对中国家庭教育的研究和探索，发现用善意去对待孩子、照顾他们的情绪、信任他们作为 威廉·萨默赛特·毛姆《月亮和六便士》人性的深度剖析与思考 画眉轻语 《月亮和六便士》以一名普通人的艺术追求为主线，深入探讨了个性、天才和物质文明等多重主题。小说从斯特里克兰德的生活突然被艺术变革的瞬间开始，展现了他为了自身价值的探究而摆脱了社会价值观束缚的过程。在这个过程中，他受到家人和社会的反对，被迫离开自己的生活圈子前往异国他乡，进行自己的艺术创作。小说的主人公斯特里克兰德通过自己的一系列重大决定，将自己的生命与艺术完美地结合在一起。小说的叙事风格明快流畅，情 2024高教社杯全国大学生数学建模竞赛（B题）深度剖析 | 建模完整过程+详细思路+代码全解析 star数模 数学建模算法python 问题1(1)解答过程题目要求建立一个基于纯方位无源定位的模型，用来确定某些位置略有偏差的无人机的精确位置。具体来说，编队中位于圆心的FY00无人机和其他两架发射信号的无人机的位置已知，被动接收信号的无人机通过接收到的方向信息（即夹角）来调整自身位置。我们可以通过极坐标系建模，在此过程中利用几何关系和方向信息来确定无人机的位置。整个建模过程包括以下步骤：1.问题几何描述与坐标系定义编队由10架无人机 2024年MathorCup高校数学建模挑战赛（C题）深度剖析_建模完整过程+详细思路+代码全解析 Unicorn建模 数学建模python算法 问题1本问题属于时间序列预测问题，其目标是对未来一段时期内的信息进行预测。因此可以采用基于时间序列的回归模型进行货量预测。具体而言，将首先分析时间序列的性质，然后构建回归模型，最后利用模型对未来30天每天及每小时的货量进行预测。【算法原理】（1）时间序列的性质时间序列实际上是一种随时间变化的连续数据，其特点主要体现在两个方面：趋势性和周期性。趋势性是指时间序列数据在长期内呈现出的增长或减小的趋势， 2024高教社杯全国大学生数学建模竞赛（A题）深度剖析 _ 建模完整过程+详细思路+代码全解析 Unicorn建模 数学建模python算法 问题1解答过程1.1螺线运动的基本几何模型板凳龙的舞动路径为等距螺线。螺线是极坐标中一类常见曲线，其特点是半径随角度线性增加。我们可以用以下极坐标方程描述这条螺线：r(θ)=p2πθr(\theta)=\frac{p}{2\pi}\thetar(θ)=2πpθ其中，r(θ)r(\theta)r(θ)是螺线在角度θ\thetaθ处的半径，ppp是螺线的螺距。题目中给定螺距为p=55p=55p=55c 活动火热报名中｜搜索进化论：基于大模型的企业级AI搜索 阿里云大数据AI技术 人工智能阿里云AI搜索搜索开发工作台 活动介绍随着人工智能技术的飞速发展，AI搜索正在成为企业提升信息处理效能的重要利器。搜索开发工作台，是阿里云为企业及开发者打造的先进AI搜索平台，具备丰富的组件化服务与强大的模型能力。时间：2024/9/1313:30-17:30地点：阿里巴巴北京朝阳科技园C区，C-C2-B01圆月山庄本次活动中，我们将——深度剖析AI为搜索带来的机遇与挑战；现场演示阿里云如何助力企业构建AI搜索能力；共同探讨A 2023 高教社杯 数学建模国赛（C题）深度剖析|数学建模完整代码+建模过程全解全析 CS_数模 数学建模 9月7日18：00开赛后持续更新！！！当大家面临着复杂的数学建模问题时，你是否曾经感到茫然无措？作为2021年美国大学生数学建模比赛的O奖得主，我为大家提供了一套优秀的解题思路，让你轻松应对各种难题。我的解题思路是基于数学建模领域的前沿理论和实践研究，具有极强的创新性和实用性。我深入分析了各种数学建模问题，并总结出了一套行之有效的解决方案，帮助大家在竞赛中脱颖而出，或在实际情景中解决问题。我们的团 大数据新视界--大数据大厂之MySQL 数据库课程设计：数据安全深度剖析与未来展望 青云交 大数据新视界Java技术栈数据库数据库课程设计数据安全医疗信息系统电商平台安全技术趋势大数据新视界 亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja Python算法模糊匹配：FuzzyWuzzy深度剖析，从入门到精通，解决你所有需要匹配的需求 长风清留扬 Python人工智能算法python算法大数据网络dba 在数据科学与机器学习的广阔领域中，处理不精确或模糊的数据是一项至关重要的技能。想象一下，当你面对的是一堆拼写错误、缩写、或是格式不一的文本数据时，如何高效地从中提取有价值的信息？这正是FuzzyWuzzy——Python中一个强大的模糊字符串匹配库，能够大展身手的地方。本文将为你全面介绍FuzzyWuzzy——Python中一个强大的通过算法模糊字符串匹配库，全网最全最新，一看就会，接下来带你走进 JavaScript 深度剖析 - 函数式编程范式 时光海丶 大前端javascript函数式编程 函数式编程范式1.1函数式编程概念函数是一等公民高阶函数闭包1.2纯函数概念功能库lodash优劣纯函数的好处纯函数的副作用1.3柯里化(HaskellBrooksCurry)概念lodash中的柯里化函数总结1.4函数组合(compose)管道函数组合1.5Lodash中的fp模块1.6PointFree模式1.7函子Functor函子MayBe函子Either函子IO函子Task函子Point 数据权限的设计与实现系列3——MybatisPlus数据权限插件实现机制及使用示例 学海无涯，行者无疆 #数据权限数据权限数据权限设计数据权限插件Mybatisplus数据权限实现 背景上篇我们深度剖析了若依开发平台关于数据权限的设计与实现，并指出了其模式的局限性。今天我们来看一下MyBatisPlus提供的数据权限插件的实现机制与使用示例。官方说明：https://baomidou.com/plugins/data-permission/‍‍实现机制在SQL执行前拦截SQL语句，并根据用户权限动态添加权限相关的SQL片段。这样，只有用户有权限访问的数据才会被查询出来。拦截S Spring Boot 启动流程的深度剖析 马丁的代码日记 springboot后端java SpringBoot启动流程的深度剖析目录SpringBoot启动流程的深度剖析一、引言二、SpringBoot基础概念（一）什么是SpringBoot（二）特点和优势（三）与传统Spring框架的比较（四）核心注解和配置方式三、SpringBoot启动流程概述（一）整体流程（二）关键步骤和阶段四、详细启动步骤解析（一）加载主配置类（二）环境准备（三）初始化容器（四）自动配置（五）初始化各种扩展点 分布式系统架构手册 ArchManual 分布式架构javabigdataelasticsearch分布式微服务 ArchManual分布式系统架构手册项目介绍ArchManual不是：某个技术架构的深度剖析某个技术框架的源码分析某个技术工具的安装运维某个技术类库的代码示例而是：常用分布式技术的总体概览常用技术主题的归纳总结常用技术框架的归类罗列常用技术架构的简单分享希望成为：速查手册：平时工作中做技术架构、框架选型时的速查手册学习提纲：业余学习或者面试时的一个学习提纲技术地图：对技术框架有一个整体和全面的了 深度剖析Java内存溢出：从堆到栈的全面解析 九转成圣 Java高频面试栏开发语言java后端jvm Java内存溢出是指在Java程序运行过程中，超出JVM分配的内存范围，导致内存不足的异常情况。本文将深入探讨Java内存溢出的各种类型，包括堆溢出、栈溢出、运行时常量池溢出、元空间溢出、直接内存溢出等，并提供详细的示例代码和技术解析。一、堆溢出（HeapOverflow）堆内存用于存储对象实例和数组。当持续创建新对象且无法及时回收内存时，会导致堆内存溢出。示例代码：//设置JVM参数：-Xms2 24.8.10学习笔记 kkkkk021106 学习笔记 深度剖析猫狗分类CNN代码：importtorchfromtorchimportnnfromcatdogimportMyAlexNetimportnumpyasnpfromtorch.optimimportlr_schedulerimportosfromtorchvisionimporttransformsfromtorchvision.datasetsimportImageFolderfromt 深度剖析辞旧迎新，大力弘扬传统文化 a3075308e0eb 2023年1月5日，曲阜师范大学实践队扬眉兔气队通过查阅资料，开展了对“辞旧迎新”的搜集检索活动，通过此次活动来加深对其认识，并弘扬、传承传统文化。“辞旧迎新”多为新年贺词，其词义多为告别旧的一年，那些不好的都将会过去，去迎接新的一年，是一种美好的愿望。现在还可以理解为摆脱旧的事物，接纳新的事物。宋朝王安石所写的《元日》：“爆竹声中一岁除,春风送暖入屠苏。千门万户瞳瞳日,总把新桃换旧符”一诗,就是 Kubernetes中的PV)和 PVC深度剖析 CloudJourney kubernetes容器云原生 在容器化的世界里，持久化存储一直是一个重要且复杂的问题。Kubernetes（以下简称K8s）为了解决容器中的数据持久化问题，提出了PersistentVolume（PV）和PersistentVolumeClaim（PVC）这两个概念。本文将详细探讨PV和PVC的定义、架构、原理、应用场景、常见命令体系以及实际使用中的示例，帮助读者更好地理解和掌握这一核心技术。1.PV和PVC的定义1.1Per 考研分数线预测：基于案例的深度剖析 阿璃678 考研资讯考研经验分享 考研分数线预测：基于案例的深度剖析作为一名即将面临考研的学生，分数线无疑是我们最关心的问题之一。它直接关系到我们是否能够进入心仪的学校和专业，进而影响到未来的职业生涯。因此，对考研分数线进行预测和分析就显得尤为重要。本文将结合具体案例，对考研分数线的预测进行深入剖析。一、案例背景小张是一名经济学专业的大三学生，他计划报考某知名高校的经济学研究生。为了更有针对性地备考，他收集了该校经济学专业近五年的 【C++航海王：追寻罗杰的编程之路】vector 枫叶丹4 C++c++开发语言后端visualstudioc语言 目录1->vector的介绍及使用1.1->vector的介绍1.2->vector的使用1.2.1->vector的介绍1.2.2->vectoriterator的使用1.2.3->vector空间增长问题1.2.4->vector的增删查改1.2.5->vector迭代器失效问题2->vector的深度剖析及模拟实现2.1->vector的模拟实现2.2->使用memcpy拷贝问题2.3->动 JAVA高并发——JDK的并发容器 布道师小羊 #网络+并发+函数式+JVMJAVA高阶java开发语言 文章目录1、超好用的工具类：并发集合简介2、线程安全的HashMap3、深入浅出ConcurrentHashMap3.1、ConcurrentHashMap的内部数据结构3.2、put()方法的实现3.3、get()方法的实现4、有关List的线程安全5、高效读写的队列：深度剖析ConcurrentLinkedQueue类6、高效读取：不变模式下的CopyOnWriteArrayList类7、数据 Sora文生视频模型深度剖析：全网独家指南，洞悉98%关键信息，纯干货 Sora文生视频模型深度剖析：全网独家指南，洞悉98%关键信息，纯干货Sora是一个以视频生成为核心的多能力模型，具备以下能力：文/图生成视频视频生成视频1分钟超长高质量视频生成视频裂变多视角生成准工业级数字孪生游戏/科幻片等特效，物理引擎能力1.Sora与RunwayGen2、Pika等能力差异对比能力项OpenAlSora其它模型视频时长60秒最多十几秒视频长宽比1920x1080与1080x 《春山》中的贝叶斯统计——白敬亭衣服合理概率及决策比重。 Ashleyxxihf 趣学贝叶斯统计算法统计傅立叶分析动态规划 目录1.全身黑衣服合理概率2.真的是导演组允许？3.粉丝的证据是否站得住？4.总结感谢up主链接:【理工春山学】只谈事实从统计角度深度剖析春山学，她使用贝叶斯统计合理分析了在舞台中白敬亭、双魏、导演组出错的概率。接下来我采用一个新角度继续开辟《春山》中的贝叶斯统计——白敬亭衣服合理概率及决策比重。1.全身黑衣服合理概率要量化计算白敬亭穿全身黑衣服合理的概率，我们可以采用概率论的方法，结合已知信息和 JVM对象创建与内存分配机制深度剖析 码界调试侠 Java性能调优jvmjava 对象的创建对象创建的主要流程:1.类加载检查虚拟机遇到一条new指令时，首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已被加载、解析和初始化过。如果没有，那必须先执行相应的类加载过程。new指令对应到语言层面上讲是，new关键词、对象克隆、对象序列化等。2.分配内存在类加载检查通过后，接下来虚拟机将为新生对象分配内存。对象所需内存的大小在类加载完 C语言进阶——深度剖析数据在内存中的存储 悲伤猪小猪 【C语言】零基础学编程c语言开发语言 文章目录数据类型的介绍类型的基本归类整形在内存中的存储大小端介绍一道笔试题浮点数在内存中的存储浮点数存储规则剖析题目数据类型的介绍在我们之前的学习当中我们已经介绍了基本的内置类型char字符数据类型short短整型int整形long长整型longlong更长的整形float单精度浮点数double双精度浮点数这些类型的意义是：1.使用这个类型开辟内存空间的大小，大小决定了使用范围2.如何看待内存空 c语言进阶-深度剖析数据在内存中的存储 bingo691 C语言进阶内存中数据的存储c语言开发语言 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录文章目录本章重点1.数据类型介绍1.1类型的基本归类2.整形在内存中的存储2.1原码、反码、补码2.2大小端介绍2.3练习3.浮点型在内存中的存储3.1一个例子3.2浮点数存储规则本章重点1.数据类型详细介绍2.整形在内存中的存储：原码、反码、补码3.大小端字节序介绍及判断4.浮点型在内存中的存储解析1.数据类型介绍前面我们已经学 【进阶】C语言——深度剖析数据在内存中的存储 xxxflower. C语言c语言c++开发语言 文章目录1.数据类型介绍2.整型在内存中的存储2.1原码，反码，补码2.2大小端介绍2.3整型提升及练习练习1：练习2：练习3：练习4：练习5：练习6：练习7：3.浮点型在内存中的存储3.1例子3.2浮点数存储规则1.数据类型介绍C语言中有哪些数据类型呢？类型的意义：使用这个类型开辟内存空间的大小（大小决定了使用范围）。如何看待内存空间的视角。2.整型在内存中的存储一个变量的创建是要在内存中开辟空 C语言进阶-深度剖析数据在内存中的存储之整形在内存的存储 凌涛爱编程 c语言c++开发语言 目录01前言02原码、反码、补码2.1基本介绍2.2为什么会以补码的形式存储整形数据2.3为什么原码、反码、补码03大小端介绍3.1什么是大小端3.2为什么会存在大小端04练习04总结01前言首先，我们来思考一下下面的代码的输出结果是什么。intmain(){chara[1000];inti;for(i=0;iintmain(){chara=-1;signedcharb=-1;unsignedch Linux的Initrd机制 被触发 linux Linux 的 initrd 技术是一个非常普遍使用的机制，linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式，变化不仅反映在文件格式上， linux 内核对这两种格式的 initrd 的处理有着截然的不同。本文首先介绍了什么是 initrd 技术，然后分别介绍了 Linux2.4 内核和 2.6 内核的 initrd 的处理流程。最后通过对 Lin maven本地仓库路径修改 bitcarter maven 默认maven本地仓库路径：C:\Users\Administrator\.m2 修改maven本地仓库路径方法：     1.打开E:\maven\apache-maven-2.2.1\conf\settings.xml     2.找到         XSD和XML中的命名空间 darrenzhu xmlxsdschemanamespace命名空间 http://www.360doc.com/content/12/0418/10/9437165_204585479.shtml http://blog.csdn.net/wanghuan203/article/details/9203621 http://blog.csdn.net/wanghuan203/article/details/9204337 http://www.cn Java 求素数运算 周凡杨 java算法素数 网络上对求素数之解数不胜数，我在此总结归纳一下，同时对一些编码，加以改进，效率有成倍热提高。 第一种：   原理: 6N(+-)1法         任何一个自然数，总可以表示成为如下的形式之一： 6N，6N+1，6N+2，6N+3，6N+4，6N+5 (N=0，1，2，…)    java 单例模式 g21121 java 想必单例模式大家都不会陌生，有如下两种方式来实现单例模式：   class Singleton { private static Singleton instance=new Singleton(); private Singleton(){} static Singleton getInstance() { return instance; } Linux下Mysql源码安装 510888780 mysql 1.假设已经有mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz (1)创建mysql的安装目录及数据库存放目录       解压缩下载的源码包，目录结构，特殊指定的目录除外：            32位和64位操作系统 墙头上一根草 32位和64位操作系统 32位和64位操作系统是指：CPU一次处理数据的能力是32位还是64位。现在市场上的CPU一般都是64位的，但是这些CPU并不是真正意义上的64 位CPU，里面依然保留了大部分32位的技术，只是进行了部分64位的改进。32位和64位的区别还涉及了内存的寻址方面，32位系统的最大寻址空间是2 的32次方= 4294967296（bit）= 4（GB）左右，而64位系统的最大寻址空间的寻址空间则达到了 我的spring学习笔记10-轻量级_Spring框架 aijuans Spring 3 一、问题提问：     → 请简单介绍一下什么是轻量级？     轻量级（Leightweight）是相对于一些重量级的容器来说的，比如Spring的核心是一个轻量级的容器，Spring的核心包在文件容量上只有不到1M大小，使用Spring核心包所需要的资源也是很少的，您甚至可以在小型设备中使用Spring。   mongodb 环境搭建及简单CURD antlove WebInstallcurdNoSQLmongo 一 搭建mongodb环境 1. 在mongo官网下载mongodb 2. 在本地创建目录 "D:\Program Files\mongodb-win32-i386-2.6.4\data\db" 3. 运行mongodb服务 [mongod.exe --dbpath "D:\Program Files\mongodb-win32-i386-2.6.4\data\ 数据字典和动态视图 百合不是茶 oracle数据字典动态视图系统和对象权限 数据字典（data dictionary）是 Oracle 数据库的一个重要组成部分，这是一组用于记录数据库信息的只读（read-only）表。随着数据库的启动而启动,数据库关闭时数据字典也关闭   数据字典中包含   数据库中所有方案对象（schema object）的定义(包括表，视图，索引，簇，同义词，序列，过程，函数，包，触发器等等) 数据库为一 多线程编程一般规则 bijian1013 javathread多线程java多线程        如果两个工两个以上的线程都修改一个对象，那么把执行修改的方法定义为被同步的，如果对象更新影响到只读方法，那么只读方法也要定义成同步的。        不要滥用同步。如果在一个对象内的不同的方法访问的不是同一个数据，就不要将方法设置为synchronized的。 将文件或目录拷贝到另一个Linux系统的命令scp bijian1013 linuxunixscp 一.功能说明        scp就是security copy，用于将文件或者目录从一个Linux系统拷贝到另一个Linux系统下。scp传输数据用的是SSH协议，保证了数据传输的安全，其格式如下：        scp 远程用户名@IP地址：文件的绝对路径 【持久化框架MyBatis3五】MyBatis3一对多关联查询 bit1129 Mybatis3 以教员和课程为例介绍一对多关联关系，在这里认为一个教员可以叫多门课程，而一门课程只有1个教员教，这种关系在实际中不太常见，通过教员和课程是多对多的关系。   示例数据：   地址表：   CREATE TABLE ADDRESSES ( ADDR_ID INT(11) NOT NULL AUTO_INCREMENT, STREET VAR cookie状态判断引发的查找问题 bitcarter formcgi 先说一下我们的业务背景： 1.前台将图片和文本通过form表单提交到后台，图片我们都做了base64的编码，并且前台图片进行了压缩 2.form中action是一个cgi服务 3.后台cgi服务同时供PC，H5，APP 4.后台cgi中调用公共的cookie状态判断方法（公共的，大家都用，几年了没有问题） 问题：（折腾两天。。。。） 1.PC端cgi服务正常调用，cookie判断没 通过Nginx,Tomcat访问日志(access log)记录请求耗时 ronin47 一、Nginx通过$upstream_response_time $request_time统计请求和后台服务响应时间 nginx.conf使用配置方式： log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_r java-67- n个骰子的点数。 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 bylijinnan java public class ProbabilityOfDice { /** * Q67 n个骰子的点数 * 把n个骰子扔在地上，所有骰子朝上一面的点数之和为S。输入n，打印出S的所有可能的值出现的概率。 * 在以下求解过程中，我们把骰子看作是有序的。 * 例如当n=2时，我们认为（1，2）和（2，1）是两种不同的情况 */ private stati 看别人的博客，觉得心情很好 Cb123456 博客心情    以为写博客，就是总结，就和日记一样吧，同时也在督促自己。今天看了好长时间博客:    职业规划:    http://www.iteye.com/blogs/subjects/zhiyeguihua      android学习:    1.http://byandby.i [JWFD开源工作流]尝试用原生代码引擎实现循环反馈拓扑分析 comsci 工作流     我们已经不满足于仅仅跳跃一次，通过对引擎的升级，今天我测试了一下循环反馈模式，大概跑了200圈，引擎报一个溢出错误      在一个流程图的结束节点中嵌入一段方程，每次引擎运行到这个节点的时候，通过实时编译器GM模块，计算这个方程，计算结果与预设值进行比较，符合条件则跳跃到开始节点，继续新一轮拓扑分析，直到遇到 JS常用的事件及方法 cwqcwqmax9 js 事件 描述 onactivate 当对象设置为活动元素时触发。 onafterupdate 当成功更新数据源对象中的关联对象后在数据绑定对象上触发。 onbeforeactivate 对象要被设置为当前元素前立即触发。 onbeforecut 当选中区从文档中删除之前在源对象触发。 onbeforedeactivate 在 activeElement 从当前对象变为父文档其它对象之前立即 正则表达式验证日期格式 dashuaifu 正则表达式IT其它java其它 正则表达式验证日期格式 function isDate(d){ var v = d.match(/^(\d{4})-(\d{1,2})-(\d{1,2})$/i); if(!v) { this.focus(); return false; } } <input value="2000-8-8" onblu Yii CModel.rules() 方法 、validate预定义完整列表、以及说说验证 dcj3sjt126com yii public array rules () {return} array 要调用 validate() 时应用的有效性规则。 返回属性的有效性规则。声明验证规则，应重写此方法。 每个规则是数组具有以下结构：array('attribute list', 'validator name', 'on'=>'scenario name', ...validation UITextAttributeTextColor = deprecated in iOS 7.0 dcj3sjt126com ios In this lesson we used the key "UITextAttributeTextColor" to change the color of the UINavigationBar appearance to white. This prompts a warning "first deprecated in iOS 7.0." Ins 判断一个数是质数的几种方法 EmmaZhao Mathpython 质数也叫素数，是只能被1和它本身整除的正整数，最小的质数是2，目前发现的最大的质数是p=2^57885161-1【注1】。 判断一个数是质数的最简单的方法如下： def isPrime1(n): for i in range(2, n): if n % i == 0: return False return True 但是在上面的方法中有一些冗余的计算，所以 SpringSecurity工作原理小解读 坏我一锅粥 SpringSecurity   SecurityContextPersistenceFilter   ConcurrentSessionFilter   WebAsyncManagerIntegrationFilter   HeaderWriterFilter   CsrfFilter   LogoutFilter   Use JS实现自适应宽度的Tag切换 ini JavaScripthtmlWebcsshtml5 效果体验：http://hovertree.com/texiao/js/3.htm   该效果使用纯JavaScript代码，实现TAB页切换效果，TAB标签根据内容自适应宽度，点击TAB标签切换内容页。 HTML文件代码： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml" Hbase Rest API : 数据查询 kane_xie RESThbase hbase（hadoop）是用java编写的，有些语言（例如python）能够对它提供良好的支持，但也有很多语言使用起来并不是那么方便，比如c#只能通过thrift访问。Rest就能很好的解决这个问题。Hbase的org.apache.hadoop.hbase.rest包提供了rest接口，它内嵌了jetty作为servlet容器。   启动命令：./bin/hbase rest s JQuery实现鼠标拖动元素移动位置（源码+注释） 明子健 jqueryjs源码拖动鼠标 欢迎讨论指正！   print.html代码： <!DOCTYPE html> <html> <head> <meta http-equiv=Content-Type content="text/html;charset=utf-8"> <title>发票打印</title> &l Postgresql 连表更新字段语法 update qifeifei PostgreSQL 下面这段sql本来目的是想更新条件下的数据，可是这段sql却更新了整个表的数据。sql如下： UPDATE tops_visa.visa_order SET op_audit_abort_pass_date = now() FROM tops_visa.visa_order as t1 INNER JOIN tops_visa.visa_visitor as t2 ON t1. 将redis,memcache结合使用的方案? tcrct rediscache 公司架构上使用了阿里云的服务，由于阿里的kvstore收费相当高，打算自建，自建后就需要自己维护，所以就有了一个想法，针对kvstore(redis)及ocs(memcache)的特点，想自己开发一个cache层，将需要用到list，set，map等redis方法的继续使用redis来完成，将整条记录放在memcache下，即findbyid，save等时就memcache，其它就对应使用redi 开发中遇到的诡异的bug wudixiaotie bug 今天我们服务器组遇到个问题： 我们的服务是从Kafka里面取出数据，然后把offset存储到ssdb中，每个topic和partition都对应ssdb中不同的key，服务启动之后，每次kafka数据更新我们这边收到消息，然后存储之后就发现ssdb的值偶尔是-2,这就奇怪了，最开始我们是在代码中打印存储的日志，发现没什么问题，后来去查看ssdb的日志，才发现里面每次set的时候都会对同一个key 按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他 首页 - 关于我们 - 站内搜索 - Sitemap - 侵权投诉 版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.