apache-atlas 深度剖析

atlas  是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。支持对hive、storm、kafka、hbase、sqoop等进行元数据管理以及以图库的形式展示数据的血缘关系。

    • 各种Hadoop和非Hadoop元数据的预定义类型

    • 为要管理的元数据定义新类型的能力

    • 类型可以具有原始属性、复杂属性、对象引用；可以从其他类型继承。

    • 类型的实例，称为实体，捕获元数据对象细节及其关系

    • REST API与类型和实例一起工作更容易集成

    • 动态创建分类的能力，如PII、ExIPRESION、DATAAL质量、敏感

    • 分类可以包括属性，如EXPIRES_ON分类中的expiry_date 属性

    • 实体可以与多个分类相关联，从而能够更容易地发现和安全执行。

    • 通过谱系传播分类-自动确保分类跟随数据经过各种处理

    • 直观的UI，以查看数据的传承，因为它通过各种处理

    • REST API访问和更新血统

    • 通过类型、分类、属性值或自由文本搜索实体的直观UI

    • 丰富的 REST API 实现复杂的标准搜索

    • 搜索实体的SQL类查询语言——领域特定语言（DSL）

    • 用于元数据访问的细粒度安全性，允许对实体实例和操作（如添加/更新/删除分类）的访问进行控制

    • 与Apache Ranger的集成使得基于与Apache Atlas中的实体相关联的分类的数据访问的授权/数据屏蔽成为可能。例如：

    • 谁可以访问被分类为PII、敏感的数据

    • 客户服务用户只能看到被列为国家标识的列的最后4位数字

一、架构

整体架构实现如下图所示：

 

 

 

Type System: Atlas allows users to define a model for the metadata objects they want to manage. The model is composed of definitions called ‘types’. Instances of ‘types’ called ‘entities’ represent the actual metadata objects that are managed. The Type System is a component that allows users to define and manage the types and entities. All metadata objects managed by Atlas out of the box (like Hive tables, for e.g.) are modelled using types and represented as entities. To store new types of metadata in Atlas, one needs to understand the concepts of the type system component.

One key point to note is that the generic nature of the modelling in Atlas allows data stewards and integrators to define both technical metadata and business metadata. It is also possible to define rich relationships between the two using features of Atlas.

Graph Engine: Internally, Atlas persists metadata objects it manages using a Graph model. This approach provides great flexibility and enables efficient handling of rich relationships between the metadata objects. Graph engine component is responsible for translating between types and entities of the Atlas type system, and the underlying graph persistence model. In addition to managing the graph objects, the graph engine also creates the appropriate indices for the metadata objects so that they can be searched efficiently. Atlas uses the JanusGraph to store the metadata objects.

Atlas采用了分布式图数据库JanusGraph作为数据存储（ 具体介绍可以参考：https://docs.janusgraph.org/），目的在于用有向图灵活的存储、查询数据血缘关系。Atlas定义了一套atlas-graphdb-api，允许采用不同的图数据库引擎来实现api，便于切换底层存储。所以Atlas读写数据的过程可以看作就是将图数据库对象映射成Java类的过程，基本流程如下：

JanusGraph 的数据的底层存储支持Hbase、cassandra、embeddedcassandra、berkeleyje、inmemory（直接存储在内存中）等。

Ingest / Export: The Ingest component allows metadata to be added to Atlas. Similarly, the Export component exposes metadata changes detected by Atlas to be raised as events. Consumers can consume these change events to react to metadata changes in real time.

atlas  的搜索引擎支持solr和ElasticSearch

Applications：

Atlas Admin UI: This component is a web based application that allows data stewards and scientists to discover and annotate metadata. Of primary importance here is a search interface and SQL like query language that can be used to query the metadata types and objects managed by Atlas. The Admin UI uses the REST API of Atlas for building its functionality.- Atlas Admin UI: 该组件是一个基于 Web 的应用程序，允许数据管理员和科学家发现和注释元数据。Admin UI提供了搜索界面和 类SQL的查询语言，可以用来查询由 Atlas 管理的元数据类型和对象。Admin UI 使用 Atlas 的 REST API 来构建其功能。

Tag Based Policies: Apache Ranger is an advanced security management solution for the Hadoop ecosystem having wide integration with a variety of Hadoop components. By integrating with Atlas, Ranger allows security administrators to define metadata driven security policies for effective governance. Ranger is a consumer to the metadata change events notified by Atlas.

  - Tag Based Policies: Apache Ranger 是针对 Hadoop 生态系统的高级安全管理解决方案，与各种 Hadoop 组件具有广泛的集成。通过与 Atlas 集成，Ranger 允许安全管理员定义元数据驱动的安全策略，以实现有效的治理。 Ranger 是由 Atlas 通知的元数据更改事件的消费者。

  - Business Taxonomy:从元数据源获取到 Atlas 的元数据对象主要是一种技术形式的元数据。为了增强可发现性和治理能力，Atlas 提供了一个业务分类界面，允许用户首先定义一组代表其业务域的业务术语，并将其与 Atlas 管理的元数据实体相关联。业务分类法是一种 Web 应用程序，目前是 Atlas Admin UI 的一部分，并且使用 REST API 与 Atlas 集成。

    - 在HDP2.5中，Business Taxonomy是提供了Technical Preview版本，需要在Atlas > Configs > Advanced > Custom application-properties中添加atlas.feature.taxonomy.enable=true并重启atlas服务来开启

Integration

Users can manage metadata in Atlas using two methods:

API: All functionality of Atlas is exposed to end users via a REST API that allows types and entities to be created, updated and deleted. It is also the primary mechanism to query and discover the types and entities managed by Atlas.

Messaging: In addition to the API, users can choose to integrate with Atlas using a messaging interface that is based on Kafka. This is useful both for communicating metadata objects to Atlas, and also to consume metadata change events from Atlas using which applications can be built. The messaging interface is particularly useful if one wishes to use a more loosely coupled integration with Atlas that could allow for better scalability, reliability etc. Atlas uses Apache Kafka as a notification server for communication between hooks and downstream consumers of metadata notification events. Events are written by the hooks and Atlas to different Kafka topics.

Metadata source

Atlas 支持与许多元数据源的集成，将来还会添加更多集成。目前，Atlas 支持从以下数据源获取和管理元数据：

  - Hive：通过hive bridge， atlas可以接入Hive的元数据，包括hive_db/hive_table/hive_column/hive_process

  - Sqoop：通过sqoop bridge，atlas可以接入关系型数据库的元数据，包括sqoop_operation_type/ sqoop_dbstore_usage/sqoop_process/sqoop_dbdatastore

  - Falcon：通过falcon bridge，atlas可以接入Falcon的元数据，包括falcon_cluster/falcon_feed/falcon_feed_creation/falcon_feed_replication/ falcon_process

  - Storm：通过storm bridge，atlas可以接入流式处理的元数据，包括storm_topology/storm_spout/storm_bolt

  Atlas集成大数据组件的元数据源需要实现以下两点：

  - 首先，需要基于atlas的类型系统定义能够表达大数据组件元数据对象的元数据模型(例如Hive的元数据模型实现在org.apache.atlas.hive.model.HiveDataModelGenerator)；

  - 然后，需要提供hook组件去从大数据组件的元数据源中提取元数据对象，实时侦听元数据的变更并反馈给atlas；

元数据处理的整体流程入下图所示：

• 在Atlas中查询某一个元数据对象时往往需要遍历图数据库中的多个顶点与边，相比关系型数据库直接查询一行数据要复杂的多，当然使用图数据库作为底层存储也存在它的优势，比如可以支持复杂的数据类型和更好的支持血缘数据的读写。

二、安装与配置

1、atlas  只提供源码，不提供打好的安装包，源码下载页面：http://atlas.apache.org/#/Downloads

2、源码下载完后，按照如下方式进行打包：

tar xvfz apache-atlas-1.0.0-sources.tar.gz

cd apache-atlas-sources-1.0.0/
export MAVEN_OPTS="-Xms2g -Xmx2g"
安装：mvn clean -DskipTests install
打包：mvn clean -DskipTests package -Pdist
打包时增加 hbase和solr打入： mvn clean -DskipTests package -Pdist,embedded-hbase-solr
打包时增加cassandra和solr打入：mvn clean package -Pdist,embedded-cassandra-solr

3、配置与启动

tar -xzvf apache-atlas-{project.version}-server.tar.gz

cd atlas-{project.version}/conf，编辑atlas-application.properties配置文件

Graph Persistence engine - HBase配置：

atlas.graph.storage.backend=hbase

atlas.graph.storage.hostname=

atlas.graph.storage.hbase.table=atlas

Graph Index Search Engine配置：

Graph Search Index - Solr：

atlas.graph.index.search.backend=solr5
atlas.graph.index.search.solr.mode=cloud
atlas.graph.index.search.solr.wait-searcher=true
# ZK quorum setup for solr as comma separated value. Example: 10.1.6.4:2181,10.1.6.5:2181
atlas.graph.index.search.solr.zookeeper-url=
# SolrCloud Zookeeper Connection Timeout. Default value is 60000 ms
atlas.graph.index.search.solr.zookeeper-connect-timeout=60000
# SolrCloud Zookeeper Session Timeout. Default value is 60000 ms
atlas.graph.index.search.solr.zookeeper-session-timeout=60000

Graph Search Index - Elasticsearch (Tech Preview)：

atlas.graph.index.search.backend=elasticsearch
atlas.graph.index.search.hostname=
atlas.graph.index.search.elasticsearch.client-only=true

Notification Configs：

atlas.kafka.auto.commit.enable=false
#Kafka servers. Example: localhost:6667
atlas.kafka.bootstrap.servers=
atlas.kafka.hook.group.id=atlas
#Zookeeper connect URL for Kafka. Example: localhost:2181
atlas.kafka.zookeeper.connect=
atlas.kafka.zookeeper.connection.timeout.ms=30000
atlas.kafka.zookeeper.session.timeout.ms=60000
atlas.kafka.zookeeper.sync.time.ms=20
#Setup the following configurations only in test deployments where Kafka is started within Atlas in embedded mode
#atlas.notification.embedded=true
#atlas.kafka.data={sys:atlas.home}/data/kafka
#Setup the following two properties if Kafka is running in Kerberized mode.
#atlas.notification.kafka.service.principal=kafka/[email protected]
#atlas.notification.kafka.keytab.location=/etc/security/keytabs/kafka.service.keytab

　Client Configs：

atlas.client.readTimeoutMSecs=60000
atlas.client.connectTimeoutMSecs=60000
# URL to access Atlas server. For example: http://localhost:21000
atlas.rest.address=

SSL config：

atlas.enableTLS=false

High Availability Properties：

# Set the following property to true, to enable High Availability. Default = false.
atlas.server.ha.enabled=true
# Specify the list of Atlas instances
atlas.server.ids=id1,id2
# For each instance defined above, define the host and port on which Atlas server listens.
atlas.server.address.id1=host1.company.com:21000
atlas.server.address.id2=host2.company.com:31000
# Specify Zookeeper properties needed for HA.
# Specify the list of services running Zookeeper servers as a comma separated list.
atlas.server.ha.zookeeper.connect=zk1.company.com:2181,zk2.company.com:2181,zk3.company.com:2181
# Specify how many times should connection try to be established with a Zookeeper cluster, in case of any connection issues.
atlas.server.ha.zookeeper.num.retries=3
# Specify how much time should the server wait before attempting connections to Zookeeper, in case of any connection issues.
atlas.server.ha.zookeeper.retry.sleeptime.ms=1000
# Specify how long a session to Zookeeper should last without inactiviy to be deemed as unreachable.
atlas.server.ha.zookeeper.session.timeout.ms=20000
# Specify the scheme and the identity to be used for setting up ACLs on nodes created in Zookeeper for HA.
# The format of these options is .
# For more information refer to 
http://zookeeper.apache.org/doc/r3.2.2/zookeeperProgrammers.html#sc_ZooKeeperAccessControl
# The 'acl' option allows to specify a scheme, identity pair to setup an ACL for.
atlas.server.ha.zookeeper.acl=sasl:[email protected]
# The 'auth' option specifies the authentication that should be used for connecting to Zookeeper.
atlas.server.ha.zookeeper.auth=sasl:[email protected]
# Since Zookeeper is a shared service that is typically used by many components,
# it is preferable for each component to set its znodes under a namespace.
# Specify the namespace under which the znodes should be written. Default = /apache_atlas
atlas.server.ha.zookeeper.zkroot=/apache_atlas
# Specify number of times a client should retry with an instance before selecting another active instance, or failing an operation.
atlas.client.ha.retries=4
# Specify interval between retries for a client.
atlas.client.ha.sleep.interval.ms=5000

cd atlas-{project.version}

bin/atlas_start.py

 本文作者:张永清，转载请出名博客园出处。https://www.cnblogs.com/laoqing/p/12674762.html

启动后，默认端口伟21000，通过http://ip:21000进行访问：

三、设置Hive Hook

支持的Hive Model：

Hive model includes the following types:

• Entity types:
  • hive_db
    • super-types: Asset
    • attributes: qualifiedName, name, description, owner, clusterName, location, parameters, ownerName
  • hive_table
    • super-types: DataSet
    • attributes: qualifiedName, name, description, owner, db, createTime, lastAccessTime, comment, retention, sd, partitionKeys, columns, aliases, parameters, viewOriginalText, viewExpandedText, tableType, temporary
    • hive_column
      • super-types: DataSet
      • attributes: qualifiedName, name, description, owner, type, comment, table
    • hive_storagedesc
      • super-types: Referenceable
      • attributes: qualifiedName, table, location, inputFormat, outputFormat, compressed, numBuckets, serdeInfo, bucketCols, sortCols, parameters, storedAsSubDirectories
    • hive_process
      • super-types: Process
      • attributes: qualifiedName, name, description, owner, inputs, outputs, startTime, endTime, userName, operationType, queryText, queryPlan, queryId, clusterName
    • hive_column_lineage
      • super-types: Process
      • attributes: qualifiedName, name, description, owner, inputs, outputs, query, depenendencyType, expression

• Enum types:
  • hive_principal_type
    • values: USER, ROLE, GROUP

• Struct types:
  • hive_order
    • attributes: col, order
  • hive_serde
    • attributes: name, serializationLib, parameters

 本文作者:张永清，转载请出名博客园出处。https://www.cnblogs.com/laoqing/p/12674762.html

 在hive的 hive-site.xml 配置文件中增加如下配置：

    hive.exec.post.hooks
      org.apache.atlas.hive.hook.HiveHook
  

• untar apache-atlas-${project.version}-hive-hook.tar.gz

cd apache-atlas-hive-hook-${project.version}

Copy entire contents of folder apache-atlas-hive-hook-${project.version}/hook/hive to /hook/hive

Add 'export HIVE_AUX_JARS_PATH=/hook/hive' in hive-env.sh of your hive configuration

Copy /atlas-application.properties to the hive conf directory.

atlas-application.properties的配置示例如下：

atlas.hook.hive.synchronous=false # whether to run the hook synchronously. false recommended to avoid delays in Hive query completion. Default: false
atlas.hook.hive.numRetries=3      # number of retries for notification failure. Default: 3
atlas.hook.hive.queueSize=10000   # queue size for the threadpool. Default: 10000
atlas.cluster.name=primary # clusterName to use in qualifiedName of entities. Default: primary
atlas.kafka.zookeeper.connect=                    # Zookeeper connect URL for Kafka. Example: localhost:2181
atlas.kafka.zookeeper.connection.timeout.ms=30000 # Zookeeper connection timeout. Default: 30000
atlas.kafka.zookeeper.session.timeout.ms=60000    # Zookeeper session timeout. Default: 60000
atlas.kafka.zookeeper.sync.time.ms=20             # Zookeeper sync time. Default: 20

Importing Hive Metadata

Usage 1: /hook-bin/import-hive.sh
Usage 2: /hook-bin/import-hive.sh [-d  OR --database ] [-t  OR --table ]
Usage 3: /hook-bin/import-hive.sh [-f ]
           File Format:
             database1:tbl1
             database1:tbl2
             database2:tbl1
 
  
 
 未完待续，最近会把后续的补充完整
 

                            
                        
                    
                    
                    

                    
                    
                    

                
                

                    

                        
                        

                            
 
                        
                        
                        

                            

                        
                        
                        

                            

                        
                    
                
            
        
    
    

        
你可能感兴趣的:(apache-atlas 深度剖析)
        

            

                

                    
【C#生态园】深度剖析：C#嵌入式开发工具大揭秘
                        friklogff
C#生态园c#开发语言
                        
C#嵌入式开发：全面了解六大框架与库前言随着物联网和嵌入式系统的快速发展，越来越多的开发者开始关注使用C#语言进行嵌入式开发。本文将介绍几种用于C#的嵌入式开发框架和相关库，以及它们的核心功能、安装配置方法和API概览，帮助读者了解并选择适合自己项目的工具和资源。欢迎订阅专栏：C#生态园文章目录C#嵌入式开发：全面了解六大框架与库前言1.nanoFramework：一个用于C#的嵌入式开发框架1.
                    
                    
探索高效开发之道：N-Tier架构开源项目深度剖析
                        钟洁祺

                        
探索高效开发之道：N-Tier架构开源项目深度剖析N-Tier-ArchitectureThisisan-layerarchitecturebasedonCommonwebapplicationarchitectures.项目地址:https://gitcode.com/gh_mirrors/nt/N-Tier-Architecture在追求卓越的软件开发旅程中，一个清晰、高效的架构设计是基石。今
                    
                    
C#排序算法新境界：深度剖析与高效实现基数排序
                        AitTech
算法排序算法c#算法
                        
基数排序（RadixSort）是一种非比较型整数排序算法，其原理是将整数按位数切割成不同的数字，然后按每个位数进行比较。具体来说，基数排序有两种方法：最低位优先（LSD,LeastSignificantDigitfirst）：从最低位开始，向最高位进行排序。最高位优先（MSD,MostSignificantDigitfirst）：通常用于字符串的排序，从最高位开始，向最低位进行排序，且常使用递归实
                    
                    
听书收获
                        果冻乐不乐

                        
今天书不在手边，只有听樊登读书，选择听了李小萌的《你好，小孩》。李小萌，亲子教育专家，前央视著名节目主持人，一位女孩的妈妈。在这本书中，她深入探讨亲子教育核心问题，提供了一个真正可行的善意养育方案，更深度剖析了六大维度构建儿童友好的养育环境。我们应该为孩子创造一个怎样的成长环境？李小萌提出了儿童友好和善意养育。她一头扎进对中国家庭教育的研究和探索，发现用善意去对待孩子、照顾他们的情绪、信任他们作为
                    
                    
威廉·萨默赛特·毛姆《月亮和六便士》人性的深度剖析与思考
                        画眉轻语

                        
《月亮和六便士》以一名普通人的艺术追求为主线，深入探讨了个性、天才和物质文明等多重主题。小说从斯特里克兰德的生活突然被艺术变革的瞬间开始，展现了他为了自身价值的探究而摆脱了社会价值观束缚的过程。在这个过程中，他受到家人和社会的反对，被迫离开自己的生活圈子前往异国他乡，进行自己的艺术创作。小说的主人公斯特里克兰德通过自己的一系列重大决定，将自己的生命与艺术完美地结合在一起。小说的叙事风格明快流畅，情
                    
                    
2024高教社杯全国大学生数学建模竞赛（B题）深度剖析 | 建模完整过程+详细思路+代码全解析
                        star数模
数学建模算法python
                        
问题1(1)解答过程题目要求建立一个基于纯方位无源定位的模型，用来确定某些位置略有偏差的无人机的精确位置。具体来说，编队中位于圆心的FY00无人机和其他两架发射信号的无人机的位置已知，被动接收信号的无人机通过接收到的方向信息（即夹角）来调整自身位置。我们可以通过极坐标系建模，在此过程中利用几何关系和方向信息来确定无人机的位置。整个建模过程包括以下步骤：1.问题几何描述与坐标系定义编队由10架无人机
                    
                    
2024年MathorCup高校数学建模挑战赛（C题）深度剖析_建模完整过程+详细思路+代码全解析
                        Unicorn建模
数学建模python算法
                        
问题1本问题属于时间序列预测问题，其目标是对未来一段时期内的信息进行预测。因此可以采用基于时间序列的回归模型进行货量预测。具体而言，将首先分析时间序列的性质，然后构建回归模型，最后利用模型对未来30天每天及每小时的货量进行预测。【算法原理】（1）时间序列的性质时间序列实际上是一种随时间变化的连续数据，其特点主要体现在两个方面：趋势性和周期性。趋势性是指时间序列数据在长期内呈现出的增长或减小的趋势，
                    
                    
2024高教社杯全国大学生数学建模竞赛（A题）深度剖析 _ 建模完整过程+详细思路+代码全解析
                        Unicorn建模
数学建模python算法
                        
问题1解答过程1.1螺线运动的基本几何模型板凳龙的舞动路径为等距螺线。螺线是极坐标中一类常见曲线，其特点是半径随角度线性增加。我们可以用以下极坐标方程描述这条螺线：r(θ)=p2πθr(\theta)=\frac{p}{2\pi}\thetar(θ)=2πpθ其中，r(θ)r(\theta)r(θ)是螺线在角度θ\thetaθ处的半径，ppp是螺线的螺距。题目中给定螺距为p=55p=55p=55c
                    
                    
活动火热报名中｜搜索进化论：基于大模型的企业级AI搜索
                        阿里云大数据AI技术
人工智能阿里云AI搜索搜索开发工作台
                        
活动介绍随着人工智能技术的飞速发展，AI搜索正在成为企业提升信息处理效能的重要利器。搜索开发工作台，是阿里云为企业及开发者打造的先进AI搜索平台，具备丰富的组件化服务与强大的模型能力。时间：2024/9/1313:30-17:30地点：阿里巴巴北京朝阳科技园C区，C-C2-B01圆月山庄本次活动中，我们将——深度剖析AI为搜索带来的机遇与挑战；现场演示阿里云如何助力企业构建AI搜索能力；共同探讨A
                    
                    
2023 高教社杯 数学建模国赛（C题）深度剖析|数学建模完整代码+建模过程全解全析
                        CS_数模
数学建模
                        
9月7日18：00开赛后持续更新！！！当大家面临着复杂的数学建模问题时，你是否曾经感到茫然无措？作为2021年美国大学生数学建模比赛的O奖得主，我为大家提供了一套优秀的解题思路，让你轻松应对各种难题。我的解题思路是基于数学建模领域的前沿理论和实践研究，具有极强的创新性和实用性。我深入分析了各种数学建模问题，并总结出了一套行之有效的解决方案，帮助大家在竞赛中脱颖而出，或在实际情景中解决问题。我们的团
                    
                    
大数据新视界--大数据大厂之MySQL 数据库课程设计：数据安全深度剖析与未来展望
                        青云交
大数据新视界Java技术栈数据库数据库课程设计数据安全医疗信息系统电商平台安全技术趋势大数据新视界
                        
亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：Ja
                    
                    
Python算法模糊匹配：FuzzyWuzzy深度剖析，从入门到精通，解决你所有需要匹配的需求
                        长风清留扬
Python人工智能算法python算法大数据网络dba
                        
在数据科学与机器学习的广阔领域中，处理不精确或模糊的数据是一项至关重要的技能。想象一下，当你面对的是一堆拼写错误、缩写、或是格式不一的文本数据时，如何高效地从中提取有价值的信息？这正是FuzzyWuzzy——Python中一个强大的模糊字符串匹配库，能够大展身手的地方。本文将为你全面介绍FuzzyWuzzy——Python中一个强大的通过算法模糊字符串匹配库，全网最全最新，一看就会，接下来带你走进
                    
                    
JavaScript 深度剖析 - 函数式编程范式
                        时光海丶
大前端javascript函数式编程
                        
函数式编程范式1.1函数式编程概念函数是一等公民高阶函数闭包1.2纯函数概念功能库lodash优劣纯函数的好处纯函数的副作用1.3柯里化(HaskellBrooksCurry)概念lodash中的柯里化函数总结1.4函数组合(compose)管道函数组合1.5Lodash中的fp模块1.6PointFree模式1.7函子Functor函子MayBe函子Either函子IO函子Task函子Point
                    
                    
数据权限的设计与实现系列3——MybatisPlus数据权限插件实现机制及使用示例
                        学海无涯，行者无疆
#数据权限数据权限数据权限设计数据权限插件Mybatisplus数据权限实现
                        
背景上篇我们深度剖析了若依开发平台关于数据权限的设计与实现，并指出了其模式的局限性。今天我们来看一下MyBatisPlus提供的数据权限插件的实现机制与使用示例。官方说明：https://baomidou.com/plugins/data-permission/‍‍实现机制在SQL执行前拦截SQL语句，并根据用户权限动态添加权限相关的SQL片段。这样，只有用户有权限访问的数据才会被查询出来。拦截S
                    
                    
Spring Boot 启动流程的深度剖析
                        马丁的代码日记
springboot后端java
                        
SpringBoot启动流程的深度剖析目录SpringBoot启动流程的深度剖析一、引言二、SpringBoot基础概念（一）什么是SpringBoot（二）特点和优势（三）与传统Spring框架的比较（四）核心注解和配置方式三、SpringBoot启动流程概述（一）整体流程（二）关键步骤和阶段四、详细启动步骤解析（一）加载主配置类（二）环境准备（三）初始化容器（四）自动配置（五）初始化各种扩展点
                    
                    
分布式系统架构手册
                        ArchManual
分布式架构javabigdataelasticsearch分布式微服务
                        
ArchManual分布式系统架构手册项目介绍ArchManual不是：某个技术架构的深度剖析某个技术框架的源码分析某个技术工具的安装运维某个技术类库的代码示例而是：常用分布式技术的总体概览常用技术主题的归纳总结常用技术框架的归类罗列常用技术架构的简单分享希望成为：速查手册：平时工作中做技术架构、框架选型时的速查手册学习提纲：业余学习或者面试时的一个学习提纲技术地图：对技术框架有一个整体和全面的了
                    
                    
深度剖析Java内存溢出：从堆到栈的全面解析
                        九转成圣
Java高频面试栏开发语言java后端jvm
                        
Java内存溢出是指在Java程序运行过程中，超出JVM分配的内存范围，导致内存不足的异常情况。本文将深入探讨Java内存溢出的各种类型，包括堆溢出、栈溢出、运行时常量池溢出、元空间溢出、直接内存溢出等，并提供详细的示例代码和技术解析。一、堆溢出（HeapOverflow）堆内存用于存储对象实例和数组。当持续创建新对象且无法及时回收内存时，会导致堆内存溢出。示例代码：//设置JVM参数：-Xms2
                    
                    
24.8.10学习笔记
                        kkkkk021106
学习笔记
                        
深度剖析猫狗分类CNN代码：importtorchfromtorchimportnnfromcatdogimportMyAlexNetimportnumpyasnpfromtorch.optimimportlr_schedulerimportosfromtorchvisionimporttransformsfromtorchvision.datasetsimportImageFolderfromt
                    
                    
深度剖析辞旧迎新，大力弘扬传统文化
                        a3075308e0eb

                        
2023年1月5日，曲阜师范大学实践队扬眉兔气队通过查阅资料，开展了对“辞旧迎新”的搜集检索活动，通过此次活动来加深对其认识，并弘扬、传承传统文化。“辞旧迎新”多为新年贺词，其词义多为告别旧的一年，那些不好的都将会过去，去迎接新的一年，是一种美好的愿望。现在还可以理解为摆脱旧的事物，接纳新的事物。宋朝王安石所写的《元日》：“爆竹声中一岁除,春风送暖入屠苏。千门万户瞳瞳日,总把新桃换旧符”一诗,就是
                    
                    
Kubernetes中的PV)和 PVC深度剖析
                        CloudJourney
kubernetes容器云原生
                        
在容器化的世界里，持久化存储一直是一个重要且复杂的问题。Kubernetes（以下简称K8s）为了解决容器中的数据持久化问题，提出了PersistentVolume（PV）和PersistentVolumeClaim（PVC）这两个概念。本文将详细探讨PV和PVC的定义、架构、原理、应用场景、常见命令体系以及实际使用中的示例，帮助读者更好地理解和掌握这一核心技术。1.PV和PVC的定义1.1Per
                    
                    
考研分数线预测：基于案例的深度剖析
                        阿璃678
考研资讯考研经验分享
                        
考研分数线预测：基于案例的深度剖析作为一名即将面临考研的学生，分数线无疑是我们最关心的问题之一。它直接关系到我们是否能够进入心仪的学校和专业，进而影响到未来的职业生涯。因此，对考研分数线进行预测和分析就显得尤为重要。本文将结合具体案例，对考研分数线的预测进行深入剖析。一、案例背景小张是一名经济学专业的大三学生，他计划报考某知名高校的经济学研究生。为了更有针对性地备考，他收集了该校经济学专业近五年的
                    
                    
【C++航海王：追寻罗杰的编程之路】vector
                        枫叶丹4
C++c++开发语言后端visualstudioc语言
                        
目录1->vector的介绍及使用1.1->vector的介绍1.2->vector的使用1.2.1->vector的介绍1.2.2->vectoriterator的使用1.2.3->vector空间增长问题1.2.4->vector的增删查改1.2.5->vector迭代器失效问题2->vector的深度剖析及模拟实现2.1->vector的模拟实现2.2->使用memcpy拷贝问题2.3->动
                    
                    
JAVA高并发——JDK的并发容器
                        布道师小羊
#网络+并发+函数式+JVMJAVA高阶java开发语言
                        
文章目录1、超好用的工具类：并发集合简介2、线程安全的HashMap3、深入浅出ConcurrentHashMap3.1、ConcurrentHashMap的内部数据结构3.2、put()方法的实现3.3、get()方法的实现4、有关List的线程安全5、高效读写的队列：深度剖析ConcurrentLinkedQueue类6、高效读取：不变模式下的CopyOnWriteArrayList类7、数据
                    
                    
Sora文生视频模型深度剖析：全网独家指南，洞悉98%关键信息，纯干货
                        

                        
Sora文生视频模型深度剖析：全网独家指南，洞悉98%关键信息，纯干货Sora是一个以视频生成为核心的多能力模型，具备以下能力：文/图生成视频视频生成视频1分钟超长高质量视频生成视频裂变多视角生成准工业级数字孪生游戏/科幻片等特效，物理引擎能力1.Sora与RunwayGen2、Pika等能力差异对比能力项OpenAlSora其它模型视频时长60秒最多十几秒视频长宽比1920x1080与1080x
                    
                    
《春山》中的贝叶斯统计——白敬亭衣服合理概率及决策比重。
                        Ashleyxxihf
趣学贝叶斯统计算法统计傅立叶分析动态规划
                        
目录1.全身黑衣服合理概率2.真的是导演组允许？3.粉丝的证据是否站得住？4.总结感谢up主链接:【理工春山学】只谈事实从统计角度深度剖析春山学，她使用贝叶斯统计合理分析了在舞台中白敬亭、双魏、导演组出错的概率。接下来我采用一个新角度继续开辟《春山》中的贝叶斯统计——白敬亭衣服合理概率及决策比重。1.全身黑衣服合理概率要量化计算白敬亭穿全身黑衣服合理的概率，我们可以采用概率论的方法，结合已知信息和
                    
                    
JVM对象创建与内存分配机制深度剖析
                        码界调试侠
Java性能调优jvmjava
                        
对象的创建对象创建的主要流程:1.类加载检查虚拟机遇到一条new指令时，首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查这个符号引用代表的类是否已被加载、解析和初始化过。如果没有，那必须先执行相应的类加载过程。new指令对应到语言层面上讲是，new关键词、对象克隆、对象序列化等。2.分配内存在类加载检查通过后，接下来虚拟机将为新生对象分配内存。对象所需内存的大小在类加载完
                    
                    
C语言进阶——深度剖析数据在内存中的存储
                        悲伤猪小猪
【C语言】零基础学编程c语言开发语言
                        
文章目录数据类型的介绍类型的基本归类整形在内存中的存储大小端介绍一道笔试题浮点数在内存中的存储浮点数存储规则剖析题目数据类型的介绍在我们之前的学习当中我们已经介绍了基本的内置类型char字符数据类型short短整型int整形long长整型longlong更长的整形float单精度浮点数double双精度浮点数这些类型的意义是：1.使用这个类型开辟内存空间的大小，大小决定了使用范围2.如何看待内存空
                    
                    
c语言进阶-深度剖析数据在内存中的存储
                        bingo691
C语言进阶内存中数据的存储c语言开发语言
                        
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档目录文章目录本章重点1.数据类型介绍1.1类型的基本归类2.整形在内存中的存储2.1原码、反码、补码2.2大小端介绍2.3练习3.浮点型在内存中的存储3.1一个例子3.2浮点数存储规则本章重点1.数据类型详细介绍2.整形在内存中的存储：原码、反码、补码3.大小端字节序介绍及判断4.浮点型在内存中的存储解析1.数据类型介绍前面我们已经学
                    
                    
【进阶】C语言——深度剖析数据在内存中的存储
                        xxxflower.
C语言c语言c++开发语言
                        
文章目录1.数据类型介绍2.整型在内存中的存储2.1原码，反码，补码2.2大小端介绍2.3整型提升及练习练习1：练习2：练习3：练习4：练习5：练习6：练习7：3.浮点型在内存中的存储3.1例子3.2浮点数存储规则1.数据类型介绍C语言中有哪些数据类型呢？类型的意义：使用这个类型开辟内存空间的大小（大小决定了使用范围）。如何看待内存空间的视角。2.整型在内存中的存储一个变量的创建是要在内存中开辟空
                    
                    
C语言进阶-深度剖析数据在内存中的存储之整形在内存的存储
                        凌涛爱编程
c语言c++开发语言
                        
目录01前言02原码、反码、补码2.1基本介绍2.2为什么会以补码的形式存储整形数据2.3为什么原码、反码、补码03大小端介绍3.1什么是大小端3.2为什么会存在大小端04练习04总结01前言首先，我们来思考一下下面的代码的输出结果是什么。intmain(){chara[1000];inti;for(i=0;iintmain(){chara=-1;signedcharb=-1;unsignedch
                    
                                
LeetCode[位运算] - #137 Single Number II
                                    Cwind
javaAlgorithmLeetCode题解位运算
                                    
原题链接：#137 Single Number II  
要求： 
给定一个整型数组，其中除了一个元素之外，每个元素都出现三次。找出这个元素 
注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 
  
难度：中等 
  
分析： 
与#136类似，都是考察位运算。不过出现两次的可以使用异或运算的特性 n XOR n = 0, n XOR 0 = n，即某一
                                
                                
《JavaScript语言精粹》笔记
                                    aijuans
JavaScript
                                    
0、JavaScript的简单数据类型包括数字、字符创、布尔值（true/false）、null和undefined值，其它值都是对象。 
1、JavaScript只有一个数字类型，它在内部被表示为64位的浮点数。没有分离出整数，所以1和1.0的值相同。 
2、NaN是一个数值，表示一个不能产生正常结果的运算结果。NaN不等于任何值，包括它本身。可以用函数isNaN(number)检测NaN,但是
                                
                                
你应该更新的Java知识之常用程序库
                                    Kai_Ge
java
                                    
在很多人眼中，Java 已经是一门垂垂老矣的语言，但并不妨碍 Java 世界依然在前进。如果你曾离开 Java，云游于其它世界，或是每日只在遗留代码中挣扎，或许是时候抬起头，看看老 Java 中的新东西。 
Guava 
Guava[gwɑ:və]，一句话，只要你做Java项目，就应该用Guava（Github）。 
guava 是 Google 出品的一套 Java 核心库，在我看来，它甚至应该
                                
                                
HttpClient
                                    120153216
httpclient
                                    
/**
 * 可以传对象的请求转发，对象已流形式放入HTTP中
 */
public static Object doPost(Map<String,Object> parmMap,String url)
	{
		Object object = null;
		HttpClient hc = new HttpClient();
		
		String fullURL 
                                
                                
Django model字段类型清单
                                    2002wmj
django
                                    
Django 通过 models 实现数据库的创建、修改、删除等操作，本文为模型中一般常用的类型的清单，便于查询和使用： AutoField：一个自动递增的整型字段，添加记录时它会自动增长。你通常不需要直接使用这个字段；如果你不指定主键的话，系统会自动添加一个主键字段到你的model。(参阅自动主键字段)  BooleanField：布尔字段,管理工具里会自动将其描述为checkbox。  Cha
                                
                                
在SQLSERVER中查找消耗CPU最多的SQL
                                    357029540
SQL Server
                                    
返回消耗CPU数目最多的10条语句 
 
SELECT TOP 10 
   total_worker_time/execution_count AS avg_cpu_cost, plan_handle, 
   execution_count, 
   (SELECT SUBSTRING(text, statement_start_of
                                
                                
Myeclipse项目无法部署，Undefined exploded archive location
                                    7454103
eclipseMyEclipse
                                    
做个备忘！ 
 
错误信息为： 
      Undefined exploded archive location 
 
 
原因： 
          在工程转移过程中，导致工程的配置文件出错； 
 
 
解决方法： 
   
                                
                                
GMT时间格式转换
                                    adminjun
GMT时间转换
                                    
普通的时间转换问题我这里就不再罗嗦了，我想大家应该都会那种低级的转换问题吧，现在我向大家总结一下如何转换GMT时间格式，这种格式的转换方法网上还不是很多，所以有必要总结一下，也算给有需要的朋友一个小小的帮助啦。 
1、可以使用 
SimpleDateFormat SimpleDateFormat    
EEE-三位星期 
d-天 
MMM-月 
yyyy-四位年 

                                
                                
Oracle数据库新装连接串问题
                                    aijuans
oracle数据库
                                    
割接新装了数据库，客户端登陆无问题，apache/cgi-bin程序有问题，sqlnet.log日志如下： 
Fatal NI connect error 12170. 
  VERSION INFORMATION:         TNS for Linux: Version 10.2.0.4.0 - Product
                                
                                
回顾java数组复制
                                    ayaoxinchao
java数组
                                    
在写这篇文章之前，也看了一些别人写的，基本上都是大同小异。文章是对java数组复制基础知识的回顾，算是作为学习笔记，供以后自己翻阅。首先，简单想一下这个问题：为什么要复制数组？我的个人理解：在我们在利用一个数组时，在每一次使用，我们都希望它的值是初始值。这时我们就要对数组进行复制，以达到原始数组值的安全性。java数组复制大致分为3种方式：①for循环方式 ②clone方式 ③arrayCopy方
                                
                                
java web会话监听并使用spring注入
                                    bewithme
Java Web
                                    
  
      在java web应用中，当你想在建立会话或移除会话时，让系统做某些事情，比如说，统计在线用户，每当有用户登录时，或退出时，那么可以用下面这个监听器来监听。 
       
import java.util.ArrayList;
import java.ut
                                
                                
NoSQL数据库之Redis数据库管理(Redis的常用命令及高级应用)
                                    bijian1013
redis数据库NoSQL
                                    
一 .Redis常用命令 
        Redis提供了丰富的命令对数据库和各种数据库类型进行操作，这些命令可以在Linux终端使用。 
        a.键值相关命令 
        b.服务器相关命令 
1.键值相关命令 
      &
                                
                                
java枚举序列化问题
                                    bingyingao
java枚举序列化
                                    
对象在网络中传输离不开序列化和反序列化。而如果序列化的对象中有枚举值就要特别注意一些发布兼容问题: 
 
 
1.加一个枚举值 
新机器代码读分布式缓存中老对象，没有问题，不会抛异常。 
 
老机器代码读分布式缓存中新对像，反序列化会中断，所以在所有机器发布完成之前要避免出现新对象，或者提前让老机器拥有新增枚举的jar。 
 
 
 
  2.删一个枚举值 
新机器代码读分布式缓存中老对象，反序列
                                
                                
【Spark七十八】Spark Kyro序列化
                                    bit1129
spark
                                    
当使用SparkContext的saveAsObjectFile方法将对象序列化到文件，以及通过objectFile方法将对象从文件反序列出来的时候，Spark默认使用Java的序列化以及反序列化机制，通常情况下，这种序列化机制是很低效的，Spark支持使用Kyro作为对象的序列化和反序列化机制，序列化的速度比java更快，但是使用Kyro时要注意，Kyro目前还是有些bug。 
 
 Spark
                                
                                
Hybridizing OO and Functional Design
                                    bookjovi
erlanghaskell
                                    
  推荐博文：
Tell Above, and Ask Below - Hybridizing OO and Functional Design  
文章中把OO和FP讲的深入透彻，里面把smalltalk和haskell作为典型的两种编程范式代表语言，此点本人极为同意，smalltalk可以说是最能体现OO设计的面向对象语言，smalltalk的作者Alan kay也是OO的最早先驱，
                                
                                
Java-Collections Framework学习与总结-HashMap
                                    BrokenDreams
Collections
                                    
        开发中常常会用到这样一种数据结构，根据一个关键字，找到所需的信息。这个过程有点像查字典，拿到一个key，去字典表中查找对应的value。Java1.0版本提供了这样的类java.util.Dictionary(抽象类)，基本上支持字典表的操作。后来引入了Map接口，更好的描述的这种数据结构。 
 &nb
                                
                                
读《研磨设计模式》-代码笔记-职责链模式-Chain Of Responsibility
                                    bylijinnan
java设计模式
                                    
声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ 
 
 
 
 




/**
 * 业务逻辑：项目经理只能处理500以下的费用申请，部门经理是1000，总经理不设限。简单起见，只同意“Tom”的申请
 * bylijinnan
 */
abstract class Handler {
	/* 
                                
                                
Android中启动外部程序
                                    cherishLC
android
                                    
1、启动外部程序 
引用自： 
http://blog.csdn.net/linxcool/article/details/7692374 
 
//方法一
Intent intent=new Intent();
//包名 包名+类名（全路径）
intent.setClassName("com.linxcool", "com.linxcool.PlaneActi
                                
                                
summary_keep_rate
                                    coollyj
SUM
                                    

BEGIN  
      /*DECLARE  minDate varchar(20) ;
      DECLARE  maxDate varchar(20) ;*/
      DECLARE  stkDate varchar(20) ;

      DECLARE done int default -1; 
			/* 游标中 注册服务器地址 */  
      DE
                                
                                
hadoop hdfs 添加数据目录出错
                                    daizj
hadoophdfs扩容
                                    
由于原来配置的hadoop data目录快要用满了，故准备修改配置文件增加数据目录，以便扩容，但由于疏忽，把core-site.xml, hdfs-site.xml配置文件dfs.datanode.data.dir 配置项增加了配置目录，但未创建实际目录，重启datanode服务时，报如下错误： 
 
2014-11-18 08:51:39,128 WARN org.apache.hadoop.h
                                
                                
grep 目录级联查找
                                    dongwei_6688
grep
                                    
       在Mac或者Linux下使用grep进行文件内容查找时，如果给定的目标搜索路径是当前目录，那么它默认只搜索当前目录下的文件，而不会搜索其下面子目录中的文件内容，如果想级联搜索下级目录，需要使用一个“-r”参数： 
grep -n -r "GET" . 
  
上面的命令将会找出当前目录“.”及当前目录中所有下级目录
                                
                                
yii 修改模块使用的布局文件
                                    dcj3sjt126com
yiilayouts
                                    
方法一：yii模块默认使用系统当前的主题布局文件，如果在主配置文件中配置了主题比如:  'theme'=>'mythm',   那么yii的模块就使用 protected/themes/mythm/views/layouts 下的布局文件；   如果未配置主题，那么 yii的模块就使用  protected/views/layouts 下的布局文件， 总之默认不是使用自身目录 pr
                                
                                
设计模式之单例模式
                                    come_for_dream
设计模式单例模式懒汉式饿汉式双重检验锁失败无序写入
                                    
                今天该来的面试还没来，这个店估计不会来电话了，安静下来写写博客也不错，没事翻了翻小易哥的博客甚至与大牛们之间的差距，基础知识不扎实建起来的楼再高也只能是危楼罢了，陈下心回归基础把以前学过的东西总结一下。 
  
*********************************
                                
                                
8、数组
                                    豆豆咖啡
二维数组数组一维数组
                                    
  
一、概念 
  
    数组是同一种类型数据的集合。其实数组就是一个容器。 
  
二、好处 
  
    可以自动给数组中的元素从0开始编号，方便操作这些元素 
  
三、格式 
  
//一维数组
1,元素类型[] 变量名 = new 元素类型[元素的个数]
int[] arr =
                                
                                
Decode Ways
                                    hcx2013
decode
                                    
A message containing letters from A-Z is being encoded to numbers using the following mapping: 
'A' -> 1
'B' -> 2
...
'Z' -> 26
 
Given an encoded message containing digits, det
                                
                                
Spring4.1新特性——异步调度和事件机制的异常处理
                                    jinnianshilongnian
spring 4.1
                                    
目录 
Spring4.1新特性——综述 
Spring4.1新特性——Spring核心部分及其他 
Spring4.1新特性——Spring缓存框架增强 
Spring4.1新特性——异步调用和事件机制的异常处理 
Spring4.1新特性——数据库集成测试脚本初始化 
Spring4.1新特性——Spring MVC增强 
Spring4.1新特性——页面自动化测试框架Spring MVC T
                                
                                
squid3(高命中率)缓存服务器配置
                                    liyonghui160com

                                    
  
  
系统:centos 5.x 
  需要的软件:squid-3.0.STABLE25.tar.gz 
1.下载squid 
wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE25.tar.gz 
tar zxf squid-3.0.STABLE25.tar.gz &&
                                
                                
避免Java应用中NullPointerException的技巧和最佳实践
                                    pda158
java
                                    
1) 从已知的String对象中调用equals()和equalsIgnoreCase()方法，而非未知对象。   　　总是从已知的非空String对象中调用equals()方法。因为equals()方法是对称的，调用a.equals(b)和调用b.equals(a)是完全相同的，这也是为什么程序员对于对象a和b这么不上心。如果调用者是空指针，这种调用可能导致一个空指针异常 
Object unk
                                
                                
如何在Swift语言中创建http请求
                                    shoothao
httpswift
                                    
  
 概述：本文通过实例从同步和异步两种方式上回答了”如何在Swift语言中创建http请求“的问题。  
   
如果你对Objective-C比较了解的话，对于如何创建http请求你一定驾轻就熟了，而新语言Swift与其相比只有语法上的区别。但是，对才接触到这个崭新平台的初学者来说，他们仍然想知道“如何在Swift语言中创建http请求？”。 
在这里,我将作出一些建议来回答上述问题。常见的
                                
                                
Spring事务的传播方式
                                    uule
spring事务
                                    
传播方式：  
      新建事务 
      required 
      required_new   - 挂起当前 
  
      非事务方式运行 
      supports 
  &nbs
                                
                
            
        
    


    

        

            按字母分类：
            ABCDEFGHIJKLMNOPQRSTUVWXYZ其他
        
    


    

        

            首页 -
            关于我们 -
            站内搜索 -
            Sitemap -
            侵权投诉
        
        
版权所有 IT知识库 CopyRight © 2000-2050 E-COM-NET.COM , All Rights Reserved.