字节数据平台
字节数据平台

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览

技术与产品概览

架构设计

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览_第1张图片

 

元数据的接入

  • 元数据接入支持T+1和近实时两种方式
  • 上游系统：包括各类存储系统（比如Hive、 Clickhouse等）和业务系统（比如数据开发平台、数据质量平台等）
  • 中间层：
    • ETL Bridge：T+1方式运行，通常是从外部系统拉取最新元数据，与当前Catalog系统的元数据做对比，并更新差异的部分
    • MQ：用于暂存各类元数据增量消息，供Catalog系统近实时消费
    • 与上游系统打交道的各类Clients，封装了操作底层资源的能力

核心服务层

系统的核心服务，根据职责的不同，细拆为以下子服务：
  • Catalog Service：支持元数据的搜索、详情、修改等核心服务
  • Ingestion Service：接受外部系统调用，写入元数据，或主动从MQ中消费增量元数据
  • Resource Control Plane：通过各类Clients，与底层的存储或业务系统交互，操作底层资源，比如建库建表，能力可插拔
  • Q&A Service：问答系统相关能力，支持对元数据的字段含义、使用场景等提问和回答，能力可插拔
  • ML Service：负责封装与机器学习相关的能力，能力可插拔
  • API Layer：以RESTful API的形式整合系统中的各类能力

存储层

针对不同场景，选用的不同的存储：
  • Meta Store：存放全量元数据和血缘关系，当前使用的是HBase
  • Index Store：存放用于加速查询，支持全文索引等场景的索引，当前使用的是ElasticSearch
  • Model Store：存放推荐、打标等的算法模型信息，使用HDFS，当ML Service启用时使用

元数据的消费

  • 数据的生产者和消费者，通过Data Catalog的前端与系统交互
  • 下游在线服务可通过OpenAPI访问元数据，与系统交互
  • Metadata Outputs Layer：提供除了API之外的另外一种下游消费方式
    • MQ：用于暂存各类元数据变更消息，格式由Catalog系统官方定义
    • Data warehouse：以数仓表的形式呈现的全量元数据

产品功能升级

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览_第2张图片

 

产品能力上的升级迭代，大致分为以下几个阶段：
  • 基础能力建设（2017-2019）：数据源主要是离线数仓Hive，支持了Hive相关库表创建、元数据搜索与详情展示、表之间血缘，以及将相关表组织成业务视角的数据专题等
  • 中阶能力建设（2019-2020年中）：数据源扩展了Clickhouse与Kafka，支持了Hive列血缘，Q&A问答系统等
  • 架构升级（2020年中-2021年初）：产品能力迭代放缓，基于新设计升级架构
  • 能力提升与快速迭代（2021年至今）：数据源扩展为包含离线、近实时、业务等端到端系统，搜索和血缘能力有明显增强，探索机器学习能力，产品形态更成熟稳定。另外我们还具备了ToB售卖的能力。
点击跳转 
大数据研发治理套件-火山引擎
 了解更多

你可能感兴趣的:(火山引擎)

  • 【亲测免费】 Labview 2017 安装包管理器与Labview windows运行引擎下载
    Labview2017安装包管理器与Labviewwindows运行引擎下载【下载地址】Labview2017安装包管理器与Labviewwindows运行引擎下载本仓库为Labview2017用户提供一站式安装解决方案，包含Labview2017安装包管理器、64位Labview运行引擎以及LabWindows/CVI底层驱动程序。通过简单操作，用户可快速搭建完整的Labview开发与运行环境，
  • 618风控战升级，瑞数信息“动态安全+AI”利剑出鞘 科技云报道 安全人工智能
    每年的618电商促销季，都是各大电商平台和商家的兵家必争之地。数以亿计的消费者涌入线上平台，期待已久的优惠券、秒杀商品如潮水般涌现，海量交易在瞬间达成，无疑是一场商业狂欢。然而，在这场狂欢背后，自动化程序以毫秒级速度疯狂扫货囤积优惠券；AI驱动的拟人化攻击绕过传统规则引擎，以每秒数十万次的恶意请求冲击服务器；恶意API调用窥探用户数据，欺诈交易如影随形，这些隐形威胁正蚕食着电商生态的安全根基。面对
  • [Java实战]Spring Boot 整合 Freemarker (十一) 曼岛_ Java实战javaspringboot开发语言
    [Java实战]SpringBoot整合Freemarker(十一)引言ApacheFreeMarker作为一款高性能的模板引擎，凭借其简洁语法、卓越性能和灵活扩展性，在JavaWeb开发中占据重要地位。结合SpringBoot的自动化配置能力，开发者能快速构建动态页面、生成报表或定制代码。本文将系统讲解整合流程、实战技巧、性能优化方案，并针对企业级场景提供深度解决方案。一、Freemarker核
  • RAG 助力教育个性化：重塑学习体验的科技引擎 hy098543 学习科技
    一、引言1.1研究背景与动机随着自然语言处理（NLP）技术的飞速发展，大语言模型（LLM）在众多任务中展现出了强大的能力，如文本生成、问答系统和机器翻译等。然而，传统的大语言模型在知识存储和更新方面存在一定的局限性。一方面，模型的知识主要依赖于预训练阶段所接触的数据，这导致其知识更新滞后，难以应对快速变化的现实世界信息。例如，对于一些新出现的事件、技术或研究成果，模型可能无法及时给出准确的信息。另
  • 可编程的文字处理引擎TX Text Control .NET Server for Windows Forms burningblog
    TXTextControl.NETServerforWindowsForms控件是一个完全可编程的，用于ASP.NET服务器环境与MicrosoftInternetExplorer的文字处理引擎。它的设计理念就是在服务器端集中文字处理过程。具体功能：直接在浏览器中以所见即所得方式编辑文档TXTextControl.NETServer为您提供了一个浏览器控件，通过它可以在微软IE中以进行所见即所得模
  • 浏览器解码过程分析
    浏览器解码过程分析前言在学习xss漏洞的过程中我发现一个问题，当我想绕过过滤机制时，可以采用编码的方式进行绕过这种方法，但是并不是每一种编码格式都能绕过，需要不停的尝试才行，这样过于浪费时间。后来我发现浏览器与服务器数据传输过程中有好几种编码格式，不同的编码格式有着不同的解析引擎，作为一个浏览器，在解析一篇HTML文档时主要有三个处理过程：HTML解析，URL解析和JavaScript解析。每个解
  • Unity UI的未来之路：从UGUI到UI Toolkit的架构演进与特性剖析(1) 伽蓝_游戏 unityui架构游戏引擎游戏c#.net
    第一章：全面的特性对决——一份来自官方的详细评测报告在Unity引擎的UI开发领域，开发者主要面对两种核心技术选型：成熟且深度集成的UGUI(UnityUI)系统，以及代表未来方向、以性能和现代工作流为设计目标的UIToolkit。两者在底层架构、工作流程、性能模型和功能覆盖上存在本质差异。本章将基于详细的功能特性对比，对二者进行深入的技术分析，为开发者在项目初期做出合理的技术选型提供依据。核心差
  • Verilator的src目录(腾讯元宝) dadaobusi verilator
    src/目录是Verilator的核心源代码所在目录，包含了实现Verilator主要功能的C++源文件（.cpp文件）以及部分头文件（.h文件）。这些文件共同构成了Verilator的仿真引擎、信号管理、波形生成等核心功能。由于Verilator的代码规模较大且功能复杂，src/目录下的文件通常按照功能模块进行组织，但并没有像lib/目录那样明确地划分为多个子目录。因此，我们需要逐个分析src/
  • AI 驱动自动化运维平台架构与实现 大富大贵7 程序员知识储备1程序员知识储备2程序员知识储备3算法机器学习人工智能决策树大数据
    摘要：随着云计算、容器化和大规模分布式系统的普及，传统人工运维方法已难以满足现代IT环境中海量指标、日志和拓扑关系的实时分析与故障响应需求。AI驱动的自动化运维（AIOps）平台通过融合机器学习、深度学习、图分析以及强化学习等多学科技术，实现对海量运维数据的智能感知、预测、诊断和自动化修复。本文深入探讨AI驱动自动化运维平台的整体架构设计与核心技术实现，涵盖数据采集与预处理、AI引擎设计、自动化执
  • Python,C++,Go开发芯片电路设计APP Geeker-2025 pythonc++golang
    #芯片电路设计APP-Python/C++/Go综合开发方案##系统架构设计```mermaidgraphTDA[Web前端]-->B(Python设计界面)B-->C(GoAPI网关)C-->D[C++核心引擎]D-->E[硬件加速]F[数据库]-->CG[EDA工具链]-->DH[云服务]-->C```##技术栈分工|技术|应用领域|优势||------|----------|------||
  • Unity与VS2015协同调试C#脚本实战指南 带你玩遍北海道
    本文还有配套的精品资源，点击获取简介：Unity是广受青睐的跨平台游戏引擎，C#是其主要编程语言。VisualStudio2015作为一个强大的IDE，支持对Unity项目中的C#代码进行深入调试。本文将指导你如何设置VisualStudio2015作为Unity项目的官方外部脚本编辑器，并详细说明如何在VS2015中进行代码调试，包括断点设置、启动调试、调试操作和性能优化等步骤。了解这些调试技巧
  • MySQL存储引擎核心：了解Buffer Pool与Page管理机制 hdzw20 mysql数据库
    MySQL存储引擎核心：了解BufferPool与Page管理机制1.BufferPool：数据库的高速缓存1.1基本概念作用：缓存表数据与索引数据，减少磁盘IO组成：缓存数据页（Page，默认16KB）控制块（约800字节，记录表空间、页号、缓存页地址等）默认大小：128MB（控制块额外占用约5%内存）1.2工作流程查询过程：通过哈希表（Key=表空间号+页号）判断页是否在BufferPool缓
  • Unity引擎源码场景加载流程 你一身傲骨怎能输 游戏引擎场景加载流程
    Unity场景加载（SceneLoading）是Unity引擎中非常核心的功能。虽然Unity的完整C++引擎源码不开源，但通过Unity官方文档、部分开源C#层代码、Unity反编译、以及官方演讲资料，我们可以较为清晰地梳理出Unity场景加载的整体流程。下面我将从高层调用、C#层、C++引擎层、资源管理、异步加载、生命周期回调等角度，详细讲解Unity场景加载的源码流程。1.高层调用入口Uni
  • 合成孔径雷达干涉测量InSAR技术流程（星载/地基系统+DEM重建+DInSAR形变监测+时序分析）等 WangYan2022 遥感合成孔径雷达干涉测量InSAR形变信息提取地形三维重建
    合成孔径雷达干涉测量（InterferometricSyntheticApertureRadar,InSAR）技术作为一种新兴的主动式微波遥感技术，凭借其可以穿过大气层，全天时、全天候获取监测目标的形变信息等特性，已在地表形变监测、DEM生成、滑坡、火山活动、冰川运动、人工建筑物形变信息提取等多种领域展开了成功应用。通过典型案例，熟练掌握InSAR数据处理（包括InSAR高程测量、DInSAR形变
  • node.js详解 思静鱼 node.jsnode.js
    文章目录一、什么是Node.js？二、Node.js的核心组成三、Node.js的运行机制（事件循环）四、常见内置模块（无需安装）五、应用场景六、npm包生态七、Node.js适合哪些人？八、优缺点总结一、什么是Node.js？Node.js是一个基于ChromeV8引擎的JavaScript运行时，用于构建高性能网络应用。由RyanDahl于2009年发布。允许你在服务器端使用JavaScrip
  • 2025乐彩V8影视系统技术解析：双端原生架构与双H5免签封装实战 双端原生+双H5免签封装+TV级性能优化，一套代码打通全终端生态 CH资源网ch-h点cn（测评师 ） 架构性能优化
    1.双端原生实现方案Android端：基于Kotlin+JetpackCompose架构，深度优化ExoPlayer内核，支持4KHDR硬解与DRM加密流iOS端：Swift+SwiftUI构建，集成AVFoundation定制播放器，实现画中画与杜比全景声支持TV专属优化：针对AndroidTV和AppleTV分别实现焦点引擎和遥控器键位映射452.双H5站免签封装方案系统创新性地实现双H5站点
  • 阿里P8架构大神分享纯手写“kafka文档”看完直呼太牛！ chenxuyuana kafkajava分布式
    什么是KafkaKafka是由Linkedin公司开发的，它是一个分布式的，支持多分区、多副本，基于Zookeeper的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。kafka的外在表现很像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异：首先，kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩其次，kafka可以按照要求存储数据，保存多久都可以
  • 开源流程引擎Camunda简介 ° 安如少年初如梦662 Java学习记录java后端
    目录简单介绍主要组件与名词介绍常见名词解释核心组件介绍一些思考与前端的关系前端逻辑的简化后端接口的专注流程引擎的控制作用数据和状态的管理监控和管理的集中化参考资料简单介绍Camunda的本质是可以独立运行的一套流程引擎，流程引擎会根据预先设定（类似流程图内的流程图）好的规则和逻辑进行流程执行。主要组件与名词介绍常见名词解释BPMN：即业务流程模型和标记，是一种业界标准的流程建模语言。Camunda
  • 怎么加入广告联盟平台赚钱广告联盟平台(广告联盟挂机app)详细步骤 小易的生活
    加入广告联盟平台赚钱，是一个相对简单且有效的在线赚钱方式，特别适合拥有网站、博客、社交媒体账号或其他在线平台的个人或企业。以下是加入广告联盟平台并赚钱的详细步骤：选择合适的广告联盟平台搜索与了解：首先，你需要通过搜索引擎（如百度、谷歌）查找“广告联盟”或“网络广告”等关键词，找到一些知名的广告联盟平台，如GoogleAdSense、AmazonAssociates、百度联盟等。对比与选择：在选择平
  • 【Flink图计算源码解析】开篇：Flink图计算总览 hxcaifly FlinkFlink原理和应用
    文章目录1.图计算的作用2.本专题的写作目的3.FlinkGelly引擎总览3.1.Gelly的源码结构1.Graph的存储数据结构2.图的类别3.图的验证以及指标4.图的生成器5.Library6.图的迭代计算7.examples案例4.后记1.图计算的作用哲学上说事物之间普遍存在联系的，通常来说可以将事物看作图的顶点，事物间的联系看作图的边，典型的场景：对应于学术界的文献来说，每篇论文可以看作
  • 数据标注管理工具：AI燃料工厂的精益引擎 花海如潮淹 人工智能经验分享笔记
    标注团队的三重灾难链1.质量波动的死亡螺旋某自动驾驶公司因漏标3%的障碍物边缘，导致感知模型误判引发事故（IEEE2024案例）。质检员发现标注员A的错误率超行业标准5倍，但传统抽检仅覆盖8%数据量（ScaleAI白皮书）。2.任务调度的纳什困境某医疗影像标注项目，肝脏分割任务积压2周，而简单分类任务空闲率达37%（Labelbox调度报告）。标注员平均28%时间浪费在任务切换（Appen生产力研
  • Android音视频探索之旅 | C++层使用OpenGL ES实现音频渲染 慢行的骑兵 音视频android音视频NDK
    一.前言OpenGLES实现视频渲染已经实现-在Android音视频探索之旅|C++层使用OpenGLES实现视频渲染中，这一次我们使用OpenGLES实现音频渲染。二.通过OpenSLES播放音频2.1.整体流程1.创建OpenSL引擎2.创建混音器3.创建播放器4.执行播音操作（OpenSLES的播音过程比较特别，不像视频那样每放完一帧就主动休眠，而是每帧音频播放结束会自己回调，在回调的时候才
  • 站外SEO入门：三分钟掌握核心概念与基础操作 SEO_juper SEOGoogle数字营销seo谷歌数字营销谷歌seoseo优化
    站外SEO是您在网站之外所做的一切，以帮助它在SERP中排名更高。站内SEO侧重于内容、网站结构和技术改进，而站外SEO着眼于从外部建立信誉。有很多方法可以到达那里，从建立链接到社交媒体，再到获得那些令人垂涎的品牌提及。站外SEO对你意味着什么？通过站外SEO，您可以尝试为自己或您的企业获得信任和信誉。这个策略的很大一部分涉及链接建设，这涉及让其他网站链接回你的网站。这样做可以向搜索引擎表明您的内
  • 假发行业数字化突围，外贸ERP重构外协管理引擎，助力效率飞跃
    随着全球消费对个性化、美观化的要求不断提升，假发产品畅销欧美、日韩、中东等市场。然而，复杂的生产工艺、分散的外协点、层层交付节点，使得企业在外协管理上面临流程细节掌控不严、质量与交期难以保障的痛点。行业背景与外协管理痛点1、分散外协资源多假发产业链条长，从原料选购、毛发理发、梳理捻接，到编织上胶、定型喷雾，每个工序往往分包给不同的小作坊或手工作坊。资源分散导致管理难度大。2、流程节点多，信息孤岛严
  • 零事故网站重构：11步标准化流程与风险管理指南
    什么是网站重新设计？网站重新设计是一个涉及更改网站外观、内容和功能的过程。目标？开发一个更好地满足用户需求和业务目标的网站。网站更新涉及进行小规模的更改（例如对主页布局进行一些调整）。但是完全重新设计基本上是从头开始重建您现有的网站。网站重新设计检查清单通常包括以下要素：视觉设计：网站的外观，包括布局、配色方案、排版和品牌用户体验（UX）：网站如何为用户提供服务，包括导航和互动元素搜索引擎优化（S
  • 泥灸，就是这么给力！ 中医泥灸
    泥灸到底有多神奇？图片发自App泥灸可拔出你身体里面的寒湿，毒素，可以快速渗透到皮下6-7cm,药性直达病灶，有效调理慢性病症；泥灸中含有矿物泥，火山能量石，微量元素硒元素，可以有效的防癌抗癌；泥灸可代替抗生素消炎药，药性透皮吸收后可有效的消炎、杀菌、杀死癌细胞，百分百提高免疫力；泥灸是属阳之物，有效补充阳气，扶阳固本；泥灸可温养经络，祛湿散寒，调和气血；泥灸可活血化瘀，消炎止痛，排湿气，排寒气，
  • ReactNative 0.69发布 wayne214 前端
    ReactNative0.69正式版发布了，主要带来如下几点：1.React18的支持2.默认绑定引擎HermesReact18ReactNative0.69是第一个支持React18的正式版本。React18提供了更多提升，比如新的hookapi，userId等。此外，React18包括新的并发特性，例如useTransition或完整的Suspense支持。React18的更新后全面支持Sus
  • nodejs关于后端服务开发的探究 墨水白云 node.js
    前提在当前的环境中关于webserver的主流开发基本上都是java、php之类的，其中javaspring系列基本上占了大头，而python之流也在奋起直追，但别忘了nodejs也是可以做这个服务的，只是位置有点尴尬，现在就来探究下nodejs做webserver的当前现状。nodejs简介Node.js是一个基于ChromeV8引擎的JavaScript运行环境。Node.js使用了一个事件驱
  • filebeat原理架构 jiedaodezhuti 架构
    Filebeat是基于Golang开发的轻量级日志采集Agent，其核心架构设计围绕高效、可靠地采集与转发日志数据，主要组件和工作流程如下：‌一、核心架构组件‌‌输入(Inputs)‌负责监控指定的日志源（如文件路径、日志文件）。每个日志源由独立的‌Harvester（采集器）‌处理。‌Harvester（采集器）‌职责‌：逐行读取单个日志文件内容，将数据发送至处理引擎（Libbeat）。‌特性‌
  • EFK架构日志采集系统
    以下是基于‌Filebeat+Elasticsearch+Kibana（EFK）‌构建日志采集系统的核心要点及部署指南，综合多来源最佳实践整理：一、架构核心要点‌组件角色‌‌Filebeat‌：轻量级日志采集器，实时监控文件/目录变化，高效转发日志数据（资源占用仅为Logstash的1/10）。‌Elasticsearch‌：分布式搜索引擎，存储日志并提供实时检索与分析能力。‌Kibana‌：可视
  • HQL之投影查询 归来朝歌 HQLHibernate查询语句投影查询
            在HQL查询中，常常面临这样一个场景，对于多表查询，是要将一个表的对象查出来还是要只需要每个表中的几个字段，最后放在一起显示？ 针对上面的场景，如果需要将一个对象查出来： HQL语句写“from 对象”即可 Session session = HibernateUtil.openSession();
  • Spring整合redis bylijinnan redis
    pom.xml <dependencies> <!-- Spring Data - Redis Library --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redi
  • org.hibernate.NonUniqueResultException: query did not return a unique result: 2 0624chenhong Hibernate
    参考：http://blog.csdn.net/qingfeilee/article/details/7052736 org.hibernate.NonUniqueResultException: query did not return a unique result: 2         在项目中出现了org.hiber
  • android动画效果 不懂事的小屁孩 android动画
    前几天弄alertdialog和popupwindow的时候，用到了android的动画效果，今天专门研究了一下关于android的动画效果，列出来，方便以后使用。 Android 平台提供了两类动画。 一类是Tween动画，就是对场景里的对象不断的进行图像变化来产生动画效果（旋转、平移、放缩和渐变）。 第二类就是 Frame动画，即顺序的播放事先做好的图像，与gif图片原理类似。
  • js delete 删除机理以及它的内存泄露问题的解决方案 换个号韩国红果果 JavaScript
    delete删除属性时只是解除了属性与对象的绑定，故当属性值为一个对象时，删除时会造成内存泄露  （其实还未删除） 举例： var person={name:{firstname:'bob'}} var p=person.name delete person.name p.firstname -->'bob' // 依然可以访问p.firstname，存在内存泄露
  • Oracle将零干预分析加入网络即服务计划 蓝儿唯美 oracle
    由Oracle通信技术部门主导的演示项目并没有在本月较早前法国南斯举行的行业集团TM论坛大会中获得嘉奖。但是，Oracle通信官员解雇致力于打造一个支持零干预分配和编制功能的网络即服务（NaaS）平台，帮助企业以更灵活和更适合云的方式实现通信服务提供商（CSP）的连接产品。这个Oracle主导的项目属于TM Forum Live!活动上展示的Catalyst计划的19个项目之一。Catalyst计
  • spring学习——springmvc（二） a-john springMVC
    Spring MVC提供了非常方便的文件上传功能。 1，配置Spring支持文件上传： DispatcherServlet本身并不知道如何处理multipart的表单数据，需要一个multipart解析器把POST请求的multipart数据中抽取出来，这样DispatcherServlet就能将其传递给我们的控制器了。为了在Spring中注册multipart解析器，需要声明一个实现了Mul
  • POJ-2828-Buy Tickets aijuans ACM_POJ
    POJ-2828-Buy Tickets http://poj.org/problem?id=2828 线段树，逆序插入 #include<iostream>#include<cstdio>#include<cstring>#include<cstdlib>using namespace std;#define N 200010struct
  • Java Ant build.xml详解 asia007 build.xml
    1,什么是antant是构建工具2,什么是构建概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个3,ant的好处跨平台   --因为ant是使用java实现的，所以它跨平台使用简单--与ant的兄弟make比起来语法清晰--同样是和make相比功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有
  • android按钮监听器的四种技术 百合不是茶 androidxml配置监听器实现接口
    android开发中经常会用到各种各样的监听器,android监听器的写法与java又有不同的地方;    1,activity中使用内部类实现接口 ,创建内部类实例  使用add方法  与java类似   创建监听器的实例 myLis lis = new myLis();   使用add方法给按钮添加监听器  
  • 软件架构师不等同于资深程序员 bijian1013 程序员架构师架构设计
            本文的作者Armel Nene是ETAPIX Global公司的首席架构师，他居住在伦敦，他参与过的开源项目包括 Apache Lucene,，Apache Nutch， Liferay 和 Pentaho等。         如今很多的公司
  • TeamForge Wiki Syntax & CollabNet User Information Center sunjing TeamForgeHow doAttachementAnchorWiki Syntax
    the CollabNet user information center http://help.collab.net/   How do I create a new Wiki page? A CollabNet TeamForge project can have any number of Wiki pages. All Wiki pages are linked, and
  • 【Redis四】Redis数据类型 bit1129 redis
    概述 Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。 Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即string
  • SSH2整合-附源码 白糖_ eclipsespringtomcatHibernateGoogle
    今天用eclipse终于整合出了struts2+hibernate+spring框架。 我创建的是tomcat项目，需要有tomcat插件。导入项目以后，鼠标右键选择属性，然后再找到“tomcat”项，勾选一下“Is a tomcat project”即可。具体方法见源码里的jsp图片，sql也在源码里。     补充1：项目中部分jar包不是最新版的，可能导
  • [转]开源项目代码的学习方法 braveCS 学习方法
    转自： http://blog.sina.com.cn/s/blog_693458530100lk5m.html http://www.cnblogs.com/west-link/archive/2011/06/07/2074466.html   1）阅读features。以此来搞清楚该项目有哪些特性2）思考。想想如果自己来做有这些features的项目该如何构架3）下载并安装d
  • 编程之美-子数组的最大和（二维） bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; import java.util.Random; public class MaxSubArraySum2 { /** * 编程之美 子数组之和的最大值（二维） */ private static final int ROW = 5; private stat
  • 读书笔记-3 chengxuyuancsdn jquery笔记resultMap配置ibatis一对多配置
    1、resultMap配置 2、ibatis一对多配置 3、jquery笔记 1、resultMap配置 当<select resultMap="topic_data"> <resultMap id="topic_data">必须一一对应。 (1)<resultMap class="tblTopic&q
  • [物理与天文]物理学新进展 comsci
          如果我们必须获得某种地球上没有的矿石,才能够进行某些能量输出装置的设计和建造,而要获得这种矿石,又必须首先进行深空探测,而要进行深空探测,又必须获得这种能量输出装置,这个矛盾的循环,会导致地球联盟在与宇宙文明建立关系的时候,陷入困境       怎么办呢?  
  • Oracle 11g新特性:Automatic Diagnostic Repository daizj oracleADR
    Oracle Database 11g的FDI（Fault Diagnosability Infrastructure）是自动化诊断方面的又一增强。 FDI的一个关键组件是自动诊断库（Automatic Diagnostic Repository-ADR）。 在oracle 11g中，alert文件的信息是以xml的文件格式存在的，另外提供了普通文本格式的alert文件。 这两份log文
  • 简单排序:选择排序 dieslrae 选择排序
    public void selectSort(int[] array){ int select; for(int i=0;i<array.length;i++){ select = i; for(int k=i+1;k<array.leng
  • C语言学习六指针的经典程序，互换两个数字 dcj3sjt126com c
    示例程序，swap_1和swap_2都是错误的，推理从1开始推到2，2没完成，推到3就完成了 # include <stdio.h> void swap_1(int, int); void swap_2(int *, int *); void swap_3(int *, int *); int main(void) { int a = 3; int b =
  • php 5.4中php-fpm 的重启、终止操作命令 dcj3sjt126com PHP
    php 5.4中php-fpm 的重启、终止操作命令: 查看php运行目录命令：which php/usr/bin/php 查看php-fpm进程数：ps aux | grep -c php-fpm 查看运行内存/usr/bin/php  -i|grep mem 重启php-fpm/etc/init.d/php-fpm restart 在phpinfo()输出内容可以看到php
  • 线程同步工具类 shuizhaosi888 同步工具类
    同步工具类包括信号量（Semaphore）、栅栏（barrier）、闭锁（CountDownLatch）   闭锁（CountDownLatch） public class RunMain { public long timeTasks(int nThreads, final Runnable task) throws InterruptedException { fin
  • bleeding edge是什么意思 haojinghua DI
    不止一次，看到很多讲技术的文章里面出现过这个词语。今天终于弄懂了——通过朋友给的浏览软件，上了wiki。  我再一次感到，没有辞典能像WiKi一样，给出这样体贴人心、一清二楚的解释了。为了表达我对WiKi的喜爱，只好在此一一中英对照，给大家上次课。   In computer science, bleeding edge is a term that
  • c中实现utf8和gbk的互转 jimmee ciconvutf8&gbk编码
    #include <iconv.h> #include <stdlib.h> #include <stdio.h> #include <unistd.h> #include <fcntl.h> #include <string.h> #include <sys/stat.h> int code_c
  • 大型分布式网站架构设计与实践 lilin530 应用服务器搜索引擎
    1.大型网站软件系统的特点？ a.高并发，大流量。 b.高可用。 c.海量数据。 d.用户分布广泛，网络情况复杂。 e.安全环境恶劣。 f.需求快速变更，发布频繁。 g.渐进式发展。 2.大型网站架构演化发展历程？ a.初始阶段的网站架构。 应用程序，数据库，文件等所有的资源都在一台服务器上。 b.应用服务器和数据服务器分离。 c.使用缓存改善网站性能。 d.使用应用
  • 在代码中获取Android theme中的attr属性值 OliveExcel androidtheme
    Android的Theme是由各种attr组合而成, 每个attr对应了这个属性的一个引用, 这个引用又可以是各种东西.   在某些情况下, 我们需要获取非自定义的主题下某个属性的内容 (比如拿到系统默认的配色colorAccent), 操作方式举例一则: int defaultColor = 0xFF000000; int[] attrsArray = { andorid.r.
  • 基于Zookeeper的分布式共享锁 roadrunners zookeeper分布式共享锁
    首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。   共享锁在同一个进程中是很容易实现的，但在跨进程或者在不同Server之间就不好实现了。Zookeeper就很容易实现。具体的实现原理官网和其它网站也有翻译，这里就不在赘述了。   官
  • 两个容易被忽略的MySQL知识 tomcat_oracle mysql
    1、varchar(5)可以存储多少个汉字，多少个字母数字？ 　　相信有好多人应该跟我一样，对这个已经很熟悉了，根据经验我们能很快的做出决定，比如说用varchar(200)去存储url等等，但是，即使你用了很多次也很熟悉了，也有可能对上面的问题做出错误的回答。 　　这个问题我查了好多资料，有的人说是可以存储5个字符，2.5个汉字（每个汉字占用两个字节的话），有的人说这个要区分版本，5.0
  • zoj 3827 Information Entropy(水题) 阿尔萨斯 format
    题目链接：zoj 3827 Information Entropy 题目大意：三种底，计算和。 解题思路：调用库函数就可以直接算了，不过要注意Pi = 0的时候，不过它题目里居然也讲了。。。limp→0+plogb(p)=0，因为p是logp的高阶。 #include <cstdio> #include <cstring> #include <cmath&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他