字节数据平台
字节数据平台

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览

技术与产品概览

架构设计

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览_第1张图片

 

元数据的接入

  • 元数据接入支持T+1和近实时两种方式
  • 上游系统：包括各类存储系统（比如Hive、 Clickhouse等）和业务系统（比如数据开发平台、数据质量平台等）
  • 中间层：
    • ETL Bridge：T+1方式运行，通常是从外部系统拉取最新元数据，与当前Catalog系统的元数据做对比，并更新差异的部分
    • MQ：用于暂存各类元数据增量消息，供Catalog系统近实时消费
    • 与上游系统打交道的各类Clients，封装了操作底层资源的能力

核心服务层

系统的核心服务，根据职责的不同，细拆为以下子服务：
  • Catalog Service：支持元数据的搜索、详情、修改等核心服务
  • Ingestion Service：接受外部系统调用，写入元数据，或主动从MQ中消费增量元数据
  • Resource Control Plane：通过各类Clients，与底层的存储或业务系统交互，操作底层资源，比如建库建表，能力可插拔
  • Q&A Service：问答系统相关能力，支持对元数据的字段含义、使用场景等提问和回答，能力可插拔
  • ML Service：负责封装与机器学习相关的能力，能力可插拔
  • API Layer：以RESTful API的形式整合系统中的各类能力

存储层

针对不同场景，选用的不同的存储：
  • Meta Store：存放全量元数据和血缘关系，当前使用的是HBase
  • Index Store：存放用于加速查询，支持全文索引等场景的索引，当前使用的是ElasticSearch
  • Model Store：存放推荐、打标等的算法模型信息，使用HDFS，当ML Service启用时使用

元数据的消费

  • 数据的生产者和消费者，通过Data Catalog的前端与系统交互
  • 下游在线服务可通过OpenAPI访问元数据，与系统交互
  • Metadata Outputs Layer：提供除了API之外的另外一种下游消费方式
    • MQ：用于暂存各类元数据变更消息，格式由Catalog系统官方定义
    • Data warehouse：以数仓表的形式呈现的全量元数据

产品功能升级

火山引擎 DataLeap 构建Data Catalog系统的实践（二）：技术与产品概览_第2张图片

 

产品能力上的升级迭代，大致分为以下几个阶段：
  • 基础能力建设（2017-2019）：数据源主要是离线数仓Hive，支持了Hive相关库表创建、元数据搜索与详情展示、表之间血缘，以及将相关表组织成业务视角的数据专题等
  • 中阶能力建设（2019-2020年中）：数据源扩展了Clickhouse与Kafka，支持了Hive列血缘，Q&A问答系统等
  • 架构升级（2020年中-2021年初）：产品能力迭代放缓，基于新设计升级架构
  • 能力提升与快速迭代（2021年至今）：数据源扩展为包含离线、近实时、业务等端到端系统，搜索和血缘能力有明显增强，探索机器学习能力，产品形态更成熟稳定。另外我们还具备了ToB售卖的能力。
点击跳转 
大数据研发治理套件-火山引擎
 了解更多

你可能感兴趣的:(火山引擎)

  • 添加 ChatGPT/Grok/Gemini 到浏览器搜索引擎 YiYueHuan 搜索引擎GrokChatGPT
    添加ChatGPT/Grok/Gemini到浏览器搜索引擎添加ChatGPT/Grok/Gemini到浏览器搜索引擎如何添加步骤1:打开浏览器设置步骤2:添加新搜索引擎步骤3:保存设置注意事项添加ChatGPT/Grok/Gemini到浏览器搜索引擎在使用ChatGPT/Grok/Gemini进行对话时，每次都需要先打开对应的网页，然后再进行对话，非常繁琐。因此，我们可以将这些工具添加到浏览器的搜
  • 国内外AI搜索产品盘点 Suee2020 人工智能
    序号AISearch产品名简介网站开发者1Perplexity强大的对话式AI搜索引擎https://www.perplexity.aiPerplexity2GensparkAIAgent搜索引擎https://www.genspark.aiMainFunc（景鲲、朱凯华）3Kimi.ai智能助手https://kimi.moonshot.cn/月之暗面（杨植麟）4秘塔AI搜索AI搜索引擎http
  • element audio 标签 不显示_BenQ 明基专业摄影显示器SW270C开箱评测体验 weixin_39685130 elementaudio标签不显示
    前言继BenQSW271显示器(评测链接)之后，BenQ又推出了专业影像工作者的高效利器—SW270C(官网链接)，搭配27英寸2K分辨率IPS屏，覆盖99%AdobeRGB、100%sRGB\Rec.709及97%P3广色域，并采用全新的色彩引擎实现亮度色温均匀性，使屏幕各个部分呈现均匀一致的色彩。新推出的16-bit3DLUT结合硬件校准让屏幕色彩更加准确，能够还原真实的色彩。另外，BenQS
  • Elasticsearch大文件检索性能提升20倍实践（干货）_elasticsearch 查询优化 2401_84247505 2024年程序员学习elasticsearchjenkins大数据
    3、问题排查与定位步骤1：限定返回记录条数。不提供直接访问末页的入口。baidu，360，搜狗等搜索引擎都不提供访问末页的请求方式。都是基于如下的请求方式：通过点击上一下、下一页逐页访问。这个从用户的角度也很好理解，搜索引擎返回的前面都是相关度最高的，也是用户最关心的信息。Elasticsearch的默认支持的数据条数是10000条，可以通过post请求修改。最终，本步骤将支持ES最大返回值100
  • 开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来. 人工智能
    开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来在数字化转型加速的今天，企业新质生产力的核心已从传统资源投入转向技术驱动的效率革命。开源应用凭借其灵活性、成本优势和技术创新力，成为企业实现这一目标的关键引擎。作为开源技术与行业场景化落地的领航者，Websoft9通过企业应用平台（EPP）、AI智能引擎与知识库系统三位一体的解决方案，助力企业快速构建新一代生产力工具，实
  • 从图形处理到通用计算的进化之路 绿算技术 GPU架构介绍科技gpu算力
    图形处理单元，作为现代计算机中不可或缺的一部分，已经从最初的图形渲染专用处理器，发展成为强大的并行计算引擎，广泛应用于人工智能、科学计算、游戏娱乐等领域。本文将深入探讨GPU架构的演变历程、核心组件以及其在不同应用场景中的优势。GPU架构的演变：从固定功能到可编程流水线早期的GPU采用固定功能流水线架构，专为图形渲染任务而设计。这种架构将图形渲染流程划分为一系列固定的阶段，例如顶点处理、光栅化、纹
  • 从零开始探索C++游戏开发：性能、控制与无限可能 南玖yy C++游戏开发c
    一、为何选择C++开发游戏？在虚幻引擎5渲染的次世代画面背后，在《巫师3》的庞大开放世界中，在《毁灭战士》的丝滑60帧战斗里，C++始终扮演着核心技术角色。这门诞生于1983年的语言，至今仍占据着游戏引擎开发语言使用率榜首（根据2023年GameDev调查数据）。其核心竞争力体现在：硬件级控制：手动内存管理允许精确控制资源分配，这对需要管理数百万多边形和4K纹理的3A游戏至关重要零成本抽象：模板元
  • DPU的架构：模块化与可扩展性 绿算技术 DPU架构介绍架构科技缓存算法
    DPU的架构设计注重模块化和可扩展性，以下是其典型架构：1.网络接口模块支持高速网络接口，例如100GbE、200GbE，甚至更高带宽的接口。2.处理核心模块包括多个ARM核心和专用加速核心，用于处理控制平面和数据平面任务。3.硬件加速模块包括网络加速引擎、存储加速引擎、加密引擎等，用于加速特定任务。4.内存与缓存集成高速内存和缓存，用于存储临时数据和指令。5.PCIe接口模块提供与主机CPU的高
  • 数据处理的革命性引擎 绿算技术 DPU架构介绍硬件工程科技缓存
    随着数据量的爆炸式增长和计算需求的多样化，传统的CPU和GPU已经无法完全满足现代数据中心和高性能计算的需求。在这样的背景下，DPU（DataProcessingUnit，数据处理单元）应运而生。DPU是一种专为数据处理和网络加速设计的处理器，正在成为数据中心和云计算架构中的重要组成部分。接下来，由绿算技术与大家一起学习DPU有哪些功能、技术、原理等等内容。DPU的功能：数据处理的“全能选手”DP
  • 百度蜘蛛池是什么 asdjka2wfd 百度百度小程序百度云算法
    百度蜘蛛池是一种SEO策略或程序，旨在吸引百度搜索引擎的爬虫（百度蜘蛛）更频繁地访问和收录网站内容5。以下是关于它的详细介绍：构成要素：通常包括大量的域名资源、强大的服务器支持以及复杂的链接结构。大量的域名数量众多，来源多样；强大的服务器是为了承载众多域名的运行和大量的访问请求，确保稳定和高效的服务；而复杂的链接结构则将各个域名和页面相互连接，形成一个有机的整体，引导蜘蛛在其中爬行。www.sgs
  • 现代游戏UI架构深度解析——以UIController为核心的模块化界面管理系统 晴空了无痕 项目框架游戏ui架构
    一、架构全景与设计哲学本文将以重构后的UIController为核心，深入探讨Unity引擎下的高效UI管理方案。该体系采用"分层-分治"设计理念，通过界面生命周期管理、动态适配策略、资源优化机制三个维度的协同工作，构建了适应复杂交互需求的弹性UI框架。我们将从以下关键维度展开技术分析：二、核心模块技术解析2.1中枢控制器（UIController）namespaceGameCore.Interf
  • 开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来 ai开发
    开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来在数字化转型加速的今天，企业新质生产力的核心已从传统资源投入转向技术驱动的效率革命。开源应用凭借其灵活性、成本优势和技术创新力，成为企业实现这一目标的关键引擎。作为开源技术与行业场景化落地的领航者，Websoft9通过企业应用平台（EPP）、AI智能引擎与知识库系统三位一体的解决方案，助力企业快速构建新一代生产力工具，实
  • 开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来！ 深度学习
    开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来在数字化转型加速的今天，企业新质生产力的核心已从传统资源投入转向技术驱动的效率革命。开源应用凭借其灵活性、成本优势和技术创新力，成为企业实现这一目标的关键引擎。作为开源技术与行业场景化落地的领航者，Websoft9通过企业应用平台（EPP）、AI智能引擎与知识库系统三位一体的解决方案，助力企业快速构建新一代生产力工具，实
  • DeepSeek多语言智能创作引擎解析 智能计算研究中心 其他
    内容概要在人工智能技术加速演进的背景下，DeepSeek系列产品通过混合专家架构（MoE）与670亿参数的协同设计，构建了多模态智能创作引擎的核心竞争力。该系统依托动态路由机制，将视觉语言理解模块与多语言处理单元进行深度耦合，使模型在解析图文混合信息时展现出超越单一模态的认知能力。尤为突出的是，其分层参数激活策略将推理成本降低至传统密集模型的38%，同时维持了95%以上的任务完成精度。行业分析机构
  • 虚幻引擎入门指南-世界构建建议 LiliaY 虚幻引擎入门指南unreal
    1.选择工具快速选择一类快速选择使用某资产的actor统计数据面板也可以选择2.让草沉入地下，与地表垂直，并且向上生长
  • 浏览器中输入 URL 到显示主页的完整过程 27xixi java高频java
    在浏览器中输入URL到显示主页的完整过程涉及网络通信、资源加载、渲染引擎协作等多个环节。以下是详细步骤：URL解析输入处理：浏览器解析URL格式（协议、域名、路径、参数等），若未指定协议（如直接输入example.com），默认补全为http://或https://。安全检查：检查地址合法性（如屏蔽恶意域名）。DNS解析将域名转换为IP地址：本地缓存查询浏览器缓存→系统hosts文件→路由器缓存→
  • 虚幻引擎入门_光照 MJ-MK 虚幻引擎入门虚幻游戏引擎
    光照静态/固定/可移动物体静态物体在任何情况都不允许移动，且允许光照烘焙，渲染速度最快，开销最小。固定物体不能在运行时运动，启用光照缓存，缓存动态阴影。可移动物体可以在运行时移动，投射动态阴影，渲染速度最慢。静态/固定/可移动光源定向光源是固定光源，是平行光，只能旋转，移动和缩放都不造成影响，常用于模拟太阳光。点光源类似白炽灯，可以移动和缩放，但旋转没有意义，常用于区域照明。聚光源可以移动、旋转、
  • JavaScript性能优化指南：聚焦DOM操作优化 桃木山人 技术杂谈javascript性能优化开发语言
    引言：性能优化的关键路径在Web应用开发中，JavaScript性能直接影响用户体验。虽然存在多种优化手段，但DOM操作优化往往能带来最显著的性能提升。本文将以DOM操作为核心展开深入分析，并简要概述其他优化方向。核心优化：DOM操作性能提升1.问题根源分析浏览器渲染引擎与JavaScript引擎独立运作，频繁的DOM操作会导致：重排（Reflow）：计算元素几何属性重绘（Repaint）：更新元
  • 小狐狸AI数字人源码独立SAAS部署全开源+搭建环境教程 kaui52066 kaui52066精品源码人工智能uni-app前端小程序php小狐狸AI数字人数字人源码
    一.系统介绍小狐狸AI数字人分身系统源码独立部署支持PC端、小程序端、H5端，一键克隆真人形象+声音核心功能亮点：1:1真人级克隆技术声音克隆：上传3分钟音频，AI深度学习声纹特征，复刻语气、情感、方言形象克隆：通过照片/视频建模，生成动态3D数字人，表情自然，动作流畅智能口型同步引擎AI算法精准匹配唇形与语音，实现口型同步0门槛SAAS化操作无需专业设备，网页端一键生成数字人视频海量模板库：电商
  • 用SpringBoot做一个web小案例环境搭建 只恨天高 Java代码笔记springbootjava后端
    前面我讲了四部分内容：springboot入门，springboot的配置相关知识点，springboot的视图模板引擎，springboot整合持久层框架有了这些知识点，我们就可以来完成一个相对功能完整的增删改查的小案例了，这个案例我们把以前讲JavaWeb入门课程中的哪个例子重新写一遍，基本功能：登录，用户列表显示，用户信息的增删改查，用户的模糊查询等，选用的技术由springboot2.0.
  • 基于Docker及Kubernetes技术构建容器云（PaaS）平台概述_基于kubernetes iaas(1) 2401_83946044 程序员dockerkubernetespaas
    |组成模块|模块说明||—|—||AppRouter[流量接入层]|接收用户请求，并转发到不同的AppRuntime。||AppRuntime[应用运行层]|应用运行环境，为各个应用提供基本的运行引擎，从而让app能够运行起来。||Services[基础服务层]|各个通用基础服务，主要是对主流的服务提供通用的接入，例如数据库等。||PlatformControl[平台控制层]|整个平台的控制中心，
  • 基于异构特征融合与轻量级集成学习的软件漏洞挖掘方案设计与Python实现 rockmelodies 信息安全网络安全机器学习集成学习python机器学习人工智能
    标题：基于异构特征融合与轻量级集成学习的软件漏洞挖掘方案设计与Python实现一、方案设计原理异构特征工程静态特征：基于AST的代码属性图（CPG）解析（使用Joern+NetworkX）动态特征：内存访问模式分析（通过QEMU模拟执行）上下文特征：CWE漏洞模式匹配（集成Semgrep规则引擎）轻量级模型架构
  • 算法在各领域的广泛应用：100 个实例全解析 软件职业规划 AI&模型算法
    一、互联网与信息技术领域搜索引擎算法：如谷歌的PageRank算法，用于根据网页的重要性和相关性对搜索结果进行排序，帮助用户快速找到所需信息。推荐系统算法：例如亚马逊和Netflix使用的协同过滤算法。根据用户的历史行为（购买、观看记录等）和其他相似用户的偏好，为用户推荐可能感兴趣的产品或内容。社交网络分析算法：用于分析社交网络中的用户关系，如Facebook通过算法发现用户的好友推荐、社区划分等
  • HuggingFace下载模型并导入Ollama指南 Repetion_Maxumim embedding语言模型人工智能自然语言处理ai
    此处以moka-ai/m3e-base模型下载为例。众所周知，HuggingFace仓库托管了诸多训练模型。DeepSeek官方也将完整满血版DeepSeek-R1:671B模型镜像托管在此仓库，但是目前国内无法直接从HugingFace下载。并且，一般为了快速部署，会选择Ollama这类管模型管理工具，类似Docker引擎一样，但是Ollama支持的模型镜像格式（如GGUF）HuggingFac
  • 开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来! 人工智能
    开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来在数字化转型加速的今天，企业新质生产力的核心已从传统资源投入转向技术驱动的效率革命。开源应用凭借其灵活性、成本优势和技术创新力，成为企业实现这一目标的关键引擎。作为开源技术与行业场景化落地的领航者，Websoft9通过企业应用平台（EPP）、AI智能引擎与知识库系统三位一体的解决方案，助力企业快速构建新一代生产力工具，实
  • springboot 整合 elk （Elasticsearch+Logstash+Kibana） 高大王竟然被注册 spring运维
    Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。Kibana也是一个开源和免费的工具，它Kibana可以为Logstash和ElasticSearch提供的日志分析友好的Web界
  • 百度快速收录2025最新科普 SEORoal 百度
    跨境物流的智能突围战宁波某RCEP跨境物流平台接入214维特征矩阵后：✅'智能清关系统’72小时冲进TOP3✅'东盟电子报关’长尾词覆盖量暴涨4.2倍✅日均有效询盘突破300+技术三板斧：标题智能提取引擎（支持38种语义变异）动态阻抗参数混淆（误差≤0.15μΩ）实时工商特征同步（每2小时更新）2025生存指南：采用神经网络语义映射（NLP准确率98.2%）部署质量监控系统（误差率≤0.15%）加
  • HarmonyNext深度解析：ArkUI高效渲染与性能优化实战 披光人 harmonyOSubuntulinux运维
    一、HarmonyNext渲染引擎技术演进（约1200字技术解析）HarmonyOSNext在UI渲染架构层面实现了重大突破，其创新的ArkUI渲染引擎采用分层异步架构设计。核心改进包括：原子化渲染管线采用基于Vulkan的跨平台渲染后端，通过原子化渲染指令拆分技术，实现绘制指令的并行执行能力。在华为Mate60系列实测中，复杂界面渲染延迟降低42%智能脏区检测机制基于机器学习的区域更新预测算法，
  • 开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来 开源
    开源应用驱动企业新质生产力：Websoft9以EPP+AI+知识库助您领跑未来在数字化转型加速的今天，企业新质生产力的核心已从传统资源投入转向技术驱动的效率革命。开源应用凭借其灵活性、成本优势和技术创新力，成为企业实现这一目标的关键引擎。作为开源技术与行业场景化落地的领航者，Websoft9通过企业应用平台（EPP）、AI智能引擎与知识库系统三位一体的解决方案，助力企业快速构建新一代生产力工具，实
  • 信息检索系统评估指标的层级分析：从单点精确度到整体性能度量 人工智能深度学习llm检索系统
    在构建搜索引擎系统时，有效的评估机制是保证系统质量的关键环节。当用户输入查询词如"machinelearningtutorialspython"，系统返回结果列表后，如何客观评估这些结果的相关性和有效性？这正是信息检索评估指标的核心价值所在。分析用户与搜索引擎的交互模式，我们可以观察到以下行为特征：用户主要关注结果列表的前几项对顶部结果的关注度显著高于底部结果用户基于多次搜索体验形成对搜索系统整体
  • HQL之投影查询 归来朝歌 HQLHibernate查询语句投影查询
            在HQL查询中，常常面临这样一个场景，对于多表查询，是要将一个表的对象查出来还是要只需要每个表中的几个字段，最后放在一起显示？ 针对上面的场景，如果需要将一个对象查出来： HQL语句写“from 对象”即可 Session session = HibernateUtil.openSession();
  • Spring整合redis bylijinnan redis
    pom.xml <dependencies> <!-- Spring Data - Redis Library --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redi
  • org.hibernate.NonUniqueResultException: query did not return a unique result: 2 0624chenhong Hibernate
    参考：http://blog.csdn.net/qingfeilee/article/details/7052736 org.hibernate.NonUniqueResultException: query did not return a unique result: 2         在项目中出现了org.hiber
  • android动画效果 不懂事的小屁孩 android动画
    前几天弄alertdialog和popupwindow的时候，用到了android的动画效果，今天专门研究了一下关于android的动画效果，列出来，方便以后使用。 Android 平台提供了两类动画。 一类是Tween动画，就是对场景里的对象不断的进行图像变化来产生动画效果（旋转、平移、放缩和渐变）。 第二类就是 Frame动画，即顺序的播放事先做好的图像，与gif图片原理类似。
  • js delete 删除机理以及它的内存泄露问题的解决方案 换个号韩国红果果 JavaScript
    delete删除属性时只是解除了属性与对象的绑定，故当属性值为一个对象时，删除时会造成内存泄露  （其实还未删除） 举例： var person={name:{firstname:'bob'}} var p=person.name delete person.name p.firstname -->'bob' // 依然可以访问p.firstname，存在内存泄露
  • Oracle将零干预分析加入网络即服务计划 蓝儿唯美 oracle
    由Oracle通信技术部门主导的演示项目并没有在本月较早前法国南斯举行的行业集团TM论坛大会中获得嘉奖。但是，Oracle通信官员解雇致力于打造一个支持零干预分配和编制功能的网络即服务（NaaS）平台，帮助企业以更灵活和更适合云的方式实现通信服务提供商（CSP）的连接产品。这个Oracle主导的项目属于TM Forum Live!活动上展示的Catalyst计划的19个项目之一。Catalyst计
  • spring学习——springmvc（二） a-john springMVC
    Spring MVC提供了非常方便的文件上传功能。 1，配置Spring支持文件上传： DispatcherServlet本身并不知道如何处理multipart的表单数据，需要一个multipart解析器把POST请求的multipart数据中抽取出来，这样DispatcherServlet就能将其传递给我们的控制器了。为了在Spring中注册multipart解析器，需要声明一个实现了Mul
  • POJ-2828-Buy Tickets aijuans ACM_POJ
    POJ-2828-Buy Tickets http://poj.org/problem?id=2828 线段树，逆序插入 #include<iostream>#include<cstdio>#include<cstring>#include<cstdlib>using namespace std;#define N 200010struct
  • Java Ant build.xml详解 asia007 build.xml
    1,什么是antant是构建工具2,什么是构建概念到处可查到，形象来说，你要把代码从某个地方拿来，编译，再拷贝到某个地方去等等操作，当然不仅与此，但是主要用来干这个3,ant的好处跨平台   --因为ant是使用java实现的，所以它跨平台使用简单--与ant的兄弟make比起来语法清晰--同样是和make相比功能强大--ant能做的事情很多，可能你用了很久，你仍然不知道它能有
  • android按钮监听器的四种技术 百合不是茶 androidxml配置监听器实现接口
    android开发中经常会用到各种各样的监听器,android监听器的写法与java又有不同的地方;    1,activity中使用内部类实现接口 ,创建内部类实例  使用add方法  与java类似   创建监听器的实例 myLis lis = new myLis();   使用add方法给按钮添加监听器  
  • 软件架构师不等同于资深程序员 bijian1013 程序员架构师架构设计
            本文的作者Armel Nene是ETAPIX Global公司的首席架构师，他居住在伦敦，他参与过的开源项目包括 Apache Lucene,，Apache Nutch， Liferay 和 Pentaho等。         如今很多的公司
  • TeamForge Wiki Syntax & CollabNet User Information Center sunjing TeamForgeHow doAttachementAnchorWiki Syntax
    the CollabNet user information center http://help.collab.net/   How do I create a new Wiki page? A CollabNet TeamForge project can have any number of Wiki pages. All Wiki pages are linked, and
  • 【Redis四】Redis数据类型 bit1129 redis
    概述 Redis是一个高性能的数据结构服务器，称之为数据结构服务器的原因是，它提供了丰富的数据类型以满足不同的应用场景，本文对Redis的数据类型以及对这些类型可能的操作进行总结。 Redis常用的数据类型包括string、set、list、hash以及sorted set.Redis本身是K/V系统，这里的数据类型指的是value的类型，而不是key的类型，key的类型只有一种即string
  • SSH2整合-附源码 白糖_ eclipsespringtomcatHibernateGoogle
    今天用eclipse终于整合出了struts2+hibernate+spring框架。 我创建的是tomcat项目，需要有tomcat插件。导入项目以后，鼠标右键选择属性，然后再找到“tomcat”项，勾选一下“Is a tomcat project”即可。具体方法见源码里的jsp图片，sql也在源码里。     补充1：项目中部分jar包不是最新版的，可能导
  • [转]开源项目代码的学习方法 braveCS 学习方法
    转自： http://blog.sina.com.cn/s/blog_693458530100lk5m.html http://www.cnblogs.com/west-link/archive/2011/06/07/2074466.html   1）阅读features。以此来搞清楚该项目有哪些特性2）思考。想想如果自己来做有这些features的项目该如何构架3）下载并安装d
  • 编程之美-子数组的最大和（二维） bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; import java.util.Random; public class MaxSubArraySum2 { /** * 编程之美 子数组之和的最大值（二维） */ private static final int ROW = 5; private stat
  • 读书笔记-3 chengxuyuancsdn jquery笔记resultMap配置ibatis一对多配置
    1、resultMap配置 2、ibatis一对多配置 3、jquery笔记 1、resultMap配置 当<select resultMap="topic_data"> <resultMap id="topic_data">必须一一对应。 (1)<resultMap class="tblTopic&q
  • [物理与天文]物理学新进展 comsci
          如果我们必须获得某种地球上没有的矿石,才能够进行某些能量输出装置的设计和建造,而要获得这种矿石,又必须首先进行深空探测,而要进行深空探测,又必须获得这种能量输出装置,这个矛盾的循环,会导致地球联盟在与宇宙文明建立关系的时候,陷入困境       怎么办呢?  
  • Oracle 11g新特性:Automatic Diagnostic Repository daizj oracleADR
    Oracle Database 11g的FDI（Fault Diagnosability Infrastructure）是自动化诊断方面的又一增强。 FDI的一个关键组件是自动诊断库（Automatic Diagnostic Repository-ADR）。 在oracle 11g中，alert文件的信息是以xml的文件格式存在的，另外提供了普通文本格式的alert文件。 这两份log文
  • 简单排序:选择排序 dieslrae 选择排序
    public void selectSort(int[] array){ int select; for(int i=0;i<array.length;i++){ select = i; for(int k=i+1;k<array.leng
  • C语言学习六指针的经典程序，互换两个数字 dcj3sjt126com c
    示例程序，swap_1和swap_2都是错误的，推理从1开始推到2，2没完成，推到3就完成了 # include <stdio.h> void swap_1(int, int); void swap_2(int *, int *); void swap_3(int *, int *); int main(void) { int a = 3; int b =
  • php 5.4中php-fpm 的重启、终止操作命令 dcj3sjt126com PHP
    php 5.4中php-fpm 的重启、终止操作命令: 查看php运行目录命令：which php/usr/bin/php 查看php-fpm进程数：ps aux | grep -c php-fpm 查看运行内存/usr/bin/php  -i|grep mem 重启php-fpm/etc/init.d/php-fpm restart 在phpinfo()输出内容可以看到php
  • 线程同步工具类 shuizhaosi888 同步工具类
    同步工具类包括信号量（Semaphore）、栅栏（barrier）、闭锁（CountDownLatch）   闭锁（CountDownLatch） public class RunMain { public long timeTasks(int nThreads, final Runnable task) throws InterruptedException { fin
  • bleeding edge是什么意思 haojinghua DI
    不止一次，看到很多讲技术的文章里面出现过这个词语。今天终于弄懂了——通过朋友给的浏览软件，上了wiki。  我再一次感到，没有辞典能像WiKi一样，给出这样体贴人心、一清二楚的解释了。为了表达我对WiKi的喜爱，只好在此一一中英对照，给大家上次课。   In computer science, bleeding edge is a term that
  • c中实现utf8和gbk的互转 jimmee ciconvutf8&gbk编码
    #include <iconv.h> #include <stdlib.h> #include <stdio.h> #include <unistd.h> #include <fcntl.h> #include <string.h> #include <sys/stat.h> int code_c
  • 大型分布式网站架构设计与实践 lilin530 应用服务器搜索引擎
    1.大型网站软件系统的特点？ a.高并发，大流量。 b.高可用。 c.海量数据。 d.用户分布广泛，网络情况复杂。 e.安全环境恶劣。 f.需求快速变更，发布频繁。 g.渐进式发展。 2.大型网站架构演化发展历程？ a.初始阶段的网站架构。 应用程序，数据库，文件等所有的资源都在一台服务器上。 b.应用服务器和数据服务器分离。 c.使用缓存改善网站性能。 d.使用应用
  • 在代码中获取Android theme中的attr属性值 OliveExcel androidtheme
    Android的Theme是由各种attr组合而成, 每个attr对应了这个属性的一个引用, 这个引用又可以是各种东西.   在某些情况下, 我们需要获取非自定义的主题下某个属性的内容 (比如拿到系统默认的配色colorAccent), 操作方式举例一则: int defaultColor = 0xFF000000; int[] attrsArray = { andorid.r.
  • 基于Zookeeper的分布式共享锁 roadrunners zookeeper分布式共享锁
    首先，说说我们的场景，订单服务是做成集群的，当两个以上结点同时收到一个相同订单的创建指令，这时并发就产生了，系统就会重复创建订单。等等......场景。这时，分布式共享锁就闪亮登场了。   共享锁在同一个进程中是很容易实现的，但在跨进程或者在不同Server之间就不好实现了。Zookeeper就很容易实现。具体的实现原理官网和其它网站也有翻译，这里就不在赘述了。   官
  • 两个容易被忽略的MySQL知识 tomcat_oracle mysql
    1、varchar(5)可以存储多少个汉字，多少个字母数字？ 　　相信有好多人应该跟我一样，对这个已经很熟悉了，根据经验我们能很快的做出决定，比如说用varchar(200)去存储url等等，但是，即使你用了很多次也很熟悉了，也有可能对上面的问题做出错误的回答。 　　这个问题我查了好多资料，有的人说是可以存储5个字符，2.5个汉字（每个汉字占用两个字节的话），有的人说这个要区分版本，5.0
  • zoj 3827 Information Entropy(水题) 阿尔萨斯 format
    题目链接：zoj 3827 Information Entropy 题目大意：三种底，计算和。 解题思路：调用库函数就可以直接算了，不过要注意Pi = 0的时候，不过它题目里居然也讲了。。。limp→0+plogb(p)=0，因为p是logp的高阶。 #include <cstdio> #include <cstring> #include <cmath&
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他