袁军峰
袁军峰

揭秘腾讯大数据平台与推荐应用架构

内容简介：

  • 腾讯的月活跃用户8.3亿
  • 微信月活跃用户4.4亿
  • QQ空间月活跃用户6.5亿
  • 游戏月活跃用户过亿

如今腾讯的数据分析已经能做到始终“不落地”，即全部的实时处理。腾讯大数据平台有如下核心模块：TDW、TRC、TDBank、TPR和 Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的实时计算，TPR负责精准推荐，TDBank则作为统一的数据采集入口，而底层的 Gaia则负责整个集群的资源调度和管理。李勇还特别强调了数据平台体系化是应用基础，数据应用商业化是价值导向。

数据平台体系化是应用基础，数据应用商业化是价值导向。

回到顶部

腾讯深度学习平台的挑战

深度神经网络模型复杂，训练数据多，计算量大

  • 模型复杂：人脑有100多亿个神经细胞，因此DNN的神经元和权重多
  • 训练数据多：大量训练数据才能训练出复杂模型
  •  微信语音识别：数万个神经元，超过50,000,000参数，超过4,000,000,000样本，单机训练耗时以年计，流行的GPU卡需数周

深度神经网络需要支持大模型

  •  更深更宽的网络能获得更好的结果
  •  以图像识别为例，增加卷积层的filter数量，加大模型深度等，可获得更好的模型质量

 深度神经网络训练中超参数多，需要反复多次实验

  •  非线性模型：代价函数非凸，容易收敛到局部最优解
  •  敏感的超参数：模型结构、输入数据处理方式、权重初始化方案、参数配置、激活函数选择、权重优化方法等
  • 数学基础研究稍显不足，倚重技巧和经验
回到顶部

腾讯深度学习平台Mariana

 腾讯有广泛的深度学习应用需求，其挑战如下

  •  模型复杂，训练数据多，计算量大
  •  需要支持大模型
  • 训练中超参数多，需要反复多次实验

 Mariana腾讯深度学习平台提供三个框架解决上述问题

  •  Mariana DNN: 深度神经网络的GPU数据并行框架
  •  Mariana CNN: 深度卷积神经网络的GPU数据并行和模型并行框架
  • Mariana Cluster: 深度神经网络的CPU集群框架

 Mariana已支持了训练加速、大模型和方便的训练作业

  •  微信语音识别6 GPU做到4.6倍加速比
  • 微信图像识别4 GPU做到2.5倍加速比，并支持大模型

 Mariana已成功应用到微信语音识别和微信图像识别，并在广点通广告推荐的点击率预估中积极尝试

揭秘腾讯大数据平台与推荐应用架构_第1张图片 揭秘腾讯大数据平台与推荐应用架构_第2张图片 揭秘腾讯大数据平台与推荐应用架构_第3张图片 揭秘腾讯大数据平台与推荐应用架构_第4张图片 揭秘腾讯大数据平台与推荐应用架构_第5张图片 揭秘腾讯大数据平台与推荐应用架构_第6张图片 揭秘腾讯大数据平台与推荐应用架构_第7张图片 揭秘腾讯大数据平台与推荐应用架构_第8张图片 揭秘腾讯大数据平台与推荐应用架构_第9张图片 揭秘腾讯大数据平台与推荐应用架构_第10张图片 揭秘腾讯大数据平台与推荐应用架构_第11张图片 揭秘腾讯大数据平台与推荐应用架构_第12张图片 揭秘腾讯大数据平台与推荐应用架构_第13张图片 揭秘腾讯大数据平台与推荐应用架构_第14张图片 揭秘腾讯大数据平台与推荐应用架构_第15张图片 揭秘腾讯大数据平台与推荐应用架构_第16张图片 揭秘腾讯大数据平台与推荐应用架构_第17张图片 揭秘腾讯大数据平台与推荐应用架构_第18张图片 揭秘腾讯大数据平台与推荐应用架构_第19张图片 揭秘腾讯大数据平台与推荐应用架构_第20张图片 揭秘腾讯大数据平台与推荐应用架构_第21张图片 揭秘腾讯大数据平台与推荐应用架构_第22张图片 揭秘腾讯大数据平台与推荐应用架构_第23张图片 揭秘腾讯大数据平台与推荐应用架构_第24张图片

揭秘腾讯大数据平台与推荐应用架构_第25张图片

揭秘腾讯大数据平台与推荐应用架构_第26张图片 揭秘腾讯大数据平台与推荐应用架构_第27张图片 揭秘腾讯大数据平台与推荐应用架构_第28张图片 揭秘腾讯大数据平台与推荐应用架构_第29张图片 揭秘腾讯大数据平台与推荐应用架构_第30张图片 揭秘腾讯大数据平台与推荐应用架构_第31张图片 揭秘腾讯大数据平台与推荐应用架构_第32张图片 揭秘腾讯大数据平台与推荐应用架构_第33张图片 揭秘腾讯大数据平台与推荐应用架构_第34张图片 揭秘腾讯大数据平台与推荐应用架构_第35张图片 揭秘腾讯大数据平台与推荐应用架构_第36张图片 揭秘腾讯大数据平台与推荐应用架构_第37张图片 揭秘腾讯大数据平台与推荐应用架构_第38张图片 揭秘腾讯大数据平台与推荐应用架构_第39张图片 揭秘腾讯大数据平台与推荐应用架构_第40张图片 揭秘腾讯大数据平台与推荐应用架构_第41张图片 揭秘腾讯大数据平台与推荐应用架构_第42张图片 揭秘腾讯大数据平台与推荐应用架构_第43张图片 揭秘腾讯大数据平台与推荐应用架构_第44张图片 揭秘腾讯大数据平台与推荐应用架构_第45张图片 揭秘腾讯大数据平台与推荐应用架构_第46张图片 揭秘腾讯大数据平台与推荐应用架构_第47张图片 揭秘腾讯大数据平台与推荐应用架构_第48张图片 揭秘腾讯大数据平台与推荐应用架构_第49张图片 揭秘腾讯大数据平台与推荐应用架构_第50张图片

 

来源：http://www.open-open.com/lib/view/open1418365306683.html

你可能感兴趣的:(揭秘腾讯大数据平台与推荐应用架构)

  • Docker使用指南与Dockerfile文件详解：从入门到实战 _S_Q dockereureka容器
    Docker使用指南与Dockerfile文件详解：从入门到实战文章目录**Docker使用指南与Dockerfile文件详解：从入门到实战****引言****第一部分：Docker核心概念速览****1.Docker基础架构****2.Docker核心命令****第二部分：Dockerfile文件深度解析****1.Dockerfile是什么？****2.Dockerfile核心指令详解****
  • [js高手之路] dom常用API【appendChild,insertBefore,removeChild,replaceChild,cloneNode】详解与应用 nqxcwl 前端javascriptappencchildinsertbeforeclonenodereplacechildremovechild
    本文主要讲解DOM常用的CURD操作，appendChild(往后追加节点),insertBefore(往前追加节点),removeChild(移除节点),replaceChild(替换节点),cloneNode(克隆节点)的语法与实战应用一、appendChild:向元素的内部最后面增加一个节点，或者移动一个现有的节点到元素的内部最后面用法:someNode.appendChild(newNod
  • 本周MoonBit新增Wasm1引用计数支持、语法即将添加错误恢复机制 MoonBit月兔 开发语言MoonBit编程语言程序员moonbit
    MoonBit更新【WasmMVP】Wasm1后端添加基于Perceus算法的引用计数支持【语法】throwraisetrycatch均被保留为关键字为了即将添加的错误处理机制【Core】List与sorted_map被移动至core/immut下List被移动至core/immut/list包中，并被移除内置类型支持leta=@immut/list.List::Cons(1,Cons(2,Nil
  • IM 即时通讯系统-06-聊一聊 IM 要如何保证扩展性？ 后端java
    IM系列聊一聊IM是什么？IM即时通讯系统概览聊一聊IM要如何设计？聊一聊IM要如何设计功能模块？聊一聊IM要如何进行架构设计？聊一聊IM要如何进行技术选型？聊一聊IM要如何保证安全性？聊一聊IM要如何保证扩展性？聊一聊IM要如何实现运维与监控？聊一聊IM要如何提升用户体验？聊一聊IM要如何进行测试与部署？聊一聊IM要如何编写文档+技术支持？聊一聊IM要如何打造差异化？聊一聊如何优化硬件聊一聊如何
  • HarmonyOS Next轻量化模型的部署与优化 harmonyos
    本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）中轻量化模型部署与优化相关技术细节，基于实际开发实践进行总结。主要作为技术分享与交流载体，难免错漏，欢迎各位同仁提出宝贵意见和问题，以便共同进步。本文为原创内容，任何形式的转载必须注明出处及原作者。一、模型部署概述与挑战（一）部署流程与重要性在HarmonyOSNext的应用开发中，将轻量化模型部署到设备上就像是为一艘船找
  • HarmonyOS Next模型轻量化的综合应用与未来展望 harmonyos
    本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）中模型轻量化的综合应用及未来发展趋势，基于实际开发实践进行总结。主要作为技术分享与交流载体，难免错漏，欢迎各位同仁提出宝贵意见和问题，以便共同进步。本文为原创内容，任何形式的转载必须注明出处及原作者。一、综合应用案例深度剖析（一）案例选择：智能驾驶场景智能驾驶是一个对模型性能、实时性和资源利用要求极高的复杂应用场景。在智能
  • 编程行业必备！12个热门AI工具帮你写代码~ 人工智能
    到今年，AI编程工具的发展已经非常成熟了，它们可以极大地提高开发效率，帮助程序员解决复杂问题，并优化代码质量。拒绝废话，今天给大家推荐12款AI编程工具！1悬镜安全灵脉AI开发安全卫士灵脉AI开发安全卫士是基于多模智能引擎的新一代静态代码安全扫描产品，通过自动化审查流程来定位潜在缺陷、提升审计效率和代码质量，并显著减少手动审查所需的时间和精力。该平台利用人工智能技术，提供逐行的代码反馈，建议改进和
  • 2025考研趋势与工具推荐：科学备战上岸的终极攻略
    2025考研深度解析：趋势洞察+高效工具指南，助你科学备战上岸从政策变化到工具实战，这份千字攻略解决99%考生的核心焦虑【热点引入：考研赛道进入“高难度模式”】2025年全国硕士研究生报名人数突破520万，报录比预计扩大至6:1。教育部最新政策显示，多所高校缩减学硕名额，专硕培养向“产教融合”倾斜；北大、复旦等34所自划线院校调整初试科目，新增“科研素养考核模块”。与此同时，#考研人的崩溃瞬间#话
  • 深入了解国外代理IP地址和端口的应用与优势 web3
    国外代理IP地址和端口是用于在网络上隐藏真实身份的重要工具。它们通过中转服务器来实现数据传输，从而使用户能够在浏览网页时保持匿名。使用国外代理IP地址和端口，不仅可以保护个人隐私，还能访问一些特定地区的内容，这在某些情况下尤为重要。这种技术的广泛应用，使得许多用户在日常生活中都能享受到更为安全和便捷的网络体验。什么是国外代理IP地址和端口？简单来说，国外代理IP地址就是一个位于其他国家的服务器的网
  • 已解决——如何让网站实现HTTPS访问？
    已解决——如何让网站实现HTTPS访问？随着网络安全的日益重要，越来越多的网站开始转向HTTPS协议，而不是传统的HTTP协议。HTTPS不仅能加密用户与网站之间的通信，还能提高网站的信任度和SEO排名。1.获取SSL证书为了启用HTTPS，首先需要为您的网站获取一个SSL证书。SSL证书是实现HTTPS加密的关键，确保所有通过浏览器访问您网站的数据都受到加密保护。免费SSL证书：如果您的预算有限
  • 图扑软件荣获 2023 年度福建省科学技术进步奖
    此前，2023年度福建省科学技术奖正式公布，根据《福建省科学技术奖励办法》有关规定，福建省科学技术奖励委员会组织对2023年度福建省科学技术奖进行评审，省政府决定对在科学技术进步活动中作出重要贡献的科学技术人员和组织给予奖励。图扑软件林意炜团队以《面向工业互联网的2D和3D数字孪生可视化引擎技术与产业化应用》内容荣获厦门市科学技术进步奖三等奖。图扑软件在先进可视化技术领域的卓越贡献不仅赢得了国家对
  • Photon：光子学与量子力学技术教程_2024-07-24_00-46-22.Tex chenjj4003 游戏开发2前端人工智能网络服务器运维
    Photon：光子学与量子力学技术教程光子学基础光子的概念光子是光的量子，是电磁辐射的基本粒子。在量子力学中，光子被描述为无质量、无电荷、能量为E=hνE=h\nuE=hν的粒子，其中hhh是普朗克常数，ν\nuν是光的频率。光子的这一特性，使得它在光的传播、吸收和发射过程中扮演着关键角色。光子的产生与检测光子的产生光子可以通过多种方式产生，其中最常见的是通过原子或分子的能级跃迁。当一个电子从高能
  • LangChain大模型应用开发：工作流编排 梦丶晓羽 langchainpython自然语言处理人工智能
    介绍大家好，博主又来给大家分享知识了，那么今天又给大家分享什么内容呢？今天我要给大家分享的内容是LangChain工作流编排。那么什么是LangChain工作流编排呢？简单来说，LangChain工作流编排就是将多个与自然语言处理相关的组件，像提示模板、大语言模型、各种实用工具等巧妙地组合在一起，形成一个有条理、可执行的流程。LangChain提供了多种方式来实现这种编排，其中很有特色的就是链式调
  • 最新河马剧场全自动挂机项目 2501_90701284 其他经验分享
    河马剧场助手是一款支持多账号操作的自动化工具以下是该项目的详细介绍：一、项目概述河马剧场助手支持多账号操作，推荐使用雷电模拟器进行多开，通过自动化操作，用户可以轻松完成新人签到领金币、每日签到、开宝箱、看剧领金币和逛街等任务，同时支持自动养号功能，确保账号的稳定性和安全性。二、核心功能（一）新人签到领金币（二）每日签到（三）开宝箱（四）看剧领金币（五）逛街（六）自动养号河马剧场助手支持自动养号功能
  • Linux内存管理方式 wjq++ 操作系统linux服务器网络
    Linux内存管理涉及到多个方面，包括物理内存的分配和回收、虚拟内存的管理、页面置换、内存保护等。以下是Linux内存管理的主要方式和机制：1.虚拟内存（VirtualMemory）虚拟地址空间：每个进程拥有自己的虚拟地址空间，虚拟地址空间与物理内存是分开的。进程在运行时使用虚拟地址，操作系统和硬件负责将虚拟地址映射到物理内存。页表（PageTables）：虚拟地址到物理地址的映射通过页表完成。每
  • Docker技术学习指南：从入门到实践 小码快撩 docker容器运维
    引言Docker是一款开源的应用容器引擎，起源于2013年，基于Go语言开发，并遵循Apache2.0协议进行开源发布。它的出现是为了解决软件交付过程中的“环境一致性”问题，通过将应用及其依赖打包成可移植、轻量级的容器（Container），确保应用在任何地方运行都能得到一致的行为和性能。一、Docker基础概念与安装：Docker基础概念1.镜像（Image）镜像是Docker容器的构建块，它是
  • 商汤绝影端到端自动驾驶的迭代优化 AGI大模型与大数据研究院 计算机软件编程原理与应用实践javapythonjavascriptkotlingolang架构人工智能
    自动驾驶,端到端,迭代优化,深度学习,感知,规划,控制,模型训练,数据增强,模型微调1.背景介绍随着人工智能和计算机视觉技术的飞速发展，自动驾驶汽车从科幻走进了现实。商汤科技推出的绝影端到端自动驾驶系统，就是其中的佼佼者。本文将深入剖析商汤绝影端到端自动驾驶系统的迭代优化过程，帮助读者理解其背后的技术原理和架构设计。2.核心概念与联系商汤绝影端到端自动驾驶系统的核心架构如下：graphLRA[感知
  • Hyperparameter Tuning 原理与代码实战案例讲解 AGI大模型与大数据研究院 DeepSeekR1&大数据AI人工智能计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    HyperparameterTuning原理与代码实战案例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：超参数调优，模型选择，性能提升，代码实战1.背景介绍1.1问题的由来在机器学习中，模型的选择和调优是至关重要的。模型选择涉及选择合适的算法和架构，而调优则集中在优化模型参数以提升性能。然而，模型参数众多，且每个参数的取值范围可能很广，
  • Docker 入门与实战：从安装到容器管理的完整指南 X_taiyang18 docker容器
    Docker入门与实战：从安装到容器管理的完整指南简介在现代软件开发中，容器化技术已经成为不可或缺的一部分。而Docker作为容器化领域的领头羊，以其轻量级、高效和跨平台的特性，深受开发者们的喜爱。本文将带你从零开始，逐步掌握Docker的安装、配置以及日常使用技巧，并结合实际案例为你提供一份详实的Docker使用指南。无论你是初学者还是有一定经验的开发者，都能从中受益！目录**Docker入门与
  • IM 即时通讯系统-05-聊一聊 IM 要如何保证安全性？ 后端java
    IM系列聊一聊IM是什么？IM即时通讯系统概览聊一聊IM要如何设计？聊一聊IM要如何设计功能模块？聊一聊IM要如何进行架构设计？聊一聊IM要如何进行技术选型？聊一聊IM要如何保证安全性？聊一聊IM要如何保证扩展性？聊一聊IM要如何实现运维与监控？聊一聊IM要如何提升用户体验？聊一聊IM要如何进行测试与部署？聊一聊IM要如何编写文档+技术支持？聊一聊IM要如何打造差异化？聊一聊如何优化硬件聊一聊如何
  • 《DeepSeek赋能工业互联网：解锁数据深度分析新姿势》 人工智能深度学习
    在工业4.0与智能制造的浪潮中，工业互联网成为制造业转型升级的关键支撑。而数据，作为工业互联网的核心资产，其深度分析的质量直接影响着企业的决策准确性、生产效率与竞争力。DeepSeek，作为AI大模型领域的佼佼者，凭借独特的算法优势，为工业互联网的数据深度分析开辟了新路径，带来了前所未有的变革。精准高效的数据采集与预处理在工业场景中，设备种类繁多、数据来源广泛且格式各异。DeepSeek研发的智能
  • 蓝桥与力扣刷题（102 二叉树的层序遍历） এ旧栎 leetcode算法数据结构学习方法
    题目：给你二叉树的根节点root，返回其节点值的层序遍历。（即逐层地，从左到右访问所有节点）。示例1：输入：root=[3,9,20,null,null,15,7]输出：[[3],[9,20],[15,7]]示例2：输入：root=[1]输出：[[1]]示例3：输入：root=[]输出：[]解题思路＋代码：代码：/***Definitionforabinarytreenode.*publiccla
  • AI 诊疗是经验医学还是循证医学？ 医学AppMatrix 有用的数据分析人工智能大数据深度学习
    随着deepseek的爆火，以及AI诊疗个案的肯定，似乎医生和患者都已经接受了AI在医学诊疗上的应用。人类诊疗模式存在经验医学和循证医学两种，那AI的诊疗是经验医学还是循证医学呢？一、AI诊疗经验医学还是循证医学？AI进行诊疗与经验医学、循证医学都有一定关联。经验医学角度经验医学主要依靠医生个人的临床经验来进行疾病的诊断和治疗决策。AI在一定程度上可以模拟经验医学。通过对大量医疗数据的学习，这些数
  • 控制论的革命者：阿拉德时代智利的技术与政治 shenminyin 控制论社会主义科学技术史赛博历史传记
    本书背景位于南美国家智利，版图形如窄条，夹在安第斯山脉与太平洋之间。1970年，智利选民选择了在萨尔瓦多·阿连德·戈森斯（SalvadorGuillermoAllendeGossens）的领导下通过民主道路进行社会主义变革。图书推荐书籍简介本书讲述了20世纪70年代智利阿连德政府时期，一场独特的技术与政治变革实验——Cybersyn项目。这是一个旨在通过控制论和计算机技术，建立覆盖全国的实时经济信
  • 基于eBPF的智能诊断平台：实现云原生系统的自愈型运维体系 桂月二二 云原生运维
    引言：从被动运维到预测性自愈的进化当某电商平台通过eBPF实时诊断系统提前48小时预测到MySQL集群的锁竞争风暴时，其核心是千万级指标粒度的内核状态分析与AI驱动的根因定位算法的结合。运维数据显示，该平台将平均故障恢复时间（MTTR）从23分钟压缩到71秒，并自动修复了87%的异常事件。通过动态注入修复策略，集群CPU毛刺现象减少了94%，开创了智能运维的新纪元。一、传统可观测性工具的桎梏1.1
  • AI日报 - 2025年02月16日 - 推特版 訾博ZiBo AI日报人工智能
    今日概览（60秒速览）▎AGI突破|阿里巴巴发布Qwen2.5-VL视觉语言模型，支持多模态交互新模型评测榜性能提升30%▎商业动向|NVIDIABlackwell超级芯片网络研讨会将聚焦生成式AI创新预计推动算力市场增长15%▎政策追踪|印度总统宣布AI国家战略升级，聚焦半导体与算法研发计划未来3年投入50亿美元一、今日热点(HotTopic)1.1阿里巴巴发布Qwen2.5-VL系列视觉语言模
  • 1分钟彻底搞懂“高内聚，低耦合” jmlinux C语言方法算法stm32嵌入式硬件单片机
    目录1.高内聚低耦合:2.生活类比理解耦合与内聚2.1高内聚情况2.2高耦合情况2.3低耦合情况3.程序开发中耦合的影响3.1高内聚示例3.2低耦合示例1.高内聚低耦合:一句话说明,每个模块只管自己的事，并且尽量不依赖其他模块。两句话说明,具体一点：高内聚：一个模块集中做好一件事，所有相关的代码都在一起。低耦合：不同模块之间的联系尽量少，修改一个模块不会影响其他模块。2.生活类比理解耦合与内聚我们
  • 编程之外的财富：程序员必知的盈利策略 guzhoumingyue AIpython
    程序员找到稳定盈利的管道可以从以下几个方面入手：1.开发软件产品SaaS（软件即服务）：开发并销售订阅制软件，如项目管理工具、CRM系统等。移动应用：开发并上架移动应用，通过广告、内购或付费下载盈利。桌面应用：开发桌面软件，通过一次性销售或订阅模式盈利。2.提供技术服务自由职业：在平台（如Upwork、Freelancer）上接单，提供编程、网站开发等服务。咨询与培训：为企业提供技术咨询或开设编程
  • Redis的安装及配置 尘鹄 redis学习之路redis数据库缓存
    redis的安装及配置1.安装依赖2.下载redis官方压缩包并安装3.修改redis.conf配置文件4.编辑redis系统服务文件本文使用的系统为Rocky8.10,其操作与CentOS8和RedHat8一样,读者可根据自己的版本进行灵活修改代码Redis是一个开源的内存数据库,提供了多种不同类型得到数据结构,很多的业务场景中的问题都可以很自然地映射到这些数据结构上。除此之外，通过复制持久化和
  • WebSocket协议里客户端发送给服务器的数据会用4字节的掩码循环异或的分析 cdcdhj nodejswebsocket服务器网络
    首先，我需要回顾WebSocket协议中对掩码处理的具体要求。根据RFC6455，客户端发送到服务器的帧必须使用掩码，而服务器发送的帧不需要掩码。掩码是4字节的，应用于有效载荷数据，每个字节依次与掩码的对应字节异或，循环使用掩码。例如，第一个字节与掩码的第0个字节异或，第二个与第1个，第三个与第2个，第四个与第3个，第五个又回到第0个，依此类推。用户提供的unmask函数看起来是正确的，因为它确实
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他