袁军峰
袁军峰

揭秘腾讯大数据平台与推荐应用架构

内容简介：

  • 腾讯的月活跃用户8.3亿
  • 微信月活跃用户4.4亿
  • QQ空间月活跃用户6.5亿
  • 游戏月活跃用户过亿

如今腾讯的数据分析已经能做到始终“不落地”，即全部的实时处理。腾讯大数据平台有如下核心模块：TDW、TRC、TDBank、TPR和 Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的实时计算，TPR负责精准推荐，TDBank则作为统一的数据采集入口，而底层的 Gaia则负责整个集群的资源调度和管理。李勇还特别强调了数据平台体系化是应用基础，数据应用商业化是价值导向。

数据平台体系化是应用基础，数据应用商业化是价值导向。

回到顶部

腾讯深度学习平台的挑战

深度神经网络模型复杂，训练数据多，计算量大

  • 模型复杂：人脑有100多亿个神经细胞，因此DNN的神经元和权重多
  • 训练数据多：大量训练数据才能训练出复杂模型
  •  微信语音识别：数万个神经元，超过50,000,000参数，超过4,000,000,000样本，单机训练耗时以年计，流行的GPU卡需数周

深度神经网络需要支持大模型

  •  更深更宽的网络能获得更好的结果
  •  以图像识别为例，增加卷积层的filter数量，加大模型深度等，可获得更好的模型质量

 深度神经网络训练中超参数多，需要反复多次实验

  •  非线性模型：代价函数非凸，容易收敛到局部最优解
  •  敏感的超参数：模型结构、输入数据处理方式、权重初始化方案、参数配置、激活函数选择、权重优化方法等
  • 数学基础研究稍显不足，倚重技巧和经验
回到顶部

腾讯深度学习平台Mariana

 腾讯有广泛的深度学习应用需求，其挑战如下

  •  模型复杂，训练数据多，计算量大
  •  需要支持大模型
  • 训练中超参数多，需要反复多次实验

 Mariana腾讯深度学习平台提供三个框架解决上述问题

  •  Mariana DNN: 深度神经网络的GPU数据并行框架
  •  Mariana CNN: 深度卷积神经网络的GPU数据并行和模型并行框架
  • Mariana Cluster: 深度神经网络的CPU集群框架

 Mariana已支持了训练加速、大模型和方便的训练作业

  •  微信语音识别6 GPU做到4.6倍加速比
  • 微信图像识别4 GPU做到2.5倍加速比，并支持大模型

 Mariana已成功应用到微信语音识别和微信图像识别，并在广点通广告推荐的点击率预估中积极尝试

揭秘腾讯大数据平台与推荐应用架构_第1张图片 揭秘腾讯大数据平台与推荐应用架构_第2张图片 揭秘腾讯大数据平台与推荐应用架构_第3张图片 揭秘腾讯大数据平台与推荐应用架构_第4张图片 揭秘腾讯大数据平台与推荐应用架构_第5张图片 揭秘腾讯大数据平台与推荐应用架构_第6张图片 揭秘腾讯大数据平台与推荐应用架构_第7张图片 揭秘腾讯大数据平台与推荐应用架构_第8张图片 揭秘腾讯大数据平台与推荐应用架构_第9张图片 揭秘腾讯大数据平台与推荐应用架构_第10张图片 揭秘腾讯大数据平台与推荐应用架构_第11张图片 揭秘腾讯大数据平台与推荐应用架构_第12张图片 揭秘腾讯大数据平台与推荐应用架构_第13张图片 揭秘腾讯大数据平台与推荐应用架构_第14张图片 揭秘腾讯大数据平台与推荐应用架构_第15张图片 揭秘腾讯大数据平台与推荐应用架构_第16张图片 揭秘腾讯大数据平台与推荐应用架构_第17张图片 揭秘腾讯大数据平台与推荐应用架构_第18张图片 揭秘腾讯大数据平台与推荐应用架构_第19张图片 揭秘腾讯大数据平台与推荐应用架构_第20张图片 揭秘腾讯大数据平台与推荐应用架构_第21张图片 揭秘腾讯大数据平台与推荐应用架构_第22张图片 揭秘腾讯大数据平台与推荐应用架构_第23张图片 揭秘腾讯大数据平台与推荐应用架构_第24张图片

揭秘腾讯大数据平台与推荐应用架构_第25张图片

揭秘腾讯大数据平台与推荐应用架构_第26张图片 揭秘腾讯大数据平台与推荐应用架构_第27张图片 揭秘腾讯大数据平台与推荐应用架构_第28张图片 揭秘腾讯大数据平台与推荐应用架构_第29张图片 揭秘腾讯大数据平台与推荐应用架构_第30张图片 揭秘腾讯大数据平台与推荐应用架构_第31张图片 揭秘腾讯大数据平台与推荐应用架构_第32张图片 揭秘腾讯大数据平台与推荐应用架构_第33张图片 揭秘腾讯大数据平台与推荐应用架构_第34张图片 揭秘腾讯大数据平台与推荐应用架构_第35张图片 揭秘腾讯大数据平台与推荐应用架构_第36张图片 揭秘腾讯大数据平台与推荐应用架构_第37张图片 揭秘腾讯大数据平台与推荐应用架构_第38张图片 揭秘腾讯大数据平台与推荐应用架构_第39张图片 揭秘腾讯大数据平台与推荐应用架构_第40张图片 揭秘腾讯大数据平台与推荐应用架构_第41张图片 揭秘腾讯大数据平台与推荐应用架构_第42张图片 揭秘腾讯大数据平台与推荐应用架构_第43张图片 揭秘腾讯大数据平台与推荐应用架构_第44张图片 揭秘腾讯大数据平台与推荐应用架构_第45张图片 揭秘腾讯大数据平台与推荐应用架构_第46张图片 揭秘腾讯大数据平台与推荐应用架构_第47张图片 揭秘腾讯大数据平台与推荐应用架构_第48张图片 揭秘腾讯大数据平台与推荐应用架构_第49张图片 揭秘腾讯大数据平台与推荐应用架构_第50张图片

 

来源：http://www.open-open.com/lib/view/open1418365306683.html

你可能感兴趣的:(揭秘腾讯大数据平台与推荐应用架构)

  • 2025年PHP框架推荐及对比 行思理 LNMP运维php开发语言
    以下是针对2025年PHP框架的推荐及全方位对比分析，结合性能、功能生态、适用场景等核心维度，帮助开发者做出合理选择：一、主流PHP框架推荐1.Laravel核心特性：以优雅的语法和强大的功能著称，支持EloquentORM、Blade模板引擎、队列系统等，适合复杂业务开发。社区生态丰富，提供大量扩展包（如Passport、Horizon）。性能：RPS约200-500，适合中大型项目，但对高并发
  • 微信小程序开发：开发者工具安装与配置 暮雨哀尘 微信小程序开发notepad++微信小程序开发语言小程序jsonhtml前端
    微信开发者工具安装与配置摘要：本文深入研究了微信开发者工具的安装与配置过程，为开发者提供了详尽的指导。通过对工具的下载、安装步骤，以及开发环境的配置方法进行细致阐述，结合丰富的源代码实例和详细的表格，帮助开发者全面掌握微信开发者工具的使用，提升小程序开发的效率与质量，推动微信小程序生态的持续繁荣。一、引言在移动互联网蓬勃发展的当下，微信作为一款拥有庞大用户群体的社交应用，其小程序生态正呈现出蓬勃发
  • 【一起学Rust | Tauri2.0框架】基于 Rust 与 Tauri 2.0 框架实现软件开机自启 广龙宇 Tauri2应用开发一起学Rustrust策略模式开发语言
    文章目录前言一、准备工作1.1环境搭建1.2创建Tauri项目1.3添加依赖二、实现开机自启的基本原理2.1开机自启的基本概念2.2Tauri应用的生命周期三、Windows平台实现3.1Windows注册表机制3.2实现步骤3.3注意事项四、Linux平台实现4.1Linuxsystemd服务4.2实现步骤4.3Rust实现4.4注意事项五、macOS平台实现5.1macOSLaunchAgen
  • vue2实现表格拖拽功能。整列的数据可以随意拖拽排序，但是行的拖拽只影响当前列 火炬冬天 vue.jsjavascriptelementui
    概述本文介绍基于Vue2实现的表格组件，支持以下核心功能：列拖拽排序（整列位置交换）行拖拽排序（每列内部独立排序）自适应列宽与内容溢出提示可视化拖拽反馈效果数据与视图的自动同步功能演示源码分享{{column.label}}-->⠿{{data[rowIndex][column.prop]}}importdraggablefrom'vuedraggable';exportdefault{compo
  • linux下安装卸载永中office步骤,永中集成Office For Linux安装图文指南及简介 weixin_39625975
    永中集成OfficeForLinux安装图文指南及简介永中集成Office在一套标准的用户界面下集成了文字处理、电子表格和简报制作三大应用，提供自选图形、艺术字、剪贴画、图表和科教编辑器等附加功能；基于创新的数据对象储藏库专利技术，有效解决了Office各应用之间的数据集成问题，构成了一套独具特色的集成办公软件。永中集成Office用户界面和使用方式与常见Office相似，易学易用；能够双向精确兼
  • AI：对比ChatGPT这类聊天机器人，人形机器人对人类有哪些不一样的影响？ InnoLink_1024 AGI人工智能机器学习chatgpt人工智能机器人
    人形机器人与像ChatGPT这样的聊天机器人相比，虽然都属于人工智能技术的应用，但由于其具备的物理形态和与环境的互动能力，它们对人类的影响会有很大的不同。下面从多个角度进行对比，阐述它们各自对人类的不同影响：1.物理交互与虚拟交互人形机器人：具有物理形态，能够在物理世界中与人类进行直接交互。例如，搬运物品、进行日常家务、提供身体上的帮助（如扶持老人、帮助走路等），以及进行非语言的沟通（如手势、面部
  • 芯片：CPU和GPU有什么区别？ InnoLink_1024 AGI人工智能人工智能aiagigpu算力
    CPU（中央处理器）和GPU（图形处理单元）是计算机系统中两种非常重要的处理器，它们各自有不同的设计理念、架构特点以及应用领域。下面是它们之间的一些主要差异：1.设计目的与应用领域CPU：设计目的是为了处理广泛的计算任务，包括操作系统管理、应用程序运行和基本的输入输出处理等。它处理的是复杂的、通用的计算任务，通常包括控制逻辑、内存管理等。GPU：设计目的是为了处理图形和并行计算任务。最初是为图形渲
  • 【一起学Rust | Tauri2.0框架】基于 Rust 与 Tauri 2.0 框架实现跨平台二维码扫描应用 金枝玉叶9 程序员知识储备1程序员知识储备2程序员知识储备3rust开发语言后端
    《一起学Rust|Tauri2.0框架》是一个结合Rust语言与Tauri框架开发跨平台应用的教程。Tauri2.0是一个非常适合构建跨平台桌面应用的框架，它让开发者可以使用Web技术（如HTML、CSS、JavaScript）来创建前端，同时利用Rust编写后端逻辑，确保应用运行高效且轻量。在这个教程中，开发者可以学习如何使用Rust与Tauri2.0框架实现一个跨平台二维码扫描应用。具体步骤可
  • 第十三章 Java多线程——阻塞队列 龙少丶 javajava开发语言
    13.1阻塞队列的由来我们假设一种场景，生产者一直生产资源，消费者一直消费资源，资源存储在一个缓存池中，生产者将生产的资源存进缓存池中，消费者从缓存池中拿到资源进行消费，这就是大名鼎鼎的生产者-消费者模式。该模式能够简化开发过程，一方面消除了生产者与消费者类之间的代码依赖性，另方面将生产数据的过程与使用数据的过程解耦简单化负载。我们⾃⼰coding实现这个模式的时候，因为需要让多个线程操作共享变量
  • 基于PyTorch和ResNet18的花卉识别实战（附完整代码） 意.远 pytorch人工智能python深度学习
    一、项目背景与效果花卉分类是计算机视觉的经典任务。本文使用PyTorch框架，基于ResNet18模型实现了102种花卉的分类任务。完整代码可直接复制运行，最终验证集准确率达8.2%，文中同步分析性能瓶颈与优化方案。二、环境配置与数据准备1.环境要求#主要依赖库importtorchfromtorchimportnn,optimfromtorchvisionimporttransforms,dat
  • http 从请求到响应的过程中发生了什么 沃野_juededa http网络协议网络
    ‌DNS域名解析‌：当用户在浏览器地址栏输入网址时，浏览器首先会尝试从自身的DNS缓存中查找域名的IP地址。如果缓存中没有找到，浏览器会向系统DNS缓存、hosts文件以及本地DNS服务器发起查询请求，最终获取到域名的IP地址‌。‌TCP三次握手‌：浏览器与服务器建立TCP连接，这个过程称为三次握手。服务器监听端口，客户端发送SYN包请求连接，服务器响应SYN+ACK包，客户端再次发送ACK包确认
  • Python列表与元组的深度剖析 jijihusong006 程序pythonwindows开发语言
    Python列表与元组的深度剖析：从底层实现到应用场景的全方位对比一、核心差异概览Python教程https://pan.quark.cn/s/7cefe3163f45传送代资料库https://link3.cc/aa99特性列表(List)元组(Tuple)可变性可变(Mutable)不可变(Immutable)语法表示方括号[]圆括号()内存占用较大(动态数组结构)较小(静态数组结构)哈希支持
  • iOS 模块化架构设计：主流方案与实现详解 Ethan. L 架构ios架构
    随着iOS工程规模的扩大，模块化设计成为提升代码可维护性、团队协作效率和开发灵活性的关键。本文将探讨为什么需要模块化，介绍四种主流的模块化架构方案（协议抽象、依赖注入、路由机制和事件总线），并通过代码示例和对比表格帮助开发者选择适合的方案。一、为什么需要模块化？1.代码可维护性随着工程规模的增长，代码量迅速增加，模块化可以将代码拆分为独立的功能模块，降低代码复杂度，提升可维护性。2.团队协作效率模
  • 推荐开源项目：Tower - 网络服务构建利器 劳治亮
    推荐开源项目：Tower-网络服务构建利器towerasyncfn(Request)->Result项目地址:https://gitcode.com/gh_mirrors/to/towerTower是一个为构建强大、模块化和可重用的网络客户端和服务端组件库。这个库以其高效且易于使用的特性，为开发者提供了一种便捷的方式去构建可靠的网络应用。项目介绍Tower面向的是那些希望简化网络通信复杂性的开发者
  • 推荐项目：yaml-pro，提升你的YAML编辑体验 余靖年Veronica
    推荐项目：yaml-pro，提升你的YAML编辑体验项目地址:https://gitcode.com/gh_mirrors/ya/yaml-pro在日常的开发工作中，YAML作为配置文件的宠儿，其简洁明了的语法深受开发者喜爱。然而，当面对复杂或庞大的YAML文件时，高效的编辑工具就显得至关重要。因此，我们强烈推荐一款专为Emacs用户设计的开源神器——yaml-pro，它利用tree-sitter
  • 探索电商大数据的艺术：TBBKAnalysis深度解读与应用推荐 洪显彦Lawyer
    探索电商大数据的艺术：TBBKAnalysis深度解读与应用推荐TBBKAnalysis关于淘宝“爆款”数据爬取与分析。具体分析见—项目地址:https://gitcode.com/gh_mirrors/tb/TBBKAnalysis在数字化时代的数据洪流中，每一个细微的数据点都蕴含着洞察未来的机遇。今天，我们要探讨的是一个独特且极具启发性的开源项目——TBBKAnalysis。该项目源自知乎上一
  • 使用 DingoDB 创建自查询检索器的实战演示 fgayif python
    DingoDB深入解析与实战演示DingoDB是一种分布式多模向量数据库，它结合了数据湖和向量数据库的特点，能够存储任何类型和大小的数据（如Key-Value、PDF、音频、视频等）。它具有实时低延迟处理能力，可以快速获取洞察并响应，还能高效进行即时分析和处理多模数据。在本教程中，我们将演示如何使用DingoDB向量存储来创建一个自查询检索器。技术背景介绍DingoDB的设计结合了数据湖的灵活性和
  • 【含文档+PPT+源码】基于微信小程序农家乐美食餐厅预约推广系统 编程毕设 微信小程序美食小程序
    项目介绍本课程演示的是一款基于微信小程序农家乐美食餐厅预约推广系统，主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。1.包含：项目源码、项目文档、数据库脚本、软件工具等所有资料2.带你从零开始部署运行本套系统3.该项目附带的源码资料可作为毕设使用该系统功能架构图如下：技术栈说明技术栈：后端：SpringBoot+Vue+ElementUI（后端是前后端分离的）前端：Un
  • QILSTE H4-108LB高亮蓝光LED灯珠 发光二极管LED QILSTE QILSTELED灯珠发光二极管LED
    #H4-108LB：高亮蓝光LED的参数解析与应用挑战在电子设备的照明领域，H4-108LB型号的高亮蓝光LED以其独特的光电特性占据一席之地。这款LED产品尺寸仅为1.6×0.8×0.4mm，却蕴含着复杂的参数设计，使其在众多应用场景中表现出色。然而，要真正理解其性能优势，就必须深入剖析其参数的复杂性。##一、尺寸与封装：紧凑与透明的结合H4-108LB的外观尺寸为1.6×0.8×0.4mm，这
  • 技术转管理，需要克服的4大硬伤！ 项目经理刘湖南 职场和发展
    许多技术人员都会主动规划自己的职业发展路径，而晋升管理岗，向项目经理或者产品经理转型，是大多数技术人才的选择。然而，技术思维和管理思维存在较大的差异。从技术转管理，有四大难点。一、角色转换难技术人员作为执行层，专注的是技术实现与细节把控，只要专心做好自己份内的事即可。比如，开发工程师要保证代码质量，运维工程师负责系统稳定性。而项目经理或者产品经理作为组织者，需要建立全局视角和系统思维，带领团队成员
  • Apache Storm：实时数据处理的闪电战 Aaron_945 Javaapachestorm大数据
    文章目录ApacheStorm原理拓扑结构数据流处理容错机制官网链接基础使用安装与配置编写拓扑提交与运行高级使用状态管理窗口操作多语言支持优点高吞吐量低延迟可扩展性容错性总结ApacheStorm是一个开源的分布式实时计算系统，它允许你以极高的吞吐量处理无界数据流。Storm被广泛用于实时分析、在线机器学习、连续计算等多种场景。本文将深入探讨ApacheStorm的原理、基础使用、高级特性及其优点
  • 计算机毕业设计之基于Hadoop的热点新闻分析系统的设计与实现 微信bishe69 课程设计pythondjangomysql
    近些年来，随着科技的飞速发展，互联网的普及逐渐延伸到各行各业中，给人们生活带来了十分的便利，热点新闻分析系统利用计算机网络实现信息化管理，使整个热点新闻分析的发展和服务水平有显著提升。本文拟采用PyCharm开发工具，django框架、Python语言、Hadoop大数据处理技术进行开发，后台使用MySQL数据库进行信息管理，设计开发的热点新闻分析系统。通过调研和分析，系统拥有管理员和用户两个模块
  • 2025年亚马逊多店铺运营的三大核心策略 跨境猫小妹 跨境电商大数据人工智能业界资讯经验分享
    2025年亚马逊多店铺运营的三大核心策略随着跨境电商市场的日趋成熟，亚马逊卖家面临的竞争加剧，特别是拥有多个店铺的商家，更需要优化运营策略，提高盈利能力。进入2025年，亚马逊多店铺运营不再是简单的铺货，而是需要更精细的管理与系统化的运营。本篇文章将为你解析三大核心策略，助你高效管理多个店铺，提升市场竞争力。一、精细化选品与差异化布局1.数据驱动选品，提升市场竞争力多店铺运营的核心在于合理配置资源
  • 计算机网络-扩展 夏旭泽 计算机网络
    物联网实现物物相连的互联网络，其包涵两个方面：物联网的核心和基础仍然是互联网，是在互联网基础上延申和扩展的网络其用户端延申和扩展到了任何物体与物体之间，使其进行信息交换和通信感知层：识别物体、采集信息。eg：二维码、RFID、摄像头、传感器网络层：传递信息和处理信息。通信网与互联网的融合网络、网络管理中心、信息中心和只能处理中心等应用层：解决信息处理和人机交互问题关键技术：射频识别技术（Radio
  • 深入自制Shell：解锁Linux进程控制的实践密码 A charmer Linuxlinux服务器运维
    亲爱的读者朋友们，此文开启知识盛宴与思想碰撞。快来参与讨论，点赞、收藏⭐、分享，共创活力社区。在上一篇文章《Linux进程控制：创建、终止、等待与程序替换全解析》中，我们系统地学习了Linux进程控制相关知识，从进程的创建、终止，到进程等待与程序替换，每一个环节都为我们深入理解Linux系统的运行机制提供了关键线索。而现在，我们将沿着这条知识脉络，深入到自主Shell命令行解释器的实现领域，进一步
  • 【一起学Rust | Tauri2.0框架】基于 Rust 与 Tauri 2.0 框架实现生物识别（指纹识别）应用 广龙宇 Tauri2应用开发一起学Rustrust开发语言后端
    前言Tauri，作为一个新兴的跨平台应用开发框架，允许开发者使用Web前端技术构建界面，并利用Rust的高性能和安全性编写后端逻辑。这种架构巧妙地结合了Web的灵活性和原生应用的性能，为开发者提供了一种构建高效、跨平台应用的全新选择。而生物识别技术，如指纹识别、面部识别等，则为应用安全提供了更高级别的保障。将生物识别技术集成到Tauri应用中，可以提升用户体验，增强应用安全性。试想一下，用户只需轻
  • 计算机技术：哈佛架构 InnoLink_1024 操作系统嵌入式架构
    1.哈佛架构简介哈佛架构（HarvardArchitecture）是一种计算机设计模型，与冯诺伊曼架构不同，其核心特征是将程序指令和数据分开存储和传输。这一架构最早起源于哈佛大学的MarkI计算机，因此得名。2.核心特点独立的存储器哈佛架构中，指令存储器和数据存储器是分开的。这意味着：指令和数据各自拥有独立的存储空间。它们通过不同的总线进行传输，不共享带宽。独立的总线哈佛架构采用两套总线系统：一条
  • B/S架构（Browser/Server）与C/S架构（Client/Server） 张太行_ 服务器运维
    基本概念B/S架构（Browser/Server）：即浏览器/服务器架构。在这种架构中，用户通过浏览器（如Chrome、Firefox、Safari等）访问服务器上的应用程序。服务器端负责处理业务逻辑、存储数据等核心功能，浏览器主要用于向用户展示数据和接收用户输入。例如，一个在线邮箱系统，用户在浏览器中输入邮箱网址，登录后就可以收发邮件。服务器会处理邮件的发送、接收、存储等操作，而浏览器则将邮件的
  • 斩获 44K 星！让 DeepSeek 控制你的浏览器，绝了 开源项目精选 人工智能
    Browser-Use的开源框架，是一个能让电脑自动操作网页的智能工具。能处理动态加载的内容（比如广告弹窗、实时更新的图表），遇到网页元素位置变化还会自己调整策略，减少人工干预。Stars数46046Forks数4735主要特点强大的浏览器自动化功能：BrowserUse将先进的AI能力与强大的浏览器自动化技术相结合，为AI智能体实现流畅无缝的网页交互体验。视觉感知与HTML结构提取：将视觉理解能
  • Python零基础通关教程（二）：列表、字典与函数详解（附生活化案例） 中意可口可乐 python开发语言windowspython列表
    一、前情回顾与学习路线第一篇重点复习：✅变量与数据类型✅条件判断✅循环结构本篇新知识地图：graphLRA[基础语法]-->B[列表]A-->C[字典]B-->D[函数进阶]C-->D二、列表(List)：你的数据收纳盒1.列表是什么？现实比喻：像超市购物车，可以随时添加/取出商品代码定义：用方括号[]包裹，元素用逗号分隔#创建购物车列表cart=["苹果","牛奶","面包"]print("购物
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他