袁军峰
袁军峰

揭秘腾讯大数据平台与推荐应用架构

内容简介：

  • 腾讯的月活跃用户8.3亿
  • 微信月活跃用户4.4亿
  • QQ空间月活跃用户6.5亿
  • 游戏月活跃用户过亿

如今腾讯的数据分析已经能做到始终“不落地”，即全部的实时处理。腾讯大数据平台有如下核心模块：TDW、TRC、TDBank、TPR和 Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的实时计算，TPR负责精准推荐，TDBank则作为统一的数据采集入口，而底层的 Gaia则负责整个集群的资源调度和管理。李勇还特别强调了数据平台体系化是应用基础，数据应用商业化是价值导向。

数据平台体系化是应用基础，数据应用商业化是价值导向。

回到顶部

腾讯深度学习平台的挑战

深度神经网络模型复杂，训练数据多，计算量大

  • 模型复杂：人脑有100多亿个神经细胞，因此DNN的神经元和权重多
  • 训练数据多：大量训练数据才能训练出复杂模型
  •  微信语音识别：数万个神经元，超过50,000,000参数，超过4,000,000,000样本，单机训练耗时以年计，流行的GPU卡需数周

深度神经网络需要支持大模型

  •  更深更宽的网络能获得更好的结果
  •  以图像识别为例，增加卷积层的filter数量，加大模型深度等，可获得更好的模型质量

 深度神经网络训练中超参数多，需要反复多次实验

  •  非线性模型：代价函数非凸，容易收敛到局部最优解
  •  敏感的超参数：模型结构、输入数据处理方式、权重初始化方案、参数配置、激活函数选择、权重优化方法等
  • 数学基础研究稍显不足，倚重技巧和经验
回到顶部

腾讯深度学习平台Mariana

 腾讯有广泛的深度学习应用需求，其挑战如下

  •  模型复杂，训练数据多，计算量大
  •  需要支持大模型
  • 训练中超参数多，需要反复多次实验

 Mariana腾讯深度学习平台提供三个框架解决上述问题

  •  Mariana DNN: 深度神经网络的GPU数据并行框架
  •  Mariana CNN: 深度卷积神经网络的GPU数据并行和模型并行框架
  • Mariana Cluster: 深度神经网络的CPU集群框架

 Mariana已支持了训练加速、大模型和方便的训练作业

  •  微信语音识别6 GPU做到4.6倍加速比
  • 微信图像识别4 GPU做到2.5倍加速比，并支持大模型

 Mariana已成功应用到微信语音识别和微信图像识别，并在广点通广告推荐的点击率预估中积极尝试

揭秘腾讯大数据平台与推荐应用架构_第1张图片 揭秘腾讯大数据平台与推荐应用架构_第2张图片 揭秘腾讯大数据平台与推荐应用架构_第3张图片 揭秘腾讯大数据平台与推荐应用架构_第4张图片 揭秘腾讯大数据平台与推荐应用架构_第5张图片 揭秘腾讯大数据平台与推荐应用架构_第6张图片 揭秘腾讯大数据平台与推荐应用架构_第7张图片 揭秘腾讯大数据平台与推荐应用架构_第8张图片 揭秘腾讯大数据平台与推荐应用架构_第9张图片 揭秘腾讯大数据平台与推荐应用架构_第10张图片 揭秘腾讯大数据平台与推荐应用架构_第11张图片 揭秘腾讯大数据平台与推荐应用架构_第12张图片 揭秘腾讯大数据平台与推荐应用架构_第13张图片 揭秘腾讯大数据平台与推荐应用架构_第14张图片 揭秘腾讯大数据平台与推荐应用架构_第15张图片 揭秘腾讯大数据平台与推荐应用架构_第16张图片 揭秘腾讯大数据平台与推荐应用架构_第17张图片 揭秘腾讯大数据平台与推荐应用架构_第18张图片 揭秘腾讯大数据平台与推荐应用架构_第19张图片 揭秘腾讯大数据平台与推荐应用架构_第20张图片 揭秘腾讯大数据平台与推荐应用架构_第21张图片 揭秘腾讯大数据平台与推荐应用架构_第22张图片 揭秘腾讯大数据平台与推荐应用架构_第23张图片 揭秘腾讯大数据平台与推荐应用架构_第24张图片

揭秘腾讯大数据平台与推荐应用架构_第25张图片

揭秘腾讯大数据平台与推荐应用架构_第26张图片 揭秘腾讯大数据平台与推荐应用架构_第27张图片 揭秘腾讯大数据平台与推荐应用架构_第28张图片 揭秘腾讯大数据平台与推荐应用架构_第29张图片 揭秘腾讯大数据平台与推荐应用架构_第30张图片 揭秘腾讯大数据平台与推荐应用架构_第31张图片 揭秘腾讯大数据平台与推荐应用架构_第32张图片 揭秘腾讯大数据平台与推荐应用架构_第33张图片 揭秘腾讯大数据平台与推荐应用架构_第34张图片 揭秘腾讯大数据平台与推荐应用架构_第35张图片 揭秘腾讯大数据平台与推荐应用架构_第36张图片 揭秘腾讯大数据平台与推荐应用架构_第37张图片 揭秘腾讯大数据平台与推荐应用架构_第38张图片 揭秘腾讯大数据平台与推荐应用架构_第39张图片 揭秘腾讯大数据平台与推荐应用架构_第40张图片 揭秘腾讯大数据平台与推荐应用架构_第41张图片 揭秘腾讯大数据平台与推荐应用架构_第42张图片 揭秘腾讯大数据平台与推荐应用架构_第43张图片 揭秘腾讯大数据平台与推荐应用架构_第44张图片 揭秘腾讯大数据平台与推荐应用架构_第45张图片 揭秘腾讯大数据平台与推荐应用架构_第46张图片 揭秘腾讯大数据平台与推荐应用架构_第47张图片 揭秘腾讯大数据平台与推荐应用架构_第48张图片 揭秘腾讯大数据平台与推荐应用架构_第49张图片 揭秘腾讯大数据平台与推荐应用架构_第50张图片

 

来源：http://www.open-open.com/lib/view/open1418365306683.html

你可能感兴趣的:(揭秘腾讯大数据平台与推荐应用架构)

  • SmartSoftHelp NetCoreApi+MySQL/Oracle/SqlServer 部署Windows/Linux--深度优化版：SmartSoftHelp DeepCore XSuite SmartSoftHelp魔法精灵工作室 优化安全科技mysqloraclesqlserver
    NetCoreAPI优势明显：SmartSofHelp菜单之Net9API智能微代码(SmartNetCoreAIDeep)NetCoreAPI与数据库组合在Linux/Windows部署的深度分析一、跨平台部署基础架构对比组合类型Linux部署方案Windows部署方案NetCoreAPI+MySQLDocker+MySQLDockerImageIIS+MySQLInstaller(MSI)Ne
  • Delta视觉定位系统 东城十三 vuca数码相机计算机视觉目标跟踪算法人工智能机器学习
    Delta视觉定位系统软件应用背景Delta机器人以并联构型实现“轻量、高速、高精度”三位一体，成为高速分拣、精密装配、食品包装等领域的佼佼者。然而，其卓越的物理性能要转化为实际作业中的高精度定位取放能力，视觉定位系统是不可或缺的“眼睛”和“导航员”。尤其在面对高速运动目标或随机摆放（无序）物体的复杂场景时，视觉系统是实现高效、精准作业的核心技术保障。通过机器视觉实时识别目标物体的位置与姿态，引导
  • 如何设计一款现代化风格的博客主题程序呢？ LeleBlog - 现代化Typecho博客主题 独立开发者阿乐 原创深度学习人工智能算法源代码管理学习方法技术美术
    文章目录LeleBlog-Typecho主题目录主题介绍✨主题特性主题架构安装教程使用指南主题设置基本设置首页设置公告设置界面元素侧边栏设置生日倒计时社交链接友情链接与信息文章编辑兼容插件❓常见问题配套主题插件更多干货1.如果我的博客对你有帮助、如果你喜欢我的博客内容，请“点赞”“✍️评论”“收藏”一键三连哦！LeleBlog-Typecho主题一款为Typecho开发的现代化、功能丰富的博客主题
  • 告别配置地狱：用Kustomize实现多环境一键切换 Star_Sea_77 云原生与DevOps工程实践云原生
    告别配置地狱：用Kustomize实现多环境一键切换摘要本文针对软件开发中多环境配置管理的痛点，详细阐述如何利用Kustomize实现不同环境配置的高效管理与一键切换。通过对比Kustomize与Helm的适用场景，为中小团队提供选型指南；揭示ConfigMap热更新失效、Secret硬编码泄露等常见问题并提供解决方案；展示如何通过Kustomize构建高效的配置管理流程，实现80%配置共享、20
  • 排序指标
    排序指标MAP（平均准确率指标）AP@K=∑k=1KP(k)∗rel(k)∑kKrel(k)AP@K=\frac{\sum_{k=1}^{K}P(k)*rel(k)}{\sum_{k}^{K}rel(k)}AP@K=∑kKrel(k)∑k=1KP(k)∗rel(k)其中，rel(k)rel(k)rel(k)表示第k个元素是否与查询元素相关，相关为1，不想管为0。P(k)表示前k个结果的准确率。MA
  • GTID（Global Transaction Identifier，全局事务标识符）：MySQL 主从复制的核心机制 心灵星图 运维mysql数据库
    GTID（GlobalTransactionIdentifier，全局事务标识符）是MySQL数据库在主从复制中引入的核心机制，用于唯一标识全局事务，简化复制管理和故障转移流程。其核心概念与工作机制如下：一、GTID的定义与组成基本结构GTID由两部分构成：source_id:transaction_id。source_id：即MySQL实例的唯一标识server_uuid（首次启动时生成，存储在
  • ETF期权交易时反向做反了，有没有什么补救策略？ 张文6.7 区块链
    补救策略一：立即对冲风险若发现ETF期权交易方向做反，可迅速建立对冲仓位抵消风险。例如，买入认购期权误操作为卖出认购期权，可立即买入同等数量的认购期权对冲。对冲后，原有错误仓位与新对冲仓位形成中性组合，避免进一步损失。对冲需考虑合约的到期日、行权价是否匹配，否则可能无法完全抵消风险。对冲后仍需密切监控市场变化，必要时调整仓位。补救策略二：平仓止损并重建正确仓位直接平掉错误仓位，重新建立符合原计划的
  • 从决策树到随机森林：Python机器学习里的“树形家族“深度实战与原理拆解 小张在编程 机器学习决策树随机森林
    引言在机器学习的算法森林中，有一对"树形兄弟"始终占据着C位——决策树像个逻辑清晰的"老教授"，用可视化的树状结构把复杂决策过程拆解成"是/否"的简单判断；而它的进阶版随机森林更像一支"精英军团"，通过多棵决策树的"投票表决"，在准确性与抗过拟合能力上实现了质的飞跃。无论是医疗诊断中的疾病预测，还是金融风控里的违约判别，这对组合都用强大的适应性证明着自己的"算法常青树"地位。今天，我们就从原理到实
  • BaiduSitemap - Typecho站点地图生成与多搜索引擎推送插件 独立开发者阿乐 原创javascript云计算自动化大数据数据分析
    文章目录BaiduSitemap-Typecho站点地图生成与多搜索引擎推送插件✨功能特点插件架构核心模块文件结构安装方法方法一：手动安装方法二：Git克隆⚙️配置说明站点地图基本设置搜索引擎配置百度搜索引擎必应（Bing）搜索引擎谷歌（Google）搜索引擎使用指南站点地图访问手动操作站点地图包含内容高级功能图片索引优化推送状态监控技术实现详解站点地图生成流程搜索引擎推送机制缓存机制❓常见问题站
  • 基于Spring Boot的网络购物商城的设计与实现 代论文网课招代理 springboot后端java
    目录摘要：IAbstract：II第1章系统分析11.1系统概述11.2系统可行性分析11.2.1技术可行性分析11.2.2经济可行性分析11.2.3社会可行性分析11.3需求分析21.2.1业务角色分析21.2.2用例分析3第2章系统设计42.1功能模块设计42.2功能流程设计52.2.1商品加入购物车流程52.2.2用户下单流程62.3数据库设计72.3.1数据库E-R设计72.3.2数据表设
  • 第 5 部分 - 关系与超链接 API pythondjango
    目前我们API中的关系是通过使用主键来表示的。在教程的这一部分中，我们将通过使用超链接来代替主键，从而提高API的内聚性和可发现性。为我们的API根创建一个端点现在我们已经有了"snippets"和"users"的端点，但我们没有一个单一的API入口点。为了创建一个入口点，我们将使用一个普通的基于函数的视图以及我们之前介绍的@api_view装饰器。在你的snippets/views.py中添加：
  • 第 4 部分 - 认证与权限 pythondjango
    目前我们的API对于谁能编辑或删除代码片段没有任何限制。我们希望实现更高级的行为以确保：代码片段始终与创建者相关联。只有经过身份验证的用户才能创建片段。只有片段的创建者才能更新或删除它。未经过身份验证的请求应具有完全的只读访问权限。向模型中添加信息我们将在Snippet模型类中做一些更改。首先，让我们添加几个字段。其中的一个字段将用于表示创建代码片段的用户。另一个字段将用于存储代码的高亮HTML表
  • 第 2 部分 - 请求与响应 pythondjango
    从这里开始，我们将深入介绍REST框架的核心内容。首先，让我们来了解一下几个基础且重要的构建模块。请求对象REST框架引入了一个Request对象，它扩展了普通的HttpRequest，并提供了更灵活的请求解析功能。Request对象的核心功能是request.data属性，它类似于request.POST，但在处理WebAPI时更为实用。request.POST#仅处理表单数据。仅适用于'POS
  • 实现make_power_of_two函数 洞阳 c++面试c++
    目录代码make_power_of_two函数解析：将数值转换为大于等于它的最小2的幂一、函数功能与核心逻辑二、代码实现与逐行解析三、逐步骤原理解析四、位运算的数学原理五、不同输入的转换示例六、算法复杂度与适用场景七、与其他实现方式的对比八、注意事项总结代码该函数将任意n转换为大于等于n的最小2的幂（如n=10→16，n=16→16）size_tmake_power_of_two(size_tn)
  • git 挑选：git cherry-pick 张紫娃 GITgit
    Cherry-Pick（挑选）gitcherry-pick将一个或多个特定的提交从一个分支应用到另一个分支。它的主要作用是选择性地合并提交，而不是合并整个分支。与merge和rebase不同，cherry-pick只处理单个或多个指定的提交，而不是整个分支的历史。[应用举例]（heads/dev）gitcherry-pick125a1d1的详细工作原理1、Git会先检查工作目录，如果存在冲突或未提
  • TDengine 运维全攻略：五种备份与恢复方法深度解析（2025 最新版） TDengine （老段） TDengine运维tdengine运维大数据涛思数据物联网时序数据库数据库
    备份与还原是数据库运维的核心环节，TDengine提供了五种主流数据备份方法，覆盖不同场景需求。本文将详细解析各方法的特性与操作要点。1.taosdump介绍taosdump是TDengine社区版首选的数据备份工具（企业版同样支持），其核心特点是操作简便、支持多线程处理，且备份文件采用ApacheAvro格式（大数据领域通用数据交换格式），便于向其他系统共享数据。工具支持跨平台连接远程服务器执行
  • AIGC领域Prompt工程：原理、方法与行业应用 AI天才研究院 ChatGPT计算AI大模型应用入门实战与进阶AIGCpromptai
    AIGC领域Prompt工程：原理、方法与行业应用关键词：Prompt工程、大语言模型（LLM）、提示设计、少样本学习、AIGC应用、思维链（CoT）、提示优化摘要：随着AIGC（人工智能生成内容）技术的爆发式发展，大语言模型（如GPT-4、LLaMA、通义千问）的性能已达到前所未有的高度。然而，模型的强大能力能否被充分释放，很大程度上依赖于"提示（Prompt）"的设计质量。本文系统解析Prom
  • PCB设计实践(三十七）PCB机械孔设计全解析：作用原理与设计规范指南 技术流浪者 PCB设计硬件工程PCB设计单片机嵌入式硬件
    在PCB设计中，机械孔是实现电路板机械固定、电气连接和功能扩展的核心要素之一。其设计质量直接影响PCB的组装效率、结构稳定性和长期可靠性。本文将从机械孔的基础概念出发，系统阐述其在PCB设计中的作用原理、分类特性、设计规范及进阶技巧，为工程师提供全面的设计指导。一、机械孔的核心作用解析机械孔在PCB中承担着多重关键功能，其作用远超过单纯的物理开孔概念：1.机械固定与结构支撑作为电路板与外壳、散热器
  • Spring AI 中 MCP 架构与工具调用技术详解 小W求学之旅 springmcpspringaiagent
    这篇文章主要是概述MCP是什么，SpringAI如何结合它。如果想要了解如何搭建spring工程并结合MCP开发，可以看我的另外一篇：SpringAI+MCP最详细实践：从配置开始到服务搭建（踩坑无数版）一、MCP架构概述MCP（MessageCommunicationProtocol）是SpringAI用于支持AI模型交互的消息通信协议，在客户端与服务端之间搭建桥梁，支持多种传输层协议，提供标准
  • 从指令设计到系统集成：提示词工具链与GPTs插件的效率革命 charles666666 人工智能自然语言处理语言模型知识图谱transformer
    一、提示词工程工具链：概念与架构解析1.1为什么需要工具链？大模型交互的本质是“指令设计”，但人工编写提示词存在三大痛点：效率低（重复调试耗时）、质量不稳定（依赖个人经验）、复用性差（场景迁移成本高）。例如，某电商企业要求AI生成500种商品描述时，人工逐条调整提示词需耗费数周，且风格难以统一。工具链的价值在于通过模块化设计与自动化流程解决上述问题。其核心架构包含三个层级：需求解析层：将用户需求拆
  • 大语言模型中的思维链提示：解锁高效互动的秘密 t0_54program 大数据与人工智能语言模型人工智能自然语言处理个人开发
    在当今的人工智能领域，大语言模型（LLMs）已然成为一颗耀眼的明星，它经过海量训练，能够理解并生成人类语言，在编程等诸多领域助力人们完成日常任务。然而，若想与这些模型实现高效沟通，掌握正确的请求方式至关重要，而思维链提示（Chainofthoughtprompting）便是与LLMs互动时最为高效的技术之一。什么是提示（Prompting）？LLMs基于海量数据集进行训练，以理解并生成类人文本。其
  • 【Python】abc 模块：定义抽象基类（Abstract Base Classes）的工具 彬彬侠 Python基础pythonabcABCMetaabstractmethod
    Python的abc模块（AbstractBaseClasses，抽象基类）是标准库中用于定义抽象基类的工具，旨在为面向对象编程提供一种标准化的方式来定义接口、强制子类实现特定方法，并支持类型检查。abc模块特别适合需要明确接口定义的场景，例如框架开发、插件系统或大型项目。本文详细介绍abc模块的定义、核心组件、使用方法、实际应用场景、注意事项以及与元类的关系。1.什么是abc模块？abc模块是P
  • 深入详解：随机森林算法——概念、原理、实现与应用场景 猿享天开 算法随机森林机器学习
    深入详解：随机森林算法——概念、原理、实现与应用场景随机森林（RandomForest,RF）是一种经典的集成学习算法，广泛应用于机器学习任务。本文将通过图文结合的方式，全面解析随机森林的核心原理、实现细节和应用实践，帮助读者建立系统认知。1.核心概念与直观理解1.1什么是随机森林？随机森林是一种基于决策树的集成学习算法，通过构建多棵决策树进行协同预测。其核心思想是"三个臭皮匠，顶个诸葛亮"——多
  • Promptify与ReActAgent frostmelody 人工智能
    一、Promptify定位：NLP任务的「自动化流水线」1.解决什么问题？传统LLM应用开发痛点：反复调试：需手工编写/调整prompt格式（如调整分隔符、示例数量）兼容性差：不同模型需重写适配代码输出不稳定：非结构化文本需额外解析Promptify用标准化流水线解决上述问题，将复杂prompt工程简化为三行代码：model=OpenAI(api_key)#选择模型prompter=Prompte
  • React中的ErrorBoundary TE-茶叶蛋 reactreact.jsjavascript前端
    文章目录前言✅一、使用类组件实现ErrorBoundary（官方推荐方式）用法示例：✅二、用函数组件实现ErrorBoundary（借助Hook+`react-error-boundary`库）1.安装`react-error-boundary`2.使用`ErrorBoundary`组件（函数方式）✅三、手写Hook模拟捕获运行时异常（局限性较大）✅总结对比前言在React中，ErrorBound
  • NB-IoT协议深度解析与应用实践.zip 豪欧巴
    本文还有配套的精品资源，点击获取简介：NB-IoT（窄带物联网）是针对LPWAN（低功耗广域网络）领域设计的物联网技术，其特点是覆盖广泛、功耗低、设备连接能力强。技术概述包括了NB-IoT的技术目标和特点，如深度覆盖、高效节能、大连接能力及低成本。核心特性涵盖了物理层、媒介接入控制层、网络层、会话层以及应用层的协议栈分析。此外，还介绍了NB-IoT的部署模式，以及在智慧城市、智能表计、资产追踪、农
  • 【数据标注师】拼音和停顿标注 试着 数据标注师数据标注师拼音和停顿标注
    目录一、任务本质与技术价值**标注双核心目标****应用场景**二、专业工作环境配置**硬件三件套****软件生态**三、拼音标注深度指南**标注规范体系（GB/T16159-2012）****特殊场景处理**四、停顿标注核心技术**韵律层级体系****标注规范（ToBI标准扩展）****实操技巧**五、全流程标注实战**联合标注示例****复杂场景处理**六、质量与效率管控**错误预防清单***
  • MySQL与SQL Server的差异及测试手法 ke0hly web安全安全网络安全
    SQL注入漏洞分析：MySQL与SQLServer的差异及测试手法引言如果系统使用的是SQLServer数据库，则可以实现写入Webshell，而MySQL则不行。本文将深入探讨这两种数据库在SQL注入场景下的差异，以及SQLServer如何利用SQL注入写入Webshell，并介绍其他常见的SQL注入攻击手法。MySQL与SQLServer在SQL注入写入Webshell上的差异SQL注入的本质
  • 【数据标注师】语音切割转写 试着 数据标注师数据标注师语音切割转写
    目录**一、语音标注任务解析****任务类型矩阵****核心挑战****二、硬件与工具准备****专业级工作环境配置****必备工具掌握****三、核心技能深度训练****模块1：精准切割技术****模块2：专业级听辨能力****模块3：转写规范体系****四、复杂场景攻坚策略****场景1：多人对话分割****场景2：专业领域转写****五、质量与效率双提升****质检避错清单****效率提升方
  • IP证书在网络安全中的作用 qwerdfwc_ 安全web安全网络
    IP证书（IPSSL证书）是SSL/TLS证书的一种，与传统的域名SSL证书不同，它直接绑定到服务器的IP地址而非域名，在网络安全中发挥着多方面的重要作用，以下是详细介绍：身份验证作用机制：IP证书由受信任的证书颁发机构（CA）颁发。在申请过程中，CA会对申请者的IP地址进行严格的身份验证，确保申请者对该IP地址拥有合法的控制权。只有通过验证的IP地址才能获得相应的证书。重要性：这种身份验证机制可
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他