袁军峰
袁军峰

揭秘腾讯大数据平台与推荐应用架构

内容简介：

  • 腾讯的月活跃用户8.3亿
  • 微信月活跃用户4.4亿
  • QQ空间月活跃用户6.5亿
  • 游戏月活跃用户过亿

如今腾讯的数据分析已经能做到始终“不落地”，即全部的实时处理。腾讯大数据平台有如下核心模块：TDW、TRC、TDBank、TPR和 Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的实时计算，TPR负责精准推荐，TDBank则作为统一的数据采集入口，而底层的 Gaia则负责整个集群的资源调度和管理。李勇还特别强调了数据平台体系化是应用基础，数据应用商业化是价值导向。

数据平台体系化是应用基础，数据应用商业化是价值导向。

回到顶部

腾讯深度学习平台的挑战

深度神经网络模型复杂，训练数据多，计算量大

  • 模型复杂：人脑有100多亿个神经细胞，因此DNN的神经元和权重多
  • 训练数据多：大量训练数据才能训练出复杂模型
  •  微信语音识别：数万个神经元，超过50,000,000参数，超过4,000,000,000样本，单机训练耗时以年计，流行的GPU卡需数周

深度神经网络需要支持大模型

  •  更深更宽的网络能获得更好的结果
  •  以图像识别为例，增加卷积层的filter数量，加大模型深度等，可获得更好的模型质量

 深度神经网络训练中超参数多，需要反复多次实验

  •  非线性模型：代价函数非凸，容易收敛到局部最优解
  •  敏感的超参数：模型结构、输入数据处理方式、权重初始化方案、参数配置、激活函数选择、权重优化方法等
  • 数学基础研究稍显不足，倚重技巧和经验
回到顶部

腾讯深度学习平台Mariana

 腾讯有广泛的深度学习应用需求，其挑战如下

  •  模型复杂，训练数据多，计算量大
  •  需要支持大模型
  • 训练中超参数多，需要反复多次实验

 Mariana腾讯深度学习平台提供三个框架解决上述问题

  •  Mariana DNN: 深度神经网络的GPU数据并行框架
  •  Mariana CNN: 深度卷积神经网络的GPU数据并行和模型并行框架
  • Mariana Cluster: 深度神经网络的CPU集群框架

 Mariana已支持了训练加速、大模型和方便的训练作业

  •  微信语音识别6 GPU做到4.6倍加速比
  • 微信图像识别4 GPU做到2.5倍加速比，并支持大模型

 Mariana已成功应用到微信语音识别和微信图像识别，并在广点通广告推荐的点击率预估中积极尝试

揭秘腾讯大数据平台与推荐应用架构_第1张图片 揭秘腾讯大数据平台与推荐应用架构_第2张图片 揭秘腾讯大数据平台与推荐应用架构_第3张图片 揭秘腾讯大数据平台与推荐应用架构_第4张图片 揭秘腾讯大数据平台与推荐应用架构_第5张图片 揭秘腾讯大数据平台与推荐应用架构_第6张图片 揭秘腾讯大数据平台与推荐应用架构_第7张图片 揭秘腾讯大数据平台与推荐应用架构_第8张图片 揭秘腾讯大数据平台与推荐应用架构_第9张图片 揭秘腾讯大数据平台与推荐应用架构_第10张图片 揭秘腾讯大数据平台与推荐应用架构_第11张图片 揭秘腾讯大数据平台与推荐应用架构_第12张图片 揭秘腾讯大数据平台与推荐应用架构_第13张图片 揭秘腾讯大数据平台与推荐应用架构_第14张图片 揭秘腾讯大数据平台与推荐应用架构_第15张图片 揭秘腾讯大数据平台与推荐应用架构_第16张图片 揭秘腾讯大数据平台与推荐应用架构_第17张图片 揭秘腾讯大数据平台与推荐应用架构_第18张图片 揭秘腾讯大数据平台与推荐应用架构_第19张图片 揭秘腾讯大数据平台与推荐应用架构_第20张图片 揭秘腾讯大数据平台与推荐应用架构_第21张图片 揭秘腾讯大数据平台与推荐应用架构_第22张图片 揭秘腾讯大数据平台与推荐应用架构_第23张图片 揭秘腾讯大数据平台与推荐应用架构_第24张图片

揭秘腾讯大数据平台与推荐应用架构_第25张图片

揭秘腾讯大数据平台与推荐应用架构_第26张图片 揭秘腾讯大数据平台与推荐应用架构_第27张图片 揭秘腾讯大数据平台与推荐应用架构_第28张图片 揭秘腾讯大数据平台与推荐应用架构_第29张图片 揭秘腾讯大数据平台与推荐应用架构_第30张图片 揭秘腾讯大数据平台与推荐应用架构_第31张图片 揭秘腾讯大数据平台与推荐应用架构_第32张图片 揭秘腾讯大数据平台与推荐应用架构_第33张图片 揭秘腾讯大数据平台与推荐应用架构_第34张图片 揭秘腾讯大数据平台与推荐应用架构_第35张图片 揭秘腾讯大数据平台与推荐应用架构_第36张图片 揭秘腾讯大数据平台与推荐应用架构_第37张图片 揭秘腾讯大数据平台与推荐应用架构_第38张图片 揭秘腾讯大数据平台与推荐应用架构_第39张图片 揭秘腾讯大数据平台与推荐应用架构_第40张图片 揭秘腾讯大数据平台与推荐应用架构_第41张图片 揭秘腾讯大数据平台与推荐应用架构_第42张图片 揭秘腾讯大数据平台与推荐应用架构_第43张图片 揭秘腾讯大数据平台与推荐应用架构_第44张图片 揭秘腾讯大数据平台与推荐应用架构_第45张图片 揭秘腾讯大数据平台与推荐应用架构_第46张图片 揭秘腾讯大数据平台与推荐应用架构_第47张图片 揭秘腾讯大数据平台与推荐应用架构_第48张图片 揭秘腾讯大数据平台与推荐应用架构_第49张图片 揭秘腾讯大数据平台与推荐应用架构_第50张图片

 

来源：http://www.open-open.com/lib/view/open1418365306683.html

你可能感兴趣的:(揭秘腾讯大数据平台与推荐应用架构)

  • 今年双十一活动时间什么时候开始？抖音双十一什么时候开始 日常购物小技巧
    大家好，我是花桃APP商品推荐官茜茜，今天有人问我：今年双十一活动时间什么时候开始？抖音双十一什么时候开始在抖音上买东西的用户越来越多了，因为抖音也在发展自己的电商，目前抖音已经开始了抖音商城的业务，有的商家早已经入驻其中了，所以接下来的双十一抖音也会开启活动，具体什么时候开始呢?2022年抖音双11活动什么时候开始?报名时间：2022年9月30日16:00:00-2022年11月11日23:59
  • [深入vue3之refs] ref、unref、toRef、toRefs、isRef、customRef、shallowRef、triggerRef等使用与讲解 oumae-kumiko vue前端vue.js前端javascript
    本章涉及的compositionapi：ref、unref、toRef、toRefs、isRef、customRef、shallowRef、triggerRefrefsapi中的重点为：ref、toRefs、shallowRef、customRef，其次是isRef等。ref接受一个内部值并返回一个响应式且可变的ref对象。ref对象仅有一个`.value`property，指向该内部值。如果将对
  • 会声会影2024中文免费版下载-正版下载-永久免费使用 面朝大海，chun 会声会影免费热门软件会声会影会声会影会声会影免费版
    各位亲爱的朋友们，今天我要向大家介绍一款非常棒的视频编辑软件——会声会影2024。这可不是一般的软件哦，它可是视频编辑界的翘楚，拥有许多令人惊叹的新功能。在数字时代的浪潮中，视频创作已成为连接世界、表达创意的重要方式。随着技术的不断进步，一款名为“会声会影2024”的视频编辑软件横空出世，它不仅继承了前代产品的优秀传统，更在多个方面实现了突破与创新，为视频创作者们带来了前所未有的创作体验。一、技术
  • 拼多多在哪里关闭自动扣款？自动扣款没钱咋办？ 氧惠导师
    拼多多，大家购买商品的时候，一般这个平台的客单价很低，在这里购物，平台一般会跳出自动扣款或者是免密支付等等服务，拼多多自动扣款在哪里关闭?➤推荐网购薅羊毛app“氧惠”，一个领隐藏优惠券+现金返利的平台。氧惠只提供领券返利链接，下单全程都在淘宝、京东、拼多多等原平台，更支持抖音、快手电商、外卖红包返利等。（应用市场搜“氧惠”下载，邀请码:521521，全网优惠上氧惠！）➤由于信息差的关系，很多剁手
  • vue3 响应式API customRef() fishmemory7sec vue3javascriptvue.js前端
    使用ref()定义响应式数据：{{inputValue}}import{ref}from'vue';constinputValue=ref('hello')使用Vue提供的默认ref()定义响应式数据，当数据发生变化时，Vue的响应式系统会自动检测到变化，并立即更新相关的页面部分。现在，实现如下图所示的需求：当在输入框输入123时，输入结束1秒后，页面才更新。将输入框与inputValue进行双向
  • 拒赋“黄鹤楼” 身后眼前
    所谓天下第一楼，黄鹤楼，是武汉最著名景点。武汉人却最烦黄鹤楼。家乡人不爱作家乡游，无关好恶，无关人文景观，多半出于麻木与审美疲劳。黄鹤楼地处蛇山之巅，毗邻武汉长江大桥，与大桥武昌桥头接驳。从武昌到汉阳，从汉阳到汉口，再原路返回。多少年来，长江大桥都是连接武汉三镇的唯一陆上通道。抬头不见低头见，过长江大桥必过黄鹤楼。看黄鹤楼里总是游人如织，看那巍峨雄姿，飞檐雕柱。看那古朴苍劲的“南纬高拱”，或者“极
  • 个人用哪家寄快递最便宜？寄快递怎样才能更省钱？ 古楼
    现在电商物流发展是比较快的，几大快递公司让我们可以很快的收到快递。在淘宝购物的过程中，买家遇到不满意的商品，需要将商品退回商家，这样就要承担快递费用。选择一个便宜的快递公司。➤推荐网购薅羊毛app“高省”，一个领取内部优惠券+现金返利的平台。高省只提供领券返利链接，下单全程都在淘宝、京东、拼多多等原平台，更支持抖音、快手电商、外卖红包返利等。（应用商店搜“高省”即可下载，邀请码:521521。）➤
  • 好书推荐 ▏《了不起的中华文明》：给孩子的中华文明百科全书，有趣又好读！ 书本家读书会
    《了不起的中华文明》作者：蒙曼图片：源于网络推荐理由让孩子读学习历史，不仅可以让孩子通晓古今，更能提高他的大语文素养。更重要的是，孩子从历史中，可以培养“宠辱不惊”的胸怀和气魄，做到“不以物喜、不以己悲”，受益一生。《了不起的中华文明》全书共20册，拥有海量知识条目。诗词名句、名著名篇、成语含义、经典故事、名人思想、冷门知识…是一套由蒙曼主编的传统文化绘本，已入选国家新闻出版署“2020年全国有声
  • 一点关于未来的微不足道的看法 酣眠初醒
    听了一位老师说过的话：当一个人足够优秀足够有能力的时候，钱会自动找上门昨夜，彻夜难眠，一直在思索这个问题，当然赚钱的基础更多的是看能力，运气成分占的是少数对于我现阶段来说，赚钱的话，可以能力有些不够，只能最多做些做基础的临时工，要不就是通过网络上一些小兼职赚一些外快可这些毕竟是副业，与自身专业背道而驰，对于我来说用自己的兴趣爱好来赚钱是几乎赚不到多少钱的再加上要想赚许多钱的话，就是创业，投资，可是
  • 北京•HOLIC | 一杯坚持七年的芝麻酱拿铁 一朵云里
    ——醒开的老北京六必居麻酱打底，18g拖延症拼配豆浓缩，配上纯牛奶与芝麻糖，闻酱退三步的我，竟然一口不剩喝完了。HOLICCOFFEE藏在北京高楼林立的CBD中，它是全城‘起’得最早的一批咖啡馆。早上8点它就要开始迎接客人，这就意味着主理人要在7点前到店，并在一个小时内完成全部开业准备。芝麻酱饼拿铁主理人萌萌说，要是不与写字楼的生物钟同步，HOLIC早就被淘汰在一秒三十杯的循环里了。是的，写字楼咖
  • 中原焦点团队网络初级23班 陈松 分享第45天 读书29天 悟_b6c1
    SFBT将赞美和重新建构和称为正向眼光。重新建构是SFBT的一个很重要的技巧与精神。重新建构指的是：我们基于事情不会只有一个面向，从不同看待事情的眼光，看到当事人的特质，优点，动机，努力引导他看见事情的其他方向，进而拓展当事人的思考，引发不同的行动。重新建构的另一个意义是：我们了解了孩子描述的事情并重新诠释后，赋予相同的事件不同不同区正向的意义，看到事件本身所带来的正面价值，进而形成新的解决方案或
  • 一切皆是映射：AI的去中心化：区块链技术的融合 AI大模型应用之禅 计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    一切皆是映射：AI的去中心化：区块链技术的融合作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming关键词：AI，区块链，去中心化，智能合约，共识机制，数据安全，隐私保护，分布式账本技术，机器学习，数据隐私1.背景介绍1.1问题的由来随着人工智能（AI）技术的快速发展，其在各个领域的应用越来越广泛，从自动驾驶、智能医疗到金融服务，AI正在改变着我们的生活。
  • VLSI 电路单元的自动布局-2024华数杯B题 2401_84314384 算法python数学建模
    摘要超大规模集成电路设计通常采用电子设计自动化(EDA)的方式进行，布局是EDA工具的核心的核心。本文通过构建的线长评估模型及网格密度评估模型，并在此基础上对模型进行优化，最后利用模型实现VLSI电路单元的自动布局。问题一：基于结合直线型斯坦纳最小树思想的优化HPWL模型评估与电路单元连线接口坐标相关的线长。本题需要建立与电路单元连线接口坐标相关的线长评估模型，最小化每组估计线长与对应RSMT的差
  • 收获50日徽章，辛苦与幸福并存 露娜2005
    昨天收获了50天日更徽章，在这期间发布了60篇文章，8.9万字，收获1580个喜欢，1000+粉丝。回顾这段日子，就是每天自己跟宝宝争分夺秒抢时间较劲的50天，所以才会感觉特别辛苦，但是每次完成自己还算比较满意的文章，而且能收获友友们的点评与认可，心中就会有升起满满的幸福感。每天一小步，成功一大步加入的初衷就是为了写作而来，而写作最重要的品质就是持之以恒。做事是否快捷，不在一时奋发，而在能否持久。
  • 《比宇宙更远的地方》漫评 灯塔文创
    图片发自App你是否为了你的梦想而奋不顾身《比宇宙更远的地方》讲述的就是这样一个故事，故事发生在日本，主角是一个名叫真理普普通通的女高中生，上了高中之后觉得自己长大了，想要做一些与过去不一样的事，却又无法下定决心，直到后来一次偶然机遇碰到了一心想去南极的报濑，便决定和她同行，后来又遇到了早早辍学的成熟的日向，以及身为偶像却对友谊无比执念的少女结月，就这样，最终四个少女完成了跟随科考队一起前往南极的
  • 一起爱 耕读传家林亮伟
    ——让爱循环主题曲我是一切问题的根源也是一切问题的答案不是老天不爱我所有的发生都是上天最好的安排当灵魂找到依靠我就得到了绽放和滋养当感恩和觉悟回归内在幸福和喜悦就是我生命的状态让爱循环，从零到一百探索真我，觉醒自在从迷到悟，从黑暗到光明在迷幻中千锤百炼一起爱，不等待觉醒之路引领未来一起爱不等待精神物质丰富自在一起爱不等待感恩拥有臣服失败一起爱不等待完整合一与天地同在
  • 归宿 杨阿德0
    当藤蔓爬满我的脸庞枯枝与败叶勾结起来将理想埋葬无脚的鸟停止了飞翔降落在一片陌生的水塘图片发自App
  • 线程池的应用--＞1 路ZP java开发语言
    1.线程的执行机制线程分为用户线程和内核线程内核线程就是系统级别的线程，与cpu逻辑处理器数量对应的用户线程就是使用java代码创建的Thread对象用户线程必须与内核线程关联（映射），才能执行任务当用户线程多于内核线程时，内核线程就需要不停的上下文切换，使得多个用户线程都能得以执行上下文会影响性能，消耗资源。大量的创建用户线程，消耗用户线程，也会影响性能，消耗资源。所以我们希望，创建合适数量的线
  • 【人工智能】多模态AI：如何通过融合文本、图像与音频重塑智能系统未来 2的n次方_ 小水文人工智能图像处理
    我的主页：2的n次方_随着人工智能技术的飞速发展，多模态AI逐渐成为构建智能系统的重要方向。传统的AI系统通常依赖于单一模态的数据，如文本、图像或音频。而多模态AI通过结合多种数据类型，能够在更复杂的场景下提供更智能的解决方案。本文将深入探讨多模态AI的原理、应用场景及其未来发展，并通过代码示例展示如何构建一个多模态AI系统。1.多模态AI的基本原理多模态AI的核心在于融合来自不同模态（如文本、图
  • 新一代网络研发利器——开物™，让用户每一行代码都贡献在核心创新 中科驭数 网络云计算大数据人工智能
    随着云计算、人工智能、大数据的快速发展，现有的IT系统越来越复杂，传统网络技术难以满足新的业务需求，DPU技术开始崭露头角，越来越多的企业与研究机构认识到高性能网络处理技术带来的巨大价值，并积极开展创新与实践，从而实现更匹配的功能和更高的系统性能。但是，从零开始进行网络系统的搭建，开发人员需要掌握各类创新技术无关的、最底层的技术架构原理，如硬件设计逻辑、API接口、底层IP、硬件驱动等一系列复杂的
  • 明日 无问西东_e724
    藏身在即将踏入社会前的温柔乡里，享受着温暖的阳光，心中总是不时出现岁月静好之感，安逸着，流逝着，生活的重心越来越低，以至后来没了方向。我不知道这是不是同阶段我们的共性，但我不想荒废流年，不想再回忆往昔时，满满的遗憾跃然与纸上。恰同学少年，风华正茂，应每天多花时间在自己身上，锻造明天不为生活所困的我们，精致每一天。
  • 每日复盘 梅夏123
    22020-2-17墨梅【本月精进目标】照顾好孩子的饮食与学习，粤语坚持体育锻炼增强自身的抵抗力和免疫力【今日行动】学习粤语(开启粤语发音之旅)读财富自由之路检查孩子作业每日一首古诗练毛笔基础笔划【今日好句分享】生命中真正重要的不是你遭遇了什么而是你记住了哪些事，又是如何铭记的–百年孤独【今日提醒】这个假期太长了，感觉精力有限，希望两个娃能早日上学【感恩日记】(最想感谢的人)感谢那些在前线的工作人
  • 好用的手游内部号平台有哪些 GM游戏内部号平台排行榜 诸葛村夫123
    要说现在游戏中，平民玩家能白嫖的福利确实不多，但是礼包兑换码是其一，内部号，内测号是其二，下面小编就来给大家汇总一下目前最好用的游戏平台有哪些？好用的手游内部号平台有哪些GM游戏内部号平台排行榜排行榜第一：游人特权站官网-【目前拥有400多款游戏内部号的发放权】推荐指数：⭐⭐⭐⭐⭐游人特权站是大量游戏玩家的首选，其中最具代表性的就是内部号手游平台。它以多种多样的游戏玩法和丰富的游戏地图而受到众多玩
  • C++学习笔记----6、内存管理（五）---- 智能指针（3） 王俊山IT c++学习笔记开发语言
    2、shared_ptr有时候吧，有些对象或者一部分代码需要同一个指针的拷贝。那么unique_ptr不能被拷贝，因此就不能用于些场景。这样的话，std::shared_ptr就是一个支持能够被拷贝的拥有共享属主的智能指针。但是，如果有指向同一个资源的多个shared_ptr实例，那么怎么知道什么时候去释放资源呢？这可以通过对于引用记数来解决，这个我们以后再聊。首先，让我们看一下怎么构造与使用sh
  • 不幸福的伴侣沟通，都有这三个特征，希望你没有中招 谦润如玉
    托尔斯泰说：幸福的家庭都是相似的，不幸的家庭各有各的不幸。伴侣之间幸不幸福从沟通方式就可以判断出来。我们都知道，伴侣之间自我表露得越多，越可以感觉到幸福和美满。但现实生活中，我们说心里话，努力与伴侣沟通，并不一定总能带来积极结果。我们常常意识不到，我们不恰当的表达给伴侣造成的心理阴影，及对亲密关系造成影响。不良的沟通会产生人际隔阂，使亲密关系痛苦和不满。不幸福的伴侣沟通，都有以下特征：1、不能准确
  • 网络安全测评技术与标准 坚持可信 信息安全web安全网络安全
    网络安全测评是评估信息系统、网络和应用程序的安全性，以发现潜在的漏洞和威胁，并确保系统符合安全标准和政策的过程。以下是常见的网络安全测评类型：1.渗透测试（PenetrationTesting）描述：通过模拟真实的攻击，评估系统、网络和应用程序的安全性，识别和修复漏洞。目标：发现系统中的安全漏洞，评估其可能被利用的风险。方法：黑盒测试：测试人员没有系统内部信息，模拟外部攻击者。白盒测试：测试人员拥
  • 正月（四）小海 季孟秋
    小海是我大学师弟。当初怎么认识他的，我已经没了印象，但我很快听说他在中学就没了爹，生活挺困难。那会儿我在学生会里花差花差，手里有几个勤工俭学的名额，于是一半假公济私，一半顺水人情，就推荐给了他。然后他挣到第一笔钱，请我大吃了一顿。这顿饭，他竟然请我吃了昂贵的牛排。有钱就花，是他那强烈的性格特征之一。到了他大学毕业之后，他花钱的模式升级到了一个让人无法理解的高度。例如，他在几年前结婚前竟然一口气贷款
  • K8S学习之PV&&PVC david161
    部署mysql之前我们需要先了解一个概念有状态服务。这是一种特殊的服务，简单的归纳下就是会产生需要持久化的数据，并且有很强的I/O需求，且重启需要依赖上次存储到磁盘的数据。如典型的mysql，kafka，zookeeper等等。在我们有比较优秀的商业存储的前提下，非常推荐使用有状态服务进行部署，计算和存储分离那是相当的爽的。在实际生产中如果没有这种存储，localPV也是不错的选择，当然local
  • 第五届核磁机器学习班（训练营：2023.6.5~6.17） 茗创科技
    茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★基于血氧水平依赖的功能磁共振成像(fMRI)技术,利用其数据构建的功能性脑网络后,发现脑并不是一个单纯对外界刺激进行
  • 尤占芳 焦点网络初级九期 洛阳 坚持原创分享第39天 （2018-4-4星期三） 尤占芳
    今天心里特别乱，被别人侵犯真的很不舒服，我要做一个学会拒绝别人的人，不能老是被别人绑架。我觉得我活的好累、好累、好累……今天就复习一下吧，真的应修整一下自己了。关注正向、关注解决、关注现在与未来、关注成功经验、关注一小步的行动。
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他