自律版光追
自律版光追

【斯坦福cs324w】中译版 大模型学习笔记七 LLM分布式训练

文章目录

  • 常见并行策略
    • 数据并行
    • 模型并行
    • 流水并行
    • 混合并行
  • 参考资料

必要性
llm数据量和参数量都太大，对算力的要求很高
单一设备的算力和容量受内存墙的限制难以跟上模型训练的需求
解决办法
使用多节点集群进⾏分布式训练，以提升算⼒

内存墙
即内存容量、多个级别内存的传输带宽、AI硬件之间的通信瓶颈(设备间的内存墙问题)限制了神经网络的设计
潜在原因：AI硬件专注于提高硬件的峰值算力，这是以简化或者删除其他部分（例如内存的分层架构）为代价的

常见并行策略

需要考虑的问题
协调集群中的计算和通信
用矩阵乘法的例子来说明如何实现神经网络的分布式训练
【斯坦福cs324w】中译版 大模型学习笔记七 LLM分布式训练_第1张图片

数据并行

特点
将数据x进行切分，每个设备上的模型w相同
图示如下
【斯坦福cs324w】中译版 大模型学习笔记七 LLM分布式训练_第2张图片
将两个设备的输出拼接得到完整输出
关键点
由于数据分发，反向传播时两个设备上的 ∂ l o s s ∂ w \frac{\partial loss}{\partial w} ∂w∂loss​ 不同，最终得到两个模型
解决办法
在反向传播中对各个设备上的梯度进行AllReduce处理来确保各个设备上模型的一致性
适用情况
由于反向过程中同步梯度会产生通信代价，于是数据并行策略适合数据集较大，模型较小的情况。
比如视觉分类模型ResNet50

AllReduce策略：跨设备地执行计算操作，从而保证各个设备上模型的一致性

模型并行

将模型w切分到各个模型，每个模型中有完整的数据
图示
【斯坦福cs324w】中译版 大模型学习笔记七 LLM分布式训练_第3张图片
完整输出需要拼接各个设备的输出
特点
无需多个设备之间的梯度AllReduce
但所有数据(input、output)将在多个设备之间广播，产生通信代价
适用情况
神经网络巨大的情况
语⾔模型，如 BERT，常采⽤模型并⾏

流水并行

将网络切分为多个阶段分发到不同的计算设备上，各个设备“接力”完成训练
图示
【斯坦福cs324w】中译版 大模型学习笔记七 LLM分布式训练_第4张图片
说明：这里展示的是一个4层网络(T1到T4)，GPU0完成T1、T2的计算，GPU1完成T3、T4的计算。GPU0完成计算后output给到GPU1
适合情况
仍然是解决神经网络巨大的问题

混合并行

以GPT-3的训练策略进行说明
训练被分为64个阶段进行流水并行，每个阶段在6台DGX-A100 主机上数据并行训练，每台主机有 8 张 GPU 显卡实现模型并行训练
【斯坦福cs324w】中译版 大模型学习笔记七 LLM分布式训练_第5张图片

参考资料

  1. AI算力瓶颈
  2. AllReduce策略介绍
  3. datawhale的so-large-lm学习资料

你可能感兴趣的:(#,LLM,学习,笔记,分布式,人工智能,神经网络)

  • 增强语音对车载语音质量测试的挑战 众乐认证 itu
    一、什么是增强语音语音助手是实现智慧车联的关键之一，通过助手，方可去掉按键。其中一个比较典型的功能就是目前比较流行的enhancedsiri。二、增强语音的难点1.语音合成技术语音合成技术在车内环境中的表现至关重要。语音合成采用了混合单元选择系统，结合了单元选择和参数合成的优势，并通过深度学习进一步提升了语音质量。这种技术的应用，使得语音助手能够在车内环境中提供流畅自然且易于理解的语音交互体验。2
  • 2018-04-07 欣宝_79e5
    认可：认真完成作业、在大人帮助下能认真洗澡洗头、要求睡前讲故事不认可：中午没有睡觉、晚上上课时讲空话今天我上班了，全程由爸爸陪伴。早上出门前宝贝和我约定说上课会认真听讲，中午要求爸爸能带她去吃披萨。时间过得很快，很快到中午了，我电话询问上午学习情况，爸爸回答说：“应该还可以吧，之前老师会说哪里不乖，但今天没有，所以我现在带她去吃披萨。”中午的我心情变得美美的，孩子能在没有我陪伴的时候做到约定的事情
  • 修行，修心，修德，修缮自己 日落青山
    我特别喜欢看关于心学、佛学、金刚经、道德经这些，从中学习里面的哲学和方法论，用来解决心灵问题，解答人生困惑，领悟人生真谛，找到终极人生智慧。心理学的东西我也喜欢看，但是总觉得它不够究竟，不能终极，不能直达心底。当同龄人还在痛苦困惑，我已经自愈，自渡，领悟生命的本质，开始追求返璞归真。生命的本质就是苦难，是觉醒，是领悟，生命的核心就是永远让内在大于外在，生命才会特别喜悦。人活着必须要有悟性，佛性，以
  • 0基础学极简画，连载29/100天 大鱼漫说
    大家好，我是大鱼漫说，你们可以叫我大鱼，我现在是一位在学习绘画的程序员。昨天大鱼练习了画眼镜，收到了一些朋友的点赞，感谢大家的支持，大鱼很开心，今天大鱼练习的帽子。帽子的种类繁多，不只是按照季节来分，各种款式、样式多的去了，大鱼比较懒，所以大鱼要画的是一年四季都能戴的帽子，这样就不用画那么多了，哈哈哈。偷偷告诉你们，大鱼开始画壁纸了，极简风治愈系壁纸哦，喜欢的快去大鱼的视频hao看看吧。好了，开始
  • 2019·8·2 日精进 赵赵镜子吧
    大家好！我是来自青岛海立方广告公司的赵勤径。今天是2019年8月2日，我的日精进行动第99天，和大家分享我今天的进步，我们互相勉励，携手前行。每天进步一点点，距离成功便不远。1、比学习：人生处处是学习：phthon编程课第二天，学习字符串、整数、浮点数的转换应用2、比改变：变通一下，就会发现更多的精彩3、比付出：不管付出和收获成不成正比，还是要先做，才会有收4、比谦卑：越成功的人越谦卑，越无能的人
  • 【0218践行笔记】关于对“自己人”的理解 正本
    工作中，特别是管理者，都希望下属成为“自己人”，这样办起事情来，就会顺风顺水，事半功倍。那么“自己人”需要什么条件才能够入围呢？我想还是应当从三方面入手。001.信任信任要在平时工作中点滴积累起来的。老板安排一件任务，交代给你办理步骤，在办理过程中，你尽职尽责去办或虎头蛇尾去办，结局会大不一样。如果尽职尽责，甚至超出老板预期，那么老板对你的信任就会加深一些。如果虎头蛇尾，雷声大雨点小，任务完成的不
  • 《压缩空气》 Hecate0523
    本节课的内容，主要是通过空气和水的体积改变对比实验，来探究空气的体积可以改变，有弹性。在引发的本节课的内容时，我使用了两个球一个气球一个水球，为上节课空气占据空间，有体积，又进一步加深知识学习。通过手捏和压，让学生在激发兴趣的过程中，感受了一下我们可以对空气和水施加力让它们有变化。在做压缩实验的过程中，先介绍了注射器的结构、量程、以及如何读数，学生在上个单元学习了温度计后，在学习这个注射器对于刻度
  • 亲子日记43 小兔麻麻_ace0
    6月30日星期六天气晴小兔子考完了，我也该上班了。这两天小兔子除了每天阅读，暑假作业还没写。今天上午去试听思维绘画课，三个小时就弄了一副画，没啥太大的感觉，就当玩儿了。七八个小朋友，不然就想看电视了。晚上呢，除了阅读，他还要制定一个暑假计划，我也要对他约法三章，玩儿学习都不耽误。
  • 践行派-365日更（11） viann_HK
    viann的小日子VianntoViann薇安老师是大咖，真的非常非常有智慧，能够撞名已经觉得是一种缘份，线下交流还很愉悦，真的只能感概，缘份是一种很玄的东西，大千宇宙真的是一个奥妙的能量场，做好自己，创造一个正向的磁场，旺自己、旺他人～以下viann老师金句：人永远都要谦卑，把自己的半杯水倒掉，带着空杯心态去学习，向身边的人学习，人人都有可能是你的贵人谁的原生家庭都不可能绝对圆满，而我们要做的是
  • 【Three.js基础学习】19.Custom models with Blender 蚕食我的耐心 three.js基础学习学习blender
    提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档前言blender模型资源:【blender】一个汉堡包-CSDN博客一、代码import'./style.css'import*asTHREEfrom'three'import{OrbitControls}from'three/examples/jsm/controls/OrbitControls.js'import{GLTFLoa
  • 【ShuQiHere】《机器学习的进化史『上』：从数学模型到智能算法的百年征程》 ShuQiHere 机器学习人工智能
    【ShuQiHere】引言：概述机器学习的演进机器学习的发展史是一段从数学基础到智能算法的演进历程。从19世纪的数学探索，到20世纪的计算革命，再到21世纪的智能算法应用，机器学习模型的演化贯穿了科学进步的每个重要阶段。这篇博客将系统回顾这些模型的历史演进，展示它们之间的联系，并探讨其在现代应用中的重要性。线性回归：机器学习的起点背景故事：1805年的法国，年轻的数学家Adrien-MarieLe
  • css基础学习总结(一) 晚睡早起₍˄·͈༝·͈˄*₎◞ ̑̑ 前端css学习前端
    文章目录一.选择器1.标签选择器2.类选择器3.ID选择器4.分组选择器5.派生与子元素选择器6.属性选择器7.伪类选择器8.伪对象选择器9.选择器的优先级别css优先级的6大分类一.选择器1.标签选择器选择器例子描述elementp/div/span选择所有含有指定标签的元素Documentdiv{color:red;}span{color:blue;}p{color:green;}HelloW
  • CTF_Web：反序列化学习笔记（一）php中的类与对象 星辰照耀你我 CTF_Webphp类unctf安全网络安全
    0x00前言前期第一次遇到反序列化这方面题目的时候，也看了不少资料，都是前辈们写的总结，但是都是直接从在ctf中的运用开始的，自己在这段时间整理的过程中，发现对于php类与对象了解不是很多，导致在看一些题目、或值前辈的总结时都比较困难，下面参考php文档，结合自己对php类与对象的理解先把反序列化的基础知识做一下整理。0x01php类与对象class在php手册中这样介绍:每个类的定义都以关键字c
  • 深入了解 Python 面向对象编程（最终篇） 稿子不爱 pythonpython开发语言
    大家好！今天我们将继续探讨Python中的类及其在面向对象编程（OOP）中的应用。面向对象编程是一种编程范式，它使用“对象”来模拟现实世界的事务，使代码更加结构化和易于维护。在上一篇文章中，我们详细了解了类和实例的概念、'self'关键字的作用、魔法函数的定义、构造函数和析构函数以及面向对象编程的三大特性、抽象类、动态添加内容。而今天，我们将会在原有的基础上学习：数据的三种类型、属性封装以及单例类
  • TensorFlow和它的弟弟们 活蹦乱跳酸菜鱼 tensorflow人工智能python
    TensorFlow、TensorFlowLite、TensorFlowLiteMicro是Google在深度学习领域推出的三个不同产品，它们各自有着不同的设计目标和适用场景。以下是它们之间的主要区别：1.TensorFlow(PC\GPU)设计目标：TensorFlow是一个开源的机器学习框架，由GoogleBrain团队开发，旨在帮助开发者构建和训练深度学习模型。它支持多种编程语言（如Pyth
  • 机器学习（ML）算法分类 活蹦乱跳酸菜鱼 机器学习
    机器学习（ML）算法是一个广泛而多样的领域，涵盖了多种用于数据分析和模式识别的技术。以下是一些常见的机器学习算法分类及其具体算法：一、监督学习算法监督学习算法使用标记（即已知结果）的训练数据来训练模型，以便对新数据进行预测。线性回归：用于建立连续变量之间的关系，通过拟合一条直线或超平面来预测新数据的输出值。逻辑回归：虽然名称中包含“回归”，但实际上是用于分类问题，特别是二分类问题。通过将线性回归模
  • 用JavaScript实现的5个常见函数 强哥科技兴
    在学习JavaScript，或者前端面试中，有人会问你节流函数、防抖函数、递归函数等，本文分享了5个常见函数，希望对你有所帮助。在JavaScript中有一些问题会被拿出来经常讨论，这些问题每个人都有不同的思路，想要理解这些问题，最好的方法就是自己实现一遍，话不多说，开始正题。数组扁平化数组扁平化有很多方法，但最终最好的方法就是递归，实现一个指定深度的扁平化方法，这样基本的套路都会了解。1func
  • 【文魁大脑《博赞思维导图管理师认证班》】朱凯丽+第七幅+策划项目步骤 朱凯丽
    【姓名】朱凯丽【导师】王玉印、袁文魁【导图解说】平时记笔记都比较随意，内容很杂乱，后期看的时候经常就看不懂，所以自己这次尝试用思维导图记录。在听课的时用软件记录重点，发现自己的总结能力、抓关键字能力需要多锻炼。第一遍听课无法有效抓取关键词，需要第二遍在原基础上总结，增减。中心图：没有特意找图片，直接在云朵上说明。分支：首先简单说明项目的内容，个人计划和活动的策划、组织都可以作为一个项目。策划项目的
  • 防疫材料 我写我快乐
    疫情防控好新冠肺炎疫情发生，接到通知，她积极响应国家号召，过年期间，没有走亲访友。居家隔离，讲究卫生，每天消毒，分餐吃，分房住，不出门，待在家。不造谣、不信谣、不传谣，通过学习强国了解国家疫情信息。选择适合学生看的内容发到班级群。选择适合朋友看的内容分享到朋友圈。选择适合同事们看的内容发到学校工作群。保持积极乐观的心态。当学校需要的时候，义不容辞进行防疫消毒工作。师德表现好她具有强烈的事业心和责任
  • 第一次学习新教材，老师应该怎么备课？ 科学慧慧老师
    第一次学习新教材，是指从不知到知道，由不懂到理解事实、现象、特征的本质的过程。教师在第一次教授新教材时，要注意以下几点：1.在学生的意识中，不明确的、模糊的知识越少，他的学习效果就越好。有经验的老师在第一次教新教材时，总是力求看到学生是怎样独立地完成作业的。在新课上，一定要有学生的独立工作，使学生在独立工作过程中思考事实，得出概括性的结论。学习较差的学生的脑力劳动的效果如何，首先取决于在第一次学习
  • 2022-1-2晨间日记 悠然人生路
    今天是什么日子起床：7.03就寝：9.30天气：晴天心情：好纪念日：今天家人都有时间，做了好多好多好吃的，开心开心！任务清单昨日完成的任务，最重要的三件事：改进：习惯养成：✘周目标·完成进度✘学习·信息·阅读✘健康·饮食·锻炼✘人际·家人·朋友今天先生去舅舅家里，妹妹也在，他们都没人说留先生吃午饭，我听完心里特别难受，我欺负他可以，别人就不行了，呵呵！工作·思考最美好的三件事1.我今天把床挪了一个
  • 花艺 香草味柠檬
    对于花艺的印象一直停留在每次宴会上的摆件，淡淡花香，大多是玫瑰是主角，玫瑰颜色很多，没有过多去了解和欣赏，觉得好看。近期开始买了花束，才发现插花还是讲究的。是门艺术，该好好学习啦我是希望爱和被爱的香草味柠檬，会酸，也会甜。在暖春时看到花开，在遇见你。
  • 2020.3.2张孟莹日精进 39bab3513171
    敬爱的李老师，智慧的教授，亲爱的跃友们：大家好！我是来自威海玉林广告的张孟莹，今天是我的日精进行动第284天，给大家分享我今天的进步，我们互相勉励，携手前行。每天进步一点点，距离成功也就不远了！1、比学习:书中自有黄金屋，书中自有颜如玉，读的书多了，见得世面就多了。2、比改变:十年磨一剑的坚持，每天的阅读和积累。3、比付出:越是积累，我们就会越耀眼。4、比谦卑:不积跬步无以至千里，不积小流无以成江
  • 笔记：node.js基础 一只小bug。 node.js
    1.初识node.jsNode.js是一个基于chromeV8引擎的javaScript运行环境。浏览器中js的运行环境=chromeV8引擎+webAPI（BOM、DOM、ajax等）。Node.js中js的运行环境=V8引擎+内置API（fs、path、http、js内置对象等）。终端快捷键：tab（补全路径）、esc（清空当前已输入的命令）、clear（清空终端）。2.fs文件模块系统fs模
  • ARM架构学习（二）——流水线 浪矢杂谈 ARM体系结构学习arm架构arm开发
    本期主题：ARM流水线往期地址：ARMv7架构学习ARM流水线1.流水线概念2.指令的分解步骤1.流水线概念硬件资源总是有限的，有一个明显的方法能改善硬件资源的利用率，这就是pipeline（流水线）技术，其实就是在当前指令结束之前就开始执行下一条指令。ARM中的流水线是这么做的：当一条指令刚执行完步骤1，准备转向步骤2时，下一条条指令开始执行步骤1。2.指令的分解步骤一条指令在被处理器运行时，实
  • 感赏和投射（41） 张丽女13初二
    感赏女儿回家就写作业，感赏女儿爱吃妈妈买的面包，感赏自己下午出门办了许多事情。今天阴天，下了入冬以来的第一场雪，虽然很小，但也小小的惊喜。中午姥姥打电话来说，女儿有同学送回来的，并且中午一点就走了，和同学一起走的。感谢姥姥，姥爷对孩子的关心，说实话。我也焦虑，烦躁。但对孩子我却一点办法没有，我知道找她谈，是没用的，只会让她更反感。只能祈祷她爱护自己，不要做出出格的事情。不要影响学习，虽然成绩不太好
  • 经验笔记：理解和保障JWT的安全性 漆黑的莫莫 计算机网络笔记
    经验笔记：理解和保障JWT的安全性引言在软件开发领域，特别是Web应用开发中，JWT(JSONWebTokens)是一种广泛使用的认证机制。JWT不仅能够简化客户端与服务端之间的身份验证流程，还能增强数据传输的安全性。本文将深入探讨JWT的工作原理，并重点讲解如何确保JWT在实际应用中的安全性，特别是在防止JWT被篡改方面。JWT的工作原理JWT是一种开放标准（RFC7519），它定义了一种紧凑且
  • 阅读笔记12 无弦凡音
    阅读笔记12《再活一次用写作来调心》之《别光讲，展现出来》2019/1/16读着写着,写着读着，我心里的写作和阅读都和从前很不一样了。我甚至发现我对生活的看法也越来越不一样。上稿是一定要的，但是不再迫切；打卡也是必须要做的，不过已经不再痛苦。我的努力不再欺骗我自己，它有了更加踏实的意义。努力和我，我们从未和彼此这么亲近，我打碎了那个自以为是、莫名清高、眼高手低、词不达意的自己，用越来越有质感的文字
  • 7.0 践行打卡 D42 星月格格
    一天不练都不行1.运动打羽毛球呼啦圈2.阅读《高能要事》第七章复读每一次重复去阅读，都会有不一样的感悟与心得，刚开始只能摘抄一些金句，进一步可以顺着思路做一些自己可以做的……不批判他人当在不断的尝试，不断的总结和践行时，可能会理解老师最深层次的一些东西。特别能理解和体会这几句话：是可以通过努力，找到人生方向，那么通过学习，理清思路，找到方法人需在事上磨，方能立得住，如果不去经历，不去磨练，就可能永
  • 优秀的管理不是控制——修耐教育 修耐教育
    一个优秀的管理者要做的是激发团队潜能，创造最大价值，为他人谋福祉。这就是管理的本质。这句管理箴言被许多管理者熟知，但是怎样践行这一管理理念，或许下文会有一些启示。管理者想要对“激励”有所突破性思考，然而却发现个很有趣的现象：把“激励”和“沟通”作为管理者至关重要的任务讲解，让工作富有成效，让员工具有成就感，给我们很多启发和思考。有很多人一旦参加了工作就很少有时间学习，大概在2002年左右成功学相关
  • apache ftpserver-CentOS config gengzg apache
    <server xmlns="http://mina.apache.org/ftpserver/spring/v1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=" http://mina.apache.o
  • 优化MySQL数据库性能的八种方法 AILIKES sqlmysql
    1、选取最适用的字段属性 　　MySQL可以很好的支持大数据量的存取，但是一般说来，数据库中的表越小，在它上面执行的查询也就会越快。因此，在创建表的时候，为了获得更好的 性能，我们可以将表中字段的宽度设得尽可能小。例如，在定义邮政编码这个字段时，如果将其设置为CHAR(255),显然给数据库增加了不必要的空间，甚至使用VARCHAR这种类型也是多余的，因为CHAR(6)就可以很
  • JeeSite 企业信息化快速开发平台 Kai_Ge JeeSite
    JeeSite 企业信息化快速开发平台 平台简介 JeeSite是基于多个优秀的开源项目，高度整合封装而成的高效，高性能，强安全性的开源Java EE快速开发平台。 JeeSite本身是以Spring Framework为核心容器，Spring MVC为模型视图控制器，MyBatis为数据访问层， Apache Shiro为权限授权层，Ehcahe对常用数据进行缓存，Activit为工作流
  • 通过Spring Mail Api发送邮件 120153216 邮件main
    原文地址：http://www.open-open.com/lib/view/open1346857871615.html 使用Java Mail API来发送邮件也很容易实现，但是最近公司一个同事封装的邮件API实在让我无法接受，于是便打算改用Spring Mail API来发送邮件，顺便记录下这篇文章。 【Spring Mail API】 Spring Mail API都在org.spri
  • Pysvn 程序员使用指南 2002wmj SVN
    源文件:http://ju.outofmemory.cn/entry/35762 这是一篇关于pysvn模块的指南. 完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html. pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个. 该
  • 在SQLSERVER中查找被阻塞和正在被阻塞的SQL 357029540 SQL Server
    SELECT  R.session_id AS BlockedSessionID ,          S.session_id AS BlockingSessionID ,          Q1.text AS Block
  • Intent 常用的用法备忘 7454103 .netandroidGoogleBlogF#
    Intent     应该算是Android中特有的东西。你可以在Intent中指定程序 要执行的动作（比如：view,edit,dial），以及程序执行到该动作时所需要的资料 。都指定好后，只要调用startActivity()，Android系统 会自动寻找最符合你指定要求的应用 程序，并执行该程序。 下面列出几种Intent 的用法 显示网页:
  • Spring定时器时间配置 adminjun spring时间配置定时器
    红圈中的值由6个数字组成，中间用空格分隔。第一个数字表示定时任务执行时间的秒，第二个数字表示分钟，第三个数字表示小时，后面三个数字表示日，月，年，< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" /> 测试的时候，由于是每天定时执行，所以后面三个数
  • POJ 2421 Constructing Roads 最小生成树 aijuans 最小生成树
    来源：http://poj.org/problem?id=2421 题意：还是给你n个点，然后求最小生成树。特殊之处在于有一些点之间已经连上了边。 思路：对于已经有边的点，特殊标记一下，加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在，又保证了所求的结果正确。 代码： #include <iostream> #include <cstdio>
  • 重构笔记——提取方法（Extract Method） ayaoxinchao java重构提炼函数局部变量提取方法
    提取方法（Extract Method）是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候，这时候就可以用提取方法这种重构手法。   下面是我学习这个重构手法的笔记：   提取方法看起来好像仅仅是将被提取方法中的一段代码，放到目标方法中。其实，当方法足够复杂的时候，提取方法也会变得复杂。当然，如果提取方法这种重构手法无法进行时，就可能需要选择其他
  • 为UILabel添加点击事件 bewithme UILabel
        默认情况下UILabel是不支持点击事件的，网上查了查居然没有一个是完整的答案，现在我提供一个完整的代码。   UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
  • NoSQL数据库之Redis数据库管理(PHP-REDIS实例) bijian1013 redis数据库NoSQL
    一.redis.php <?php //实例化 $redis = new Redis(); //连接服务器 $redis->connect("localhost"); //授权 $redis->auth("lamplijie"); //相关操
  • SecureCRT使用备注 bingyingao secureCRT每页行数
    SecureCRT日志和卷屏行数设置 一、使用securecrt时，设置自动日志记录功能。 1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径），命名为Logs； 2、点击Options -> Global Options -> Default Session -> Edite Default Sett
  • 【Scala九】Scala核心三：泛型 bit1129 scala
    泛型类 package spark.examples.scala.generics class GenericClass[K, V](val k: K, val v: V) { def print() { println(k + "," + v) } } object GenericClass { def main(args: Arr
  • 素数与音乐 bookjovi 素数数学haskell
        由于一直在看haskell，不可避免的接触到了很多数学知识，其中数论最多，如素数，斐波那契数列等，很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。     闲暇之余，从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
  • Java-Collections Framework学习与总结-IdentityHashMap BrokenDreams Collections
            这篇总结一下java.util.IdentityHashMap。从类名上可以猜到，这个类本质应该还是一个散列表，只是前面有Identity修饰，是一种特殊的HashMap。         简单的说，IdentityHashMap和HashM
  • 读《研磨设计模式》-代码笔记-享元模式-Flyweight bylijinnan java设计模式
    声明： 本文只为方便我个人查阅和理解，详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/ import java.util.ArrayList; import java.util.Collection; import java.util.HashMap; import java.util.List; import java
  • PS人像润饰&调色教程集锦 cherishLC PS
      1、仿制图章沿轮廓润饰——柔化图像，凸显轮廓 http://www.howzhi.com/course/retouching/   新建一个透明图层，使用仿制图章不断Alt+鼠标左键选点，设置透明度为21%，大小为修饰区域的1/3左右（比如胳膊宽度的1/3），再沿纹理方向（比如胳膊方向）进行修饰。   所有修饰完成后，对该润饰图层添加噪声，噪声大小应该和
  • 更新多个字段的UPDATE语句 crabdave update
    更新多个字段的UPDATE语句                    update tableA a set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
  • hive实例讲解实现in和not in子句 daizj hivenot inin
    本文转自：http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html 当前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。 假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含
  • 一道24点的10+种非人类解法（2,3,10,10） dsjt 算法
    这是人类算24点的方法？！！！ 事件缘由：今天晚上突然看到一条24点状态，当时惊为天人，这NM叫人啊？以下是那条状态 朱明西 : 24点，算2 3 10 10，我LX炮狗等面对四张牌痛不欲生，结果跑跑同学扫了一眼说，算出来了，2的10次方减10的3次方。。我草这是人类的算24点啊。。 然后么。。。我就在深夜很得瑟的问室友求室友算 刚出完题，文哥的暴走之旅开始了 5秒后
  • 关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题 dcj3sjt126com yiiframework
    在使用 YIi的路径管理工具时，发现了一个问题。                    <?php         
  • 对象与关系之间的矛盾：“阻抗失配”效应[转] come_for_dream 对象
    概述   “阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库（RDBMS）存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年，而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。   “阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括：类的层次关系必须绑定为关系模式（将对象
  • 学习编程那点事 gcq511120594 编程互联网
    一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！ 接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
  • Reverse Linked List II hcx2013 list
    Reverse a linked list from position m to n. Do it in-place and in one-pass. For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4, return 
  • Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介 jinnianshilongnian spring 4.1
    目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
  • Hadoop集群工具distcp liyonghui160com
        1. 环境描述 两个集群：rock 和 stone rock无kerberos权限认证，stone有要求认证。 1. 从rock复制到stone，采用hdfs Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端，即源端问题：报版本
  • 一个备份MySQL数据库的简单Shell脚本 pda158 mysql脚本
    　　主脚本（用于备份mysql数据库）： 　　该Shell脚本可以自动备份 数据库。只要复制粘贴本脚本到文本编辑器中，输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。 　　 1. 分别建立目录“backup”和“oldbackup” 　　#mkdir /backup 　　#mkdir /oldbackup 　
  • 300个涵盖IT各方面的免费资源（中）——设计与编码篇 shoothao IT资源图标库图片库色彩板字体
    A. 免费的设计资源 Freebbble:来自于Dribbble的免费的高质量作品。 Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。 Graphic Burger:每个像素点都做得很细的绝佳的设计资源。 Pixel Buddha:免费和优质资源的专业社区。 Premium Pixels:为那些有创意的人提供免费的素材。
  • thrift总结 - 跨语言服务开发 uule thrift
    官网 官网JAVA例子 thrift入门介绍 IBM-Apache Thrift - 可伸缩的跨语言服务开发框架 Thrift入门及Java实例演示 thrift的使用介绍   RPC    POM： <dependency> <groupId>org.apache.thrift</groupId>
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他