【MindSpore易点通】分布式并行经验总结

1 简单介绍
现如今数据的存储越来越多，想要提高算力的话，其实我们可以提高分布式计算。所谓分布式计算就是在两个或多个软件互相共享信息，这些软件既可以在同一台计算机上运行，也可以在通过网络连接起来的多台计算机上运行。分布式并行训练，可以降低对内存、计算性能等硬件的需求，是进行训练的重要优化手段。

而我们昇思MindSpore的特性之一就是融合了数据并行、模型并行和混合并行，构建一种易用高效的分布式并行训练模式，让算法人员不再需要关注算法模型到底需要用哪种模式训练。可以简化分布式并行编程，串行代码实现分布式训练，对用户屏蔽并行细节，并且保持高性能；计算逻辑上保持和单卡串行流程一致；实现上统一数据并行和模型并行，一套框架支持多种并行模式；结合集群拓扑优化性能。

2 解决方案
介绍了这么多，现在就让我们具体来看看论坛中的小伙伴们在分布式并行方面遇到了哪些问题并且如何解决的吧~

同学A使用了BERT的masked language model预训练方法，使用数据并行和模型并行进行训练，训练过程中发现loss并不下降，定位问题发现dataset生成数据时有个随机mask的操作，在不同进程中间随机结果会不一致。

参考链接：https://bbs.huaweicloud.com/f...

同学B在docker内安装nccl时，由于一开始建立容器的时候没有设置允许共享内存，使用nccl-tests测试会进行报错。

参考链接：https://bbs.huaweicloud.com/f...

同学C在Ascend上进行多机/多卡训练时遇到load task fail报错，首先可以查看其它卡的plog，然后设置延长每张卡的最大等待时长。

参考链接：https://bbs.huaweicloud.com/f...

同学D 在MindSpore并行模式配置时，错误使用了semi_parallel模式。

参考链接：https://bbs.huaweicloud.com/f...

同学E 也遇到了上述类似问题，PyNative配置为semi_auto_parallel模式时遇到报错。

参考链接：https://bbs.huaweicloud.com/f...

同学F误认为并行支持非2的幂次方的并行切分进而报错。

参考链接：https://bbs.huaweicloud.com/f...

3 实践分析

3.1 整体概述
当然用户们对MindSpore的分布式并行模块也有自己的整体认知和理解：https://bbs.huaweicloud.com/f...；

https://bbs.huaweicloud.com/f...

3.2 并行特性
同时半自动并行和全自动并行这两大特性的使用方法也被用户们悉数掌握。

比如采用半自动并行模式，展示了一个从数据到模型的并行转换的案例。

https://bbs.huaweicloud.com/f...

然后仅用一行代码实现了单机脚本的全自动分布式并行。

https://bbs.huaweicloud.com/f...

3.3 分布式训练通信方法
有总体的认知，具体算子用法当然也不会少啦！

比如MindSpore分布式并行训练中的Broadcast、AllGather、ReduceScatter以及AllReduce分布式训练通信方法。

1.Broadcast——集合通信原语相关操作被封装py文件中，对该文件中涉及集合通信的内容进行具体查看解析：https://bbs.huaweicloud.com/f...

2.AllGather——对于分发在所有进程上的一组数据来说，Allgather会收集所有数据到所有进程上：https://bbs.huaweicloud.com/f...

3.ReduceScatte——实现通信算子的自动微分，为AllGather提供反向算子：https://bbs.huaweicloud.com/f...

4.AllReduce——Allreduce将归约值并将结果分配给所有进程：https://bbs.huaweicloud.com/f...

3.4 硬件平台区分
这里有个知识点需要提醒大家注意！分布式并行由于其硬件平台的不同有的时候也会有点小改变。

比如在GPU硬件平台上，MindSpore分布式并行训练的通信使用的是NCCL，采用的多进程通信库是OpenMPI。

参考链接：https://bbs.huaweicloud.com/f...

而对于Ascend AI处理器，MindSpore分布式并行训练的通信使用了华为集合通信库HCCL。

参考链接：https://bbs.huaweicloud.com/f...

3.5 大V博文
其实我们官方也有MindSpore并行特性介绍，同时首席构架师金雪锋大佬给出了更加全面的总结，欢迎大家多多关注。

AI框架的分布式并行能力的分析和MindSpore的实践一混合并行和自动并行：

https://bbs.huaweicloud.com/f...

盘古大模型的推理解决方案：增量推理+分布式推理：

https://bbs.huaweicloud.com/f...

希望这期的干货汇总能够小小地帮助到大家，当然啦，遇到其他相关问题也欢迎来我们论坛一起交流解决，欢迎各位开发者们多多贡献~

你可能感兴趣的:(【MindSpore易点通】分布式并行经验总结)

  • 六月份阶段性大总结之Doris/Clickhouse/Hudi一网打尽 王知无(import_bigdata) 大数据编程语言人工智能java数据分析
    点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜全网最全大数据面试提升手册！这是个阶段性小总结，后面会持续更新。ClickHouse「Clickhouse系列」分布式表&本地表详解「ClickHouse系列」ClickHouse之MergeTree原理「ClickHouse系列」Replication机制详解「ClickHouse系列」ClickHouseSQL基本语法和导入导出实战「C
  • 关于函数的形参是实参的拷贝的理解 nihuhui666
    为什么都学到C++了还是写这?因为我刚刚明白了一点东西首先来个函数和调用//传值//按照值的方式传参,将来编译器会生成实参的拷贝voidSwap(intleft,intright){cout<<&left<<''<<&right<<''<
  • 后端Web开发框架（Java） 测试人子期 软件测试测试开发java前端spring
    SpringBoot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。讲的通俗一点就是SpringBoot并不是一个新的框架，它只是整合和默认实现了很多框架的配置方式。通过SpringBoot，可以轻松地创建独立的、基于生产级别的基于Spring的应用程序。为什么使用Spri
  • FastAPI教程——并发async/await 雾重烟秋 大语言模型实战fastapi
    本文参考FastAPI教程https://fastapi.tiangolo.com/zh/tutorial并发async/await有关路径操作函数的asyncdef语法以及异步代码、并发和并行的一些背景知识。通过asyncdef声明你的路径操作函数：@app.get('/')asyncdefread_results():results=awaitsome_library()returnresul
  • 《解锁华为黑科技：MindSpore+鸿蒙深度集成奥秘》 程序猿阿伟 华为科技harmonyos
    在数字化浪潮汹涌澎湃的当下，人工智能与操作系统的融合已成为推动科技发展的核心驱动力。华为作为科技领域的先锋，其AI开发框架MindSpore与鸿蒙系统的深度集成备受瞩目，开启了智能生态的新篇章。华为MindSpore：AI框架的创新先锋MindSpore自2019年诞生以来，迅速在AI领域崭露头角。它以其独特的设计理念和先进的技术架构，为开发者提供了全场景的AI开发支持。从设计理念上看，MindS
  • Vue3 事件处理 wjs2024 开发语言
    Vue3事件处理引言Vue3作为新一代的Vue.js框架，在事件处理方面提供了更加灵活和高效的方式。本文将详细介绍Vue3中的事件处理机制，包括事件绑定、事件监听、事件修饰符等，帮助开发者更好地理解和应用Vue3的事件处理。1.事件绑定在Vue3中，事件绑定与Vue2相比有一些变化。以下是Vue3中事件绑定的一些关键点：1.1使用v-on或@指令在Vue3中，我们可以使用v-on或简写@指令来绑定
  • HarmonyNext实战：基于ArkTS的高性能分布式任务调度系统开发 harmonyos-next
    HarmonyNext实战：基于ArkTS的高性能分布式任务调度系统开发引言在HarmonyNext生态系统中，分布式任务调度是一个复杂且关键的技术领域。本文将深入探讨如何利用ArkTS语言开发一个高性能的分布式任务调度系统，涵盖从基础概念到高级优化的完整流程。我们将通过一个实际的案例——分布式计算任务调度系统，来展示如何在HarmonyNext平台上实现高效的任务调度。1.项目概述1.1目标开发
  • HarmonyNext实战：基于ArkTS的跨设备分布式数据同步应用开发 harmonyos-next
    HarmonyNext实战：基于ArkTS的跨设备分布式数据同步应用开发引言在分布式系统的开发中，跨设备数据同步是一个极具挑战性的问题。随着HarmonyOSNext的发布，ArkTS作为其核心开发语言，为开发者提供了强大的分布式能力。本文将深入探讨如何利用ArkTS在HarmonyNext平台上开发一个跨设备分布式数据同步应用。我们将从分布式数据管理的基础理论出发，逐步构建一个完整的应用，涵盖数
  • 浅谈StarRocks数据库简介及应用 微笑的曙光（StevenLi） 数据库数据库
    StarRocks是一款高性能的实时分析型数据库，专为复杂的SQL查询提供极高的性能，尤其适用于数据分析场景。它是一款开源的新一代极速全场景MPP（MassivelyParallelProcessing，大规模并行处理）数据库，致力于构建极速和统一的分析体验。StarRocks兼容MySQL协议，用户可以使用MySQL客户端和常用的BI（BusinessIntelligence，商业智能）工具进行
  • Cesium高级开发教程之四十八：包络分析 CesiumMaster Cesium开发教程javascriptCesiumhtml
    一、原理包络分析是一种用于确定一组数据点或对象的外包络或边界的分析方法，在GIS中，包络分析用于确定地理要素（如点、线、面等）的外包络范围。例如，在城市规划中，对一片区域内的建筑物、道路等地理要素进行包络分析，可以得到这片区域的大致边界范围，以便进行土地利用规划、资源分配等工作。还可用于分析野生动物的栖息地范围，通过对动物活动轨迹点进行包络分析，确定其栖息地的边界，为野生动物保护提供决策支持。二、
  • springboot 整合 elk （Elasticsearch+Logstash+Kibana） 高大王竟然被注册 spring运维
    Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。Kibana也是一个开源和免费的工具，它Kibana可以为Logstash和ElasticSearch提供的日志分析友好的Web界
  • 小白十分钟速通 Spring Boot 基础 Gao_雪 Springspringboot后端javaspringvscode
    SpringBoot介绍随着Spring体系的不断庞大，加上现代互联网应用体积庞大，构建一个应用还是非常困难的，Spring团队重新打造了一个新的面向微服务的框架SpringBoot。严格来说SpringBoot不能是一个框架，它更是一个方案，Spring工程的快速上手方案，它极大的降低了JavaWeb工程的创建和运行和部署的难度。在过去这些都是Java工程师的老大难，所以说SpringBoot的
  • 马斯克说的没错，DeepSeek确实厉害，但真正可怕的是... PPT百科 人工智能powerpointpptDeepSeek马斯克
    作者：PPT百科（PPTwiki.COM）发布日期：2025年2月25日“中国能做出DeepSeek这样的AI，我一点都不意外。”当马斯克在达沃斯论坛上说出这句话时，全球科技圈的目光再次聚焦到了这个中国AI独角兽身上。然而，这位“硅谷钢铁侠”的下一句话却耐人寻味：“但它还不是革命性的，我们的Grok3会更好。”马斯克的评价看似矛盾，实则揭示了AI竞争的核心逻辑——技术突破与市场落地的双重博弈。而D
  • 鸿蒙5.0版开发：UI界面[email protected] (componentUtils) 星星不闪包退1 ArkTS鸿蒙5.0ArkUIharmonyos华为android鸿蒙前端UI
    往期鸿蒙全套实战文章必看：鸿蒙开发核心知识点，看这篇文章就够了最新版！鸿蒙HarmonyOSNext应用开发实战学习路线鸿蒙HarmonyOSNEXT开发技术最全学习路线指南鸿蒙应用开发实战项目，看这一篇文章就够了（部分项目附源码）@ohos.arkui.componentUtils(componentUtils)提供获取组件绘制区域坐标和大小的能力。说明：从APIVersion10开始支持。后续
  • 知识点专项整理 健忘的鱼 androidandroidstudiojava
    跨进程通讯（IPC）参考Android通信机制消息队列：基于SystemV和Posix系统优点异步，解耦，缓冲，缺点：比信号和管道更加重，队列数据有上限（一般16KB）Android中代表handler，但handlerr只是进程内的通信方式：由消息轮询器（Looper）、消息队列（MessageQueue）、消息处理器（Handler）三部分组成，轮询器通过prepare()初始化消息队列，处理
  • HarmonyOS 实战开发 —— 基于HMRouter的路由跳转方案 CTrup 鸿蒙开发HarmonyOS移动开发harmonyos组件化移动开发鸿蒙开发ArkUIHMRouter组件化路由
    往期笔录记录：鸿蒙（HarmonyOS）北向开发知识点记录~鸿蒙（OpenHarmony）南向开发保姆级知识点汇总~鸿蒙应用开发与鸿蒙系统开发哪个更有前景？嵌入式开发适不适合做鸿蒙南向开发？看完这篇你就了解了~对于大前端开发来说，转鸿蒙开发究竟是福还是祸？鸿蒙岗位需求突增！移动端、PC端、IoT到底该怎么选？记录一场鸿蒙开发岗位面试经历~持续更新中……HMRouter简介HMRouter作为Har
  • HarmonyNext深度解析：ArkUI高效渲染与性能优化实战 披光人 harmonyOSubuntulinux运维
    一、HarmonyNext渲染引擎技术演进（约1200字技术解析）HarmonyOSNext在UI渲染架构层面实现了重大突破，其创新的ArkUI渲染引擎采用分层异步架构设计。核心改进包括：原子化渲染管线采用基于Vulkan的跨平台渲染后端，通过原子化渲染指令拆分技术，实现绘制指令的并行执行能力。在华为Mate60系列实测中，复杂界面渲染延迟降低42%智能脏区检测机制基于机器学习的区域更新预测算法，
  • Python多版本环境管理UV 坐吃山猪 Pythonpythonuv开发语言
    Python多版本环境管理UV1-参考网址Python虚拟环境UV管理工具-官网Python虚拟环境UV管理工具-快速开始pyproject.toml使用指导2-核心知识点1）python项目维护requirements.txt2）python机器学习环境Anaconda3）python轻量级环境管理uv4）uvx快速上手使用3-上手实操1-安装UV虚拟环境管理工具UV官网安装教程#Windows
  • 分布式光伏监控系统设计 能源数字化创业者 分布式能源管理
    一、产品简介快控光伏运维云平台软件是针对工商业分布式光伏电站设计研发的一款集控管理系统。他通过智能网关采集现场逆变器、气象站、综合测控装置等各类设备的运行数据和状态，实现对光伏电站的24小时实时在线监控诊断，有效的保障了电站的安全运行。同时系统拉通线上线下运维，可极大的提高电站的运维的效率和质量。该平台软件主要有以下几大功能：1、实时在线监控，实时故障监测，第一时间通知电站运维人员及时消除隐患，确
  • 第十三届蓝桥杯研究生组C++省赛 格格巫ZYX 算法c语言c++蓝桥杯
    有一根围绕原点O顺时针旋转的棒OA，初始时指向正上方（Y轴正向）。在平面中有若干物件，第i个物件的坐标为(xi,yi)，价值为zi。当棒扫到某个物件时，棒的长度会瞬间增长zi，且物件瞬间消失（棒的顶端恰好碰到物件也视为扫到），如果此时增长完的棒又额外碰到了其他物件，也按上述方式消去（它和上述那个点视为同时消失）。如果将物件按照消失的时间排序，则每个物件有一个排名，同时消失的物件排名相同，请输出每个
  • CSS3学习教程，从入门到精通， CSS3入门介绍的语法知识点及案例（1） 知识分享小能手 前端开发网页开发编程语言如门css3学习csshtml5前端javahtml
    CSS3入门介绍一、CSS3选择器1.1基本选择器/*元素选择器*/p{color:red;}/*类选择器*/.myClass{font-size:20px;}/*ID选择器*/#myId{background-color:yellow;}/*通用选择器*/*{margin:0;padding:0;}这是一个段落这是一个带有类的段落这是一个带有ID的段落1.2属性选择器/*属性选择器*/[href
  • 分布式光伏电站经济性指标优化分析 罗思付之技术屋 网络通信安全及科学技术专栏分布式
    摘要结合工程经验，分析了工商业分布式光伏电站平准发电成本（LevelizedCostofEnergy，LCOE）、资本金内部收益率（InternalRateofReturn，IRR）的主要影响因素，其中平准发电成本主要受静态投资影响，资本金内部收益率主要受消纳比影响。针对上述影响因素，进一步讨论了LCOE、IRR指标优化方法与在工程项目中可选用的举措。最后，结合实际项目背景，在站址条件、组件瓦单价
  • 全国产飞腾+FPGA架构，支持B码+12网口+多串电力通讯管理机解决方案 深圳信迈科技DSP+ARM+FPGA 飞腾+FPGA电力新能源fpga开发架构电力通讯管理机全国产
    行业痛点:中国的电力网络已经成为当今世界覆盖范围最广、结构最为复杂的人造科技系统。随着国家和各部委颁布了一系列法律法规，如国家颁布的《中华人民共和国网络安全法》、工信部颁布的《工业控制系统信息安全防护指南》、发改委颁布的14号令《电力监控系统安全防护规定》、国家能源局颁布的《关于印发电力监控系统安全防护总体方案等安全防护方案和评估规范的通知》，凸显了电力行业的网络安全防护工作的重要性。基于电力行业
  • flask--基础知识点--6--flask高并发处理 Raging__Fire #flaskpythonflask
    Flask是一个轻量级的PythonWeb框架，适合构建中小型应用。但是，对于高并发场景，Flask本身可能需要一些辅助工具和配置来提升性能。以下是一些优化Flask应用以处理高并发的方法：1.使用WSGI服务器Flask自带的开发服务器性能和稳定性不足以应对生产环境中的高并发请求，可以考虑使用更强大的WSGI服务器，如：Gunicorn:一个基于Python的WSGIHTTP服务器。uWSGI:
  • 基于NXP+FPGA轨道交通3U机箱结构牵引控制单元 深圳信迈主板定制专家 轨道交通NXP+FPGAX86+FPGAfpga开发边缘计算人工智能大数据嵌入式硬件
    基于NXP+FPGA轨道交通异步电机牵引控制单元(TCU-IM)异步电机牵引控制单元（TCU-IM）用于牵引逆变器-异步电机构成的牵引电传动系统，可采用车控或架控方式。执行高性能异步电机复矢量控制策略，具有响应迅速、有效可靠的防空转·滑行控制功能以及平稳、无冲击的带速重投技术。无速度传感器控制通过转速观察算法，推算出准确的转速和转子位置，在实际应用中，达到省去速度传感器的目的，降低成本并减少故障点
  • 438. 找到字符串中所有字母异位词 Zannnne leetcode
    438.找到字符串中所有字母异位词题号：力扣438知识点：字符串，滚动窗口目标完成度：59/150总结题干：思路：1.如果s的长度小于p，则s中必然找不到与p是异位词的子串。2.异位词的特点是每个字母出现的次数一直，但是出现的顺序不一定相同。因此我们建立两个容器，来记录p中和滚动窗口中每个字母出现的次数，由于字母一共只有26个，所以容易大小为26。3.第一个for循环相当于是对scount进行初始
  • 【忍者算法】从找朋友到找变位词：一道趣味字符串问题的深入解析｜LeetCode 438 找到字符串中所有字母异位词 忍者算法 忍者算法LeetCode题解秘籍leetcode算法职场和发展面试跳槽
    LeetCode438找到字符串中所有字母异位词点此看全部题解LeetCode必刷100题：一份来自面试官的算法地图（题解持续更新中）生活中的算法还记得小时候玩的"找朋友"游戏吗？每个人都有一个字母牌，需要找到拥有相同字母组合的伙伴。比如，拿着"ate"的同学要找到拿着"eat"或"tea"的同学。这其实就是在寻找字母异位词！在实际应用中，字母异位词的检测有着广泛的用途。比如在密码学中检测可能的密
  • 不与最大数相同的数字之和（信息学奥赛一本通-1113） Doopny@ 信息学奥赛一本通算法数据结构
    【题目描述】输出一个整数数列中不与最大数相同的数字之和。【输入】输入分为两行：第一行为N(N为接下来数的个数，Nusingnamespacestd;constintN=1e4+10;intnums[N];intmain(){intn;cin>>n;cin>>nums[1];intmax_v=nums[1],sum=0;for(inti=2;i>nums[i];if(nums[i]>max_v)ma
  • JVM性能监控与调优 小码快撩 jvm
    导语JVM性能监控与调优是一个涵盖多个层面的复杂任务，涉及对JVM内部工作原理的理解、性能指标的监控、问题定位与优化策略的实施。以下是学习JVM性能监控与调优时应关注的主要技术点1.JVM基础知识JVM性能监控与调优之JVM基础知识在进行JVM性能监控与调优之前，深入理解JVM的基本知识是至关重要的。以下概述了JVM性能监控与调优所需掌握的核心基础知识：1.JVM内存区域划分堆内存（Heap）：存
  • HarmonyNext实战：基于ArkTS的跨设备3D游戏开发 harmonyos-next
    HarmonyNext实战：基于ArkTS的跨设备3D游戏开发引言随着移动设备和智能终端的普及，3D游戏开发已成为开发者关注的热点领域。HarmonyNext作为新一代操作系统，提供了强大的分布式能力和高效的图形渲染支持，结合ArkTS语言的灵活性和性能优势，为开发跨设备3D游戏提供了全新的可能性。本文将详细讲解如何基于HarmonyNext和ArkTS开发一款跨设备的3D游戏，涵盖从项目搭建到核
  • 数据采集高并发的架构应用 3golden .net
    问题的出发点：          最近公司为了发展需要，要扩大对用户的信息采集，每个用户的采集量估计约2W。如果用户量增加的话，将会大量照成采集量成3W倍的增长，但是又要满足日常业务需要，特别是指令要及时得到响应的频率次数远大于预期。       &n
  • 不停止 MySQL 服务增加从库的两种方式 brotherlamp linuxlinux视频linux资料linux教程linux自学
    现在生产环境MySQL数据库是一主一从，由于业务量访问不断增大，故再增加一台从库。前提是不能影响线上业务使用，也就是说不能重启MySQL服务，为了避免出现其他情况，选择在网站访问量低峰期时间段操作。  一般在线增加从库有两种方式，一种是通过mysqldump备份主库，恢复到从库，mysqldump是逻辑备份，数据量大时，备份速度会很慢，锁表的时间也会很长。另一种是通过xtrabacku
  • Quartz——SimpleTrigger触发器 eksliang SimpleTriggerTriggerUtilsquartz
    转载请出自出处：http://eksliang.iteye.com/blog/2208166 一.概述 SimpleTrigger触发器，当且仅需触发一次或者以固定时间间隔周期触发执行；   二.SimpleTrigger的构造函数 SimpleTrigger(String name, String group)：通过该构造函数指定Trigger所属组和名称； Simpl
  • Informatica应用（1） 18289753290 sqlworkflowlookup组件Informatica
    1.如果要在workflow中调用shell脚本有一个command组件，在里面设置shell的路径；调度wf可以右键出现schedule，现在用的是HP的tidal调度wf的执行。 2.designer里面的router类似于SSIS中的broadcast（多播组件）;Reset_Workflow_Var：参数重置 （比如说我这个参数初始是1在workflow跑得过程中变成了3我要在结束时还要
  • python 获取图片验证码中文字 酷的飞上天空 python
    根据现成的开源项目 http://code.google.com/p/pytesser/改写 在window上用easy_install安装不上  看了下源码发现代码很少  于是就想自己改写一下   添加支持网络图片的直接解析   #coding:utf-8 #import sys #reload(sys) #sys.s
  • AJAX 永夜-极光 Ajax
    1.AJAX功能:动态更新页面,减少流量消耗,减轻服务器负担   2.代码结构:    <html> <head> <script type="text/javascript"> function loadXMLDoc() { .... AJAX script goes here ...
  • 创业OR读研 随便小屋 创业
            现在研一，有种想创业的想法，不知道该不该去实施。因为对于的我情况这两者是矛盾的，可能就是鱼与熊掌不能兼得。                研一的生活刚刚过去两个月，我们学校主要的是
  • 需求做得好与坏直接关系着程序员生活质量 aijuans IT 生活
            这个故事还得从去年换工作的事情说起，由于自己不太喜欢第一家公司的环境我选择了换一份工作。去年九月份我入职现在的这家公司，专门从事金融业内软件的开发。十一月份我们整个项目组前往北京做现场开发，从此苦逼的日子开始了。        系统背景：五月份就有同事前往甲方了解需求一直到6月份，后续几个月也完
  • 如何定义和区分高级软件开发工程师 aoyouzi
    在软件开发领域，高级开发工程师通常是指那些编写代码超过 3 年的人。这些人可能会被放到领导的位置，但经常会产生非常糟糕的结果。Matt Briggs 是一名高级开发工程师兼 Scrum 管理员。他认为，单纯使用年限来划分开发人员存在问题，两个同样具有 10 年开发经验的开发人员可能大不相同。近日，他发表了一篇博文，根据开发者所能发挥的作用划分软件开发工程师的成长阶段。 　　初
  • Servlet的请求与响应 百合不是茶 servletget提交java处理post提交
      Servlet是tomcat中的一个重要组成,也是负责客户端和服务端的中介     1,Http的请求方式(get  ,post);   客户端的请求一般都会都是Servlet来接受的,在接收之前怎么来确定是那种方式提交的,以及如何反馈,Servlet中有相应的方法,  http的get方式 servlet就是都doGet(
  • web.xml配置详解之listener bijian1013 javaweb.xmllistener
    一.定义 <listener> <listen-class>com.myapp.MyListener</listen-class> </listener>   二.作用        该元素用来注册一个监听器类。可以收到事件什么时候发生以及用什么作为响
  • Web页面性能优化（yahoo技术） Bill_chen JavaScriptAjaxWebcssYahoo
    1.尽可能的减少HTTP请求数 content 2.使用CDN server 3.添加Expires头(或者 Cache-control) server 4.Gzip 组件 server 5.把CSS样式放在页面的上方。 css 6.将脚本放在底部(包括内联的) javascript 7.避免在CSS中使用Expressions css 8.将javascript和css独立成外部文
  • 【MongoDB学习笔记八】MongoDB游标、分页查询、查询结果排序 bit1129 mongodb
    游标   游标，简单的说就是一个查询结果的指针。游标作为数据库的一个对象，使用它是包括 声明 打开 循环抓去一定数目的文档直到结果集中的所有文档已经抓取完 关闭游标   游标的基本用法，类似于JDBC的ResultSet(hasNext判断是否抓去完,next移动游标到下一条文档)，在获取一个文档集时，可以提供一个类似JDBC的FetchSize
  • ORA-12514 TNS 监听程序当前无法识别连接描述符中请求服务 的解决方法 白糖_ ORA-12514
    今天通过Oracle SQL*Plus连接远端服务器的时候提示“监听程序当前无法识别连接描述符中请求服务”，遂在网上找到了解决方案： ①打开Oracle服务器安装目录\NETWORK\ADMIN\listener.ora文件，你会看到如下信息：   # listener.ora Network Configuration File: D:\database\Oracle\net
  • Eclipse 问题 A resource exists with a different case bozch eclipse
    在使用Eclipse进行开发的时候，出现了如下的问题： Description Resource Path Location TypeThe project was not built due to "A resource exists with a different case: '/SeenTaoImp_zhV2/bin/seentao'.&
  • 编程之美-小飞的电梯调度算法 bylijinnan 编程之美
    public class AptElevator { /** * 编程之美 小飞 电梯调度算法 * 在繁忙的时间，每次电梯从一层往上走时，我们只允许电梯停在其中的某一层。 * 所有乘客都从一楼上电梯，到达某层楼后，电梯听下来，所有乘客再从这里爬楼梯到自己的目的层。 * 在一楼时，每个乘客选择自己的目的层，电梯则自动计算出应停的楼层。 * 问：电梯停在哪
  • SQL注入相关概念 chenbowen00 sqlWeb安全
    SQL Injection：就是通过把SQL命令插入到Web表单递交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。 具体来说，它是利用现有应用程序，将（恶意）的SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。 首先让我们了解什么时候可能发生SQ
  • [光与电]光子信号战防御原理 comsci 原理
          无论是在战场上,还是在后方,敌人都有可能用光子信号对人体进行控制和攻击,那么采取什么样的防御方法,最简单,最有效呢?       我们这里有几个山寨的办法,可能有些作用,大家如果有兴趣可以去实验一下       根据光
  • oracle 11g新特性:Pending Statistics daizj oracledbms_stats
    oracle 11g新特性:Pending Statistics 转 从11g开始，表与索引的统计信息收集完毕后，可以选择收集的统信息立即发布，也可以选择使新收集的统计信息处于pending状态，待确定处于pending状态的统计信息是安全的，再使处于pending状态的统计信息发布，这样就会避免一些因为收集统计信息立即发布而导致SQL执行计划走错的灾难。 在 11g 之前的版本中，D
  • 快速理解RequireJs dengkane jqueryrequirejs
    RequireJs已经流行很久了，我们在项目中也打算使用它。它提供了以下功能： 声明不同js文件之间的依赖 可以按需、并行、延时载入js库 可以让我们的代码以模块化的方式组织 初看起来并不复杂。 在html中引入requirejs 在HTML中，添加这样的 <script> 标签： <script src="/path/to
  • C语言学习四流程控制if条件选择、for循环和强制类型转换 dcj3sjt126com c
    # include <stdio.h> int main(void) { int i, j; scanf("%d %d", &i, &j); if (i > j) printf("i大于j\n"); else printf("i小于j\n"); retu
  • dictionary的使用要注意 dcj3sjt126com IO
    NSDictionary *dict = [NSDictionary dictionaryWithObjectsAndKeys: user.user_id , @"id", user.username , @"username",
  • Android 中的资源访问(Resource) finally_m xmlandroidStringdrawablecolor
    简单的说，Android中的资源是指非代码部分。例如，在我们的Android程序中要使用一些图片来设置界面，要使用一些音频文件来设置铃声，要使用一些动画来显示特效，要使用一些字符串来显示提示信息。那么，这些图片、音频、动画和字符串等叫做Android中的资源文件。 在Eclipse创建的工程中，我们可以看到res和assets两个文件夹，是用来保存资源文件的，在assets中保存的一般是原生
  • Spring使用Cache、整合Ehcache 234390216 springcacheehcache@Cacheable
    Spring使用Cache            从3.1开始，Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的，其核心思想是这样的：当我们在调用一个缓存方法时会把该方法参数和返回结果作为一个键值对存放在缓存中，等到下次利用同样的
  • 当druid遇上oracle blob(clob) jackyrong oracle
    http://blog.csdn.net/renfufei/article/details/44887371 众所周知，Oracle有很多坑, 所以才有了去IOE。 在使用Druid做数据库连接池后，其实偶尔也会碰到小坑，这就是使用开源项目所必须去填平的。【如果使用不开源的产品，那就不是坑，而是陷阱了，你都不知道怎么去填坑】 用Druid连接池，通过JDBC往Oracle数据库的
  • easyui datagrid pagination获得分页页码、总页数等信息 ldzyz007
    var grid = $('#datagrid');  var options = grid.datagrid('getPager').data("pagination").options;  var curr = options.pageNumber;  var total = options.total;  var max =
  • 浅析awk里的数组 nigelzeng 二维数组array数组awk
    awk绝对是文本处理中的神器，它本身也是一门编程语言，还有许多功能本人没有使用到。这篇文章就单单针对awk里的数组来进行讨论，如何利用数组来帮助完成文本分析。   有这么一组数据：   abcd,91#31#2012-12-31 11:24:00 case_a,136#19#2012-12-31 11:24:00 case_a,136#23#2012-12-31 1
  • 搭建 CentOS 6 服务器(6) - TigerVNC rensanning centos
    安装GNOME桌面环境 # yum groupinstall "X Window System" "Desktop" 安装TigerVNC # yum -y install tigervnc-server tigervnc 启动VNC服务 # /etc/init.d/vncserver restart # vncser
  • Spring 数据库连接整理 tomcat_oracle springbeanjdbc
    1、数据库连接jdbc.properties配置详解 　　jdbc.url=jdbc:hsqldb:hsql://localhost/xdb 　　jdbc.username=sa 　　jdbc.password= 　　jdbc.driver=不同的数据库厂商驱动，此处不一一列举 　　接下来，详细配置代码如下： 　　 Spring连接池    
  • Dom4J解析使用xpath java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常 xp9802
    用Dom4J解析xml,以前没注意,今天使用dom4j包解析xml时在xpath使用处报错      异常栈：java.lang.NoClassDefFoundError: org/jaxen/JaxenException异常       导入包 jaxen-1.1-beta-6.jar 解决; &nb
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他