KIDGINBROOK
KIDGINBROOK

flash attention 2论文学习

flash attention作者Tri Dao发布了flash attention 2，性能为flash attention的2倍。
优化点主要如下：

一、减少 non-matmul FLOPs

A00中由于tensor core的存在，使得gpu对于浮点矩阵运算吞吐很高，如FP16/BF16可以达到312 TFLOPs/s，而对于非矩阵乘的浮点运算吞吐较低，如FP32只有19.5 TFLOPs/s。因此作者调整算法以减少非矩阵乘的浮点运算。
如图1-1，基线算法计算O2的时候会对O1进行放缩，先乘上之前的sum L1，再除以新的sum L2。

在这里插入图片描述

图 1-1
但是这个其实没有必要，可以在最后一次计算只放缩一次，如图1-2。

在这里插入图片描述

图 1-2

二、并行模式

基线对于CTA的分块逻辑为启动batch_size * num_head个CTA，每个CTA执行一个batch里的一个head，那么当seq_len很长的场景，batch_size一般会比较小，这个时候无法充分利用所有的SM，所以作者调整了并行模型，一个batch里的一个head也会被多个CTA执行。
基线算法中外层循环是对K，内层循环对Q，作者交换了这个循环，对外层循环进行并发。
综合一，二之后的算法流程如图2-1

flash attention 2论文学习_第1张图片

图 2-1

三、warp分块

基线warp分块如图3-1，一个CTA所有warp都load Q，但是对K分块，这个时候计算S和P并没有啥问题，但是对计算O的时候，会导致warp之间对O执行一次reduce sum。

flash attention 2论文学习_第2张图片

图 3-1
因此作者调整了warp分块逻辑，如图3-2所示，对Q进行分块，每个warp都load K和V，以避免最后对O的reduce。

flash attention 2论文学习_第3张图片

图 3-2

你可能感兴趣的:(cuda,gpu,cuda)

  • 大模型的学习 LLaMa和ChatGLM，minichatgpt4 贝猫说python 学习llama人工智能
    LLaMa和ChatGLM，minichatgpt4什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型，咋选？答：Bert的模型由多层双向的Transformer编码器组成，由12层组成，768隐藏单元，12个head，总参数量110M，约1.15亿参数量。NLU（自然语言理解）任务效果很好，单卡GPU可以部署，速度快，V100GPU下1秒能处理2千条以上。ChatGLM-6B,
  • @llvm.amdgcn.workitem.id.x()引发的一些前后端的调研 jc小小川+幻幻融hr 小小川编译器elasticsearch大数据搜索引擎
    记录资料：UserGuideforAMDGPUBackend—LLVM5documentationintrinsic函数会执行lowerintrinsicspassllvm-project-main/llvm/lib/CodeGen/IntrinsicLowering.cppllvm-project-main/llvm/lib/Target/AMDGPU/AMDGPULowerIntrinsics
  • CUDA——内存 UCAS_HMM CUDAc++c语言性能优化
    内存形式静态全局内存#include#include__device__floatdevData;//-GPU静态变量（所有设备代码均可见，主机代码不允许直接访问）__global__voidcheckGlobalVariable(){printf("threadIdx.x=%ddevData=%0.2f\n",threadIdx.x,devData);devData+=2.0f;}intmain
  • 2024最新华为OD机试试题库全 -【执行时长】- C卷 算法小叮当 华为OD试题练习A+B+C卷华为odjavapythonc++
    1.题目详情1.1⚠️题目为了充分发挥GPU算力，需要尽可能多的将任务交给GPU执行，现在有一个任务数组，数组元素表示在这1秒内新增的任务个数且每秒都有新增任务。假设GPU最多一次执行n个任务，一次执行耗时1秒，在保证GPU不空闲情况下，最少需要多长时间执行完成。1.2输入要求第一个参数为GPU一次最多执行的任务个数，取值范围[1,10000]第二个参数为任务数组长度，取值范围[1,10000]第
  • MATLAB使用OMP实现图像的压缩感知实例 superdont 计算机视觉入门matlab计算机视觉图像处理机器学习图像加密人工智能算法
    OMP（OrthogonalMatchingPursuit）是一种用于稀疏信号恢复的迭代算法。它的目标是从一组测量值中重建具有少量非零元素的信号。基本步骤以下是OMP算法的简要步骤：初始化残差：将残差初始化为测量向量。迭代过程：a.原子选择：在每次迭代中，从字典中选择与当前残差最相关的原子。b.更新估计：使用所选的原子更新信号的估计。c.更新残差：更新残差，将其减去已匹配的部分。停止条件：重复步骤
  • 高质量 Git 仓库汇总（持续更新，方便查看） Nice_cool. 学习
    Leetcodehttps://github.com/kamyu104/LeetCode-SolutionsCmakehttps://github.com/viva64/pvs-studio-cmake-examples3D目标检测Awesome-3D-Object-DetectionAwesome-3D-Object-Detection-for-Autonomous-DrivingCudaCod
  • 加速 PyTorch 模型预测常见方法梳理 samoyan pytorchpytorch人工智能python
    目录1.使用GPU加速2.批量推理3.使用半精度浮点数(FP16)4.禁用梯度计算5.模型简化与量化6.使用TorchScript7.模型并行和数据并行结论在使用PyTorch进行模型预测时，可以通过多种方法来加快推理速度。以下是一些加速模型预测的常用方法，但注意有些模型直接使用下面方法会出错，大家谨慎使用：1.使用GPU加速如果您有可用的GPU资源，确保您的模型在GPU上运行，因为GPU提供了比
  • 数据科学简讯 2023-04-14 数科每日
    头条埃隆·马斯克(ElonMusk)正在Twitter上推进一个AIGC项目尽管最近支持暂停人工智能培训，埃隆·马斯克似乎正在Twitter上酝酿一个人工智能项目。他购买了大约10,000个GPU，并且一直在聘请AI专家，同时探索与ChatGPT竞争的可能性。Twitter的这种生成式AI的确切用途尚不清楚，但它有可能用于增强搜索功能或广告。免费的Dolly，商业上可行的指令调整模型在发布Doll
  • NVIDIA相关工具 tang-0203 NVIDIAprofile工具
    模型profile相关nvvp，nvprof是cudatoolkit集成的工具，用于生成GPUtimeline的工具。nvprof是命令行工具，我们的模型常常是运行在远端的服务器上，我们需要把输出的监测数据拷贝至本地查看，这个时候需要用到nvvp进行可视化分析。nsight是NVIDIA最新的用于监测kerneltimeline的工具。nvprofnvvpnsight
  • 【深度学习笔记】1 数据操作 RIKI_1 深度学习深度学习笔记人工智能
    注：本文为《动手学深度学习》开源内容，仅为个人学习记录，无抄袭搬运意图数据操作在深度学习中，我们通常会频繁地对数据进行操作。作为动手学深度学习的基础，本节将介绍如何对内存中的数据进行操作。在PyTorch中，torch.Tensor是存储和变换数据的主要工具。如果你之前用过NumPy，你会发现Tensor和NumPy的多维数组非常类似。然而，Tensor提供GPU计算和自动求梯度等更多功能，这些使
  • 阿里云分布式深度学习训练架构Whale qwfys200 Reading阿里云分布式深度学习
    阿里云分布式深度学习训练架构Whale阿里云分布式深度学习训练架构Whale参考文献Whale基于Tensorflow深度学习分布式训练框架|学习笔记Whale:EfficientGiantModelTrainingoverHeterogeneousGPUs阿里云机器学习平台PAI论文高效大模型训练框架Whale入选USENIXATC’22
  • 深度学习踩坑记录（持续更新） 芒果不茫QAQ 深度学习人工智能
    目录4060显卡cuda版本异常transformers初始化TrainingArguments时output_dir指定问题4060显卡cuda版本异常环境：torch1.11.0+cu113程序报错RuntimeError:nvrtc:error:invalidvaluefor--gpu-architecture(-arch)可能原因与解决办法4060显卡是sm_89架构，支持11.7以上cu
  • RuntimeError: (PreconditionNotMet) The third-party dynamic library (cublas64_102.dll；cublas64_10.dll xxxggany pippaddlepaddle
    校验paddle报错：RuntimeError:(PreconditionNotMet)Thethird-partydynamiclibrary(cublas64_102.dll;cublas64_10.dll)thatPaddledependsonisnotconfiguredcorrectly.C:\ProgramFiles\NVIDIAGPUComputingToolkit\CUDA\v10
  • 大模型加速与性能对比 __如风__ 人工智能语言模型
    大模型加速与性能对比阿里通义千问flash-attention加速正常运行通义千问会提示安装flash-attention以获得更快的推理速度，缺少这个包并不影响模型运行。事实证明安装之后对于推理速度的提升也很小（5%），网上说对于微调训练的速度提升比较大，因为是在内网环境下，安装还费了一番周折。本人环境torch2.0.1+cu118cuda11.8nvidia-driver535.98gcc9
  • c#截取两个指定字符串中间的字符串列表 好怕怕
    常见的很多都是截取一个字符串中的一组，其实很多时候我们需要用到截取整个字符串中，所有匹配到的字符串，那得到将是一个列表。列如："{{localization:0-35}u}{localization:50-50},jdjsi{emoj,{localization:12-58}}"截取中间的坐标，根据"{localization:"和"}"进行匹配，得到结果如下打印image.pngpubliccl
  • ARM系统控制和管理接口System Control and Management Interface 安全二次方 低功耗SCMI系统控制和管理接口SystemControlManagementInterfaceARM低功耗PSCI
    本文档描述了一个可扩展的独立于操作系统的软件接口，用于执行各种系统控制和管理任务，包括电源和性能管理。本文档描述了系统控制和管理接口（SCMI），它是一组操作系统无关的软件接口，用于系统管理。SCMI是可扩展的，目前提供了以下接口：•支持的接口的发现和自描述。•电源域管理，即将给定设备或域置于其支持的各种省电状态的能力。•性能管理，即控制由计算引擎组成的域（例如应用处理器（AP）、GPU或其他加速
  • Ubuntu20.04安装并配置vscode double_c之 科研vscodeubuntu
    Ubuntu20.04安装并配置vscodevscode安装miniconda安装创建虚拟python3.8环境pytorch和匹配的cuda安装vscode安装VSCode可以通过Snapcraft商店或者微软源仓库中的一个deb软件包来安装。我们这里选用安装VSCodesnap版，打开你的终端(Ctrl+Alt+T)并且运行下面的命令：sudosnapinstall--classiccode运
  • 深入了解OpenCVSharp中常见的图像处理功能 仰望大佬007 图像处理opencv计算机视觉c#
    深入了解OpenCVSharp中常见的图像处理功能前言1.图像加载与保存2.图像基本操作3.图像滤波4.边缘检测5.图像分割6.特征检测与描述子7.目标识别与跟踪8.图像融合与拼接9.形状匹配与模板匹配10.颜色空间转换与直方图11.图像转换与绘制12.图像分类与机器学习13.高级图像处理算法14.GPU加速与并行计算前言OpenCVSharp是C#语言中用于图像处理和计算机视觉的开源库，它提供了
  • 华为昇腾系列——入门学习 chenxy02 人工智能华为昇腾
    概述昇腾（Ascend）是华为推出的人工智能处理器品牌，其系列产品包括昇腾910和昇腾310芯片等。生态情况众所周知，华为昇腾存在的意义就是替代英伟达的GPU。从事AI开发的小伙伴，应该明白这个替代，不仅仅是Ascend-910加速卡的算力达到了Nvidia-A100的算力，而是需要整个AI开发生态的替代。下面简单列一下，昇腾生态与英伟达生态的一些对标项。AscendNvidia加速卡Ascend
  • 一张照片一键换脸：无需数据集和训练 | 开源日报 No.186 开源服务指南 开源日报开源
    s0md3v/roopStars:23.6kLicense:AGPL-3.0roop是一个一键换脸的项目。该项目可以通过一张目标人物的照片，实现对视频中人脸进行替换，无需数据集和训练。其主要功能、关键特性和核心优势包括：可以在计算机上运行，并支持CPU和GPU加速提供多种参数选项来控制程序行为旨在为艺术家提供辅助工具，如角色动画和服装模型设计实施了措施以防止软件被用于不当内容，并鼓励用户遵守当地法
  • ChatGPT引领的AI面试攻略系列：cuda和tensorRT 梦想的理由 深度学习c++chatgpt人工智能面试
    系列文章目录cuda和tensorRT（本文）AI全栈工程师文章目录系列文章目录一、前言二、面试题1.CUDA编程基础2.CUDA编程进阶3.性能优化4.TensorRT基础5.TensorRT进阶6.实际应用与案例分析7.编程与代码实践8.高级话题与趋势一、前言随着人工智能技术的飞速发展，该领域的就业机会也随之增多。无论是刚刚踏入这一领域的新手，还是经验丰富的专业人士，都可能面临着各种面试挑战。
  • 【GPU驱动开发】-GPU架构简介 怪怪王 GPU驱动驱动开发GPUAIchatgpt架构
    前言不必害怕未知，无需恐惧犯错，做一个Creator！GPU（GraphicsProcessingUnit，图形处理单元）是一种专门用于处理图形和并行计算的处理器。GPU系统架构通常包括硬件和软件层面的组件。一、总体流程应用程序请求图形操作：应用程序通过图形API（如OpenGL、Vulkan）发送图形操作请求。图形API调用GPU驱动程序：图形API将请求传递给GPU驱动程序。GPU驱动程序解释
  • Made In Heaven，LLM要加速了 DisonTangor 人工智能transformer
    借鉴了荒木老师笔下的普奇神父的台词玩LLM的多数用的是Huggingface框架，而它本身提供的是accelerate库来提升模型的训练推理速度。这些都离不开Nvidia的Cuda计算，而目前适配这一驱动的只有Windows和Linux。于是我就尝试在这两个系统上进行加速实验，尝试HuggingfaceDoc中推荐的FlashAttention2以及vLLM的PageAttention。原理参考L
  • Ubuntu 20系统出现断网重连，或者是间歇性断网 时光 末路 Linuxubuntulinux运维
    问题：项目配了台新电脑，系统安装的ubuntu20，一段时间后，老是出现网络断掉并又重新连接的情况。在网上找了一系列断网重连的解决办法，例如删除网络配置重启网络、修改etc/ppp/options等等，但是一点效果都没有，该断网时还是断网。此次断网解决办法：将电脑机箱放到了工位下面，加上电脑需要跑GPU相关的程序，高温导致网络老是断网重启。将主机移动到通风处，断网问题不再出现。
  • Ubuntu 22.04.4 LTS 安装cuda和cudnn 鹤蓝桉 ubuntulinux
    Ubuntu22.04.4LTS安装cuda和cudnn最简单最直接最快速的方法直接在命令行输入下面两行代码安装cudasudoaptinstallnvidia-cuda-toolkit安装cudnnsudoaptinstallnvidia-cudnn我实测安装的版本是cuda11.5,cudnn8.2.4
  • 全面了解网络性能监测：从哪些方面进行监测？ 技术博主狂热者 加固ios打包上架数据库
    目录摘要引言CPU内存监控磁盘监控网络监控GPU监控帧率监控总结摘要本文介绍了网络性能监测的重要性，并详细介绍了一款名为克魔助手的应用开发工具，该工具提供了丰富的性能监控功能，包括CPU、内存、磁盘、网络等指标的实时监测和分析。通过使用克魔助手，开发者可以更好地了解应用程序的性能情况，优化应用的运行效率，提升用户体验。引言随着互联网的发展和普及，网络已成为人们生活中不可或缺的一部分。而网络的性能直
  • 千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略 机器学习人工智能运维
    2023年9月，AI领域的权威基准评测MLPerf推出了StorageBenchmark。该基准测试通过模拟机器学习I/O负载的方法，在不需要GPU的情况下就能进行大规模的性能压测，用以评估存储系统的在AI模型训练场景的适用性。目前支持两种模型训练：BERT（自然语言模型）和Unet3D（3D医学成像）。虽然目前不支持大语言模型如GPT、LLaMA，但BERT与大语言模型同为多层transform
  • 解决conda环境下import TensorFlow失败的问题 绿竹巷人 功能安装condatensorflow人工智能
    问题描述安装了anaconda的电脑，新建了一个名叫deeplearning的环境，在该环境下已经成功安装了tensorflow。于是在终端打开python并执行代码importtensorflowastfprint(1)除了提示2024-02-2721:50:00.801427:Iexternal/local_tsl/tsl/cuda/cudart_stub.cc:31]Couldnotfind
  • 软件报价 楼船夜雪_WL
    按系统报价：*1、软硬件一期打包报价(可基于项目或产品)2、按软件、硬件分开报价(偏向于项目)软件：需求分析，软件设计，前端、后台、开发工作量，测试，部署上线3w人／月引擎：10-20万一种（私有化部署）第3方服务费：比如国税总局（2w,5w次数）硬件：扫描枪、扫描仪、服务器、GPU服务器*按服务报价(基于产品)：每年收取多少服务费**报价单：注明软件功能点、和报价细节(软件工程、引擎、第3方服务
  • [C++]使用C++部署yolov9的tensorrt模型进行目标检测 FL1623863129 C/C++目标检测人工智能计算机视觉
    部署YOLOv9的TensorRT模型进行目标检测是一个涉及多个步骤的过程，主要包括准备环境、模型转换、编写代码和模型推理。首先，确保你的开发环境已安装了NVIDIA的TensorRT。TensorRT是一个用于高效推理的SDK，它能对TensorFlow、PyTorch等框架训练的模型进行优化，从而加速模型在NVIDIAGPU上的运行速度。接下来，你需要将YOLOv9的模型转换为TensorRT
  • rust的指针作为函数返回值是直接传递，还是先销毁后创建？ wudixiaotie 返回值
     这是我自己想到的问题，结果去知呼提问，还没等别人回答， 我自己就想到方法实验了。。 fn main() { let mut a = 34; println!("a's addr:{:p}", &a); let p = &mut a; println!("p's addr:{:p}", &a
  • java编程思想 -- 数据的初始化 百合不是茶 java数据的初始化
      1.使用构造器确保数据初始化      /* *在ReckInitDemo类中创建Reck的对象 */ public class ReckInitDemo { public static void main(String[] args) { //创建Reck对象 new Reck(); } }
  • [航天与宇宙]为什么发射和回收航天器有档期 comsci
           地球的大气层中有一个时空屏蔽层,这个层次会不定时的出现,如果该时空屏蔽层出现,那么将导致外层空间进入的任何物体被摧毁,而从地面发射到太空的飞船也将被摧毁...        所以,航天发射和飞船回收都需要等待这个时空屏蔽层消失之后,再进行 &
  • linux下批量替换文件内容 商人shang linux替换
    1、网络上现成的资料 　　格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径` 　　linux sed 批量替换多个文件中的字符串 　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir` 　　例如：替换/home下所有文件中的www.admi
  • 网页在线天气预报 oloz 天气预报
    网页在线调用天气预报 <%@ page language="java" contentType="text/html; charset=utf-8" pageEncoding="utf-8"%> <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit
  • SpringMVC和Struts2比较 杨白白 springMVC
    1. 入口 spring mvc的入口是servlet，而struts2是filter（这里要指出，filter和servlet是不同的。以前认为filter是servlet的一种特殊），这样就导致了二者的机制不同，这里就牵涉到servlet和filter的区别了。 参见：http://blog.csdn.net/zs15932616453/article/details/8832343 2
  • refuse copy, lazy girl! 小桔子 copy
           妹妹坐船头啊啊啊啊！都打算一点点琢磨呢。文字编辑也写了基本功能了。。今天查资料，结果查到了人家写得完完整整的。我清楚的认识到： 1.那是我自己觉得写不出的高度 2.如果直接拿来用，很快就能解决问题 3.然后就是抄咩~~ 4.肿么可以这样子，都不想写了今儿个，留着作参考吧！拒绝大抄特抄，慢慢一点点写！  
  • apache与php整合 aichenglong php apache web
    一  apache web服务器 1 apeche web服务器的安装   1)下载Apache web服务器   2)配置域名(如果需要使用要在DNS上注册)   3)测试安装访问http://localhost/验证是否安装成功 2 apache管理   1)service.msc进行图形化管理   2)命令管理，配
  • Maven常用内置变量 AILIKES maven
    Built-in properties ${basedir} represents the directory containing pom.xml ${version} equivalent to ${project.version} (deprecated: ${pom.version}) Pom/Project properties Al
  • java的类和对象 百合不是茶 JAVA面向对象 类 对象
    java中的类：     java是面向对象的语言，解决问题的核心就是将问题看成是一个类，使用类来解决   java使用 class 类名   来创建类 ，在Java中类名要求和构造方法，Java的文件名是一样的   创建一个A类： class A{ }   java中的类：将某两个事物有联系的属性包装在一个类中，再通
  • JS控制页面输入框为只读 bijian1013 JavaScript
    在WEB应用开发当中，增、删除、改、查功能必不可少，为了减少以后维护的工作量，我们一般都只做一份页面，通过传入的参数控制其是新增、修改或者查看。而修改时需将待修改的信息从后台取到并显示出来，实际上就是查看的过程，唯一的区别是修改时，页面上所有的信息能修改，而查看页面上的信息不能修改。因此完全可以将其合并，但通过前端JS将查看页面的所有信息控制为只读，在信息量非常大时，就比较麻烦。  
  • AngularJS与服务器交互 bijian1013 JavaScriptAngularJS$http
            对于AJAX应用（使用XMLHttpRequests）来说，向服务器发起请求的传统方式是：获取一个XMLHttpRequest对象的引用、发起请求、读取响应、检查状态码，最后处理服务端的响应。整个过程示例如下： var xmlhttp = new XMLHttpRequest(); xmlhttp.onreadystatechange
  • [Maven学习笔记八]Maven常用插件应用 bit1129 maven
    常用插件及其用法位于：http://maven.apache.org/plugins/   1. Jetty server plugin 2. Dependency copy plugin 3. Surefire Test plugin 4. Uber jar plugin           1. Jetty Pl
  • 【Hive六】Hive用户自定义函数(UDF) bit1129 自定义函数
    1. 什么是Hive UDF Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括： 文件格式：Text File，Sequence File 内存中的数据格式： Java Integer/String, Hadoop IntWritable/Text 用户提供的 map/reduce 脚本：不管什么
  • 杀掉nginx进程后丢失nginx.pid，如何重新启动nginx ronin47 nginx 重启 pid丢失
    nginx进程被意外关闭，使用nginx -s reload重启时报如下错误：nginx: [error] open() “/var/run/nginx.pid” failed (2: No such file or directory)这是因为nginx进程被杀死后pid丢失了，下一次再开启nginx -s reload时无法启动解决办法：nginx -s reload 只是用来告诉运行中的ng
  • UI设计中我们为什么需要设计动效 brotherlamp UIui教程ui视频ui资料ui自学
    随着国际大品牌苹果和谷歌的引领，最近越来越多的国内公司开始关注动效设计了，越来越多的团队已经意识到动效在产品用户体验中的重要性了，更多的UI设计师们也开始投身动效设计领域。 但是说到底，我们到底为什么需要动效设计？或者说我们到底需要什么样的动效？做动效设计也有段时间了，于是尝试用一些案例，从产品本身出发来说说我所思考的动效设计。 一、加强体验舒适度 嗯，就是让用户更加爽更加爽的用你的产品。
  • Spring中JdbcDaoSupport的DataSource注入问题 bylijinnan javaspring
    参考以下两篇文章： http://www.mkyong.com/spring/spring-jdbctemplate-jdbcdaosupport-examples/ http://stackoverflow.com/questions/4762229/spring-ldap-invoking-setter-methods-in-beans-configuration Sprin
  • 数据库连接池的工作原理 chicony 数据库连接池
           随着信息技术的高速发展与广泛应用，数据库技术在信息技术领域中的位置越来越重要，尤其是网络应用和电子商务的迅速发展，都需要数据库技术支持动 态Web站点的运行，而传统的开发模式是：首先在主程序（如Servlet、Beans）中建立数据库连接；然后进行SQL操作，对数据库中的对象进行查 询、修改和删除等操作；最后断开数据库连接。使用这种开发模式，对
  • java 关键字 CrazyMizzz java
    关键字是事先定义的，有特别意义的标识符，有时又叫保留字。对于保留字，用户只能按照系统规定的方式使用，不能自行定义。 Java中的关键字按功能主要可以分为以下几类：    （1）访问修饰符       public,private,protected       p
  • Hive中的排序语法 daizj 排序hiveorder byDISTRIBUTE BYsort by
    Hive中的排序语法 2014.06.22 ORDER BY hive中的ORDER BY语句和关系数据库中的sql语法相似。他会对查询结果做全局排序，这意味着所有的数据会传送到一个Reduce任务上，这样会导致在大数量的情况下，花费大量时间。 与数据库中 ORDER BY 的区别在于在hive.mapred.mode = strict模式下，必须指定 limit 否则执行会报错。
  • 单态设计模式 dcj3sjt126com 设计模式
      单例模式（Singleton）用于为一个类生成一个唯一的对象。最常用的地方是数据库连接。 使用单例模式生成一个对象后，该对象可以被其它众多对象所使用。 <?phpclass Example{    // 保存类实例在此属性中    private static&
  • svn locked dcj3sjt126com Lock
    post-commit hook failed (exit code 1) with output: svn: E155004: Working copy 'D:\xx\xxx' locked svn: E200031: sqlite: attempt to write a readonly database svn: E200031: sqlite: attempt to write a
  • ARM寄存器学习 e200702084 数据结构C++cC#F#
    无论是学习哪一种处理器，首先需要明确的就是这种处理器的寄存器以及工作模式。     ARM有37个寄存器，其中31个通用寄存器，6个状态寄存器。 1、不分组寄存器（R0-R7）     不分组也就是说说，在所有的处理器模式下指的都时同一物理寄存器。在异常中断造成处理器模式切换时，由于不同的处理器模式使用一个名字相同的物理寄存器，就是
  • 常用编码资料 gengzg 编码
    List<UserInfo> list=GetUserS.GetUserList(11); String json=JSON.toJSONString(list); HashMap<Object,Object> hs=new HashMap<Object, Object>(); for(int i=0;i<10;i++) {
  • 进程 vs. 线程 hongtoushizi 线程linux进程
    我们介绍了多进程和多线程，这是实现多任务最常用的两种方式。现在，我们来讨论一下这两种方式的优缺点。 首先，要实现多任务，通常我们会设计Master-Worker模式，Master负责分配任务，Worker负责执行任务，因此，多任务环境下，通常是一个Master，多个Worker。 如果用多进程实现Master-Worker，主进程就是Master，其他进程就是Worker。 如果用多线程实现
  • Linux定时Job：crontab -e 与 /etc/crontab 的区别 Josh_Persistence linuxcrontab
    一、linux中的crotab中的指定的时间只有5个部分：* * * * * 分别表示：分钟，小时，日，月，星期，具体说来： 第一段 代表分钟 0—59 第二段 代表小时 0—23 第三段 代表日期 1—31 第四段 代表月份 1—12 第五段 代表星期几，0代表星期日 0—6   如： */1 * * * *   每分钟执行一次。 *
  • KMP算法详解 hm4123660 数据结构C++算法字符串KMP
         字符串模式匹配我们相信大家都有遇过，然而我们也习惯用简单匹配法（即Brute-Force算法)，其基本思路就是一个个逐一对比下去，这也是我们大家熟知的方法，然而这种算法的效率并不高，但利于理解。       假设主串s="ababcabcacbab",模式串为t="
  • 枚举类型的单例模式 zhb8015 单例模式
    E.编写一个包含单个元素的枚举类型[极推荐]。代码如下： public enum MaYun {himself; //定义一个枚举的元素，就代表MaYun的一个实例private String anotherField;MaYun() {//MaYun诞生要做的事情//这个方法也可以去掉。将构造时候需要做的事情放在instance赋值的时候：/** himself = MaYun() {*
  • Kafka+Storm+HDFS ssydxa219 storm
    cd /myhome/usr/stormbin/storm nimbus &amp;bin/storm supervisor &amp;bin/storm ui &amp;Kafka+Storm+HDFS整合实践kafka_2.9.2-0.8.1.1.tgzapache-storm-0.9.2-incubating.tar.gzKafka安装配置我们使用3台机器搭建Kafk
  • Java获取本地服务器的IP 中华好儿孙 javaWeb获取服务器ip地址
    System.out.println("getRequestURL:"+request.getRequestURL()); System.out.println("getLocalAddr:"+request.getLocalAddr()); System.out.println("getLocalPort:&quo
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他