慷仔
慷仔

[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(3)

[Onnx简化库深度剖析] OnnxSimplifier和OnnxOptimizer解读-(3)

简介

补充剩下的所有Pass的特性

具体的Pass实现和细节罗列（补充

Pass PassName PassType PassEfficiency PassOptimizationType 描述
EliminateNopMonotoneArgmax eliminate_nop_monotone_argmax Nop Partial Compute 消除掉那些正相关的激活函数到argmax函数上，减少计算
EliminateNopPad eliminate_nop_pad Nop Complete Compute 消除pads=0的Pad算子
EliminateNopConcat eliminate_nop_concat Nop Complete Memory 消除输入个数为1的Concat算子
EliminateNopSplit eliminate_nop_split Nop Complete Memory 消除输出个数为1、input_dim[axis]=split[0]的Split算子
EliminateNopExpand eliminate_nop_expand Nop Complete Compute 消除expand_dim可以广播到input_dim的Expand算子
EliminateShapeGather eliminate_shape_gather Fuse Complete Compute 融合掉indices=[indices_val,]、前面的节点是Shape的Gather算子
EliminateSliceAfterShape eliminate_slice_after_shape Fuse Complete Compute 融合掉前面的节点是Shape的Slice算子
EliminateNopTranspose eliminate_nop_transpose Nop Complete Compute 消除掉不起作用的transpose算子
FuseAddBiasIntoConv fuse_add_bias_into_conv Fuse Complete Compute 融合掉前面的节点是Conv2d、且input[1]是常量可配合dim的Add算子
FuseBNIntoConv fuse_bn_into_conv Fuse Complete Compute 融合BN算子到Conv2d上，同时修改Conv2d的权重
FuseConsecutiveConcats fuse_consecutive_concats Fuse Partial Compute 融合前面的axis相同的Concat到该Concat节点上
FuseConsecutiveLogSoftmax fuse_consecutive_log_softmax Fuse Complete Compute 融合softmax+log成为LogSoftmax算子
FuseConsecutiveReduceUnsqueeze fuse_consecutive_reduce_unsqueeze Fuse Complete Compute 当前面的Reduce算子的axes=Unsqueeze_axes、keepdims=0时，融合Unsqueeze算子到Reduce算子上
FuseConsecutiveSqueezes fuse_consecutive_squeezes Fuse Complete Compute 合并多个连续的Squeeze算子成为一个Squeeze算子
FuseConsecutiveTransposes fuse_consecutive_transposes Fuse Complete Compute 合并多个连续的Transpose算子成为一个Transpose算子
FuseMatMulAddBiasIntoGemm fuse_matmul_add_bias_into_gemm Fuse Complete Compute 合并MatMul+Add成为一个Gemm算子
FusePadIntoConv fuse_pad_into_conv Fuse Complete Compute 合并Pad+Conv成为一个Conv算子,Pad操作合并到了Conv上
FusePadIntoPool fuse_pad_into_pool Fuse Complete Compute 合并Pad+AveragePool/MaxPool成为一个Pool算子
FuseTransposeIntoGemm fuse_transpose_into_gemm Fuse Complete Compute 融合前面的Transpose操作反转Gemm的transA/transB参数，从而融合掉transpose算子
ReplaceEinsumWithMatmul replace_einsum_with_matmul Replace Complete Compute 满足条件的einsum变成matmul操作："bhij,bhjd->bhid"变成matmul; "bhid,bhjd->bhij"变成transpose+matmul操作
LiftLexicalReferences lift_lexical_references Separate Complete Memory 待说明
SplitInit split_init Separate Complete Memory 待说明
SplitPredict split_predict Separate Complete Memory 待说明
FuseConcatIntoReshape fuse_concat_into_reshape Fuse Complete Compute 融合reshape的shape输入的concat/cast算子，变成constant shape输入
EliminateNopReshape eliminate_nop_reshape Nop Complete Compute 消除掉reshape dim == input_dim的reshape算子
EliminateOpWithUnit eliminate_nop_with_unit Nop Complete Compute 消除掉同0并的And、同1乘的Mul、同0或的Or、同0加的Add、减0的Sub、除1的Div、方1的Pow、 无效的Concat
EliminateCommonSubexpression eliminate_common_subexpression Nop Complete Compute 消除掉那些属性/输入一致的节点，也就是公共子表达式
FuseQKV fuse_qkv Fuse Complete Compute 合并qkv计算的三个matmul为只有一个matmul: A = matmul(X, Q), B = matmul(X, K), C = matmul(X, V) ==> A,B,C = split(matmul(X, concat(Q,K,V)))
FuseConsecutiveUnsqueezes fuse_consecutive_unsqueezes Fuse Complete Compute 融合连续的Unsqueezes算子
EliminateDeadEnd eliminate_deadend Nop Complete Compute 移除掉output没有连接到其他节点的node
EliminateIdentity eliminate_identity Nop Complete Compute 移除掉Identity node
EliminateShapeOp eliminate_shape_op Fuse Complete Compute 融合掉可以直接获取input_shape的Shape算子
FuseConsecutiveSlices fuse_consecutive_slices Fuse Complete Memory 融合掉axes没有交集的连续的slice算子，合并为一个Slice
EliminateUnusedInitializer eliminate_unused_initializer Nop Complete Memory 移除掉不被使用的initializer
EliminateDuplicateInitializer eliminate_duplicate_initializer Nop Complete Memory 移除掉重复的initializer
AdjustSliceAndMatmul adjust_slice_and_matmul Replace Complete Compute 调整slice和matmul之间的顺序，以便优化：Y = Matmul(Slice(data, start, end, axes) ,rhs) ==> Y = Slice(Matmul(data, rhs), start, end, axes)
RewriteInputDtype rewrite_input_dtype Other Complete None 重写input的类型从int64变成int32，从A=node1(INT64_INPUT) ==> A=node1(Cast(INT32_INPUT, INT64))

…

总结

基本上目前所有的Pass已经被罗列出来了，后续会用实际的效果去加深大家的印象

你可能感兴趣的:(Learn,人工智能)

  • 2024年AIGC技术未来发展趋势与挑战：从应用创新到伦理监管 小宝哥Code ChatGPT与AIGCAIGC
    生成式人工智能（AIGC，ArtificialIntelligenceGeneratedContent）作为人工智能领域的一个重要分支，正在快速发展并改变着多个行业的格局。2024年，AIGC技术持续取得突破，并进入更多实际应用场景。本文将详细介绍AIGC的基本概念、原理、最新前沿技术及发展趋势。1.生成式人工智能（AIGC）基本概念与原理生成式人工智能（AIGC）是指通过人工智能技术，尤其是深度
  • 【DL】神经网络与机器学习基础知识介绍（一） MengWoods 深度学习机器学习神经网络人工智能
    原博客：https://mengwoods.github.io/post/dl/009-dl-fundamental/文章目录基本通用概念梯度下降算法数据工程训练技术偏差与方差防止过拟合评估指标决策树基本通用概念机器学习的类型：监督学习（SupervisedLearning）：分类，回归无监督学习（UnsupervisedLearning）：聚类，降维强化学习（ReinforcementLearn
  • AI 集群：Exo 项目详解 ivwdcwso 运维人工智能AIExo
    引言随着人工智能技术的迅猛发展，越来越多的人希望在家中运行自己的AI集群。传统的AI集群通常需要昂贵的硬件和复杂的配置，但Exo项目正是为了解决这个问题而诞生的。Exo项目旨在让你利用日常电子设备，轻松搭建一个高效的AI集群。本文将详细介绍Exo项目的特点、安装步骤和实战示例。©ivwdcwso(ID:u012172506)Exo项目特点1.广泛的模型支持Exo支持多种流行的AI模型，包括但不限于
  • python 监控键盘输入_python 监控键盘输入 weixin_39717121 python监控键盘输入
    软件测试精品文章汇总测试基础python测试开发库及项目谷歌如何测试软件python工具书籍下载-持续更新2018软件测试标准汇总下载python测试开发自学每周一练python测试工具开发自学每周一练-2018-06软件测试工具书籍与面试题汇总下载(持续更新)python测试开发自动化测试数据分析...文章python人工智能命理2019-05-131907浏览量Shell历史记录异地留痕审计与
  • 进阶之路：从传统编程到AI大模型与Prompt驱动的爬虫技术 大模型老炮 人工智能prompt爬虫语言模型大模型学习AI大模型
    前言爬虫相信很多人都对此有所了解，它主要依靠编写代码实现对网页结构的解析，通过模拟浏览器行为获取目标数据！随着人工智能技术的发展，LLM大模型的出现为爬虫技术带来了新的思路。与传统的编程模式不同，使用AI大模型+prompt可以显著提高程序员的编程效率。通过结合人工智能和自然语言处理技术，开发者可以更加高效地编写爬虫代码，并实现对网页内容的智能解析和提取。前置内容下面我将通过爬取豆瓣电影top25
  • 开源模型应用落地-qwen模型小试-Qwen2.5-7B-Instruct-LangGraph-链式处理（一） 开源技术探险家 开源模型-实际应用落地#深度学习自然语言处理语言模型langchain
    一、前言在当今人工智能快速发展的时代，大语言模型不断迭代升级，为各种复杂任务的处理提供了强大的支持。LangGraph作为一种创新的架构，其链式处理机制为充分发挥LLMs的潜力提供了新的途径。Qwen2.5模型是一款备受瞩目的大语言模型，它具备出色的语言理解和生成能力，在广泛的自然语言处理任务中都展现出了卓越的性能。其在语言的准确性、逻辑性以及对复杂语义的把握上都有着突出的表现，为基于它进行的各类
  • 一文搞懂python的face_recognition人脸识别库 码上飞扬 python开发语言人脸识别
    随着人工智能和机器学习的快速发展，人脸识别技术在安全监控、身份验证、智能相册等领域的应用越来越广泛。Python作为一门简洁高效的编程语言，其丰富的库支持使得人脸识别的实现变得更加容易。本文将介绍如何使用Python的face_recognition库来实现基本的人脸识别功能。一、face_recognition库简介1.1什么是face_recognition库？face_recognition
  • AIGC常见基础概念 GISer_Jinger 人工智能AIGC机器学习ai
    AIGC（AIGeneratedContent，人工智能生成内容）是近年来快速发展的领域，涉及文本生成、图像生成、音频生成、视频生成等。以下是AIGC常见的面试题目及其详解：1.AIGC基础概念什么是AIGC？它的主要应用场景有哪些？定义：AIGC是指利用人工智能技术自动生成内容，包括文本、图像、音频、视频等。应用场景：文本生成：新闻写作、广告文案、代码生成（如GitHubCopilot）。图像生
  • AI时代的人类增强：道德考虑与身体增强的未来发展策略分析预测 AI大模型应用之禅 AI大模型与大数据javapythonjavascriptkotlingolang架构人工智能
    人类增强、AI、道德、身体增强、未来发展策略、预测1.背景介绍人类文明自诞生以来，就一直在探索如何超越自身的局限性。从使用工具到发明火，从农业文明到工业革命，每一次进步都代表着人类对自身能力的提升。如今，人工智能（AI）的快速发展，为人类提供了前所未有的机会，让我们迈向一个全新的时代——AI时代的人类增强时代。AI时代的人类增强，是指通过人工智能技术，提升人类的认知能力、身体能力和生活质量。这不仅
  • Janus Pro：DeepSeek 开源革新，多模态 AI 的未来 后端
    JanusPro是DeepSeek开发的一个开源多模态人工智能框架，它通过集成视觉和语言处理能力，提供了高性能的多模态任务处理能力。在线体验：https://deepseek-januspro.com/背景JanusPro于2025年1月发布，是一个开源的多模态AI框架，能够同时处理视觉和语言信息。它采用了独特的多模态架构，包括解耦的视觉编码框架和统一的Transformer架构，以及SigLIP
  • 《深度剖析Q-learning中的Q值：解锁智能决策的密码》 人工智能深度学习
    在人工智能的飞速发展进程中，强化学习作为一个关键领域，为智能体与环境交互并学习最优行为策略提供了有效框架。其中，Q-learning算法凭借其独特的魅力，在机器人控制、自动驾驶、游戏AI等众多领域大放异彩。而Q-learning中的Q值，更是理解这一算法的核心关键，它如同智能体的“智慧密码”，指导着智能体在复杂环境中做出最优决策。Q值的直观定义：行为价值的“预言家”从直观层面理解，Q值代表着智能体
  • 江大白 | 斯坦福大学教授李飞飞团队：关于 2024年人工智能发展报告总结！ 双木的木 深度学习拓展阅读人工智能
    本文来源公众号“江大白”，仅用于学术分享，侵权删，干货满满。原文链接：斯坦福大学教授李飞飞团队：关于2024年人工智能发展报告总结！导读斯坦福大学教授李飞飞团队总结、解析了2024年人工智能发展报告，涵盖AI研究进展、技术性能提升、经济影响及医疗教育突破，重点分析大型模型成本、多模态模型崛起、AI可靠性挑战和生成式AI影响，是了解AI现状与未来的必读内容！斯坦福大学教授李飞飞团队关于2024年人工
  • DeepSeek：通用人工智能的技术前沿与创新突破 热爱分享的博士僧 人工智能
    一、DeepSeek的定位与背景DeepSeek（深度求索）是一家聚焦**通用人工智能（AGI）**研发的中国科技公司，成立于2023年，核心团队由全球顶尖AI科学家、工程师组成。公司以“探索智能本质，实现AGI造福人类”为使命，致力于突破大模型技术的边界，推动AI从专用向通用演进。其研发方向覆盖自然语言处理、多模态交互、强化学习等领域，并在模型架构、训练效率及实际应用场景中取得显著成果。二、核心
  • AiLab: 探索人工智能的前沿实验室 m0_75126181 人工智能
    AiLab:引领人工智能创新的实验平台在人工智能快速发展的今天,如何让更多人了解并参与到AI技术的创新中来,成为一个重要的课题。AiLab(人工智能实验室)应运而生,作为一个面向全球开发者和组织的开放平台,AiLab致力于推动AI技术的普及与创新。AiLab的使命与愿景AiLab的核心使命是帮助开发者和组织快速上手AI技术,体验最新的AI创新成果。通过提供丰富的实验项目、教育资源和研究成果,AiL
  • 如何用Python训练一个AI模型（超详细教程）非常详细收藏我这一篇就够了！ 程序员二飞 人工智能架构算法制造自然语言处理
    引言人工智能（AI）——一个熟悉又神秘的词汇。我们常听说它可以生成诗歌、编写代码、创作艺术，甚至回答各种问题。然而，当你想亲手实现一个“AI模型”时，却可能感到无从下手。这篇教程正是为你准备的，将带你从零开始，逐步掌握从“AI新手”到“能够搭建AI模型”的核心技能。前排提示，文末有大模型AGI-CSDN独家资料包哦！一、AI的基本概念1.什么是AI模型？AI模型是通过训练得到的一种程序，能够利用海
  • Python生态系统中拥有丰富的第三方库 ___Y1 pythonpython
    Python生态系统中拥有丰富的第三方库，这些库覆盖了几乎所有领域，包括科学计算、数据分析、机器学习、人工智能、Web开发等。这些库的存在极大地丰富了Python的功能，使其成为一门强大而灵活的编程语言。以下是一些常用的Python第三方库：1.**科学计算与数据处理：**-**NumPy：**提供高性能的多维数组对象，以及相关工具，用于处理这些数组。-**Pandas：**提供数据结构和数据分析
  • 《极致C语言》第1章 -- 基本特性 Fyang0906 极致C语言学习笔记c语言
    《极致C语言》第1章–基本特性extreme-c-learning-notesch1《极致C语言》第1章--基本特性《极致C语言》第1章--基本特性1.预处理指令2.变量指针3.函数4.结构1.预处理指令预处理指令是C语言的一个功能强大的特性，即在把源代码提交给编译器之前对源代码进行的设计和修改。预处理的目的是删除预处理指令，并用生成的等效C代码替换它们，从而得到提交给编译器的最终源代码。C预处理
  • 人工智能 Python ZSup{A} 人工智能java前端服务器
    人工智能Python（一）一．基本语法1.在python中严格区分大小写2.Python中的每一行就是一条语句，每条语句以换行结束3.Python每一行语句不要过长（规范中建议每行不要超过80个字符）“rulers”:[80]4.一条语句可以分多行编写，语句后面以\结尾5.Python是缩进严格的语言，所以在Python中不要随便写缩进6.在Python使用#表示注释，#后面的内容都属于注释，注释
  • 【人工智能】Python常用库-PyTorch常用方法教程 IT古董 人工智能机器学习Python人工智能pythonpytorch机器学习
    PyTorch是一个强大的开源深度学习框架，以其灵活性和动态计算图而广受欢迎。以下是PyTorch的详细教程，涵盖从基础到实际应用的使用方法。1.安装与导入1.1安装PyTorch访问PyTorch官方网站，根据系统、Python版本和CUDA支持选择安装命令。常用安装命令：pipinstalltorchtorchvisiontorchaudio1.2导入库importtorchimporttor
  • 【人工智能】Python常用库-TensorFlow常用方法教程 IT古董 人工智能机器学习Python人工智能pythontensorflow机器学习
    TensorFlow是一个广泛应用的开源深度学习框架，支持多种机器学习任务，如深度学习、神经网络、强化学习等。以下是TensorFlow的详细教程，涵盖基础使用方法和示例代码。1.安装与导入安装TensorFlow：pipinstalltensorflow导入TensorFlow：importtensorflowastfimportnumpyasnp验证安装：print(tf.__version_
  • 【人工智能】Python常用库-Matplotlib常用方法教程 IT古董 人工智能机器学习Python人工智能pythonmatplotlib
    Matplotlib是一个强大的Python数据可视化库，用于绘制各种图形。以下是Matplotlib常用方法的详细说明及示例，帮助你快速上手。1.安装和导入Matplotlib安装Matplotlib：pipinstallmatplotlib导入Matplotlib：importmatplotlib.pyplotasplt2.基本绘图绘制简单折线图importmatplotlib.pyplota
  • 乐学智伴：基于人工智能与大数据的学生个性化学习辅助平台 IT源码大师 人工智能大数据学习
    详细描述：1.引言：教育科技的时代背景在信息化和数字化的浪潮下，教育领域正经历着深刻的变革。传统的教学模式以教师为中心，难以满足学生个性化学习的需求。随着人工智能、大数据和云计算等技术的快速发展，教育科技（EdTech）为个性化学习提供了全新的解决方案。通过智能化工具和数据分析，学生可以根据自身的学习特点和进度，制定个性化的学习计划，从而提高学习效率和效果。“乐学智伴”是一款基于人工智能与大数据技
  • android前台服务 Android西红柿 Android基础android
    关于作者：CSDN内容合伙人、技术专家，从零开始做日活千万级APP。专注于分享各领域原创系列文章，擅长java后端、移动开发、商业变现、人工智能等，希望大家多多支持。未经允许不得转载目录一、导读二、使用2.1添加权限2.2新建一个服务2.3构建通知消息2.4启动与停止服务三、推荐阅读一、导读我们继续总结学习基础知识，温故知新。今天记录下android前台服务（ForegroundService），
  • 企业数字化转型AI能力中台（总体架构、系统功能）建设方案 公众号：优享智库 数字化转型数据治理主数据数据仓库人工智能架构
    **企业数字化转型AI能力中台建设方案**一、建设背景与目标随着大数据、云计算、人工智能等技术的快速发展，企业正面临着数字化转型的重要机遇。为了提升企业的智能化水平，加快业务创新，建设AI能力中台成为企业的迫切需求。本方案旨在为企业打造一套功能完善的AI能力中台，实现数据采集与整合、算法模型管理、智能分析与可视化等核心功能，推动企业在各个业务领域实现智能化升级和创新。二、总体架构设计AI能力中台采
  • 单片机与人工智能：融合创新的未来之路 嵌入式大圣 单片机人工智能嵌入式硬件
    摘要：本文深入探讨了单片机与人工智能的融合，阐述了单片机在人工智能应用中的角色、挑战与机遇。通过对相关技术的分析、实际案例的展示以及未来发展趋势的展望，揭示了这一融合在推动科技创新和产业发展中的巨大潜力。目录一、引言二、单片机与人工智能的基础概念三、单片机与人工智能的融合技术四、单片机与人工智能融合的应用场景五、单片机与人工智能融合面临的挑战六、单片机与人工智能融合的发展趋势七、结论一、引言随着科
  • 构建高效AI中台：解析人工智能中台架构的五大核心层 脱泥不tony 人工智能架构大语言模型大模型AI大模型LLMAI
    在人工智能技术蓬勃发展的今天，企业迫切需要一种高效、灵活的方式来整合、管理和应用AI技术。人工智能中台（AIMiddlePlatform）应运而生，它为企业提供了一个统一的技术平台，能够有效支撑多样化的业务需求，实现数字化转型。在本文中，我们将详细解析人工智能中台的整体架构，逐层深入，帮助大家理解如何从底层硬件到上层应用，实现全方位的AI能力构建。一、基础设施层（IaaS）：奠定坚实基础任何一个高
  • Baklib揭示内容中台与人工智能技术的创新协同效应 清风徐徐de来 其他
    内容概要在当今信息爆炸的时代，内容的高效生产与分发已成为各行业竞争的关键。内容中台与人工智能技术的结合，为企业提供了一种新颖的解决方案，使得内容创造的流程更加智能化和高效化。内容中台作为信息流动的核心，能够集中管理和分发多元化的内容资源，为各类用户需求提供服务。同时，人工智能技术则在数据分析、用户行为预测、个性化推荐等方面展现出强大的能力。两者相辅相成，推动了在内容生产过程中的创新与发展。以下表格
  • 智安护航：基于人工智能与物联网的智能车祸报警系统设计与实现 IT源码大师 人工智能物联网科技opencv计算机视觉
    详细描述：1.引言：智能车祸报警器的背景与意义交通事故是全球范围内导致伤亡和财产损失的主要原因之一。在车祸发生后，及时的报警和救援可以显著降低伤亡率和损失程度。然而，传统的车祸报警方式依赖于目击者或驾驶员的主动报警，存在延迟性和不可靠性。特别是在驾驶员受伤或昏迷的情况下，报警可能无法及时发出，导致救援延误。“智安护航”是一款基于人工智能（AI）与物联网（IoT）技术的智能车祸报警器，旨在通过实时监
  • 机器人介绍 max500600 机器人机器人
    以下是关于机器人的介绍：定义机器人是一种能够自动执行任务的机器系统，它集成了机电、机构学、材料学及仿生学等多个学科技术，可以接受人类指挥，运行预先编排的程序，或根据人工智能技术制定的原则纲领行动，具备感知、决策、执行等基本特征，可辅助甚至替代人类完成各种任务。发展历程萌芽期：1954年第一台可编程的机器人在美国诞生，1959年世界上第一台工业机器人研制成功，随着机构理论和伺服理论的发展，机器人进入
  • 机器学习：利用sklearn实现心脏病预测 薄化克Oswald
    机器学习：利用sklearn实现心脏病预测机器学习sklearn实现心脏病预测项目地址:https://gitcode.com/Resource-Bundle-Collection/171ff欢迎使用本资源仓库，本项目专注于利用Python的sklearn库进行心脏病预测的机器学习实践。通过详尽的步骤和示例代码，本项目为你展示了如何应用不同的机器学习算法来分析心脏病数据集，并预测患者是否有可能患有
  • xml解析 小猪猪08 xml
    1、DOM解析的步奏 准备工作：    1.创建DocumentBuilderFactory的对象    2.创建DocumentBuilder对象    3.通过DocumentBuilder对象的parse(String fileName)方法解析xml文件    4.通过Document的getElem
  • 每个开发人员都需要了解的一个SQL技巧 brotherlamp linuxlinux视频linux教程linux自学linux资料
      对于数据过滤而言CHECK约束已经算是相当不错了。然而它仍存在一些缺陷，比如说它们是应用到表上面的，但有的时候你可能希望指定一条约束，而它只在特定条件下才生效。 使用SQL标准的WITH CHECK OPTION子句就能完成这点，至少Oracle和SQL Server都实现了这个功能。下面是实现方式： CREATE TABLE books (   id &
  • Quartz——CronTrigger触发器 eksliang quartzCronTrigger
    转载请出自出处：http://eksliang.iteye.com/blog/2208295 一.概述 CronTrigger 能够提供比 SimpleTrigger 更有具体实际意义的调度方案，调度规则基于 Cron 表达式，CronTrigger 支持日历相关的重复时间间隔（比如每月第一个周一执行），而不是简单的周期时间间隔。 二.Cron表达式介绍 1）Cron表达式规则表 Quartz
  • Informatica基础 18289753290 InformaticaMonitormanagerworkflowDesigner
    1. 1）PowerCenter Designer：设计开发环境，定义源及目标数据结构；设计转换规则，生成ETL映射。 2）Workflow  Manager：合理地实现复杂的ETL工作流，基于时间，事件的作业调度 3）Workflow  Monitor：监控Workflow和Session运行情况，生成日志和报告 4）Repository  Manager：
  • linux下为程序创建启动和关闭的的sh文件，scrapyd为例 酷的飞上天空 scrapy
    对于一些未提供service管理的程序  每次启动和关闭都要加上全部路径，想到可以做一个简单的启动和关闭控制的文件   下面以scrapy启动server为例，文件名为run.sh：   #端口号，根据此端口号确定PID PORT=6800 #启动命令所在目录 HOME='/home/jmscra/scrapy/' #查询出监听了PORT端口
  • 人--自私与无私 永夜-极光
                今天上毛概课,老师提出一个问题--人是自私的还是无私的,根源是什么?               从客观的角度来看,人有自私的行为,也有无私的
  • Ubuntu安装NS-3 环境脚本 随便小屋 ubuntu
      将附件下载下来之后解压，将解压后的文件ns3environment.sh复制到下载目录下（其实放在哪里都可以，就是为了和我下面的命令相统一）。输入命令：   sudo ./ns3environment.sh >>result   这样系统就自动安装ns3的环境，运行的结果在result文件中，如果提示     com
  • 创业的简单感受 aijuans 创业的简单感受
           2009年11月9日我进入a公司实习，2012年4月26日，我离开a公司，开始自己的创业之旅。      今天是2012年5月30日，我忽然很想谈谈自己创业一个月的感受。 当初离开边锋时，我就对自己说：“自己选择的路，就是跪着也要把他走完”，我也做好了心理准备，准备迎接一次次的困难。我这次走出来，不管成败
  • 如何经营自己的独立人脉 aoyouzi 如何经营自己的独立人脉
    独立人脉不是父母、亲戚的人脉，而是自己主动投入构造的人脉圈。“放长线，钓大鱼”，先行投入才能产生后续产出。   现在几乎做所有的事情都需要人脉。以银行柜员为例，需要拉储户，而其本质就是社会人脉，就是社交！很多人都说，人脉我不行，因为我爸不行、我妈不行、我姨不行、我舅不行……我谁谁谁都不行，怎么能建立人脉？我这里说的人脉，是你的独立人脉。   以一个普通的银行柜员
  • JSP基础 百合不是茶 jsp注释隐式对象
      1,JSP语句的声明 <%! 声明 %> 　　 声明：这个就是提供java代码声明变量、方法等的场所。 表达式 <%= 表达式 %> 　　 这个相当于赋值，可以在页面上显示表达式的结果， 程序代码段/小型指令　<% 程序代码片段 %>   2,JSP的注释   <!-- -->
  • web.xml之session-config、mime-mapping bijian1013 javaweb.xmlservletsession-configmime-mapping
    session-config 1.定义： <session-config> <session-timeout>20</session-timeout> </session-config> 2.作用：用于定义整个WEB站点session的有效期限，单位是分钟。   mime-mapping 1.定义： <mime-m
  • 互联网开放平台（1） Bill_chen 互联网qq新浪微博百度腾讯
    现在各互联网公司都推出了自己的开放平台供用户创造自己的应用，互联网的开放技术欣欣向荣，自己总结如下： 1.淘宝开放平台(TOP) 网址：http://open.taobao.com/ 依赖淘宝强大的电子商务数据，将淘宝内部业务数据作为API开放出去，同时将外部ISV的应用引入进来。 目前TOP的三条主线： TOP访问网站：open.taobao.com ISV后台：my.open.ta
  • 【MongoDB学习笔记九】MongoDB索引 bit1129 mongodb
    索引 可以在任意列上建立索引 索引的构造和使用与传统关系型数据库几乎一样,适用于Oracle的索引优化技巧也适用于Mongodb 使用索引可以加快查询,但同时会降低修改,插入等的性能 内嵌文档照样可以建立使用索引 测试数据     var p1 = { "name":"Jack", "age&q
  • JDBC常用API之外的总结 白糖_ jdbc
    做JAVA的人玩JDBC肯定已经很熟练了，像DriverManager、Connection、ResultSet、Statement这些基本类大家肯定很常用啦，我不赘述那些诸如注册JDBC驱动、创建连接、获取数据集的API了，在这我介绍一些写框架时常用的API，大家共同学习吧。     ResultSetMetaData获取ResultSet对象的元数据信息
  • apache VelocityEngine使用记录 bozch VelocityEngine
    VelocityEngine是一个模板引擎，能够基于模板生成指定的文件代码。   使用方法如下：     VelocityEngine engine = new VelocityEngine();// 定义模板引擎     Properties properties = new Properties();// 模板引擎属
  • 编程之美-快速找出故障机器 bylijinnan 编程之美
    package beautyOfCoding; import java.util.Arrays; public class TheLostID { /*编程之美 假设一个机器仅存储一个标号为ID的记录，假设机器总量在10亿以下且ID是小于10亿的整数，假设每份数据保存两个备份，这样就有两个机器存储了同样的数据。 1.假设在某个时间得到一个数据文件ID的列表，是
  • 关于Java中redirect与forward的区别 chenbowen00 javaservlet
    在Servlet中两种实现： forward方式：request.getRequestDispatcher(“/somePage.jsp”).forward(request, response); redirect方式：response.sendRedirect(“/somePage.jsp”); forward是服务器内部重定向，程序收到请求后重新定向到另一个程序，客户机并不知
  • [信号与系统]人体最关键的两个信号节点 comsci 系统
            如果把人体看做是一个带生物磁场的导体,那么这个导体有两个很重要的节点,第一个在头部,中医的名称叫做 百汇穴, 另外一个节点在腰部,中医的名称叫做 命门         如果要保护自己的脑部磁场不受到外界有害信号的攻击,最简单的
  • oracle 存储过程执行权限 daizj oracle存储过程权限执行者调用者
    在数据库系统中存储过程是必不可少的利器，存储过程是预先编译好的为实现一个复杂功能的一段Sql语句集合。它的优点我就不多说了，说一下我碰到的问题吧。我在项目开发的过程中需要用存储过程来实现一个功能，其中涉及到判断一张表是否已经建立，没有建立就由存储过程来建立这张表。 CREATE OR REPLACE PROCEDURE TestProc  IS    fla
  • 为mysql数据库建立索引 dengkane mysql性能索引
    前些时候，一位颇高级的程序员居然问我什么叫做索引，令我感到十分的惊奇，我想这绝不会是沧海一粟，因为有成千上万的开发者（可能大部分是使用MySQL的）都没有受过有关数据库的正规培训，尽管他们都为客户做过一些开发，但却对如何为数据库建立适当的索引所知较少，因此我起了写一篇相关文章的念头。  最普通的情况，是为出现在where子句的字段建一个索引。为方便讲述，我们先建立一个如下的表。
  • 学习C语言常见误区 如何看懂一个程序 如何掌握一个程序以及几个小题目示例 dcj3sjt126com c算法
    如果看懂一个程序，分三步   1、流程   2、每个语句的功能   3、试数   如何学习一些小算法的程序 尝试自己去编程解决它，大部分人都自己无法解决 如果解决不了就看答案 关键是把答案看懂，这个是要花很大的精力，也是我们学习的重点 看懂之后尝试自己去修改程序，并且知道修改之后程序的不同输出结果的含义 照着答案去敲 调试错误
  • centos6.3安装php5.4报错 dcj3sjt126com centos6
    报错内容如下: Resolving Dependencies --> Running transaction check ---> Package php54w.x86_64 0:5.4.38-1.w6 will be installed --> Processing Dependency: php54w-common(x86-64) = 5.4.38-1.w6 for
  • JSONP请求 flyer0126 jsonp
          使用jsonp不能发起POST请求。 It is not possible to make a JSONP POST request. JSONP works by creating a <script> tag that executes Javascript from a different domain; it is not pos
  • Spring Security（03）——核心类简介 234390216 Authentication
    核心类简介 目录 1.1     Authentication 1.2     SecurityContextHolder 1.3     AuthenticationManager和AuthenticationProvider 1.3.1  &nb
  • 在CentOS上部署JAVA服务 java--hhf javajdkcentosJava服务
        本文将介绍如何在CentOS上运行Java Web服务，其中将包括如何搭建JAVA运行环境、如何开启端口号、如何使得服务在命令执行窗口关闭后依旧运行     第一步：卸载旧Linux自带的JDK ①查看本机JDK版本 java -version    结果如下 java version "1.6.0"
  • oracle、sqlserver、mysql常用函数对比[to_char、to_number、to_date] ldzyz007 oraclemysqlSQL Server
    oracle                                &n
  • 记Protocol Oriented Programming in Swift of WWDC 2015 ningandjin protocolWWDC 2015Swift2.0
    其实最先朋友让我就这个题目写篇文章的时候，我是拒绝的，因为觉得苹果就是在炒冷饭， 把已经流行了数十年的OOP中的“面向接口编程”还拿来讲，看完整个Session之后呢，虽然还是觉得在炒冷饭，但是毕竟还是加了蛋的，有些东西还是值得说说的。 通常谈到面向接口编程，其主要作用是把系统设计和具体实现分离开，让系统的每个部分都可以在不影响别的部分的情况下，改变自身的具体实现。接口的设计就反映了系统
  • 搭建 CentOS 6 服务器(15) - Keepalived、HAProxy、LVS rensanning keepalived
    （一）Keepalived （1）安装 # cd /usr/local/src # wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz # tar zxvf keepalived-1.2.15.tar.gz # cd keepalived-1.2.15 # ./configure # make &a
  • ORACLE数据库SCN和时间的互相转换 tomcat_oracle oraclesql
    SCN（System Change Number 简称 SCN）是当Oracle数据库更新后，由DBMS自动维护去累积递增的一个数字，可以理解成ORACLE数据库的时间戳，从ORACLE 10G开始，提供了函数可以实现SCN和时间进行相互转换； 　　 用途：在进行数据库的还原和利用数据库的闪回功能时，进行SCN和时间的转换就变的非常必要了； 　 　操作方法： 　　1、通过dbms_f
  • Spring MVC 方法注解拦截器 xp9802 spring mvc
    应用场景，在方法级别对本次调用进行鉴权，如api接口中有个用户唯一标示accessToken,对于有accessToken的每次请求可以在方法加一个拦截器，获得本次请求的用户，存放到request或者session域。 python中，之前在python flask中可以使用装饰器来对方法进行预处理，进行权限处理 先看一个实例,使用@access_required拦截： ?
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他