Chriszzzz
Chriszzzz

FlatBuffers，MNN模型存储结构基础 ---- 无法解读MNN模型文件的秘密

写在前面

我会尽可能地将一些关键概念进行描述和解释，但基于 深度学习 和 程序设计 的天坑，固然无法让一个完全没有相关概念基础的人完全跟上文章的节奏。对此请看不懂的各位多多见谅咯，毕竟这不是一片基础教程（当然，有问题可以在评论区提出，我会一一答复）。
参考阅读适宜人群：
1 关注AI实现技术的人们
2 对数据结构痴迷的人们
3 MNN的使用者

1 MNN

我们知道，如今的AI主要 以深度学习神经网络的方式 进行实践。神经网络模型的基本操作有 训练（Train，即创造模型）和 推理（Inference，即使用模型）。神经网络模型自有它的复杂性，所以，出现了 神经网络框架 这样让我们可以 忽略模型细节 来 使用 训练、推理 功能的工具。我们熟知的框架比如：Caffe，TensorFlow，Pytroch，Mxnet，Ncnn，当然，还有我们今天的主角之一， 阿里巴巴的深度神经网络推理引擎 MNN。

我们会好奇 MNN模型文件（.mnn）的秘密，想知道它组织结构的秘密（这点对 进行模型转换和模型调试 有至关重要的意义），即：
它是像一个.json文件一样使用字符串结构化的存储？
还是像ncnn的.bin文件一样只是将二进制的数值直接无隙存储？

调试MNN模型加载过程中我发现，.mnn文件的内容竟似乎是 莫名其妙地 从一个“不可读” 的状态变为了一个“可使用”的状态，即：
调试过程中我找不到字符串解析代码
调试过程中我也找不到二进制数据映射代码

我看到的只有：

const flatbuffers::Vector> *tensorName() const {
  return GetPointer> *>(VT_TENSORNAME);
}

--->
template P GetPointer(voffset_t field) const {
   return const_cast(this)->GetPointer
(field);
}

--->
template P GetPointer(voffset_t field) {
  auto field_offset = GetOptionalFieldOffset(field);
  auto p = data_ + field_offset;
  return field_offset ? reinterpret_cast
(p + ReadScalar(p))
      : nullptr;
}

--->
voffset_t GetOptionalFieldOffset(voffset_t field) const {
  auto vtable = GetVTable();
  auto vtsize = ReadScalar(vtable);
  return field < vtsize ? ReadScalar(vtable + field) : 0;
}
 
 
呃……试问一下大家看到这些代码的感受，应该不会很兴奋吧……
2 FlatBuffers
其实，无法解读MNN模型文件的秘密在于：MNN模型文件采用的存储结构是 FlatBuffers，而FlatBuffer的特点之一即为“ Access to serialized data without parsing/unpacking”，即 没有解析过程，没有解包过程。
我们（某一批特定的“我们”）知道，数据结构有 基础数据结构 和 结构化数据结构，那么，先在就优先了解一下FlatBuffer中常用的基础数据结构：
flatbuffers::String
 
  
 
   
 
    FlatBuffers，MNN模型存储结构基础 ---- 无法解读MNN模型文件的秘密_第1张图片 
   
 
  
 
  

    “OK”字符串的内存结构.png 
  
 
 
该图即 字符串“OK”在 内存中，又或 文件中 的 存储字节排布（左边低字节，右边高字节）。
     
  
  1. 标黄的部分说明 字符串的长度，占用4个字节（图示存储模式为 小端模式）。
     图中表示字符串长度为2，即（2 = 0 * 256^3 + 0 * 256^2 + 0 * 256^1 + 2 * 256^0)；
    2.  
  
  2. 紧跟着字符串长度的存储空间即为 字符串的内容，图中字符串长度为2，所以紧跟其后的2个字节为该字符串的有效值。
    3.  
 
flatbuffers::Vector & flatbuffers::Offset
这两个数据结构结合在一起使用会比较常见：如：flatbuffers::Vector>
 通俗地说，理解其为：一个指向特定数据结构的指针的数组。
 
  
 
   
 
    FlatBuffers，MNN模型存储结构基础 ---- 无法解读MNN模型文件的秘密_第2张图片 
   
 
  
 
  

    长度为6的指针数组.png 
  
 
 
类似flatbuffers::String的理解，4字节的Vector长度描述后，紧跟6个4字节的指针描述。
flatbuffers::Table
这个结构比较复杂，一片文章中的描述也比较清晰，我就不自己辛苦画图了。
 文章：Improving Facebook’s performance on Android with FlatBuffers
 
  
 
   
 
    FlatBuffers，MNN模型存储结构基础 ---- 无法解读MNN模型文件的秘密_第3张图片 
   
 
  
 
  

    image.png 
  
 
 
简单来说，一个Table结构 被分为左右两部分（如图中黄色部分pivot point for John即为分界线），左边表示数据信息的偏移，右边表示数据信息。我们把图中黄色位置计做0，则：
     
  
  1. 图中最左侧的 1 指向黄色位置右边 第一个矩形；
    2.  
  
  2. 图中左侧的 6 指向黄色位置右边 第6个矩形；
    3.  
  
  3. 每个矩形我们依然理解为 1字节（8位） 的数据存储空间
    4.  
 
3 MNN 中描述模型的数据结构
有了上面的基础，我们会好奇flatbuffers的存储内容与数据结构的 具体举例 或者 应用场景。所以，我们来初步了解一下MNN的底层模型数据结构。
3.1 MNN 底层模型数据结构全家福
 
  
 
   
  
   
 
  
 
  

    MNN FlatBuffers based Data Structure.png 
  
 
 

从MNN的源码中把这些内容扒出来然后绘图貌似也没有让它能那么得容易阅读。哈哈，那就圈一些重点吧（当然图中的信息比重点多好多哟）：
 1 图中中部靠下的Op部分衍生了近100个操作（或说神经网络层）的flatbuffers::Table结构的定义，这边我只象征性地列举了常见的4个；
 2 FlatBuffer数据结构是和存储对应的，所以我们可以认为MNN的设计者们期望过将整张图的内容放置到一个MNN模型文件中（至少他们预留了这样的扩展性）；
 3 当然，现阶段的大多MNN模型文件并没有包含上述全部的信息，详情见下图。
3.2 MNN 底层模型数据结构关键成员
 
  
 
   
 
    FlatBuffers，MNN模型存储结构基础 ---- 无法解读MNN模型文件的秘密_第4张图片 
   
 
  
 
  

    MNN模型文件目前存在的信息内容.png 
  
 
 
这张图就简单了很多，这是我经过对一些真实MNN模型的调试，筛出来的模型关键信息相关的数据结构。说白了：
 1 网络结构信息：Op与Op的排布顺序
 2 网络操作的参数信息（权重等）：存储在具体的Op衍生数据结构中（最右边的部分）
4 预告
这篇文章真的相当干燥！是否很期待一些更实践一些的内容呢？
 后续我会再拟草一片文章以举例的方式来详细地分析 MNN模型文件的存储结构的关系（这篇文章即作为一片技术基础参照），我会拿出证据告诉大家，MNN真的是遵照 “这种规则” 来设计和运作的。所以我们知道了规则，完全可以按照你的思想去 修改和调试 MNN源码 和 MNN模型。
想把这 有些复杂并夹杂着大量基础知识 的 知识实践 用 短篇幅 说清楚真的不是一件容易的事情啊。（还是讲课做分享更轻松哈哈，毕竟有即时的听众反馈提问）
先看预告张草图吧，证明我的每篇文章都是很用心地希望创造一些帮助哦~：）

 
  
 
   
 
    FlatBuffers，MNN模型存储结构基础 ---- 无法解读MNN模型文件的秘密_第5张图片 
   
 
  
 
  

    [预告]一个真实MNN模型的存储结构部分解读图示.png 
  
 
 

                    
                

        
你可能感兴趣的:(FlatBuffers，MNN模型存储结构基础 ---- 无法解读MNN模型文件的秘密)

        

            

                
    
                    
  • 基于django+Spark+大数据+爬虫技术的国漫推荐与可视化平台设计和实现(源码+论文+部署讲解等)
                        阿勇学长
大数据项目实战案例Java精品毕业设计实例Python数据可视化项目案例大数据djangospark国漫推荐与可视化平台毕业设计Java
                        
    博主介绍：✌全网粉丝50W+,csdn特邀作者、博客专家、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app、大数据、物联网、机器学习等
    
                    
    • 
                    
  • 大模型之提示词工程十指令——结合认知科学与高效学习法的AI协作指南
                        SEVEN-YEARS
学习人工智能
                        
    1.费曼学习法：用“教学”倒逼模型理解复杂概念原理：通过模拟教学场景，迫使模型深入理解知识本质。指令示例：“请用‘小学数学老师’的身份，向孩子解释区块链的基本原理。”输出：“区块链就像一个透明的记账本，每个人都可以看到上面的记录。比如你和同学一起买零食，大家轮流在本子上记录谁买了什么，这样没有人能偷偷修改记录。”应用场景：技术概念简化、跨领域知识迁移、科普内容生成。2.帕累托法则：聚焦关键20%的
    
                    
    • 
                    
  • 无铅压电陶瓷研究进展：技术突破与产业升级路径
                        莱歌数字
数字化转型#职场经验#结构热设计科技热设计CAE散热能源
                        
    作者简介：科技自媒体优质创作者个人主页：莱歌数字-CSDN博客公众号：莱歌数字个人微信：yanshanYH211、985硕士，职场15年+从事结构设计、热设计、售前、产品设计、项目管理等工作，涉足消费电子、新能源、医疗设备、制药信息化、核工业等领域涵盖新能源车载与非车载系统、医疗设备软硬件、智能工厂等业务，带领团队进行多个0-1的产品开发，并推广到多个企业客户现场落地实施。专题课程Flotherm
    
                    
    • 
                    
  • 文本生成新纪元：解锁大模型的企业级应用密码
                        

                        
    数字化浪潮席卷各行业的当下，文本生成技术正经历着翻天覆地的变革，这场变革的幕后功臣正是大模型。今天，咱们就来深入探讨大模型在文本生成领域的奥秘，看看它如何赋能企业，又该怎样规避风险，实现价值最大化。技术跃迁：从笨拙规则到智能生成回首往昔，文本生成依靠规则模板与关键字替换，虽能实现基础自动化，却如机械舞者，动作生硬、缺乏灵动。业务稍有变动，规则需全面重构，耗时费力。随着N-gram等统计机器学习方法
    
                    
    • 
                    
  • 邮科千兆2光8电工业级交换机在高温环境中的可靠性实践
                        邮科工业交换机定制
网络安全
                        
    工业物联网场景里，网络设备稳定性关乎生产系统连续性，冶金、能源、交通等高温作业环境，工业交换机需经受75℃以上高温考验。本文以邮科千兆2光8电工业交换机为例，结合测试数据与应用案例，解析其高温环境下技术适配性与可靠性保障机制。一、高温对工业交换机的技术挑战工业现场高温对交换机影响多维。钢铁企业冷轧车间实测，环境温度超60℃，普通商用交换机散热不足，芯片温度飙升至95℃，数据包丢失率从0.03%增至
    
                    
    • 
                    
  • 邮科ODM摄像头高温生存法则
                        

                        
    在钢铁冶炼等高温工业场景，监控设备面临光学性能衰减、电子元件失效、材料形变等多重挑战。经过实测，环境温度超60℃，普通摄像头图像噪点激增300%、焦点偏移。本文以邮科ODM摄像头为例，揭示其突破环境限制的逻辑。一、高温对监控设备的复合挑战工业高温环境对监控设备影响呈链式反应。测试中，75℃时摄像头图像传感器暗电流噪声增4倍，夜视画面出现大量绿色噪点，镜头组材料热膨胀系数差异致光学失焦，关键设备读数
    
                    
    • 
                    
  • 软件外包：行业现状、挑战与机遇
                        MicroTeamers
kafka科技数据分析
                        
    在数字化浪潮席卷全球的今天，软件外包已成为企业在信息技术领域发展的重要战略选择。软件外包是指企业将软件项目中的部分或全部工作委托给专业的外部软件服务提供商完成的一种业务模式。这种模式在过去几十年间得到了迅猛发展，其背后有着深刻的经济和技术动因。从行业现状来看，全球软件外包市场规模持续扩大。一方面，对于许多企业，尤其是中小型企业而言，自行组建完整的软件开发团队面临着高昂的人力成本、设备成本以及管理成
    
                    
    • 
                    
  • 领域驱动设计核心解析
                        

                        
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
    
                    
    • 
                    
  • Dubbo与Zookeeper核心解析
                        Java开发廖志伟
Java场景面试宝典DubboServiceDiscoveryDistributedSystems
                        
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
    
                    
    • 
                    
  • 【有源码】基于爬虫+python的美食数据分析与可视化flask热门美食推荐系统的设计与实现
                        Q2643365023
Python大数据python爬虫计算机毕设选题毕业设计源码计算机毕设项目数据分析美食推荐系统
                        
    注意：该项目只展示部分功能，如需了解，文末咨询即可。本文目录1.开发环境2系统设计2.1设计背景2.2设计内容3系统展示3.1功能展示视频3.2系统页面4更多推荐5部分功能代码1.开发环境开发语言：Python采用技术：flask、爬虫数据库：MySQL开发环境：PyCharm2系统设计2.1设计背景在现代社会中，人们对美食的兴趣和需求日益增长。互联网和社交媒体的普及使得各种美食信息、评论和推荐变
    
                    
    • 
                    
  • 小程序领域开发语言的基础教程
                        小程序开发2020
小程序开发语言ai
                        
    小程序领域开发语言的基础教程：从0到1轻松入门关键词：小程序开发、WXML、WXSS、JavaScript、双线程模型、生命周期、组件化摘要：本文是针对小程序开发语言的零基础入门指南，通过生活类比、代码示例和实战案例，详细讲解小程序核心开发语言（WXML/WXSS/JavaScript）的原理、协作方式及实际应用。无论你是前端新手还是想转行小程序开发的小白，都能通过本文掌握小程序开发的“三板斧”，
    
                    
    • 
                    
  • 小程序领域H5的性能监控与分析
                        小程序开发2020
CS小程序apache服务器ai
                        
    小程序领域H5的性能监控与分析：让你的"小快灵"跑得更稳更快关键词：小程序H5、性能监控、首屏时间、双线程模型、用户体验优化摘要：当我们在小程序里刷新闻、逛商品详情页时，这些看似"丝滑"的H5页面背后，可能隐藏着白屏卡顿、加载缓慢等"暗礁"。本文将从生活场景出发，用"奶茶店运营"的类比拆解小程序H5性能监控的核心逻辑，带你掌握从指标定义到实战落地的全流程方法，助你成为小程序H5的"性能管家"。背景
    
                    
    • 
                    
  • 利用H5为小程序领域增添新活力
                        小程序开发2020
小程序开发宝典小程序ai
                        
    利用H5为小程序领域增添新活力关键词：H5技术、小程序开发、跨平台架构、WebView通信、动态内容渲染、性能优化、全栈开发摘要：本文深入探讨如何通过HTML5（H5）技术提升小程序开发效率与用户体验。从技术架构对比到核心通信机制，结合具体代码案例解析H5与小程序的深度融合方案。通过WebView嵌入、JSSDK扩展、动态模板渲染等技术手段，实现跨平台代码复用、复杂交互组件开发和实时内容更新。同时
    
                    
    • 
                    
  • LOGO SEO优化
                        码哥DFS
前端htmlcss
                        
    1.logo里面首先放一个h1标签，目的是为了提权，告诉搜索引擎，这个地方很重要。2.h1里面再放一个链接，可以返回首页的，把logo的背景图片给链接即可。3.为了搜索引擎收录我们，我们链接里面要放文字(网站名称)，但是文字不要显示出来。方法1:text-indent移到盒子外面(text-indent:-9999px),然后overflow:hidden。方法2:直接给font-size:0;就
    
                    
    • 
                    
  • 【C++】— c++入门基础
                        孙同学_
C++c++
                        
    1.C++的第一个程序首先C++兼容C语言的大多数语法，所以用C语言实现Helloworld！同样也可以运行。用C语言实现Helloworld！#includeintmain(){printf("Helloworld！\n");return0;}用C++实现Helloworld！#includeusingnamespacestd;intmain(){coutnamespace的作用namespac
    
                    
    • 
                    
  • HTML5的新特性
                        码哥DFS
html5前端html
                        
    1.视频video支持MP4、ogg、webm格式src:url视频播放地址autoplay:autoplay视频就绪自动播放，谷歌浏览器需要添加muted来解决自动播放问题controls：controls向用户显示播放插件loop：loop循环播放poster:imgural加载等待的画面图片muted:muted静音播放2.音频audio支持MP3、Wav、Ogg格式autoplay:aut
    
                    
    • 
                    
  • ShardingSphere 架构解析
                        Java开发廖志伟
Java场景面试宝典ShardingSphereDistributedDatabaseDatabaseMiddleware
                        
    我是廖志伟，一名Java开发工程师、《Java项目实战——深入理解大型互联网企业通用技术》（基础篇）、（进阶篇）、（架构篇）清华大学出版社签约作家、Java领域优质创作者、CSDN博客专家、阿里云专家博主、51CTO专家博主、产品软文专业写手、技术文章评审老师、技术类问卷调查设计师、幕后大佬社区创始人、开源项目贡献者。拥有多年一线研发和团队管理经验，研究过主流框架的底层源码(Spring、Spri
    
                    
    • 
                    
  • 【零基础学AI】 第10讲：线性回归
                        1989
0基础学AI人工智能线性回归算法python回归numpy开源
                        
    本节课你将学到理解线性回归的原理和应用场景掌握最小二乘法的基本思想使用Python构建房价预测模型学会评估回归模型的性能指标开始之前环境要求Python3.8+JupyterNotebook或任何PythonIDE需要安装的包pipinstallscikit-learnpandasmatplotlibseabornnumpy前置知识第9讲：机器学习概述基本的Python和数据处理能力核心概念什么是
    
                    
    • 
                    
  • 【零基础学AI】第9讲：机器学习概述
                        1989
0基础学AI人工智能机器学习pythonnumpydevops开源
                        
    本节课你将学到理解什么是机器学习，以及它与传统编程的区别掌握监督学习、无监督学习的基本概念使用scikit-learn完成你的第一个机器学习项目构建一个完整的iris花朵分类器开始之前环境要求Python3.8+JupyterNotebook或任何PythonIDE需要安装的包pipinstallscikit-learnpandasmatplotlibseaborn前置知识基本的Python语法（
    
                    
    • 
                    
  • YOLOv11: AN OVERVIEW OF THE KEY ARCHITECTURAL ENHANCEMENTS目标检测论文精读（逐段解析）
                        昵称是6硬币
(持续更新)YOLO深度学习计算机视觉人工智能目标检测图像处理
                        
    YOLOv11:ANOVERVIEWOFTHEKEYARCHITECTURALENHANCEMENTS目标检测论文精读（逐段解析）论文地址：https://www.arxiv.org/abs/2410.17725RahimaKhanamandMuhammadHussainUltralytics公司发布CVPR2024论文写的比较简单，比较核心的改进包括：C3K2高效特征提取机制。对C2f模块的改进
    
                    
    • 
                    
  • python递归实现乘法_算法-递归
                        weixin_39817012
python递归实现乘法
                        
    我们在前面学习过递归函数，递归函数采用的就是递归算法，前面我们通过最常见的菲波那切数列去学习了递归函数，这一节我们再来详细了解一下递归算法。1.递归算法递归算法(英语：recursionalgorithm)在计算机科学中是指一种通过重复将问题分解为同类的子问题而解决问题的方法。递归式方法可以被用于解决很多的计算机科学问题，因此它是计算机科学中十分重要的一个概念，递归算法有三个特点：1)递归的过程一
    
                    
    • 
                    
  • 自然语言处理(NLP)中的文本生成控制技术
                        AI天才研究院
AI大模型企业级应用开发实战AgenticAI实战AI人工智能与大数据自然语言处理easyui人工智能ai
                        
    自然语言处理(NLP)中的文本生成控制技术关键词：文本生成、可控生成、语言模型、Prompt工程、解码策略、条件控制、评估指标摘要：本文深入探讨自然语言处理中文本生成控制技术的最新进展。我们将从基础概念出发，系统分析各种控制方法的原理和实现，包括Prompt设计、解码策略优化、条件控制机制等核心内容。文章将结合数学模型、算法实现和实际案例，全面展示如何实现高质量、可控的文本生成，并探讨该领域面临的
    
                    
    • 
                    
  • RAG系统的“聪明药”：如何用反馈回路让你的AI越用越聪明？
                        许泽宇的技术分享
人工智能
                        
    大家好，我是你们的AI技术侃侃而谈小能手。今天我们来聊聊RAG（Retrieval-AugmentedGeneration，检索增强生成）系统的进化之路——如何让它像喝了聪明药一样，越用越聪明，越聊越懂你。你是不是也有这样的体验？用ChatGPT、文档问答机器人，刚开始觉得还行，但用久了发现它总是“死脑筋”，问同样的问题，答得千篇一律，甚至一错再错。你想：“要是它能记住我的吐槽和建议，下次别再犯同
    
                    
    • 
                    
  • 在新设备上部署Git：完整教程与常见问题分析
                        马里马里奥-
gitgit容易见的一些问题
                        
    在现代软件开发中，Git是必不可少的版本控制工具。无论是个人项目还是团队协作，在新设备上快速部署Git都能提高效率。本博客将提供一份结构清晰的教程，指导你如何在新设备上完成Git部署，并分析部署过程中可能遇到的常见问题。教程基于标准实践，适用于Windows、macOS和Linux系统。让我们一步步来！1.引言Git是一个分布式版本控制系统，用于跟踪代码变更、协作开发。在新设备上部署Git包括安装
    
                    
    • 
                    
  • Kotlin forEach 中 如何退出循环？
                        linpopopo
Kotlin日记kotlinandroid
                        
    forEach中如何退出循环？上两周本人去面试的时候被问了个问题，就是forEach中如何退出循环？我的回答是采用return标签的方式，为什么我会这么回答？因为我压根就没有试过在forEach中退出循环，平时大多数情况都是使用的for循环，使用break和continue退出循环，今天顺便就记录下这个问题错误写法我们来看下下面的代码funmain(){valintList=listOf(1,2,
    
                    
    • 
                    
  • 借助 Wisdom SSH，实现 Linux 用户组与权限的精细化智能管控
                        qinyia
sshlinux人工智能服务器运维运维开发后端
                        
    WisdomSSH（官网ssh.wisdomheart.cn）凭借AI助手，为Linux用户组与权限管理带来智能便捷体验。用户组智能管理按需创建：如输入“为projectX项目建组，含开发、测试、运维人员”，AI助手创“projectX_group”组，生成groupaddprojectX_group命令。权限调整：输入“调projectX_group对代码目录读写，测试报告目录读权限”，AI助手
    
                    
    • 
                    
  • Kotlin编译流程
                        xiangxiongfly915
Kotlinkotlin
                        
    文章目录Kotlin编译流程Kotlin编译流程使用AS工具Kotlin与Java代码对比printlnKotlin类型类型推导字符串模板when表达式类抽象类接口数据类不设置默认值全设置默认值总结@JvmOverloadsKotlin编译流程Kotlin编译流程Kotlin代码经过编译器边后，生成Java字节码，这种字节码是专门为JVM设计的，JVM拿到字节码后，会根据特定的语法解析其中的内容，
    
                    
    • 
                    
  • PPT：数字化智能化数字孪生车间建设方案
                        

                        
    导语大家好，我是社长，老K。专注分享智能制造和智能仓储物流等内容。欢迎大家到本文底部评论区留言。也欢迎大家使用我们的仓储物流技术AI智能体。新书《智能物流系统构成与技术实践》人俱乐部完整版文件和更多学习资料，请球友到知识星球【智能仓储物流技术研习社】自行下载这份文件是一份关于数字化智能化车间建设方案的详细规划文件，涵盖了从理论到实践的各个方面，旨在帮助企业实现车间的数字化转型和智能化升级。以下是其
    
                    
    • 
                    
  • 算法-基础算法-枚举算法（Python）
                        总裁余(余登武)
算法与数据结构算法leetcode
                        
    文章目录前言解题思路题目1两数之和2计数质数前言  枚举算法（EnumerationAlgorithm）：也称为穷举算法，指的是按照问题本身的性质，一一列举出该问题所有可能的解，并在逐一列举的过程中，将它们逐一与目标状态进行比较以得出满足问题要求的解。在列举的过程中，既不能遗漏也不能重复。  枚举算法的核心思想是：通过列举问题的所有状态，将它们逐一与目标状态进行比较，从而得到满足条件的解。  由于
    
                    
    • 
                    
  • Kotlin中如何优雅地退出循环
                        锐湃
Kotlinkotlin开发语言android
                        
    在Kotlin中，forEach是一个高阶函数，它在遍历集合时会对集合中的每一个元素执行给定的lambda表达式。若要在forEach中退出循环，return会返回到外层函数，而不是终止循环。因此，使用return@forEach不能达到预期的效果。合理的做法是使用带标签的return或者是使用其他循环结构，如for循环。在forEach中你可以使用自定义的标签配合return，以退出循环。例如：
    
                    
    • 
                                
  • SAX解析xml文件
                                    小猪猪08
xml
                                    
    1.创建SAXParserFactory实例 
2.通过SAXParserFactory对象获取SAXParser实例 
3.创建一个类SAXParserHander继续DefaultHandler，并且实例化这个类 
4.SAXParser实例的parse来获取文件 
    public static void main(String[] args) { 
 //
    
                                
    • 
                                
  • 为什么mysql里的ibdata1文件不断的增长？
                                    brotherlamp
linuxlinux运维linux资料linux视频linux运维自学
                                    
    我们在 Percona 支持栏目经常收到关于 MySQL 的 ibdata1 文件的这个问题。 
当监控服务器发送一个关于 MySQL 服务器存储的报警时，恐慌就开始了 —— 就是说磁盘快要满了。 
一番调查后你意识到大多数地盘空间被 InnoDB 的共享表空间 ibdata1 使用。而你已经启用了 innodbfileper_table，所以问题是： 
ibdata1存了什么？ 
当你启用了 i
    
                                
    • 
                                
  • Quartz-quartz.properties配置
                                    eksliang
quartz
                                    
    其实Quartz JAR文件的org.quartz包下就包含了一个quartz.properties属性配置文件并提供了默认设置。如果需要调整默认配置，可以在类路径下建立一个新的quartz.properties，它将自动被Quartz加载并覆盖默认的设置。 
  
下面是这些默认值的解释 
#-----集群的配置
org.quartz.scheduler.instanceName =
    
                                
    • 
                                
  • informatica session的使用
                                    18289753290
workflowsessionlogInformatica
                                    
    如果希望workflow存储最近20次的log，在session里的Config  Object设置，log  options做配置，save  session log :sessions  run  ;savesessio log for  these runs:20 
session下面的source 里面有个tracing 
    
                                
    • 
                                
  • Scrapy抓取网页时出现CRC check failed 0x471e6e9a != 0x7c07b839L的错误
                                    酷的飞上天空
scrapy
                                    
    Scrapy版本0.14.4 
出现问题现象： 
  
ERROR: Error downloading <GET http://xxxxx  CRC check failed 
  
解决方法 
  
1.设置网络请求时的header中的属性'Accept-Encoding': '*;q=0' 
  
明确表示不支持任何形式的压缩格式，避免程序的解压
    
                                
    • 
                                
  • java Swing小集锦
                                    永夜-极光
java swing
                                    
    1.关闭窗体弹出确认对话框 
  1.1   this.setDefaultCloseOperation (JFrame.DO_NOTHING_ON_CLOSE); 
  1.2   
	this.addWindowListener (
				new WindowAdapter () {
					public void windo
    
                                
    • 
                                
  • 强制删除.svn文件夹
                                    随便小屋
java
                                    
      
        在windows上，从别处复制的项目中可能带有.svn文件夹，手动删除太麻烦，并且每个文件夹下都有。所以写了个程序进行删除。因为.svn文件夹在windows上是只读的，所以用File中的delete()和deleteOnExist()方法都不能将其删除，所以只能采用windows命令方式进行删除
    
                                
    • 
                                
  • GET和POST有什么区别？及为什么网上的多数答案都是错的。
                                    aijuans
get post
                                    
      
    如果有人问你，GET和POST，有什么区别？你会如何回答？ 我的经历 
     前几天有人问我这个问题。我说GET是用于获取数据的，POST，一般用于将数据发给服务器之用。 
    这个答案好像并不是他想要的。于是他继续追问有没有别的区别？我说这就是个名字而已，如果服务器支持，他完全可以把G
    
                                
    • 
                                
  • 谈谈新浪微博背后的那些算法
                                    aoyouzi
谈谈新浪微博背后的那些算法
                                    
    本文对微博中常见的问题的对应算法进行了简单的介绍，在实际应用中的算法比介绍的要复杂的多。当然，本文覆盖的主题并不全，比如好友推荐、热点跟踪等就没有涉及到。但古人云“窥一斑而见全豹”，希望本文的介绍能帮助大家更好的理解微博这样的社交网络应用。 
微博是一个很多人都在用的社交应用。天天刷微博的人每天都会进行着这样几个操作：原创、转发、回复、阅读、关注、@等。其中，前四个是针对短博文，最后的关注和@则针
    
                                
    • 
                                
  • Connection reset 连接被重置的解决方法
                                    百合不是茶
java字符流连接被重置
                                    
    流是java的核心部分,,昨天在做android服务器连接服务器的时候出了问题,就将代码放到java中执行,结果还是一样连接被重置 
  
被重置的代码如下; 
  
客户端代码; 
package 通信软件服务器;

import java.io.BufferedWriter;
import java.io.OutputStream;
import java.io.O
    
                                
    • 
                                
  • web.xml配置详解之filter
                                    bijian1013
javaweb.xmlfilter
                                    
    一.定义 
<filter>
	<filter-name>encodingfilter</filter-name>
	<filter-class>com.my.app.EncodingFilter</filter-class>
	<init-param>
		<param-name>encoding<
    
                                
    • 
                                
  • Heritrix
                                    Bill_chen
多线程xml算法制造配置管理
                                    
    作为纯Java语言开发的、功能强大的网络爬虫Heritrix，其功能极其强大，且扩展性良好，深受热爱搜索技术的盆友们的喜爱，但它配置较为复杂，且源码不好理解，最近又使劲看了下，结合自己的学习和理解，跟大家分享Heritrix的点点滴滴。 
Heritrix的下载（http://sourceforge.net/projects/archive-crawler/）安装、配置，就不罗嗦了，可以自己找找资
    
                                
    • 
                                
  • 【Zookeeper】FAQ
                                    bit1129
zookeeper
                                    
    1.脱离IDE，运行简单的Java客户端程序 
#ZkClient是简单的Zookeeper~$ java -cp "./:zookeeper-3.4.6.jar:./lib/*" ZKClient   
  
1. Zookeeper是的Watcher回调是同步操作，需要添加异步处理的代码 
2. 如果Zookeeper集群跨越多个机房，那么Leader/
    
                                
    • 
                                
  • The user specified as a definer ('aaa'@'localhost') does not exist
                                    白糖_
localhost
                                    
    今天遇到一个客户BUG，当前的jdbc连接用户是root，然后部分删除操作都会报下面这个错误：The user specified as a definer ('aaa'@'localhost') does not exist 
最后找原因发现删除操作做了触发器，而触发器里面有这样一句 
  
 /*!50017 DEFINER = ''aaa@'localhost' */ 
 原来最初
    
                                
    • 
                                
  • javascript中showModelDialog刷新父页面
                                    bozch
JavaScript刷新父页面showModalDialog
                                    
    在页面中使用showModalDialog打开模式子页面窗口的时候，如果想在子页面中操作父页面中的某个节点，可以通过如下的进行： 
      window.showModalDialog('url',self,‘status...’); // 首先中间参数使用self 
      在子页面使用w
    
                                
    • 
                                
  • 编程之美-买书折扣
                                    bylijinnan
编程之美
                                    
    


import java.util.Arrays;

public class BookDiscount {

	/**编程之美 买书折扣

书上的贪心算法的分析很有意思，我看了半天看不懂，结果作者说，贪心算法在这个问题上是不适用的。。
下面用动态规划实现。
哈利波特这本书一共有五卷，每卷都是8欧元，如果读者一次购买不同的两卷可扣除5%的折扣，三卷10%，四卷20%，五卷
    
                                
    • 
                                
  • 关于struts2.3.4项目跨站执行脚本以及远程执行漏洞修复概要
                                    chenbowen00
strutsWEB安全
                                    
    因为近期负责的几个银行系统软件，需要交付客户，因此客户专门请了安全公司对系统进行了安全评测，结果发现了诸如跨站执行脚本，远程执行漏洞以及弱口令等问题。 
下面记录下本次解决的过程以便后续 
1、首先从最简单的开始处理，服务器的弱口令问题，首先根据安全工具提供的测试描述中发现应用服务器中存在一个匿名用户，默认是不需要密码的，经过分析发现服务器使用了FTP协议， 
而使用ftp协议默认会产生一个匿名用
    
                                
    • 
                                
  • [电力与暖气]煤炭燃烧与电力加温
                                    comsci

                                    
     
      在宇宙中,用贝塔射线观测地球某个部分,看上去,好像一个个马蜂窝,又像珊瑚礁一样,原来是某个国家的采煤区..... 
 
      不过,这个采煤区的煤炭看来是要用完了.....那么依赖将起燃烧并取暖的城市,在极度严寒的季节中...该怎么办呢? 
 
  &nbs
    
                                
    • 
                                
  • oracle O7_DICTIONARY_ACCESSIBILITY参数
                                    daizj
oracle
                                    
    O7_DICTIONARY_ACCESSIBILITY参数控制对数据字典的访问.设置为true,如果用户被授予了如select any table等any table权限,用户即使不是dba或sysdba用户也可以访问数据字典.在9i及以上版本默认为false,8i及以前版本默认为true.如果设置为true就可能会带来安全上的一些问题.这也就为什么O7_DICTIONARY_ACCESSIBIL
    
                                
    • 
                                
  • 比较全面的MySQL优化参考
                                    dengkane
mysql
                                    
    本文整理了一些MySQL的通用优化方法，做个简单的总结分享，旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作，至于具体的SQL优化，大部分通过加适当的索引即可达到效果，更复杂的就需要具体分析了，可以参考本站的一些优化案例或者联系我，下方有我的联系方式。这是上篇。 
  
1、硬件层相关优化 
  
1.1、CPU相关 
  
在服务器的BIOS设置中，可
    
                                
    • 
                                
  • C语言homework2，有一个逆序打印数字的小算法
                                    dcj3sjt126com
c
                                    
    #h1# 
  
0、完成课堂例子 
1、将一个四位数逆序打印 
1234 ==> 4321 
实现方法一： 
# include <stdio.h>

int main(void)
{
	int i = 1234;
	int one = i%10;
	int two =  i / 10 % 10;
	int three = i / 100 % 10;

    
                                
    • 
                                
  • apacheBench对网站进行压力测试
                                    dcj3sjt126com
apachebench
                                    
       ab 的全称是 ApacheBench ， 是 Apache 附带的一个小工具 ， 专门用于 HTTP Server 的 benchmark testing ， 可以同时模拟多个并发请求。前段时间看到公司的开发人员也在用它作一些测试，看起来也不错，很简单，也很容易使用，所以今天花一点时间看了一下。 
通过下面的一个简单的例子和注释，相信大家可以更容易理解这个工具的使用。 
    
                                
    • 
                                
  • 2种办法让HashMap线程安全
                                    flyfoxs
javajdkjni
                                    
    多线程之--2种办法让HashMap线程安全 
多线程之--synchronized 和reentrantlock的优缺点 
多线程之--2种JAVA乐观锁的比较( NonfairSync VS. FairSync) 
  
  
HashMap不是线程安全的,往往在写程序时需要通过一些方法来回避.其实JDK原生的提供了2种方法让HashMap支持线程安全. 
  

    
                                
    • 
                                
  • Spring Security（04）——认证简介
                                    234390216
Spring Security认证过程
                                    
    认证简介 
目录 
1.1     认证过程 
1.2     Web应用的认证过程 
1.2.1    ExceptionTranslationFilter 
1.2.2    在request之间共享SecurityContext 
   

1
    
                                
    • 
                                
  • Java 位运算
                                    Javahuhui
java位运算
                                    
    // 左移( << ) 低位补0 
// 0000 0000 0000 0000 0000 0000 0000 0110 然后左移2位后，低位补0： 
// 0000 0000 0000 0000 0000 0000 0001 1000 
System.out.println(6 << 2);// 运行结果是24 
 
// 右移( >> ) 高位补"
    
                                
    • 
                                
  • mysql免安装版配置
                                    ldzyz007
mysql
                                    
    1、my-small.ini是为了小型数据库而设计的。不应该把这个模型用于含有一些常用项目的数据库。 
2、my-medium.ini是为中等规模的数据库而设计的。如果你正在企业中使用RHEL,可能会比这个操作系统的最小RAM需求(256MB)明显多得多的物理内存。由此可见，如果有那么多RAM内存可以使用，自然可以在同一台机器上运行其它服务。 
3、my-large.ini是为专用于一个SQL数据
    
                                
    • 
                                
  • MFC和ado数据库使用时遇到的问题
                                    你不认识的休道人
sqlC++mfc
                                    
    =================================================================== 
第一个 
=================================================================== 
 
try{
		CString sql;
	sql.Format("select * from p
    
                                
    • 
                                
  • 表单重复提交Double Submits
                                    rensanning
double
                                    
    可能发生的场景： 
 
 
 *多次点击提交按钮  
 *刷新页面  
 *点击浏览器回退按钮  
 *直接访问收藏夹中的地址  
 *重复发送HTTP请求（Ajax） 
 
（1）点击按钮后disable该按钮一会儿，这样能避免急躁的用户频繁点击按钮。 
这种方法确实有些粗暴，友好一点的可以把按钮的文字变一下做个提示，比如Bootstrap的做法： 
http://getbootstrap.co
    
                                
    • 
                                
  • Java String 十大常见问题
                                    tomcat_oracle
java正则表达式
                                    
    　1.字符串比较，使用“==”还是equals()?   　　"=="判断两个引用的是不是同一个内存地址(同一个物理对象)。   　　equals()判断两个字符串的值是否相等。   　　除非你想判断两个string引用是否同一个对象，否则应该总是使用equals()方法。   　　如果你了解字符串的驻留(String Interning)则会更好地理解这个问题。   　 
　
    
                                
    • 
                                
  • SpringMVC 登陆拦截器实现登陆控制
                                    xp9802
springMVC
                                    
    思路，先登陆后，将登陆信息存储在session中，然后通过拦截器，对系统中的页面和资源进行访问拦截，同时对于登陆本身相关的页面和资源不拦截。 
  
实现方法： 
        1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23  
    
                                
    •