2022.11.6 第二十九次周报

目录

前言

文献阅读

题目

作者

背景

主要问题

拟定方案

开创性贡献

工业5.0中IIoT的拟议联合网络自动化方案概述以及详细的结构设计流程和数学初步

面向工业5.0的拟议方案概述

区块链赋能的联邦学习

分布式哈希表

方案的结构设计流程

时空复杂度

pytorch中的卷积操作

AlexNet

总结

---

前言

Convolution operations in Pytorch were parsed this week.An article on blockchain and Industry 5.0 was learned about and a new type of proposed federated network automation scheme was discussed in this article.In addition to this, there is a study about the AlexNet Architectural Framework for 2012 this week.

Pytorch中的卷积操作在本周被解析。一篇关于区块链和工业5.0的文章被了解，一种新型的拟议联合网络自动化方案在本文中被讨论。除此之外，有关于2012的AlexNet结构框架在本周被学习。

文献阅读

--Sushil Kumar Singh, Laurence T. Yang, Jong Hyuk Park,
FusionFedBlock: Fusion of blockchain and federated learning to preserve privacy in industry 5.0,
Information Fusion,
Volume 90,
2023,
Pages 233-240,
ISSN 1566-2535,
https://doi.org/10.1016/j.inffus.2022.09.027.
(https://www.sciencedirect.com/science/article/pii/S1566253522001658)
Keywords: Blockchain; Federated learning; Information fusion; Privacy-preservation; Industrial IoT; Industry 5.0; Security

题目

FusionFedBlock：区块链和联邦学习的融合，以保护工业中的隐私 5.0

作者

Sushil Kumar Singh, Laurence T. Yang, Jong Hyuk Park

背景

工业5.0”一词起源于高要求的工业项目，从集中式生产转向分散式生产，与制造计算机化和智能网络自动化行业的创建有关。它是互联环境中工业工厂的以信息为中心的范例，具有实时优化、传感器数据和服务。自学习设备、复制人类动作以及工业基础设施中生产算法的不断优化是工业 5.0 网络自动化的一部分。利用和利用支持物联网 （IoT） 的工业资产，如传感器、执行器和空气控制器，在智能工业工厂中提供可操作的信息数据，这些工厂是工业物联网 （IIoT） 的一部分，并提供工业创新和协作。对于当今工业基础设施的高度自动化，设备必须更加坚固、高效、智能，并具有高频段连接。因此，IIoT和工业5.0正在通过促进信息和通信技术（ICT）和网络自动化的融合来重新起草行业。5G无线通信和先进网络自动化技术的出现，通过以物联网信息为中心的设备，为智能工业提供了可靠的高频段解决方案。物理不可克隆功能对于通过宏基站进行基站验证和确认至关重要。本地基站具有低计算能力和内存存储。物理不可克隆函数 （PUF） 函数类似于将字符串组合为输入和输出的数学函数。

主要问题

现有的研究使用区块链和联邦学习技术来解决工业环境中的隐私保护问题。尽管如此，它仍然具有高级连接、网络自动化、分散数据存储和通信带宽的主要缺点。

拟定方案

为了克服集中化、可扩展性、高清连接和延迟等问题，我们提出了一种方案，即区块链和联邦学习的融合，以保护工业5.0中的隐私。5G无线通信通过先进的可穿戴传感器提供高清通信连接和网络自动化，联邦学习在工业环境中提供隐私保护。此外，区块链技术在边缘层提供数据认证和验证;此外，通过所提出的方案，分散式和分布式数据存储环境在云层适应。

开创性贡献

本文的主要贡献总结如下：

提出一个方案，如FusionFedBlock：区块链和联邦学习的融合，以保护工业5.0中的隐私。

设计联邦学习网络，在工业环境中保护隐私数据流，并通过基于 5G 的宏基站提供高清通信连接。

数据认证和验证由联邦层的区块链网络提供，并通过云层的分布式哈希表进行去中心化存储。

与现有框架相比，在工业5.0的50%活动节点中，所提方案的验证性能高达93.5%。

工业5.0中IIoT的拟议联合网络自动化方案概述以及详细的结构设计流程和数学初步

面向工业5.0的拟议方案概述

区块链赋能的联邦学习

本地网络（GRU 神经网络）训练任务，在初始化的全局模型中使用本地输入数据。隐私保护网络自动化在算法 1 中表述。

分布式哈希表

所有部门数据，如产品监控、质量控制、电源等，都使用5G与基于分布式哈希表的云数据中心进行通信。该表利用 SHA-256 加密算法使用哈希函数加密数据，并对哈希文本中的数据进行加密，称为分布式哈希表的索引值。此表具有键，称为H a s h（K e ys）→Ind e xValue，保护行业内的部门数据。从不同部门获得的每个数据在DHT中都有一个特定的索引值，这是安全和分散的。在应用层，工业5.0通过DHT中存储的数据为用户提供多种服务，并为客户提供最好的产品。安全工业部门的数据存储在算法2中制定。

方案的结构设计流程

时空复杂度

pytorch中的卷积操作

首先说下​​​​​​​pytorch中的Tensor通道排列顺序是：[batch, channel, height, width]

我们常用的卷积（Conv2d）在pytorch中对应的函数是：

其中，in_channels参数代表输入特征矩阵的深度即channel，比如输入一张RGB彩色图像，那in_channels=3

out_channels参数代表卷积核的个数，使用n个卷积核输出的特征矩阵深度即channel就是n

 kernel_size参数代表卷积核的尺寸，输入可以是int类型如3 代表卷积核的height=width=3，也可以是tuple类型如(3, 5)代表卷积核的height=3，width=5

 stride参数代表卷积核的步距默认为1，和kernel_size一样输入可以是int类型，也可以是tuple类型

 padding参数代表在输入特征矩阵四周补零的情况默认为0，同样输入可以为int型如1 代表上下方向各补一行0元素，左右方向各补一列0像素（即补一圈0），如果输入为tuple型如(2, 1) 代表在上方补两行下方补两行，左边补一列，右边补一列。可见下图，padding[0]是在H高度方向两侧填充的，padding[1]是在W宽度方向两侧填充的：

 如果要实现更灵活的padding方式，可使用nn.ZeroPad2d方法。

 

 在卷积操作过程中，我们知道矩阵经卷积操作后的尺寸由以下几个因数决定：

1. 输入图片大小 W×W
2. Filter大小 F×F
3. 步长 S
4. padding的像素数 P

 经卷积后的矩阵尺寸大小计算公式为：

 但在实际应用中，有时会出现N为非整数的情况（例如在alexnet，googlenet网络的第一层输出），再例如输入的矩阵 H=W=5，卷积核的F=2，S=2，Padding=1。经计算我们得到的N =（5 - 2 + 2*1）/ 2 +1 = 3.5 此时在Pytorch中是如何处理呢，先直接告诉你结论：在卷积过程中会直接将最后一行以及最后一列给忽略掉，以保证N为整数，此时N = （5 - 2 + 2*1 - 1）/ 2 + 1 = 3。

接下来我们来看个简单的实例：

首先进行padding的填充，size：7 x 7

 （2）通过计算发现输出为非整数，为了得到整数，将最后一行以及最后一列删除掉，size：6 x 6

 （3）接着使用卷积核进行卷积操作，就能得到我们的输出矩阵，需要注意的是pytorch中的卷积默认是带有bias的，所以计算卷积后需要加上bias偏量。例如输出的第一个值的计算过程如下：

 我们的计算结果与pytorch的输出相同，我们只计算了其中一个值，其他的值也一样：

 通过我们的实验可以发现，在pytorch的卷积过程中，当通过N = (W − F + 2P ) / S + 1计算式得到的输出尺寸非整数时，会通过删除多余的行和列来保证卷积的输出尺寸为整数。

AlexNet

卷积池化层

 全连接层 

总结

下周对于VGGNet和ResNets这些经典模型进行学习。