hello风一样的男子
hello风一样的男子

DL4J中文文档/DataVec/归一化

为什么要进行归一化？

当它们被馈送的数据被归一化时，神经网络工作得最好，数据被限制在-1到1之间。这样做有几个原因。一个是使用梯度下降训练网络，并且它们的激活函数通常在-1和1之间的某个范围。即使使用不会很快饱和的激活函数，将你的值限制到这个范围以提高性能仍然是很好的实践。

可用的预处理器

MultiNormalizerStandardize

[源码]

MultiDataSet的预处理器把特征值（和可选的标签值）归一化到均值为0，标准差为1。

load
public void load(@NonNull List featureFiles, @NonNull List labelFiles) throws IOException

从文件系统加载均值和标准差。

  • 参数featureFiles是特征值的原文件，每个输入要求有两个文件，均值和标准差文件。
  • 参数labelFiles是标签源文件，每个输出要求2个文件，均值和标准差文件。
save
public void save(@NonNull List featureFiles, @NonNull List labelFiles) throws IOException
  • 参数featureFiles是特征值的原文件，每个输入要求有两个文件，均值和标准差文件。
  • 参数labelFiles是标签源文件，每个输出要求2个文件，均值和标准差文件。
  • 已弃用 使用 {- link MultiStandardizeSerializerStrategy} 代替

保存当前的均值和标准差到文件系统。

ImageMultiPreProcessingScaler 图像多预处理缩放器

[源码]

一种预处理器，专门用于在多数据集中应用最小最大缩放到一个或多个特征阵列的图像。

可以采用一个范围，因此可以将像素值从0->255缩放为minRange->maxRange默认minRange=0和maxRange=1；如果像素值不是8位，则可以指定位数作为构造函数中的第三个参数。

对于已经浮点的值，指定位数为1。

ImageMultiPreProcessingScaler
public ImageMultiPreProcessingScaler(double a, double b, int maxBits, int[] featureIndices)

预处理器可以取一个范围作为最小范围和最大范围

  • 参数 a, 默认 = 0
  • 参数 b, 默认 = 1
  • 参数maxBits是图片的最大位, 默认 = 8
  • 参数 featureIndices 特征数组的索引。如果只存在一个特征数组，则应该总是为0。

StandardizeStrategy 标准化策略

[源码]

总体样本的均值和标准差。

preProcess
public void preProcess(INDArray array, INDArray maskArray, DistributionStats stats)

归一化一个数据数组

  • 参数 array 用于归一化的数组
  • 参数 stats 数据总体样本的统计
revert
public void revert(INDArray array, INDArray maskArray, DistributionStats stats)

反归一化一个数据组

  • 参数 array 用于反归一化的数组
  • 参数 stats 数据总体样本的统计

MultiNormalizerMinMaxScaler 多归一化器最小最大值缩放器

[源码]

多数据集的预处理器，用来归一化特征值（并且也可以是标签值，值介于一个最小值和最大值之间（默认在0和1之间 ）

MultiNormalizerMinMaxScaler
public MultiNormalizerMinMaxScaler(double minRange, double maxRange)

预处理器可以取一个范围作为最小范围和最大范围

  • 参数 minRange 是目标范转下界
  • 参数 maxRange 是目标范转上界

CompositeMultiDataSetPreProcessor 组合多数据集预处理器

[源码]

一个简单的组合多数据集合预处理器-允许你在一个多数据集上应用多个多数据集合预处理器，它们按顺序被传递给构造器。

CompositeMultiDataSetPreProcessor
public CompositeMultiDataSetPreProcessor(MultiDataSetPreProcessor... preProcessors)
  • 参数 preProcessors 是需要应用的预处理器。它们将以这个顺序被应用。

ImageFlatteningDataSetPreProcessor 图像平坦化数据集预处理

[源码]

用于平坦化一个4维的CNN 特征数组为一个平坦的2维格式的数据集预处理器（用于一个类似于稠密层/多层感知器）

MultiNormalizerHybrid 多归一化器混合

[源码]

多数据集预处理器，可以配置为对不同的输入和输出使用不同的归一化策略，或者根本不使用。例如，当一个输入应该被归一化时，可以使用，但是另一个输入应该不被修改，因为它是嵌入层的输入。或者，人们可能想要混合归一化和最小最大缩放用于不同的输入和输出。

默认情况下，不应用归一化。有一些方法可以针对全局或单个输入/输出级别的输入和输出配置期望的归一化策略。特定的输入/输出策略将取代全局的输入/输出策略。

MultiNormalizerHybrid
public MultiNormalizerHybrid standardizeAllInputs()

对所有输入应用标准化，除了被单独配置的那些输入。

  • 返回归一化器
minMaxScaleAllInputs
public MultiNormalizerHybrid minMaxScaleAllInputs()

对所有输入应用最小最大缩放，除了被单独配置的那些输入。

  • 返回归一化器
minMaxScaleAllInputs
public MultiNormalizerHybrid minMaxScaleAllInputs(double rangeFrom, double rangeTo)

对所有输入应用最小最大缩放，除了被单独配置的那些输入。

  • 参数rangeFrom是目标范围的下界
  • 参数rangeTo是目标范围的上界
  • 返回归一化器
standardizeInput
public MultiNormalizerHybrid standardizeInput(int input)

对指定输入应用标准化，重写全局输入策略（如果有的话）

  • 参数input是输入索引
  • 返回归一化器
minMaxScaleInput
public MultiNormalizerHybrid minMaxScaleInput(int input)

对指定输入应用最小最大缩放，重写全局输入策略（如果有的话）

  • 参数input是输入索引
  • 返回归一化器
minMaxScaleInput
public MultiNormalizerHybrid minMaxScaleInput(int input, double rangeFrom, double rangeTo)

对指定输入应用最小最大缩放，重写全局输入策略（如果有的话）

  • 参数input是输入索引
  • 参数rangeFrom是目标范围的下界
  • 参数rangeTo是目标范围的上界
  • 返回归一化器
standardizeAllOutputs
public MultiNormalizerHybrid standardizeAllOutputs()

对所有输出应用标准化，除了单独配置的输出。

  • 返回归一化器
minMaxScaleAllOutputs
public MultiNormalizerHybrid minMaxScaleAllOutputs()
  • 返回归一化器
minMaxScaleAllOutputs
public MultiNormalizerHybrid minMaxScaleAllOutputs(double rangeFrom, double rangeTo)

所有输出应用最小最大缩放，除了单独配置的输出。

  • 参数rangeFrom是目标范围的下界
  • 参数rangeTo是目标范围的上界
  • 返回归一化器
standardizeOutput
public MultiNormalizerHybrid standardizeOutput(int output)

对指定输出应用标准化，重写全局输入策略（如果有的话）

  • 参数输出是输出索引
  • 返回归一化器
minMaxScaleOutput
public MultiNormalizerHybrid minMaxScaleOutput(int output)

对指定输出应用最小最大缩放，重写全局输入策略（如果有的话）

  • 参数输出是输出索引
  • 返回归一化器
minMaxScaleOutput
public MultiNormalizerHybrid minMaxScaleOutput(int output, double rangeFrom, double rangeTo)

对指定输出应用最小最大缩放，重写全局输入策略（如果有的话）

  • 参数输出是输出索引
  • 参数rangeFrom是目标范围的下界
  • 参数rangeTo是目标范围的上界
  • 返回归一化器
getInputStats
public NormalizerStats getInputStats(int input)

给定一个输入，获取归一化统计。

  • 参数input是输入索引
  • 返回一个相当于归一化策略的归一化统计
getOutputStats
public NormalizerStats getOutputStats(int output)

给定一个输入，获取归一化统计。

  • 参数output是输出索引
  • 返回一个相当于归一化策略的归一化统计
fit
public void fit(@NonNull MultiDataSet dataSet)

获取每个输入的归一化统计映射

  • 返回指向归一化器统计实例的输入索引映射
fit
public void fit(@NonNull MultiDataSetIterator iterator)

在数据集上迭代用于归一化的统计信息

  • 参数iterator是用于收集统计信息的迭代器
transform
public void transform(@NonNull MultiDataSet data)

转换一个数据集

  • 参数 data是要预处理的数据集 the dataset to pre proces
revert
public void revert(@NonNull MultiDataSet data)

取消这个数据归一化实例（数组在原处修改）所应用的归一化。

  • 参数data是需要取消归一化的多数据集。
revertFeatures
public void revertFeatures(@NonNull INDArray[] features)

撤消（还原）此数据归一化实例应用到整个输入数组的归一化

  • 参数features是输入的归一化数组
revertFeatures
public void revertFeatures(@NonNull INDArray[] features, INDArray[] maskArrays)

撤消（还原）此数据归一化实例应用到整个输入数组的归一化

  • 参数features是输入的归一化数组
  • 参数 maskArrays是 属于输入的可选掩码数组
revertFeatures
public void revertFeatures(@NonNull INDArray[] features, INDArray[] maskArrays, int input)

撤消（还原）此数据归一化实例应用到一个特殊输入的特征的归一化

  • 参数features是输入的归一化数组
  • 参数 maskArrays是 属于输入的可选掩码数组
  • 参数input是要还原归一化的输入的索引
revertLabels
public void revertLabels(@NonNull INDArray[] labels)

撤消（还原）此数据归一化实例应用到整个输出数组的归一化

  • 参数labels是输出的归一化数组
revertLabels
public void revertLabels(@NonNull INDArray[] labels, INDArray[] maskArrays)

撤消（还原）此数据归一化实例应用到整个输出数组的归一化

  • 参数labels是输出的归一化数组
  • 参数 maskArrays是 属于输出的可选掩码数组
revertLabels
public void revertLabels(@NonNull INDArray[] labels, INDArray[] maskArrays, int output)

撤消（还原）此数据归一化实例应用到一个特殊输出的特征的归一化

  • 参数labels是输出的归一化数组
  • 参数maskArrays是 属于输出的可选掩码数组
  • 参数output是要还原归一化的输出的索引

NormalizerMinMaxScaler

[源码]

数据集的预处理器，用于归一化特征值（也可以是标签值），让其介于一个最小值与最大值之间（默认为0到1之间）

NormalizerMinMaxScaler
public NormalizerMinMaxScaler(double minRange, double maxRange)

预处理器，可以取一个范围作为最小范围和最大范围

  • 参数 minRange
  • 参数 maxRange
load
public void load(File... statistics) throws IOException

加载给定的最大和最小值

  • 需要加载的统计信息
  • 抛出 IOException
save
public void save(File... files) throws IOException

保存当前最小值和最大值

  • 参数files是要保存的统计信息
  • 抛出IOException
  • 弃用，使用NormalizerSerializer代替

CompositeDataSetPreProcessor 组合数据集预处理器

[源码]

一个简单的组合数据集预处理器-允许你在一个数据集上按顺序应用多个数据集预处理器，它们按顺序传递给构造器。

CompositeDataSetPreProcessor
public CompositeDataSetPreProcessor(DataSetPreProcessor... preProcessors)
  • 参数 preProcessors 是要应用的预处理器。它们会以这个顺序应用。

Normalizer

[源码]

所有归一化器的基础接口

NormalizerStrategy

[源码]

基于总体统计用于归一化和还原归一化的策略接口。

ImagePreProcessingScaler 图像预处理缩放器

[源码]

Created by susaneraly on 6/23/16.

一种预处理器，专门用于在多数据集中应用最小最大缩放到一个或多个特征阵列的图像。可以采用一个范围，因此可以将像素值从0->255缩放为minRange->maxRange默认minRange=0和maxRange=1；如果像素值不是8位，则可以指定位数作为构造函数中的第三个参数。对于已经浮点的值，指定位数为1。

ImagePreProcessingScaler
public ImagePreProcessingScaler(double a, double b, int maxBits)

预处理器可以取一个范围作为最小范围和最大范围

  • 参数 a, 默认 = 0
  • 参数 b, 默认 = 1
  • 参数maxBits是图片的最大位, 默认 = 8
fit
public void fit(DataSet dataSet)

拟合数据集（只计算基于此数据集的统计数据）

  • 参数dataSet参与计算的数据集
fit
public void fit(DataSetIterator iterator)

在数据集上迭代用于归一化的统计信息

  • 参数iterator是用于收集统计信息的迭代器
transform
public void transform(DataSet toPreProcess)

转换数据

  • 参数toPreProcess要转换的数据集

VGG16ImagePreProcessor

[源码]

这是一个专门用于VG16的预处理器。它从每个像素中减去在训练集上计算的平均RGB值，如报告的那样。https://arxiv.org/pdf/1409.1556.pdf

fit
public void fit(DataSet dataSet)

拟合数据集（只计算基于此数据集的统计数据）

  • 参数dataSet参与计算的数据集
fit
public void fit(DataSetIterator iterator)

在数据集上迭代用于归一化的统计信息

  • 参数iterator是用于收集统计信息的迭代器
transform
public void transform(DataSet toPreProcess)

转换数据

  • 参数toPreProcess要转换的数据集

NormalizerStandardize

[源码]

Created by susaneraly, Ede Meijer 。数据集的方差和均值预处理器，将特征值（和可选的标签值）标准化为0均值和标准偏差1

load
public void load(File... files) throws IOException

从文件系统中加载均值和标准差

  • 参数files是需要加载的文件，如果标准化标签需要4个文件，否则为2.
save
public void save(File... files) throws IOException
  • 参数files是需要保存的文件，如果标准化标签需要4个文件，否则为2.
  • 弃用，使用NormalizerSerializer代替

将当前方法和标准偏差保存到文件系统

MultiDataNormalization

[源码]

一个用于多数据集归一化器的接口。数据归一化器，在一个多数据集上计算某些统计信息并按某种方式缩放数据。

MinMaxStrategy

[源码]

总体数据的上界和下界统计

MinMaxStrategy
public MinMaxStrategy(double minRange, double maxRange)
  • 参数minRange是目标范围的下界
  • 参数maxRange是目标范围的上界
preProcess
public void preProcess(INDArray array, INDArray maskArray, MinMaxStats stats)

归一化一个数据数组

  • 参数array是需要归一化的数据
  • 参数stats是总体数据的统计信息
revert
public void revert(INDArray array, INDArray maskArray, MinMaxStats stats)

对一个数据数组还原归一化

  • 参数array是需要还原归一化的数据
  • 参数stats是总体数据的统计信息

DataNormalization

[源码]

一个用于多数据集归一化器的接口。数据归一化器，在一个多数据集上计算某些统计信息并按某种方式缩放数据。

有任何问题请联系微信

DL4J中文文档/DataVec/归一化_第1张图片
image

如果您觉得我的文章给了您帮助，请为我买一杯饮料吧！以下是我的支付宝，意思一下我将非常感激！

DL4J中文文档/DataVec/归一化_第2张图片
image

你可能感兴趣的:(DL4J中文文档/DataVec/归一化)

  • 基于MATLAB平台设计并实现自适应噪声抵消器（Adaptive Noise Canceller, ANC） AI Dog 自动控制matlab自适应噪声抵消器ANC信号去噪
    本课题旨在基于MATLAB平台设计并实现自适应噪声抵消器（AdaptiveNoiseCanceller,ANC），以有效去除信号中的背景噪声，提升语音、医疗或通信系统中的信噪比。系统采用自适应滤波算法，如最小均方误差（LMS）或归一化LMS（NLMS）算法，通过参考噪声信号估计并抵消主通道信号中的噪声成分，实现动态降噪。研究内容包括信号采集与仿真建模、自适应滤波器结构设计、算法参数调整及降噪性能评
  • Python 数据分析与可视化 Day 11 - 特征工程基础 蓝婷儿 pythonpython数据分析人工智能
    ✅今日目标理解特征工程在数据分析和机器学习中的意义掌握常见特征类型的处理方式：数值型、类别型、时间型学习特征提取、转换、标准化、独热编码（One-HotEncoding）等核心操作为后续建模任务做好特征准备工作一、什么是特征工程？特征工程是将原始数据转换为模型可学习的“特征向量”的过程，是机器学习效果好坏的核心因素之一。常见任务包括：缺失值处理（已学）异常值处理（已学）数值归一化、标准化类别变量编
  • 激活函数和批归一化（BatchNorm）
    简单记录学习~。在神经网络中，激活函数和批归一化（BatchNorm）的配合使用是为了解决‌数据分布偏移‌和‌梯度不稳定‌问题。以下是逐步解释：1.激活函数为何导致值向上下限移动？‌以Sigmoid/Tanh为例‌：这类饱和型激活函数（如Sigmoid、Tanh）的导数在输入绝对值较大时会趋近于0（饱和区）。例如：Sigmoid的输出范围是(0,1)当输入≫0时，输出接近1；x≪0时，输出接近0。
  • 【TVM 教程】PAPI 入门
    ApacheTVM是一个深度的深度学习编译框架，适用于CPU、GPU和各种机器学习加速芯片。更多TVM中文文档可访问→https://tvm.hyper.ai/性能应用程序编程接口（PerformanceApplicationProgrammingInterface，简称PAPI）是一个可在各种平台上提供性能计数器的库。在指定的运行期间，性能计数器提供处理器行为的准确底层信息，包含简单的指标，如总
  • DAY 41 简单CNN 冬天给予的预感 cnn人工智能神经网络
    知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数→下一层Flatten->Dense(withDropout，可选)->Dense(Output)importtorchimporttorch.nnasnnimpo
  • Python打卡训练营-Day41-简单CNN traMpo1ine cnnpython深度学习
    @浙大疏锦行知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数→下一层Flatten->Dense(withDropout，可选)->Dense(Output)这里相关的概念比较多，如果之前没有学习过复试班强化班中
  • 深度学习使用Pytorch训练模型步骤 vvvdg 深度学习pytorch人工智能
    训练模型是机器学习和深度学习中的核心过程，旨在通过大量数据学习模型参数，以便模型能够对新的、未见过的数据做出准确的预测。训练模型通常包括以下几个步骤：1.数据准备：收集和处理数据，包括清洗、标准化和归一化。将数据分为训练集、验证集和测试集。2.定义模型：选择模型架构，例如决策树、神经网络等。初始化模型参数（权重和偏置）。3.选择损失函数：根据任务类型（如分类、回归）选择合适的损失函数。4.选择优化
  • Day33打卡 @浙大疏锦行 ayuan0119 python打卡shupython
    知识点回顾：PyTorch和cuda的安装查看显卡信息的命令行命令（cmd中使用）cuda的检查简单神经网络的流程数据预处理（归一化、转换成张量）#仍然用4特征，3分类的鸢尾花数据集作为我们今天的数据集fromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitimportnumpyasnp
  • DAY 41 简单CNN yizhimie37 python训练营打卡笔记深度学习
    @浙大疏锦行https://blog.csdn.net/weixin_45655710知识回顾数据增强卷积神经网络定义的写法batch归一化：调整一个批次的分布，常用与图像数据特征图：只有卷积操作输出的才叫特征图调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数→下一层Flatten->Dense(withDropout，可选)->Den
  • 层归一化Layer Normalization Summer_Anny python人工智能
    层归一化层归一化（LayerNormalization）是一种神经网络中常用的归一化技朧，用于在训练过程中加速收敛、稳定训练，并提高模型的泛化能力。与批归一化（BatchNormalization）类似，层归一化是一种归一化技朧，但是它是对每个样本的特征进行归一化，而不是对整个批次的特征进行归一化。层归一化的计算公式如下：[LayerNorm(x)=γx−μσ2+ϵ+β][\text{LayerN
  • MocapApi 中文文档 和github下载地址 NeuronDataReader（以下简称 NDR）的下一代编程接口 zhangfeng1133 github信号处理
    以下是MocapApi技术文档githubhttps://github.com/pnmocap/MocapApi?tab=readme-ov-file国内可以查找getcode英文文档https://mocap-api.noitom.com/mocap_api_en.html概述MocapApi是NeuronDataReader（以下简称NDR）的下一代编程接口，设计目标为：跨平台兼容（Win/M
  • 【k近邻】 K-Nearest Neighbors算法原理及流程 F_D_Z 机器学习方法数理算法学习机器学习k近邻算法k-近邻算法
    【k近邻】K-NearestNeighbors算法原理及流程【k近邻】K-NearestNeighbors算法距离度量选择与数据维度归一化【k近邻】K-NearestNeighbors算法k值的选择【k近邻】Kd树的构造与最近邻搜索算法【k近邻】Kd树构造与最近邻搜索示例k近邻算法（K-NearestNeighbors，简称KNN）是一种常用的监督学习算法，可以用于分类和回归问题。在OpenCV中
  • 基于Transformer实现机器翻译 yyyyurina. transformer机器翻译深度学习
    目录一、前言1.1什么是Transformer?1.2Transfomer的基本结构1.2Transformer的重要组成部分1.2.1位置编码（PositionalEncode）1.2.2自注意力机制（Self-Attention）1.2.3多头注意力（Multi-HeadAttention）1.2.4位置感知前馈层（Position-wiseFFN）1.2.5残差连接与层归一化二、AutoDL
  • 【大模型】【机器学习】【面试宝典】 曾小文 机器学习面试人工智能
    面试热点科普：BatchNorm和LayerNorm有什么区别？在深度学习面试中，经常会被问到模型训练稳定性相关的问题。其中两个关键词BatchNorm和LayerNorm绝对是高频词！今天就带大家快速梳理两者的核心区别，用最通俗的方式掌握它们的原理和应用场景，面试不再含糊！1.什么是归一化（Normalization）？归一化是神经网络训练过程中的一项重要技巧，目的是：缓解梯度爆炸/消失加快收敛
  • Day41 Python打卡训练营
    知识回顾1.数据增强2.卷积神经网络定义的写法3.batch归一化：调整一个批次的分布，常用与图像数据4.特征图：只有卷积操作输出的才叫特征图5.调度器：直接修改基础学习率卷积操作常见流程如下：1.输入→卷积层→Batch归一化层（可选）→池化层→激活函数→下一层2.Flatten->Dense(withDropout，可选)->Dense(Output)importtorchimporttorc
  • 【机器人-深度估计】双目深度估计原理解析
    文章目录一、基本原理二、主要处理流程2.1.匹配代价（MatchingCost）（1）常见匹配代价函数1.绝对差（SAD，SumofAbsoluteDifferences）2.平方差（SSD，SumofSquaredDifferences）3.归一化互相关（NCC，NormalizedCross-Correlation）4.Census变换（2）匹配代价函数对比2.2.代价体（CostVolume
  • 【vLLM 学习】Disaggregated Prefill
    vLLM是一款专为大语言模型推理加速而设计的框架，实现了KV缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多vLLM中文文档及教程可访问→https://vllm.hyper.ai/*在线运行vLLM入门教程：零基础分步指南源码examples/offline_inference/disaggregated_prefill.py#SPDX-License-Identifier:Apache-2.0
  • Spring AI 介绍 圣心 人工智能springchatgpt
    文章来源：AI概念(AIConcepts)_SpringAI1.0.0-SNAPSHOT中文文档(官方文档中文翻译)|Spring教程——CADN开发者文档中心本节介绍SpringAI使用的核心概念。我们建议仔细阅读它，以了解SpringAI是如何实现的。模型AI模型是旨在处理和生成信息的算法，通常模仿人类的认知功能。通过从大型数据集中学习模式和见解，这些模型可以进行预测、文本、图像或其他输出，从
  • 60天python训练营打卡day41 tan90�= python60天打卡python开发语言
    学习目标：60天python训练营打卡学习内容：DAY41简单CNN知识回顾1.数据增强2.卷积神经网络定义的写法3.batch归一化：调整一个批次的分布，常用与图像数据4.特征图：只有卷积操作输出的才叫特征图5.调度器：直接修改基础学习率卷积操作常见流程如下：输入→卷积层→Batch归一化层（可选）→池化层→激活函数→下一层2.Flatten->Dense(withDropout，可选)->De
  • （二十一）YOLO 全解析：从实时目标检测到多任务视觉智能 只有左边一个小酒窝 深度学习YOLO目标检测人工智能深度学习计算机视觉
    1YOLO的发展脉络与技术定位1.1发展脉络YOLOv1（2015年）：将目标检测重新定义为单一回归问题，把输入图像划分为S×S网格，每个网格单元负责预测固定数量的边界框及对应的类别概率，直接从像素回归预测物体的边界框坐标和类别概率。但存在小目标检测能力弱、定位精度不足等局限。YOLOv2（2016年）：引入批量归一化、锚框、维度集群等技术，还提出了高分辨率分类器、直接位置预测、细粒度特征融合、多
  • 图片批量去重---（均值哈希、插值哈希、感知哈希、三/单通道直方图） ghx3110 数据/脚本处理均值算法哈希算法直方图图片去重
    一、整体步骤本脚本中，关键步骤包括以下步骤：1、图片加载：脚本会遍历指定的图片目录，将所有图片加载到内存中。2、图像预处理：比较之前，通常需要对图片进行预处理，如调整大小、灰度化或直方图均衡化，以消除颜色、尺寸等因素的影响。3、相似度计算：图像相似度的衡量有很多种方法，如像素级别的差异（均方误差）、结构相似度指数(SSIM)、归一化互信息(NMI)或者哈希算法（如PCA-SIFT、BRIEF等）。
  • 解决YOLO模型从Python迁移到C++时目标漏检问题——跨语言部署中的关键陷阱与解决方案 马里马里奥- YOLOpythonc++
    问题背景当我们将Python训练的YOLO模型部署到C++环境时，常遇到部分目标漏检问题。这通常源于预处理/后处理差异、数据类型隐式转换或模型转换误差。本文通过完整案例解析核心问题并提供可落地的解决方案。一、常见原因分析预处理不一致Python常用OpenCV（BGR通道，归一化[0,1][0,1][0,1]）C++可能误用其他库（如RGB通道，归一化[−1,1][-1,1][−1,1]）差异值=
  • 【TVM 教程】在 TVM 中使用 Bring Your Own Datatypes
    ApacheTVM是一个深度的深度学习编译框架，适用于CPU、GPU和各种机器学习加速芯片。更多TVM中文文档可访问→https://tvm.hyper.ai/作者：GusSmith,AndrewLiu本教程将展示如何利用BringYourOwnDatatypes框架在TVM中使用自定义数据类型。注意，BringYourOwnDatatypes框架目前仅处理数据类型的软件模拟版本。该框架不支持开箱
  • DAY 39 图像数据与显存
    @浙大疏锦行https://blog.csdn.net/weixin_45655710知识点回顾图像数据的格式：灰度和彩色数据模型的定义显存占用的4种地方模型参数+梯度参数优化器参数数据批量所占显存神经元输出中间状态batchisize和训练的关系作业：今日代码较少，理解内容即可黑白图像模型的定义#先归一化，再标准化transform=transforms.Compose([transforms.
  • 解锁数据宝藏：数据挖掘之数据预处理全解析 奔跑吧邓邓子 必备核心技能数据挖掘数据预处理机器学习
    目录一、引言：数据预处理——数据挖掘的基石二、数据预处理的重要性2.1现实数据的问题剖析2.2数据预处理的关键作用三、数据预处理的核心方法3.1数据清洗3.1.1缺失值处理3.1.2离群点处理3.1.3噪声处理3.2数据集成3.2.1实体识别3.2.2冗余处理3.2.3数据值冲突处理3.3数据变换3.3.1平滑处理3.3.2聚合操作3.3.3离散化3.3.4归一化四、数据预处理的实践流程4.1数据
  • YAML文件格式详解 上帝的狗腿子 yaml格式
    陈述式资源管理方法:1.kubernetes集群管理集群资源的唯一入口是通过相应的方法调用apiserver的接口2.kubectl是官方的CLI命令行工具，用于与apiserver进行通信，将用户在命令行输入的命令，组织并转化为apiserver能识别的信息，进而实现管理k8s各种资源的一种有效途径3.kubectl的命令大全kubectl--helpk8s中文文档http://docs.kub
  • OpenCV CUDA模块设备层-----在 GPU上计算反双曲正切函数atanh() 村北头的码农 OpenCVopencv人工智能计算机视觉
    操作系统：ubuntu22.04OpenCV版本：OpenCV4.9IDE:VisualStudioCode编程语言：C++11算法描述对输入的uchar1像素值（范围[0,255]），先归一化到[0.0,1.0]浮点区间，然后计算其反双曲正切函数atanh(x)，最终返回一个float1类型的结果。函数原型__device____forceinline__float1cv::cudev::ata
  • pnpm的安装与使用 小酋仍在学习 vue.jstypescript
    官网：安装|pnpm中文文档|pnpm中文网一、pnpm优势：1.节省磁盘空间假设你有一个依赖包example-package，包含100个文件。如果你使用npm安装在100个项目中，你的硬盘上会有100份example-package，每份都占用同样的空间。然而，如果是使用pnpm，（1）example-package的所有文件会被存放在全局存储位置。（2）当你在一个项目中安装example-p
  • Day33 MLP神经网络的训练 cylat python打卡神经网络人工智能深度学习python
    目录一、PyTorch和cuda的安装二、查看显卡信息的命令行命令（cmd中使用）三、cuda的检查四、简单神经网络的流程1、数据预处理（归一化、转换成张量）2、模型的定义3、定义损失函数和优化器4、定义训练流程5、可视化loss过程一、PyTorch和cuda的安装后续完成深度学习项目中，主要使用的包为pytorch，所以需要安装，需要去配置一个新的环境。未来在复现具体项目时候，新环境命名最好是
  • OpenLayers 计算GeoTIFF影像NDVI GIS之路 OpenLayersWebGIS前端信息可视化
    前言NDVI（NormalizedDifferenceVegetationIndex）即归一化植被指数，是反应农作物长势和营养信息的重要参数之一，用于监测植物生长状态、植被覆盖度和消除部分辐射误差。其值在[-1,1]之间，-1表示可见光高反射；0表示有岩石或裸土等，NIR和R近似相等；正值，表示有植被覆盖，且值越大，表明植被覆盖度越高。计算公式：NDVI=（NIR-RED）/(NIR+RED)1.
  • 解线性方程组 qiuwanchi
    package gaodai.matrix; import java.util.ArrayList; import java.util.List; import java.util.Scanner; public class Test { public static void main(String[] args) { Scanner scanner = new Sc
  • 在mysql内部存储代码 annan211 性能mysql存储过程触发器
    在mysql内部存储代码 在mysql内部存储代码，既有优点也有缺点，而且有人倡导有人反对。 先看优点： 1 她在服务器内部执行，离数据最近，另外在服务器上执行还可以节省带宽和网络延迟。 2 这是一种代码重用。可以方便的统一业务规则，保证某些行为的一致性，所以也可以提供一定的安全性。 3 可以简化代码的维护和版本更新。 4 可以帮助提升安全，比如提供更细
  • Android使用Asynchronous Http Client完成登录保存cookie的问题 hotsunshine android
    Asynchronous Http Client是android中非常好的异步请求工具 除了异步之外还有很多封装比如json的处理，cookie的处理 引用 Persistent Cookie Storage with PersistentCookieStore This library also includes a PersistentCookieStore whi
  • java面试题 Array_06 java面试
    java面试题 第一，谈谈final, finally, finalize的区别。 final-修饰符（关键字）如果一个类被声明为final，意味着它不能再派生出新的子类，不能作为父类被继承。因此一个类不能既被声明为 abstract的，又被声明为final的。将变量或方法声明为final，可以保证它们在使用中不被改变。被声明为final的变量必须在声明时给定初值，而在以后的引用中只能
  • 网站加速 oloz 网站加速
    前序:本人菜鸟，此文研究总结来源于互联网上的资料，大牛请勿喷！本人虚心学习，多指教. 1、减小网页体积的大小，尽量采用div+css模式，尽量避免复杂的页面结构，能简约就简约。 2、采用Gzip对网页进行压缩；    GZIP最早由Jean-loup Gailly和Mark Adler创建，用于UNⅨ系统的文件压缩。我们在Linux中经常会用到后缀为.gz
  • 正确书写单例模式 随意而生 java 设计模式 单例
    　　单例模式算是设计模式中最容易理解，也是最容易手写代码的模式了吧。但是其中的坑却不少，所以也常作为面试题来考。本文主要对几种单例写法的整理，并分析其优缺点。很多都是一些老生常谈的问题，但如果你不知道如何创建一个线程安全的单例，不知道什么是双检锁，那这篇文章可能会帮助到你。 　　懒汉式，线程不安全 　　当被问到要实现一个单例模式时，很多人的第一反应是写出如下的代码，包括教科书上也是这样
  • 单例模式 香水浓 java
    懒汉  调用getInstance方法时实例化 public class Singleton { private static Singleton instance; private Singleton() {} public static synchronized Singleton getInstance() { if(null == ins
  • 安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" AdyZhang apachehttp server
    安装Apache问题：系统找不到指定的文件 No installed service named "Apache2" 每次到这一步都很小心防它的端口冲突问题，结果，特意留出来的80端口就是不能用，烦。 解决方法确保几处： 1、停止IIS启动 2、把端口80改成其它 （譬如90，800，，，什么数字都好） 3、防火墙(关掉试试) 在运行处输入 cmd 回车，转到apa
  • 如何在android 文件选择器中选择多个图片或者视频？ aijuans android
    我的android app有这样的需求，在进行照片和视频上传的时候，需要一次性的从照片/视频库选择多条进行上传 但是android原生态的sdk中，只能一个一个的进行选择和上传。 我想知道是否有其他的android上传库可以解决这个问题，提供一个多选的功能，可以使checkbox之类的，一次选择多个 处理方法 官方的图片选择器(但是不支持所有版本的androi，只支持API Level
  • mysql中查询生日提醒的日期相关的sql baalwolf mysql
    SELECT sysid,user_name,birthday,listid,userhead_50,CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')),CURDATE(),  dayofyear( CONCAT(YEAR(CURDATE()),DATE_FORMAT(birthday,'-%m-%d')))-dayofyear(
  • MongoDB索引文件破坏后导致查询错误的问题 BigBird2012 mongodb
    问题描述： MongoDB在非正常情况下关闭时，可能会导致索引文件破坏，造成数据在更新时没有反映到索引上。 解决方案：   使用脚本，重建MongoDB所有表的索引。 var names = db.getCollectionNames(); for( var i in names ){ var name = names[i]; print(name);
  • Javascript Promise bijian1013 JavaScriptPromise
            Parse JavaScript SDK现在提供了支持大多数异步方法的兼容jquery的Promises模式，那么这意味着什么呢，读完下文你就了解了。 一.认识Promises         “Promises”代表着在javascript程序里下一个伟大的范式，但是理解他们为什么如此伟大不是件简
  • [Zookeeper学习笔记九]Zookeeper源代码分析之Zookeeper构造过程 bit1129 zookeeper
       Zookeeper重载了几个构造函数，其中构造者可以提供参数最多，可定制性最多的构造函数是     public ZooKeeper(String connectString, int sessionTimeout, Watcher watcher, long sessionId, byte[] sessionPasswd, boolea
  • 【Java命令三】jstack bit1129 jstack
    jstack是用于获得当前运行的Java程序所有的线程的运行情况(thread dump），不同于jmap用于获得memory dump   [hadoop@hadoop sbin]$ jstack Usage: jstack [-l] <pid> (to connect to running process) jstack -F
  • jboss 5.1启停脚本　动静分离部署 ronin47
    以前启动jboss，往各种xml配置文件，现只要运行一句脚本即可。start nohup sh /**/run.sh -c servicename  -b ip -g  clustername   -u broatcast jboss.messaging.ServerPeerID=int  -Djboss.service.binding.set=p
  • UI之如何打磨设计能力? brotherlamp UIui教程ui自学ui资料ui视频
      在越来越拥挤的初创企业世界里，视觉设计的重要性往往可以与杀手级用户体验比肩。在许多情况下，尤其对于 Web 初创企业而言，这两者都是不可或缺的。前不久我们在《右脑革命：别学编程了，学艺术吧》中也曾发出过重视设计的呼吁。如何才能提高初创企业的设计能力呢?以下是 9 位创始人的体会。 1.找到自己的方式 如果你是设计师，要想提高技能可以去设计博客和展示好设计的网站如D-lists或
  • 三色旗算法 bylijinnan java算法
    import java.util.Arrays; /** 问题： 假设有一条绳子，上面有红、白、蓝三种颜色的旗子，起初绳子上的旗子颜色并没有顺序， 您希望将之分类，并排列为蓝、白、红的顺序，要如何移动次数才会最少，注意您只能在绳 子上进行这个动作，而且一次只能调换两个旗子。 网上的解法大多类似： 在一条绳子上移动，在程式中也就意味只能使用一个阵列，而不使用其它的阵列来
  • 警告:No configuration found for the specified action: \'s chiangfai configuration
    1.index.jsp页面form标签未指定namespace属性。 <!--index.jsp代码--> <%@taglib prefix="s" uri="/struts-tags"%> ... <s:form action="submit" method="post"&g
  • redis -- hash_max_zipmap_entries设置过大有问题 chenchao051 redishash
    使用redis时为了使用hash追求更高的内存使用率，我们一般都用hash结构，并且有时候会把hash_max_zipmap_entries这个值设置的很大，很多资料也推荐设置到1000，默认设置为了512，但是这里有个坑   #define ZIPMAP_BIGLEN 254 #define ZIPMAP_END 255     /* Return th
  • select into outfile access deny问题 daizj mysqltxt导出数据到文件
    本文转自：http://hatemysql.com/2010/06/29/select-into-outfile-access-deny%E9%97%AE%E9%A2%98/ 为应用建立了rnd的帐号，专门为他们查询线上数据库用的，当然，只有他们上了生产网络以后才能连上数据库，安全方面我们还是很注意的，呵呵。 授权的语句如下： grant select on armory.* to rn
  • phpexcel导出excel表简单入门示例 dcj3sjt126com PHPExcelphpexcel
    <?php error_reporting(E_ALL); ini_set('display_errors', TRUE); ini_set('display_startup_errors', TRUE);   if (PHP_SAPI == 'cli') die('This example should only be run from a Web Brows
  • 美国电影超短200句 dcj3sjt126com 电影
    1. I see． 我明白了。2. I quit! 我不干了!3. Let go! 放手!4. Me too． 我也是。5. My god! 天哪!6. No way! 不行!7. Come on． 来吧(赶快)8. Hold on． 等一等。9. I agree。 我同意。10. Not bad． 还不错。11. Not yet． 还没。12. See you． 再见。13. Shut up!
  • Java访问远程服务 dyy_gusi httpclientwebservicegetpost
        随着webService的崛起，我们开始中会越来越多的使用到访问远程webService服务。当然对于不同的webService框架一般都有自己的client包供使用，但是如果使用webService框架自己的client包，那么必然需要在自己的代码中引入它的包，如果同时调运了多个不同框架的webService，那么就需要同时引入多个不同的clien
  • Maven的settings.xml配置 geeksun settings.xml
    settings.xml是Maven的配置文件，下面解释一下其中的配置含义： settings.xml存在于两个地方： 1.安装的地方：$M2_HOME/conf/settings.xml 2.用户的目录：${user.home}/.m2/settings.xml 前者又被叫做全局配置，后者被称为用户配置。如果两者都存在，它们的内容将被合并，并且用户范围的settings.xml优先。
  • ubuntu的init与系统服务设置 hongtoushizi ubuntu
    转载自：  http://iysm.net/?p=178 init Init是位于/sbin/init的一个程序，它是在linux下，在系统启动过程中，初始化所有的设备驱动程序和数据结构等之后，由内核启动的一个用户级程序，并由此init程序进而完成系统的启动过程。 ubuntu与传统的linux略有不同，使用upstart完成系统的启动，但表面上仍维持init程序的形式。 运行
  • 跟我学Nginx+Lua开发目录贴 jinnianshilongnian nginxlua
    使用Nginx+Lua开发近一年的时间，学习和实践了一些Nginx+Lua开发的架构，为了让更多人使用Nginx+Lua架构开发，利用春节期间总结了一份基本的学习教程，希望对大家有用。也欢迎谈探讨学习一些经验。    目录 第一章 安装Nginx+Lua开发环境 第二章 Nginx+Lua开发入门 第三章 Redis/SSDB+Twemproxy安装与使用 第四章 L
  • php位运算符注意事项 home198979 位运算PHP&
    $a = $b = $c = 0; $a & $b = 1; $b | $c = 1  问a,b,c最终为多少?   当看到这题时，我犯了一个低级错误，误 以为位运算符会改变变量的值。所以得出结果是1 1 0 但是位运算符是不会改变变量的值的，例如： $a=1;$b=2; $a&$b;  这样a,b的值不会有任何改变
  • Linux shell数组建立和使用技巧 pda158 linux
    1.数组定义 　　[chengmo@centos5 ~]$ a=(1 2 3 4 5) 　　[chengmo@centos5 ~]$ echo $a 　　1 　　一对括号表示是数组，数组元素用“空格”符号分割开。 　　 2.数组读取与赋值 　　得到长度： 　　[chengmo@centos5 ~]$ echo ${#a[@]} 　　5 　　用${#数组名[@或
  • hotspot源码(JDK7) ol_beta javaHotSpotjvm
    源码结构图，方便理解：   ├─agent                            Serviceab
  • Oracle基本事务和ForAll执行批量DML练习 vipbooks oraclesql
    基本事务的使用： 从账户一的余额中转100到账户二的余额中去，如果账户二不存在或账户一中的余额不足100则整笔交易回滚 select * from account; -- 创建一张账户表 create table account( -- 账户ID id number(3) not null, -- 账户名称 nam
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他