胖胖大海
胖胖大海

深度学习实际使用经验总结

以下仅是个人在使用过程中的经验总结，请谨慎参考。

常用算法总结

图像分类

  • 常用算法（可作为其他任务的骨干网络）：
  • 服务端：VGG、ResNet、ResNeXt、DenseNet
  • 移动端：MobileNet、ShuffleNet等
  • 适用场景：识别区分场景类型

目标检测

  • 常用算法：Yolo系列
  • 适用场景：检测识别场景中的目标类型及位置

目标跟踪

  • 单目标：SiamFC、SiamRPN、SiamRPN++
  • 多目标：ByteTrack、deep sort
  • 适用场景：在上下文连续多帧中持续定位目标位置变化，如跟踪人的位置变化

人脸识别

  • 人脸检测：MTCNN、RetinaFace
  • 特征提取：ArcFace
  • 特征匹配：Nmslib、Annoy
  • 适用场景：直播、点播场景下人脸坐标定位和人物身份识别

度量学习

  • 常用算法：神经网络模型 + Contrastive Learning
  • 适用场景：将输入转换为高维特征，根据特征相似度完成具体任务，如音乐识别等

音频识别

  • 常用算法：音频频谱 + 神经网络模型
  • 适用场景：如识别音频中是否出现音乐，以及出现的是哪一首音乐

传统图像算法

  • 常用算法：边缘检测、直线检测、透视变化、坐标映射
  • 适用场景：如识别足球场地边缘，根据球员实时位置构建赛场态势图

常用技术总结

网络设计

  • 卷积网络
  • 池化
  • 全连接网络
  • 残差网络
  • 分组卷积
  • 深度可分离卷积
  • Inception网络
  • BatchNorm/LayerNorm
  • 循环神经网络
  • Transformer网络

特征融合

  • FPN特征金字塔
  • PAN特征融合
  • UNet细粒度特征融合
  • Attention全局注意力
  • 多分支融合叠加

激活函数

  • Sigmoid
  • ReLU
  • Tanh
  • Leakey-ReLU
  • PReLU
  • Swish

优化算法

  • 随机梯度下降
  • 批量梯度下降
  • 小批量梯度下降
  • 动量梯度下降
  • 自适应梯度下降

损失函数

  • 单分类损失Logistic Loss
  • 多分类损失CE
  • 多标签分类损失BCE
  • 类别不均衡损失Focal Loss
  • 回归损失MSE、L1 Smoothing
  • 多任务损失
  • Contrastive Loss
  • Label Smoothing

数据增强

  • 平移/旋转/翻转/缩放
  • 添加高斯噪声
  • 亮度/对比度/饱和度变换
  • 数据融合MixUp
  • 随机掩码Cutout
  • 频谱掩码（音频数据增强）

模型压缩

  • 模型剪枝
  • 模型重参数化
  • 模型蒸馏
  • 模型量化

训练策略

  • 迁移学习
  • 权重衰减
  • 学习率衰减
  • WarmUp预热
  • DropOut/DropBlock
  • 并行训练
  • Early Stopping

使用经验总结

数据预处理：在数据预处理阶段，通常包含以下流程

  • 数据加载：这部分可能涉及到大规模训练数据的高性能加载，消除数据读取造成的性能瓶颈
  • 数据增强：根据具体任务选择合适的数据增强策略
  • 数据归一化：将数据的数值做归一化处理，加速模型的收敛速度

网络模型设计：根据具体的业务场景，选择/设计合适的网络架构，通常遵循以下原则：

  • 优先选择开源的预训练模型参数，使用自有数据进行微调训练
  • 使用开源预训练模型的基础部分，修改模型的上层适配自有的业务场景
  • 根据业务场景自行设计模型架构（通常只在没有开源参考模型的条件下使用，模型效果很难得到保证）
  • 通常情况下对于图像、视频数据，追求模型效果一般使用ResNet34、ResNet50等模型架构，追求处理性能一般使用ResNet18、MobileNet、ShuffleNet模型架构

损失函数设计：根据具体业务场景，选择/设计合适的损失函数，通常遵循以下原则：

  • 分类场景一般使用交叉熵损失Cross Entropy
  • 类别极度不均衡的分类场景（不均衡比例超过1000以上），分类损失尝试Focal Loss
  • 在分类损失场景下使用Label Smoothing软化模型的学习能力
  • 回归损失根据使用场景可选MSE、MAE、L1 Smoothing等
  • 表征学习（也叫对比学习或度量学习）优先使用Circle Loss、ArcFace Loss、Triplet Loss等损失函数，模型训练时根据具体业务场景适当增大训练批量batch size，提升表征学习的特征区分度

训练策略：迭代训练更新模型参数，逐步提升模型效果

  • 优先使用小批量梯度下降 + Momentum动量 + LR decay学习率衰减 + Weight Decay权重衰减训练策略
  • 如果使用多GPU并行训练，训练的批量大小batch size和学习率LR要同比例改变
  • 先使用极少的训练数据验证模型训练效果，排除模型在设计上的问题和工程化问题，然后再迁移到大数据量，避免造成无效的资源和时间浪费
  • 模型训练过程中保存每轮迭代预测异常的数据，通过bad case分析，逐步提升数据质量或调整模型策略
  • 保存模型每轮迭代的准确率、召回率、loss变化曲线，监控是否发生过拟合、欠拟合等问题

模型验证：使用实际场景数据验证模型的预测性能，包括效果和速度

  • 优先检查网络架构和模型参数的匹配情况，防止参数不匹配带来的潜在错误（问题较难定位）
  • 使用训练数据验证模型的预测效果，排除训练和验证阶段数据处理不一致带来的差异
  • 保证验证数据和训练数据具有相同或相似的数据分布
  • 将模型转换为推理模式，固化BatchNorm、Dropout等具有随机性的操作
  • 避免不必要的资源消耗，如使用torch.no_grad避免不必要的显存占用
  • 关注模型在推理阶段的显卡内存占用，保证分配的内存资源大于波动的峰值

常见问题和思考——模型训练阶段

模型训练效果差

  • 常见问题：神经网络模型在训练过程中，没有学习到有效的信息，模型收敛慢或者不收敛
  • 原因分析：
    • 训练数据中存在脏数据（首要排除的因素）
    • 没有使用预训练模型和数据归一化
    • 训练集过大，模型容量小，出现欠拟合
    • 训练集过小，模型容量大，出现过拟合
    • 学习率设置过大，导致参数更新过快，结果出现震荡
    • 学习率设置过小，导致参数更新过慢，学习进展缓慢
    • 数值稳定性问题导致数值溢出，出现梯度爆炸
    • 网络设计问题导致梯度消失
    • 使用了不合理的批量大小
    • 使用了不合理的训练迭代次数及停止策略
    • 使用了不合理的学习率衰减策略
    • 使用了不合理的参数初始化策略
    • 使用了不合理的数据增强，比如检测人体时对图像做了上下翻转
    • 使用了不合理的损失函数，比如分类问题使用回归损失函数
    • 使用了不合理的网络架构，根据一维、二维、多维、时序数据选择合适的架构
    • 使用了较强的正则化，限制模型的学习能力，出现欠拟合
    • 使用了较弱的正则化，过渡学习训练集，出现过拟合

模型训练速度慢

  • 常见问题：神经网络模型训练慢，主要体现在收敛慢、资源使用率低等方面
  • 原因分析：
    • 没有使用GPU资源进行模型训练
    • 模型训练时使用过小的学习率，导致参数更新慢
    • 模型训练时使用了过大的batch size，导致参数更新频次少
    • 模型训练时使用了过小的batch size，没有充分利用计算资源
    • 没有使用预训练参数，重头训练效率低
    • 没有使用Batch Norm等做数据归一化
    • 训练过程中存在过多的内存、磁盘访问
    • 模型过于简单，不具备学习复杂任务的能力
    • 使用了过强的正则化，限制了模型的学习能力
    • 没有使用单机多卡、多机多卡并行训练
    • 模型复杂度高，参数量大，以及使用过大的图像分辨率
    • 训练数据量大，数据加载成为性能瓶颈

常见问题和思考——模型预测阶段

模型预测指标

  • 分类模型：准确率、召回率、PR曲线、ROC曲线（类别不均衡）
  • 检测模型：mAP、准确率、召回率
  • 特征提取模型：top 1、top K、r_precision

模型预测效果差

  • 常见问题：神经网络模型训练效果较好，但是在预测阶段模型表现较差
  • 原因分析：
    • 模型训练和测试的数据处理pipeline不一致，比如训练时做了Normalize，测试时没做Normalize
    • 模型在测试时没有切换到推理模式，如pytorch中的eval()转换
    • 输入的数据维度不正确，比如训练时使用[N, C, H, W]，测试时也要使用同样的数据维度顺序，有些模型即使输入的数据尺寸和训练时不一样也不会报错
    • 模型参数加载不完全，以pytorch框架为例，加载模型时设置完全匹配的参数为False，在加载过程中即使参数和模型不匹配也不会报错，但是会使用默认的随机参数

模型预测资源占用高

  • 常见问题：神经网络模型在预测阶段GPU使用率低，CPU使用率高，或者出现显卡内存溢出
  • 原因分析：
    • 数据预处理在CPU上进行，没有充分利用GPU算力
    • 在预测阶段模型没有设置成推理模式，计算产生无用的中间结果占用资源
    • 深度学习框架如Pytorch自动搜索最优算子导致显存占用短暂飙升

模型处理未知类别

  • 常见问题：如何让分类模型对未见过的数据类别说“不知道，不认识”，提升鲁棒性
  • 解决方案：
    • 给分类模型添加一个其他类别，此种方法不适用于真实开放环境
    • 使用BCE（Binary Cross Entropy）多标签二分类损失函数，以猫狗分类为例，分别输出是猫狗的概率，如果输出既不是猫也不是狗，则表示未知
    • 使用表征学习（度量学习）方法通过特征匹配进行分类识别，将输入的数据与已知类别进行相似度匹配

模型效果提升

  • bad case分析：数据决定了模型的上限，提升模型性能首先应当从数据层面入手，避免脏数据带来的负面影响
  • 数据增强：通过给训练数据增加异常扰动提升模型效果的鲁棒性
    • 图像数据增强：随机裁剪、旋转、翻转、缩放、颜色/亮度/对比度调整、多图像融合等
    • 音频数据增强：频谱随机连续掩码、多频谱融合等
  • 选择合适的网络架构：针对具体的使用场景选择合适的网络架构，如图像使用2D卷积、音频使用1D卷积等
  • 选择合适的损失函数：针对具体任务使用合适的损失函数，常见的是分类损失、回归损失及混合损失
  • 选择合适的评价指标：如分类使用准确率、召回率，类别不均衡使用ROC，目标检测使用mAP等
  • 使用开源预训练模型：预训练模型通常具备较好的参数基础，在此基础上进行训练有助于提升性能
  • 多模型融合：使用不同的弱模型训练多个效果稍弱的模型，融合多个模型结果提升最终性能
  • 知识蒸馏：使用知识蒸馏将大模型学习到的知识迁移到小模型，在提升效果的同时还可以提升速度

常见问题与思考——模型推理加速

模型推理加速

  • 数据处理层面
    • 将数据预处理、后处理等操作在GPU上进行
    • 避免在CPU和GPU之间频繁进行数据拷贝
    • 避免保存大量的中间结果，如磁盘写入
  • 网络模型层面
    • 模型剪枝：根据具体业务场景，裁剪掉与业务不相关的计算模块
    • 算子融合：将多个算子融合成一个，减少内存访问次数，如将Conv + BN融合成Conv
    • 半精度推理：使用float16进行模型推理
    • 分组卷积：使用分组卷积降低网络模型的参数量和计算量，但是会增加内存访问次数
    • 模型蒸馏：将大模型学习到的知识迁移到小模型，在提升效果的同时还可以提升速度
  • 部署工具层面
    • 服务端：ONNX、TensorRT
    • 移动端：NCNN、MNN

影响模型速度的主要因素

  • 数据处理层面
    • 没有使用GPU资源进行推理
    • 输入数据尺寸大，如高分辨率图像
  • 模型架构层面
    • 网络模型参数量大
    • 网络模型计算量大
    • 网络模型并行度低，如存在多分支结构等
    • 内存访问次数多，如大量使用分组卷积
  • 工程实现层面
    • 没有使用批量推理，没有充分利用GPU的并行计算能力
    • 不合理的数据复用导致频繁拷贝

常见问题与思考——工程化问题

工程化常见问题

  • 算法集群扩容
    • kafka topic的partition数量要大于算法消费者数量
  • 直播场景混流和AI算法结果对齐
    • 算法解码处理直播流内容，获取每帧的dts、pts时间戳
    • 混流侧根据算法返回结果以及dts、pts时间戳对齐到原流，将算法结果压制到直播流中
    • 算法侧和混流侧使用pts解码时间戳对齐，不用dts时间戳，否则会造成画面闪烁
  • Kafka、Redis数据保存周期
    • 根据业务场景和处理性能设定保存周期，保存周期过长造成额外资源占用，保存周期过短造成数据丢失
  • Restful API高稳定性、高并发
    • 算法模型对外提供API接口需要关注高并发、高稳定性，通常使用gunicorn进行部署
    • 算法模型高并发部署需要成倍的资源，重点关注显存、内存和CPU资源占用情况
  • 容器化部署
    • 关注容器CUDA版本与主机显卡驱动，以及深度学习框架之间的匹配问题

你可能感兴趣的:(深度学习,人工智能,使用经验总结)

  • 【Python】一文详细介绍 py格式 文件 高斯小哥 Python基础【高质量合集】python新手入门学习
    【Python】一文详细介绍py格式文件个人主页：高斯小哥高质量专栏：Matplotlib之旅：零基础精通数据可视化、Python基础【高质量合集】、PyTorch零基础入门教程希望得到您的订阅和支持~创作高质量博文(平均质量分92+)，分享更多关于深度学习、PyTorch、Python领域的优质内容！（希望得到您的关注~）文章目录一、py格式文件简介二、如何创建和编辑py格式文件三、如何运行py
  • Android和IOS应用开发-Flutter应用让屏幕在 app 运行期间保持常亮的方法 江上清风山间明月 FlutterandroidiosflutterKeepAlive屏幕常亮wakelock熄屏
    文章目录Flutter应用让屏幕在app运行期间保持常亮的方法方法一：使用系统插件方法二：使用Widgets注意事项Flutter应用让屏幕在app运行期间保持常亮的方法在Flutter开发中，可以使用以下两种方法让屏幕在app运行期间保持常亮：方法一：使用系统插件Flutter社区中已经有很多相关插件可供使用，比如wakelock:https://pub.dev/packages/wakeloc
  • 极狐GitLab 论坛 2.0 全新上线，可以在论坛上查找与 GitLab 相关的问题了～ 极小狐 gitlab极狐GitLabdevopsGitLabci/cddevsecopsSCM
    安装出现依赖错误？版本升级搞不定？遇到422、500就懵逼了？不知道某个功能是免费or付费？……使用GitLab这种全球顶级的DevOps平台进行软件研发时，总会遇到一些困惑，想跟专业的技术人员快速交流以便获得答案，同时又想把这些问题沉淀下来以帮助他人？有这种赠人玫瑰，手有余香的解决方案吗？答案肯定有：论坛！！！论坛——一个各路大神聚集的地方，一个可以解惑答疑问道的地方。解惑：搜索与自己问题相同或
  • 数据结构奇妙旅程之深入解析快速排序 山间漫步人生路 数据结构排序算法算法
    快速排序（QuickSort）是一种高效的排序算法，它使用了分治法的策略来将一个数组排序。其基本思想是选择一个基准元素，通过一趟排序将待排序的数据分割成独立的两部分，其中一部分的所有数据都比基准元素小，另一部分的所有数据都比基准元素大，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。工作原理选择基准：从待排序的序列中选一个元素作为基准（pivo
  • 2022年河南省高等职业教育技能大赛云计算赛项竞赛赛卷（样卷） 忘川_ydy 云计算云计算openstackkubernetesdockerpythonk8sansible
    #需要资源（软件包及镜像）或有问题的，可私博主！！！#需要资源（软件包及镜像）或有问题的，可私博主！！！#需要资源（软件包及镜像）或有问题的，可私博主！！！第一部分：私有云任务1私有云服务搭建(10分)使用提供的用户名密码，登录竞赛用的云计算平台，按要求自行使用镜像创建两台云主机，创建完云主机后确保网络正常通信，然后按要求配置服务器。根据提供安装脚本框架，补充脚本完成OpenStack平台的安装搭
  • 浪潮 M5系列服务器IPMI无法监控存储RAID卡问题. Songxwn 硬件服务器服务器运维
    简介浪潮的M5代服务器，可能有WebBMC无法查看存储RAID/SAS卡状态的情况，可以通过以下方式修改。修改完成后重启BMC即可生效。ESXiIPMITools使用：https://songxwn.com/ESXi8_IPMI/（Linux也可以直接使用）Linux/ESXiIPMITool下载：https://songxwn.com/file/ipmitoolWindows下载：https:/
  • Mac命令行查找SDK/JDK安装位置 iblade Linuxmacosjava开发语言
    要在命令行中查询AndroidSDKPlatformTools的安装位置，可以使用以下步骤：使用which命令：在命令行中执行以下命令：whichadb这将输出adb命令的安装路径，通常情况下，它会在AndroidSDK的platform-tools目录下。手动查找：如果whichadb没有输出，可以手动查找AndroidSDK的安装位置。通常情况下，AndroidSDK的默认安装路径是在用户的h
  • 天猫超市优惠获取渠道，天猫超市内部优惠劵领取方法使用教程 氧惠全网优惠
    天猫超市是一个不错的购物平台，满足用户所需，基本次日达，很方便的购物平台，那么有人问我，天猫超市优惠获取渠道在哪？怎么能够优惠的购买，今天分享给大家；1、天猫超市优惠券抢好券：天猫超市首页每天可以领取满199减30、满235减35、满299减50、满399减60、满166减30等优惠券，领劵方法复制下条口令打开淘宝进入领劵会场；隐藏神券、实时爆款、天天更新！戳>(CZ9185ZatcdhNADlJ
  • SpringMVC设置全局异常处理器 水岸齐天 javaspring
    文章目录背景分析使用@ControllerAdvice（@RestControllerAdvice）+@ExceptionHandler实现全局异常全局异常处理-多个处理器匹配顺序存在一个类中存在不同的类中对于过滤器和拦截器中的异常，有两种思路可以考虑背景在项目中我们有需求做一个全局异常处理，来规范所有出去的异常信息。参考：官方文档分析首先ControllerAdvice(RestControll
  • 社交电商是什么意思通俗的说 氧惠好项目
    社交电商是目前电商发展的一个非常热门的领域，它将传统的电商和社交媒体相结合，让用户可以在社交平台上完成购物、支付等操作。社交电商不同于传统电商，它更加注重用户的社交性和互动性，通过社交媒体的传播，吸引用户关注，让产品能够更加快速地传播。京东密令红包：最爱领红包828红包多多148今天给大家分享我长期在做的副业，也在这里赚到人生第3桶金！氧惠APP佣金高，资质靠谱，各大应用市场均可搜索使用。【氧惠】
  • 以前开发MFC界面如何快速转成QT界面 广州视觉芯软件有限公司 mfcqtc++
    将MFC界面快速转换为Qt界面可能需要进行一些手动工作，因为MFC和Qt是两个不同的界面框架，它们具有不同的设计和实现原理。但是，以下步骤可以帮助你快速进行转换：创建一个新的Qt项目：使用QtCreator创建一个新的Qt项目。分析MFC界面：仔细分析你的MFC界面，包括窗口、对话框、控件等的布局、样式和行为。重新设计界面：使用Qt的可视化设计器重新设计界面。在QtCreator的设计器中，你可以
  • Django之Debug篇 菜鸟之编程 Djangodjangopython后端
    一、DebugToolBar基本使用1.1、概述Django框架的调试工具栏使用django-debug-toolbar库，是一组可配置的面板，显示有关当前请求/响应的各种调试信息，点击时，显示有关面板内容的更多详细信息。官方文档：DjangoDebugToolbar—DjangoDebugToolbar4.3.0documentation1.2、安装pipinstalldjango-debug-
  • 购物返利平台是真的吗 返金app平台高佣返利省钱
    购物返利平台是真实存在的，它们提供一种通过购物来获取一定比例返现的服务。这些平台通常与商家合作，通过返利链接或其他追踪方式来追踪用户的购物行为，然后将一部分返现金额返还给用户。然而，需要注意的是，并非所有的购物返利平台都是可信的。在选择使用购物返利平台时，建议您注意以下几个方面：可信度和口碑：查看平台的用户评价和口碑，了解其他用户对该平台的使用体验和返利情况。合作商家：了解平台的合作商家是否可靠，
  • c++中如何判断变量的数据类型，并输出 xnrbjy c++开发语言
    C++中如果想要判断变量的数据类型，可以使用typeid运算符。该运算符返回一个std::type_info类型的对象，可以使用name()方法获取其名称从而确定变量的类型，例如：#include#includeusingnamespacestd;intmain(){inta=123;floatb=3.14;boolc=true;chard='A';stringe="HelloWorld";cou
  • 使用多线程的方式模拟高并发请求接口，用于自测接口的稳定性【项目】 还算善良_ 私有代码库工具类javalist数据结构
    packagecom.gitee.taven.test;importcom.gitee.taven.ApiResult;importcom.gitee.taven.aop.RepeatSubmitAspect;importorg.slf4j.Logger;importorg.slf4j.LoggerFactory;importorg.springframework.beans.factory.an
  • CSV指南：Python程序获取大型CSV文件行数 孤独打铁匠Julian 笔记经验分享python
    本指南提供了几种使用Python来获取大型CSV文件行数的方法，并解释了每种方法的适用场景。方法1:使用csv.reader处理复杂CSV文件当你的CSV文件中包含多行字段（即某些字段的值中包含换行符）时，使用csv.reader是一个可靠的选择，因为它能够正确处理这些复杂情况。这个方法适用于大多数大小的CSV文件，但是对于非常大的文件，读取整个文件可能会占用较多的时间和内存。对于极大的文件，考虑
  • 【嵌入式模块】步进电机使用总结 记录无知岁月 #嵌入式设备嵌入式硬件步进电机
    关于本博客  此前上了一门课《自动控制元件》，但是由于学时有限，讲到步进电机就不讲了，留下了一个小遗憾，导致需要使用步进电机时就有点懵，于是找了一篇博客，链接在这里，推荐具有电机知识（如直流电机，异步电机等）的朋友看，如果完全不懂，建议先啃书。
  • 常用API---初始化，话题和服务对象创建，回旋/头函数，时间（如：获取当前时刻，持续时间执行频率，休眠，定时器等），运行频率，定时器，节点生命周期，日志相关API 李卓璐 机器人人工智能c++
    初始化ROS节点ros::init(argc,argv,“name”,options);作用：ros初始化函数参数： 1.argc—封装实参的个数（n+1个->有一个是自身）； 2.argv—封装参数的数组； 3.name—为节点命名（唯一性）； 4.options—节点启动项，解决节点重名问题。返回值：void使用： 1.argc和argv的使用：  如果按照ROS中的特定格式传入实参，那么RO
  • matlab按行读取txt文件数据集 地上悬河 matlab开发语言
    功能：使用Matlab按行读取txt文件，按照特定符号进行分割后加入数组中fid=fopen('coordinate.txt');%首先打开文本文件coordinate.txttemp=[]while~feof(fid)%while循环表示文件指针没到达末尾，则继续%每次读取一行,str是字符串格式str=fgetl(fid);%以','作为分割数据的字符,结果为cell数组s=regexp(st
  • yarn的安装和使用全网最详细教程 zxj19880502 yarnnpm
    一、yarn的简介：Yarn是facebook发布的一款取代npm的包管理工具。二、yarn的特点：速度超快。Yarn缓存了每个下载过的包，所以再次使用时无需重复下载。同时利用并行下载以最大化资源利用率，因此安装速度更快。超级安全。在执行代码之前，Yarn会通过算法校验每个安装包的完整性。超级可靠。使用详细、简洁的锁文件格式和明确的安装算法，Yarn能够保证在不同系统上无差异的工作。三、yarn的
  • chrome扩展，“manifest_version“: 3, chrome 扩展图标点击事件 徐同保 chrome前端
    在Chrome扩展中，从ManifestV3开始，后台脚本（backgroundscripts）被服务工作线程（serviceworkers）所取代。这改变了扩展图标点击事件（通常称为浏览器操作或者页面操作）的处理方式。在ManifestV3中，您需要使用chrome.action.onClicked监听器来处理扩展图标的点击事件。下面是一个如何设置扩展图标点击事件处理器的示例：在manifest
  • npm 搭建 Vite 项目 渺小的虫子 viter前端javascript开发语言
    兼容性注意Vite需要Node.js版本>=12.0.0。1、使用npm安装Viter$npminitvite@latest使用npm初始化项目#npm6.xnpminitvite@latestmy-vue-app--templatevue#npm7+,需要额外的双横线：npminitvite@latestmy-vue-app----templatevue2、配置路由：npminstallvue-
  • 请简单介绍一下Shiro框架是什么？Shiro在Java安全领域的主要作用是什么？Shiro主要提供了哪些安全功能？ AaronWang94 shirojavajava安全开发语言
    请简单介绍一下Shiro框架是什么？Shiro框架是一个强大且灵活的开源安全框架，为Java应用程序提供了全面的安全解决方案。它主要用于身份验证、授权、加密和会话管理等功能，可以轻松地集成到任何JavaWeb应用程序中，并提供了易于理解和使用的API，使开发人员能够快速实现安全特性。Shiro的核心组件包括Subject、SecurityManager和Realms。Subject代表了当前与应用
  • linux基础命令（一） 运维搬运工 linuxlinux服务器centos
    Linux基础命令1、设置主机名1.1、hostname查看主机名[root@ansible~]#cat/etc/hostnameansible或[root@ansible~]#hostnameansible注意：主机名中不允许使用下划线“_”，可以用短横线“-”1.2、hostname临时修改主机名#临时修改直接修改的是内存中的，重启会失效[root@ansible~]#hostnameansi
  • 【转载】SSD测试第一神器——FIO running_sheep
    转自：[http://www.ssdfans.com]对于SSD性能测试来说，最好的工具莫过于FIO了。FIO是Jens开发的一个开源测试工具，功能非常强大，本文就只介绍其中一些基本功能。线程，队列深度，Offset，同步异步，DirectIO，BIO使用FIO之前，首先要有一些SSD性能测试的基础知识。线程指的是同时有多少个读或写任务在并行执行，一般来说，CPU里面的一个核心同一时间只能运行一个
  • 大前端-postcss安装使用指南 黑夜照亮前行的路 postcss
    PostCSS是一款强大的CSS处理工具，可以用来自动添加浏览器前缀、代码合并、代码压缩等，提升代码的可读性，并支持使用最新的CSS语法。以下是一份简化的PostCSS安装使用指南：一、安装PostCSS在你的项目目录中，通过npm（NodePackageManager）来安装PostCSS。打开命令行窗口，输入以下命令：bash复制代码npminstallpostcss--save-dev这将把
  • 4.24 使用计算命令制作图像合成艺术效果 [Ps教程] 互动教程网
    1.本节课程将为您演示，如何使用[计算]命令，将两张示例图片，制作成超酷的图像合成特效。首先点击顶部的文档标签，切换至另一张示例图片。image2.接着依次点击[图像>计算]命令，弹出[计算]窗口。image3.[计算]命令，用于混合两个来自一个或多个源图像的单个通道。然后可以将结果应用到新图像、新通道或当前图像的选区中。image4.在弹出的计算窗口中，点击下拉箭头，选择[计算]命令的源图片。i
  • 大创项目推荐 深度学习 opencv python 公式识别(图像识别 机器视觉) laafeer python
    文章目录0前言1课题说明2效果展示3具体实现4关键代码实现5算法综合效果6最后0前言优质竞赛项目系列，今天要分享的是基于深度学习的数学公式识别算法实现该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：4分创新点：4分更多资料,项目分享：https://gitee.com/dancheng-senior/postgraduate1课题
  • docker怎么端口映射 Lance_mu docker容器运维
    1、默认固定的端口#Web服务器：WebApache或Nginx通常使用80端口HTTP：80HTTPS：443#数据库服务器MySQL：3306PostgreSQL：5432MongoDB：27017Redis：6379#邮件服务器SMTP：25POP3：110IMAP：143#其他服务SSH：22FTP：21DNS（域名解析）：53代理服务器Squid：3128版本控制系统Git：9418(S
  • OpenCV 如何使用 XML 和 YAML 文件的文件输入和输出 愚梦者 深度学习人工智能计算机视觉c++opencv
    返回：OpenCV系列文章目录（持续更新中......）上一篇：如何利用OpenCV4.9离散傅里叶变换下一篇:目标本文内容主要介绍：如何使用YAML或XML文件打印和读取文件和OpenCV的文本条目？如何对OpenCV数据结构做同样的事情？如何为您的数据结构执行此操作？使用OpenCV数据结构，例如cv::FileStorage,cv::FileNodeorcv::FileNodeIterato
  • 如何用ruby来写hadoop的mapreduce并生成jar包 wudixiaotie mapreduce
    ruby来写hadoop的mapreduce，我用的方法是rubydoop。怎么配置环境呢： 1.安装rvm：     不说了 网上有 2.安装ruby：     由于我以前是做ruby的，所以习惯性的先安装了ruby，起码调试起来比jruby快多了。 3.安装jruby：     rvm install jruby然后等待安
  • java编程思想 -- 访问控制权限 百合不是茶 java访问控制权限单例模式
    访问权限是java中一个比较中要的知识点,它规定者什么方法可以访问,什么不可以访问   一:包访问权限;   自定义包: package com.wj.control; //包 public class Demo { //定义一个无参的方法 public void DemoPackage(){ System.out.println("调用
  • [生物与医学]请审慎食用小龙虾 comsci 生物
         现在的餐馆里面出售的小龙虾,有一些是在野外捕捉的,这些小龙虾身体里面可能带有某些病毒和细菌,人食用以后可能会导致一些疾病,严重的甚至会死亡.....      所以,参加聚餐的时候,最好不要点小龙虾...就吃养殖的猪肉,牛肉,羊肉和鱼,等动物蛋白质     
  • org.apache.jasper.JasperException: Unable to compile class for JSP: 商人shang maven2.2jdk1.8
    环境： jdk1.8    maven  tomcat7-maven-plugin  2.0 原因： tomcat7-maven-plugin  2.0 不知吃 jdk 1.8，换成 tomcat7-maven-plugin  2.2就行，即     <plugin>
  • 你的垃圾你处理掉了吗?GC oloz GC
    前序:本人菜鸟，此文研究学习来自网络，各位牛牛多指教　 1.垃圾收集算法的核心思想 　　Java语言建立了垃圾收集机制，用以跟踪正在使用的对象和发现并回收不再使用(引用)的对象。该机制可以有效防范动态内存分配中可能发生的两个危险：因内存垃圾过多而引发的内存耗尽，以及不恰当的内存释放所造成的内存非法引用。 　　垃圾收集算法的核心思想是：对虚拟机可用内存空间，即堆空间中的对象进行识别
  • shiro 和 SESSSION 杨白白 shiro
    shiro 在web项目里默认使用的是web容器提供的session，也就是说shiro使用的session是web容器产生的，并不是自己产生的，在用于非web环境时可用其他来源代替。在web工程启动的时候它就和容器绑定在了一起，这是通过web.xml里面的shiroFilter实现的。通过session.getSession()方法会在浏览器cokkice产生JESSIONID，当关闭浏览器，此
  • 移动互联网终端 淘宝客如何实现盈利 小桔子 移動客戶端淘客淘寶App
           2012年淘宝联盟平台为站长和淘宝客带来的分成收入突破30亿元，同比增长100%。而来自移动端的分成达1亿元，其中美丽说、蘑菇街、果库、口袋购物等App运营商分成近5000万元。 可以看出，虽然目前阶段PC端对于淘客而言仍旧是盈利的大头，但移动端已经呈现出爆发之势。而且这个势头将随着智能终端(手机，平板)的加速普及而更加迅猛
  • wordpress小工具制作 aichenglong wordpress小工具
    wordpress 使用侧边栏的小工具，很方便调整页面结构 小工具的制作过程 1 在自己的主题文件中新建一个文件夹(如widget)，在文件夹中创建一个php(AWP_posts-category.php) 小工具是一个类,想侧边栏一样，还得使用代码注册，他才可以再后台使用，基本的代码一层不变 <?php class AWP_Post_Category extends WP_Wi
  • JS微信分享 AILIKES js
    // 所有功能必须包含在 WeixinApi.ready 中进行    WeixinApi.ready(function(Api) {        // 微信分享的数据            var wxData = {       &nb
  • 封装探讨 百合不是茶 JAVA面向对象 封装
    //封装   属性 方法 将某些东西包装在一起，通过创建对象或使用静态的方法来调用，称为封装；封装其实就是有选择性地公开或隐藏某些信息，它解决了数据的安全性问题，增加代码的可读性和可维护性   在 Aname类中申明三个属性，将其封装在一个类中：通过对象来调用   例如   1： //属性 将其设为私有 姓名 name 可以公开
  • jquery radio/checkbox change事件不能触发的问题 bijian1013 JavaScriptjquery
    我想让radio来控制当前我选择的是机动车还是特种车，如下所示：  <html> <head> <script src="http://ajax.googleapis.com/ajax/libs/jquery/1.7.1/jquery.min.js" type="text/javascript"><
  • AngularJS中安全性措施 bijian1013 JavaScriptAngularJS安全性XSRFJSON漏洞
            在使用web应用中，安全性是应该首要考虑的一个问题。AngularJS提供了一些辅助机制，用来防护来自两个常见攻击方向的网络攻击。 一.JSON漏洞         当使用一个GET请求获取JSON数组信息的时候（尤其是当这一信息非常敏感，
  • [Maven学习笔记九]Maven发布web项目 bit1129 maven
    基于Maven的web项目的标准项目结构 user-project     user-core     user-service     user-web        src      
  • 【Hive七】Hive用户自定义聚合函数(UDAF) bit1129 hive
    用户自定义聚合函数，用户提供的多个入参通过聚合计算(求和、求最大值、求最小值)得到一个聚合计算结果的函数。 问题：UDF也可以提供输入多个参数然后输出一个结果的运算，比如加法运算add(3，5)，add这个UDF需要实现UDF的evaluate方法,那么UDF和UDAF的实质分别究竟是什么？   Double evaluate(Double a, Double b)  
  • 通过 nginx-lua 给 Nginx 增加 OAuth 支持 ronin47
    前言：我们使用Nginx的Lua中间件建立了OAuth2认证和授权层。如果你也有此打算，阅读下面的文档，实现自动化并获得收益。SeatGeek 在过去几年中取得了发展，我们已经积累了不少针对各种任务的不同管理接口。我们通常为新的展示需求创建新模块，比如我们自己的博客、图表等。我们还定期开发内部工具来处理诸如部署、可视化操作及事件处理等事务。在处理这些事务中，我们使用了几个不同的接口来认证： &n
  • 利用tomcat-redis-session-manager做session同步时自定义类对象属性保存不上的解决方法 bsr1983 session
    在利用tomcat-redis-session-manager做session同步时，遇到了在session保存一个自定义对象时，修改该对象中的某个属性，session未进行序列化，属性没有被存储到redis中。 在 tomcat-redis-session-manager的github上有如下说明： Session Change Tracking As noted in the &qu
  • 《代码大全》表驱动法-Table Driven Approach-1 bylijinnan java算法
    关于Table Driven Approach的一篇非常好的文章： http://www.codeproject.com/Articles/42732/Table-driven-Approach package com.ljn.base; import java.util.Random; public class TableDriven { public
  • Sybase封锁原理 chicony Sybase
           昨天在操作Sybase IQ12.7时意外操作造成了数据库表锁定，不能删除被锁定表数据也不能往其中写入数据。由于着急往该表抽入数据，因此立马着手解决该表的解锁问题。     无奈此前没有接触过Sybase IQ12.7这套数据库产品，加之当时已属于下班时间无法求助于支持人员支持，因此只有借助搜索引擎强大的
  • java异常处理机制 CrazyMizzz java
    java异常关键字有以下几个，分别为 try catch final throw throws 他们的定义分别为 try：    Opening exception-handling statement. catch：  Captures the exception. finally： Runs its code before terminating
  • hive 数据插入DML语法汇总 daizj hiveDML数据插入
    Hive的数据插入DML语法汇总1、Loading files into tables语法：1) LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]解释：1)、上面命令执行环境为hive客户端环境下： hive>l
  • 工厂设计模式 dcj3sjt126com 设计模式
      使用设计模式是促进最佳实践和良好设计的好办法。设计模式可以提供针对常见的编程问题的灵活的解决方案。 工厂模式 工厂模式（Factory）允许你在代码执行时实例化对象。它之所以被称为工厂模式是因为它负责“生产”对象。工厂方法的参数是你要生成的对象对应的类名称。 Example #1 调用工厂方法（带参数） <?phpclass Example{ 
  • mysql字符串查找函数 dcj3sjt126com mysql
      FIND_IN_SET(str,strlist) 假如字符串str 在由N 子链组成的字符串列表strlist 中，则返回值的范围在1到 N 之间。一个字符串列表就是一个由一些被‘,’符号分开的自链组成的字符串。如果第一个参数是一个常数字符串，而第二个是type SET列，则   FIND_IN_SET() 函数被优化，使用比特计算。如果str不在strlist 或st
  • jvm内存管理 easterfly jvm
    一、JVM堆内存的划分 分为年轻代和年老代。年轻代又分为三部分：一个eden,两个survivor。 工作过程是这样的：e区空间满了后，执行minor gc，存活下来的对象放入s0, 对s0仍会进行minor gc，存活下来的的对象放入s1中，对s1同样执行minor gc，依旧存活的对象就放入年老代中； 年老代满了之后会执行major gc，这个是stop the word模式，执行
  • CentOS-6.3安装配置JDK-8 gengzg centos
    JAVA_HOME=/usr/java/jdk1.8.0_45 JRE_HOME=/usr/java/jdk1.8.0_45/jre PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export JAVA_HOME
  • 【转】关于web路径的获取方法 huangyc1210 Web路径
    假定你的web application 名称为news,你在浏览器中输入请求路径：  http://localhost:8080/news/main/list.jsp  则执行下面向行代码后打印出如下结果：  1、 System.out.println(request.getContextPath()); //可返回站点的根路径。也就是项
  • php里获取第一个中文首字母并排序 远去的渡口 数据结构PHP
    很久没来更新博客了，还是觉得工作需要多总结的好。今天来更新一个自己认为比较有成就的问题吧。 最近在做储值结算，需求里结算首页需要按门店的首字母A-Z排序。我的数据结构原本是这样的： Array ( [0] => Array ( [sid] => 2885842 [recetcstoredpay] =&g
  • java内部类 hm4123660 java内部类匿名内部类成员内部类方法内部类
         　在Java中，可以将一个类定义在另一个类里面或者一个方法里面，这样的类称为内部类。内部类仍然是一个独立的类，在编译之后内部类会被编译成独立的.class文件，但是前面冠以外部类的类名和$符号。内部类可以间接解决多继承问题,可以使用内部类继承一个类，外部类继承一个类，实现多继承。      &nb
  • Caused by: java.lang.IncompatibleClassChangeError: class org.hibernate.cfg.Exten zhb8015
    maven pom.xml关于hibernate的配置和异常信息如下，查了好多资料，问题还是没有解决。只知道是包冲突，就是不知道是哪个包....遇到这个问题的分享下是怎么解决的。。   maven pom:   <dependency> <groupId>org.hibernate</groupId> <ar
  • Spark 性能相关参数配置详解－任务调度篇 Stark_Summer sparkcachecpu任务调度yarn
    随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化。   由于篇幅较长，所以在这里分篇组织，如果要看最新完整的网页版内容，可以戳这里：http://spark-config.readthedocs.org/，主要是便
  • css3滤镜 wangkeheng htmlcss
    经常看到一些网站的底部有一些灰色的图标，鼠标移入的时候会变亮，开始以为是js操作src或者bg呢，搜索了一下，发现了一个更好的方法：通过css3的滤镜方法。 html代码： <a href='' class='icon'><img src='utv.jpg' /></a> css代码： .icon{-webkit-filter: graysc
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他