迁移学习-大佬的

迁移学习（transfer learning）

迁移学习任务就是从相似性出发，将旧领域(domain)学习过的模型应用在新领域上。

是一种机器学习技术，旨在利用已有的模型或知识来解决新的问题或任务。这种方法通过将一个或多个已经训练好的模型（被称为“源域”）的知识迁移到另一个相关但不同的问题或数据集（被称为“目标域”）中，从而加速和优化新任务的学习过程。

迁移学习可以带来以下几个优点：

更快的训练速度：使用预训练好的模型作为起点，可以更快地完成新任务的训练，节省时间和计算资源。
更少的数据需求：由于预训练好的模型已经学会了某些特征或知识，在新任务上，我们可以使用较少量的数据来获得相同或更好的效果。
更好的泛化性能：使用迁移学习可以提高模型的泛化性能，即使在不同的数据集和环境下也能够表现出良好的性能。

迁移学习可以应用于各种机器学习任务，如图像分类、自然语言处理、语音识别等。例如，利用 ImageNet 数据集上预训练好的卷积神经网络模型，可以迁移学习到其他图像分类任务中，以加速和提高模型的训练和性能。

在使用迁移学习时，需要考虑源域和目标域之间的相似性和差异性，并选择适当的技术和策略来完成知识迁移。常见的迁移学习方法包括基于特征的方法、基于模型的方法、领域自适应方法等。

大佬环境

【子豪兄带你两天搞定AI毕业设计】使用深度学习框架Pytorch，在ImageNet预训练图像分类模型（例如Resnet18）基础上，对自己的30类水果图像分类数据集进行迁移学习（transfer learning）微调（fine-tuning）训练，得到自己的图像分类模型。在训练过程中，

记录训练集和测试集的损失函数、准确率、Precision、Recall、f1-score等评估指标，

使用wandb可视化面板监控。为后续的新图像预测、测试集评估、可解释性分析、模型部署，奠定算法基础。

代码教程：https://github.com/TommyZihao/Train_Custom_Dataset

代码运行云GPU环境：https://featurize.cn/?s=d7ce99f842414bfcaea5662a97581bd1

GPU资源Featurize

GPU算力资源平台 - 知乎 (zhihu.com)

gpu资源

在使用基于 NVIDIA CUDA 或其他 GPU 计算框架的应用程序时，显卡驱动程序对于 GPU 计算的性能和正确性至关重要

要在云 GPU 环境中测试你的代码，需要先确保所选的云平台支持 GPU 实例，并且该实例上已经安装了 NVIDIA 显卡驱动程序和 CUDA 工具包。以 AWS 为例，以下是基本的测试流程：
创建 GPU 实例：登录 AWS 控制台并创建一个 GPU 实例，选择适当的实例类型和 AMI（Amazon Machine Image），并配置所需的网络和存储等设置。
安装依赖项：使用 SSH 连接到实例后，根据需要安装所需的软件包和依赖项。在测试 GPU 相关代码时，您需要确保已经安装了 NVIDIA 显卡驱动程序和 CUDA 工具包。
运行测试代码：将测试代码上传到实例并运行它，验证它是否可以成功地利用 GPU 加速运行。您可以使用命令 nvidia-smi 来检查显卡是否正常工作，以及当前内存使用情况等信息。
调整配置参数：如果您发现测试代码无法正常工作或者性能表现不佳，可以尝试调整相关的配置参数，例如 batch size、learning rate 等。同时，还可以使用 GPU 监视工具来分析代码的性能瓶颈，并进一步优化代码。
请注意，在测试 GPU 相关代码时，您需要遵守相关法律法规和云平台的使用限制，并确保您拥有合法的许可证和授权。同时，还需要考虑云平台资源的使用成本和费用等问题，以避免因为过度使用而产生过高的费用。
另外，值得一提的是 NVIDIA 官方提供了一个云端 GPU 测试服务：NVIDIA Tesla Try-and-Buy Program，可以在这里进行申请来体验云端 GPU 计算。

jupyter版本升级

pycharm（professional版本）安装、永久破解方法 - 张小歪 - 博客园 (cnblogs.com)

ssl问题

Could not fetch URL https://pypi.org/simple/opencv-python/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host=' pypi.org ', port=443): Max retries exceeded with url: /simple/opencv-python/ (Caused by SSLError(SSLEOFError(8, 'EOF occurred in violation of protocol (_ssl.c:1129)'))) - skipping

2023/3/26 13:32:17

这个错误通常表示 SSL 握手失败，可能是由于网络连接问题、证书验证失败或其他原因导致。

要解决这个问题，您可以尝试以下方法：

1. 检查网络连接：确认您的计算机是否具有可靠的网络连接，考虑使用网络测试工具进行诊断和修复。

2. 确认证书有效性：如果您正在与受信任的服务通信（例如 pypi.org），则需要确保服务端证书有效，并且您的计算机已经安装了正确的根证书。您可以使用 OpenSSL 命令行工具来检查证书信息，并在需要时安装缺少的根证书。

3. 更新 SSL 库：如果您的 Python 安装使用的是较旧版本的 SSL 库，则可能会导致此类错误。尝试更新 Python 和相关的库，以使用最新的 SSL 版本并修复已知的漏洞。

4. 调整 SSL 配置：如果您无法确定出现 SSL 错误的原因，请尝试禁用主机名验证或调整 SSL 加密协议的优先级等选项，以排除可能的配置问题。请注意，这种方法可能会带来一定的安全风险，应该谨慎使用。

实例

迁移学习

https://github.com/hfawaz/bigdata18

souce.code

The software is developed using Python 3.5. We trained the models on a cluster of more than 60 GPUs. You will need the UCR archive to re-run the experiments of the paper.

If you encouter problems with cython, you can re-generate the "c" files using the build-cython.sh script.

To train the network from scratch launch: python3 main.py train_fcn_scratch

To apply the transfer learning between each pair of datasets launch: python3 main.py transfer_learning

To visualize the figures in the paper launch: python3 main.py visualize_transfer_learning

To generate the inter-datasets（跨数据集相似举证） similariy matrix launch: python3 main.py compare_datasets