Viokiri

机器学习诊断法

依然是以预测房价为例，假设我已经完成了正则化线性回归，也就是最小化代价函数 $J(\theta )$

$J\left ( \theta \right ) = \frac{1}{2m}\left [\sum_{i = 1}^{m}\left ( h_{\theta }(x^{(i)}) -y^{(i)}\right )^{2} +\lambda \sum _{j=1}^{n}\theta _{j}^{2} \right ]$

并得到了使代价函数 $J(\theta )$ 最小的参数 $\theta$ ，但将参数 $\theta$ 代入假设函数 $h_{\theta }(x)$ 并放到一组新的房屋样本上进行测试时，发现产生了巨大的误差，如果我想改进这个算法，我该怎做？假设有以下几种方法：

使用更多的训练样本
减少特征向量的维度，既尝试使用更少的特征
增加特征向量的维度，既尝试使用更多的特征
增加多项式特征，既选用更复杂假设函数 $h_{\theta }(x)$ 来拟合训练集（ $x_{1}^{2},x_{2}^{2},x_{1}x_{2},etc$ ）
增大正则化参数 $\lambda$ 的值
减小正则化参数 $\lambda$ 的值

我们该如何选择方法使模型能更好的拟合训练集和泛化？机器学习诊断法能够使我们了解该模型的问题出在哪，是高偏差还是高方差，采用什么方法去尝试才是有意义的。

1、评估假设

在判断假设函数 $h_{\theta }(x)$ 是否过拟合时，如果特征较少，可以画出假设函数的图像，使用可视化的方式来判断，但对于一般情况来说，假设函数在特征较多时很难可视化。

可以把训练集划分为两部分，一部分为我们的训练集（Training Set），而另一部分为我们的测试集（Test Set）

$Training \ Set: \ \left ( x^{(1))}, y^{(1)} \right ),\left ( x^{(2))}, y^{(2)} \right ),\cdots ,\left (x^{(m)}, y^{(m)} \right )$

$Test \ Set: \ \left ( x_{test}^{(1))}, y_{test}^{(1)} \right ),\left ( x_{test}^{(2))}, y_{test}^{(2)} \right ),\cdots ,\left ( x_{test}^{(m_{test}))}, y_{test}^{(m_{test})} \right )$

一般按照 $m:m_{test}=7:3$ 来划分，如果训练集是有规律的话，最好是随机选择。

这时就可以使用假设函数去拟合70%的数据，并最小化代价函数 $\underset{\theta }{min}J(\theta )$ ，并得到了使代价函数最小的参数 $\theta$ ，接下来要计算测试误差（Test Error），用 $J_{test}(\theta )$ 表示计算误差。

在回归问题中，不带正则项的 $J_{test}(\theta )$ 为

$J_{test}\left ( \theta \right ) = \frac{1}{2m_{test}}\sum_{i = 1}^{m_{test}}\left ( h_{\theta }(x_{test}^{(i)}) -y_{test}^{(i)}\right )^{2}$

而在分类问题中，不带正则项的 $J_{test}(\theta )$ 为

$J_{test}\left ( \theta \right ) = -\frac{1}{m_{test}}\sum_{i = 1}^{m_{test}}\left ( y_{test}^{(i)}\log \left (h_{\theta }\left ( x_{test}^{(i)} \right ) \right )+\left ( 1- y_{test}^{(i)}\right ) \log \left ( 1- h_{\theta }\left ( x_{test}^{(i)} \right ) \right )\right )$

比较 $J(\theta )$ 和 $J_{test}(\theta )$ 的值，如果两个值差距过大，则说明模型的泛化性较差。

而对于分类问题，还有另一种计算测试误差的测量方法，叫做错误分类或者0/1错误分类

$err\left ( h_{\theta}\left ( x_{test} \right ),y_{test} \right )=\left\{\begin{matrix} 1 \ \ \ \ \ \ \ , \ if \ h_{\theta}\left ( x_{test} \right ) \geqslant 0.5,y_{test}= 0\\ \ \ \ \ \ \ \ \ \ \ \ \ or \ h_{\theta}\left ( x_{test} \right ) \leqslant 0.5,y_{test} = 1\\ 0 \ \ \ \ \ \ \ , \ if \ h_{\theta}\left ( x_{test} \right ) \geqslant 0.5,y_{test}= 1\\ \ \ \ \ \ \ \ \ \ \ \ \ or \ h_{\theta}\left ( x_{test} \right ) \leqslant 0.5,y_{test}= 0 \end{matrix}\right.$

当 $err\left ( h_{\theta}\left ( x_{test}^{(i)} \right ),y_{test}^{(i)} \right )$ 为时，表示对样本进行了误判，为error，因此测试误差为

$Test \ Error = \frac{1}{m_{test}}\sum_{i = 1}^{m_{test}}err\left ( h_{\theta}\left ( x_{test}^{(i)} \right ),y_{test}^{(i)} \right )$

2、模型选择

2.1、训练集、交叉验证集、测试集

需要选择一个对数据集最合适的多项式次数，我应该选择一次函数，二次函数……十次函数中的哪一个

$h_{\theta }(x)=\theta _{0} +\theta _{1}x$
$h_{\theta }(x)=\theta _{0} +\theta _{1}x+\theta _{2}x^{2}$
$h_{\theta }(x)=\theta _{0} +\theta _{1}x+\theta _{2}x^{2}+\theta _{3}x^{3}$

……

用参数来表示要选择的多项式的次数，可以依次选择模型来最小化训练代价函数 $J(\theta )$ ，得到参数向量 $\theta ^{(1)},\theta ^{(2)},\cdots ,\theta ^{(10)}$ ，上标表示几次多项式的系数向量，然后将测试集代入依次计算

$J_{test}\left ( \theta ^{(1)} \right ),J_{test}\left ( \theta ^{(2)} \right ),\cdots ,J_{test}\left ( \theta ^{(10)} \right )$

选出其中使得测试误差 $J_{test}\left ( \theta ^{(i)} \right )$ 最小的 $\theta ^{(i)}$ ，既最好的拟合数据集的模型。假设此时选择 $\theta ^{(5)}$ ，那么说明假设函数

$h_{\theta }(x)=\theta _{0} +\theta _{1}x+\theta _{2}x^{2}+\cdots +\theta _{5}x^{5}$

对训练集的拟合程度最好。但是已经用了测试集去选择最合适多项式次数，再利用测试集去检测该模型的泛化程度显然过于乐观了，既选择的是最优的 $J_{test}\left ( \theta ^{(i)} \right )$ ，但该模型仍然有可能是过拟合的，对该测试集拟合效果好但对新样本来说并不一定，所以不能用训练集继续检验模型的泛化程度。

所以把数据集分成训练集和测试集是不够的，需要分成三个部分，训练集，交叉验证集（Cross Validation Set）和测试集

$Training \ Set: \ \left ( x^{(1))}, y^{(1)} \right ),\left ( x^{(2))}, y^{(2)} \right ),\cdots ,\left (x^{(m)}, y^{(m)} \right )$

$Cross \ Validation \ Set: \ \left ( x_{cv}^{(1))}, y_{cv}^{(1)} \right ),\left ( x_{cv}^{(2))}, y_{cv}^{(2)} \right ),\cdots ,\left ( x_{cv}^{(m_{cv}))}, y_{cv}^{(m_{cv})} \right )$

$Test \ Set: \ \left ( x_{test}^{(1))}, y_{test}^{(1)} \right ),\left ( x_{test}^{(2))}, y_{test}^{(2)} \right ),\cdots ,\left ( x_{test}^{(m_{test}))}, y_{test}^{(m_{test})} \right )$

一般按照 $m:m_{cv}:m_{test} = 6:2:2$ 来划分，如果训练集是有规律的话，最好是随机选择。

这时就可以定义训练误差（Training Error）

$J_{train}\left ( \theta \right ) = \frac{1}{2m}\sum_{i = 1}^{m}\left ( h_{\theta }(x^{(i)}) -y^{(i)}\right )^{2}$

验证误差（Cross Validation Error）

$J_{cv}\left ( \theta \right ) = \frac{1}{2m_{cv}}\sum_{i = 1}^{m_{cv}}\left ( h_{\theta }(x_{cv}^{(i)}) -y_{cv}^{(i)}\right )^{2}$

测试误差

$J_{test}\left ( \theta \right ) = \frac{1}{2m_{test}}\sum_{i = 1}^{m_{test}}\left ( h_{\theta }(x_{test}^{(i)}) -y_{test}^{(i)}\right )^{2}$

训练误差就是最小化代价函数 $J(\theta )$ 后，得到参数向量 $\theta$ 后，再把训练集带入代价函数得到的（其实就是最小化的代价函数 $J(\theta )$ ），而验证误差和测试误差是代入交叉训练集和测试集后得到的。

重复之前的步骤，次选择模型来最小化训练代价函数 $J(\theta )$ ，得到参数向量 $\theta ^{(1)},\theta ^{(2)},\cdots ,\theta ^{(n)}$ ，

然后将交叉训练集代入依次计算

$J_{cv}\left ( \theta ^{(1)} \right ),J_{cv}\left ( \theta ^{(2)} \right ),\cdots ,J_{cv}\left ( \theta ^{(n)} \right )$

选出其中使得交叉验证误差 $J_{cv}\left ( \theta ^{(i)} \right )$ 最小的 $\theta ^{(i)}$ ，既最好的拟合数据集的模型，再将测试集的样本代入计算 $J_{test}\left ( \theta^{(i)} \right )$ ，衡量该模型的泛化误差。

2.2、高偏差，高方差

当运行一个学习算法时，如果这个算法的表现并没有达到预期的效果，那么可能是两种情况，高偏差或者高误差，使用之前定义的训练误差和验证误差

$J_{train}\left ( \theta \right ) = \frac{1}{2m}\sum_{i = 1}^{m}\left ( h_{\theta }(x^{(i)}) -y^{(i)}\right )^{2}$

$J_{cv}\left ( \theta \right ) = \frac{1}{2m_{cv}}\sum_{i = 1}^{m_{cv}}\left ( h_{\theta }(x_{cv}^{(i)}) -y_{cv}^{(i)}\right )^{2}$

绘制误差，既 $J_{train}$ 和 $J_{cv}$ 关于多项式次数的图像

可以看到随着次数的增大， $J_{train}$ 减小，说明模型对训练集的拟合程度越好，但是随着次数的增大， $J_{cv}$ 先减小后增大，说明随着次数的增大，模型越拟合数据，到了一定程度后，出现过拟合导致模型的误差增大，所以选择 $J_{cv}$ 的最小值所对应的多项式次数。

而在 $J_{cv}$ 的最小值的左边，对应的就是高偏差问题（欠拟合），此时 $J_{train}$ 和 $J_{cv}$ 都很大，而在右边出现的就是高方差问题（过拟合），此时 $J_{train}$ 很小，但是 $J_{cv}$ 很大，既

Bias（underfit）
- $J_{train}$ 很大
- $J_{train}\approx J_{cv}$
Variance（overfit）
- $J_{train}$ 很小
- $J_{cv}> >J_{train}$

而正则化可以有效地防止过拟合，给代价函数加入正则项

$J\left ( \theta \right ) = \frac{1}{2m}\left [\sum_{i = 1}^{m}\left ( h_{\theta }(x^{(i)}) -y^{(i)}\right )^{2} +\lambda \sum _{j=1}^{n}\theta _{j}^{2} \right ]$

正则化参数 $\lambda$ 不能过大也不能过小，自动化的选择 $\lambda$ 的值

$\lambda =0.$
$\lambda =0.01$
$\lambda =0.02$
$\lambda =0.04$

……

同样最小化代价函数 $J(\theta )$ ，得到参数向量 $\theta ^{(1)},\theta ^{(2)},\cdots ,\theta ^{(n)}$ ，上标是选取正则化参数 $\lambda$ 的个数，然后将交叉训练集代入依次计算

$J_{cv}\left ( \theta ^{(1)} \right ),J_{cv}\left ( \theta ^{(2)} \right ),\cdots ,J_{cv}\left ( \theta ^{(n)} \right )$

绘制误差，既 $J_{train}$ 和 $J_{cv}$ 关于正则化参数 $\lambda$ 的图像

可以看到随着正则化参数 $\lambda$ 的增大， $J_{train}$ 增大，说明模型一开始对训练集拟合程度很好，但随着 $\lambda$ 的增大，使得 $\theta _{1}\approx 0,\theta _{2}\approx 0,\cdots ,\theta _{n}\approx 0$ ，逐渐变成一条直线，拟合程度变低。但是随着正则化参数 $\lambda$ 的增大， $J_{cv}$ 先减小后增大，说明随着正则化参数 $\lambda$ 的增大，过拟合程度降低，到了一定程度后，出现欠拟合导致模型的误差增大，所以选择 $J_{cv}$ 的最小值所对应的正则化参数 $\lambda$ 。

3、学习曲线

在高偏差时，绘制误差，既 $J_{train}$ 和 $J_{cv}$ 关于训练集中训练样本个数的图像

随着训练样本的增多，在欠拟合情况下，训练误差 $J_{train}$ 逐渐增大直至趋于平稳，因为当训练样本比较少的时候，或许还可以勉强拟合训练集，但随着训练样本的增加，训练误差会越大直至平稳。而验证误差 $J_{cv}$ 会逐渐减小直至趋于平稳，并且最后 $J_{train}\approx J_{cv}$ 。

而在高方差时候，绘制误差，既 $J_{train}$ 和 $J_{cv}$ 关于训练集中训练样本个数的图像

随着训练样本的增加，在过拟合情况下，训练误差 $J_{train}$ 逐渐增大直至趋于平稳。因为当训练样本比较少的时候，模型可以很好的拟合数据集，但随着训练样本的增加，就越难把训练集完全拟合，训练误差会增加直至平稳，但一直都处于较小的状态。而验证误差 $J_{cv}$ 会逐渐减小直至趋于平稳，因为一开始过拟合，模型的泛化性很差，而随着训练样本的增加，过拟合的模型依旧很难泛化，所以 $J_{train}$ 和 $J_{cv}$ 会有空隙，需要大量的数据集去解决这个问题。直至最后 $J_{train}\approx J_{cv}$ 。

因此对于最开始提出的改进算法的方法

使用更多的训练样本 ———— 在高方差的时候使用
减少特征向量的维度，既尝试使用更少的特征 ———— 在高方差的时候使用
增加特征向量的维度，既尝试使用更多的特征 ———— 在高偏差的时候使用
增加多项式特征，既选用更复杂假设函数 $h_{\theta }(x)$ 来拟合训练集（ $x_{1}^{2},x_{2}^{2},x_{1}x_{2},etc$ ）————在高偏差的时候使用
增大正则化参数 $\lambda$ 的值 ———— 在高方差的时候使用
减小正则化参数 $\lambda$ 的值 ———— 在高偏差的时候使用

如何使用LangChain内置工具和工具包 jkgSFS langchain microsoft python
在当今快速发展的人工智能应用开发中，利用现有的工具和工具包能大幅加快开发进程，提高应用的效率和功能性。本文将带您深入了解LangChain中的内置工具和工具包的使用方法，并通过示例代码进行演示。技术背景介绍LangChain是一个旨在简化应用程序创建的框架，其拥有丰富的第三方工具集成。这些工具可以帮助开发者轻松访问和操作如Wikipedia等大型数据集。核心原理解析LangChain工具通过API
AIGC视频生成国产之光：ByteDance的PixelDance模型好评笔记 AIGC-视频补档 AIGC 计算机视觉人工智能深度学习机器学习论文阅读面试
大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本文详细介绍ByteDance的视频生成模型PixelDance，论文于2023年11月发布，模型上线于2024年9月，同时期上线的模型还有Seaweed（论文未发布）。优质专栏回顾：机器学习笔记深度学习笔记多模态论文笔记AIGC—图像文章目录论文摘要引言输入训练和推理时的数据处理总结相关工作视频生成长视频生成方法模型架构
使用Amazon Bedrock API调用Anthropic的Claude模型 dwa46a56w4d easyui 前端 javascript python
在AI模型应用领域，亚马逊的BedrockAPI提供了便捷的方式来访问诸如Anthropic的Claude这样强大的模型。通过AmazonBedrock，开发者可以在云端直接调用Claude进行各种自然语言处理任务。本指南将引导您如何在Python中通过Bedrock来使用Claude模型。技术背景介绍Claude是由Anthropic开发的AI模型，提供强大的自然语言处理能力。通过AmazonB
STLG_05_04_Python - 函数魔都天健开发语言前端笔记 python
Python函数是一种可重用的代码块，用于执行特定任务。它通过def关键字定义，可以接受参数作为输入，并通过return语句返回值。函数能够提高代码的模块化和可读性，方便维护和调试。无论是内置函数还是自定义函数，它们都是Python编程中实现功能和逻辑的重要工具。1.函数的定义和调用1.1函数的定义在Python中，函数是一段可重复使用的代码块，用于执行特定的任务。函数可以帮助我们将代码模块化，提
Python_线性插值胡小记 python
1、语法解释线性插值主要用到的是numpy中的interp函数interp(x,xp,fp,left=None,right=None,period=None)其中x为要插值点的横坐标，xp为x的坐标值（必须是递增），fp为y的坐标值left是可选择参数，如果x小于xp，则会默认返回xp[0]对应的fp值，right同理。period可设定横坐标的周期，该选项打开时，则忽略left和right。具体
亮相AICon，火山引擎边缘云揭秘边缘AI Agent探索与实践边缘计算智能硬件ai开发
12月13-14日，AICon全球人工智能开发与应用大会在北京成功举办。火山引擎边缘智能技术负责人谢皓受邀出席大会，以《AIAgent在边缘云的探索与实践》为主题，与全球AI领域的资深专家，共同深入探讨大模型落地、具身智能、多模态大模型、AIAgent等前沿技术如何推动行业变革、引领未来发展。火山引擎边缘智能技术负责人谢皓指出，随着AI时代的到来，边缘智能由传统的物联网、智慧物联，逐渐演变成智能体
如何用selenium来链接并打开比特浏览器进行自动化操作（1）写python的鑫哥爬虫实战进阶 selenium pyppeteer puppeteer 比特浏览器比特指纹浏览器链接打开
前言本文是该专栏的第76篇，后面会持续分享python爬虫干货知识，记得关注。本文，笔者将基于“比特浏览器”，通过selenium来实现链接并打开比特浏览器，进行相关的“自动化”操作。值得一提的是，在本专栏之前，笔者有详细介绍过“使用selenium或者pyppeteer（puppeteer）来链接并打开指纹浏览器AdsPower”的方法和详细教程。笔者将相关文章的链接，整理如下（对此领域，感兴趣
基于纵横交叉算法优化的最小交叉熵图像多阈值分割 python 图像算法打怪图像分割算法 python 开发语言
基于纵横交叉算法优化的最小交叉熵图像多阈值分割python文章目录基于纵横交叉算法优化的最小交叉熵图像多阈值分割python1.最小交叉熵阈值分割原理2.基于纵横交叉优化的多阈值分割3.算法结果：4.参考文献：5.Python代码摘要：本文介绍基于最小交叉熵的图像分割，并且应用纵横交叉算法进行阈值寻优。1.最小交叉熵阈值分割原理1993年，Li等人将交叉熵的概念引入到图像处理领域，提出了基于一维灰
Python--WinError 2 的常见解决方案 Ambition_LAO python
报错信息：FileNotFoundError:[WinError2]系统找不到指定的文件。这个错误提示FileNotFoundError:[WinError2]系统找不到指定的文件说明在调用subprocess.Popen时，系统找不到指定的文件或可执行程序。在代码中，这个问题主要是因为找不到JavaJAR文件meteor-1.5.jar，也就是用于计算METEOR分数的评估工具。可能的原因和解决
论文阅读笔记：AI+RPA 几道之旅人工智能
文章目录论文题目下载地址论文摘要论文题目Challengesandopportunities:ImplementingRPAandAIinfrauddetectioninthebankingsector下载地址点击这里下载论文摘要在银行业中，将机器人流程自动化（RPA）和人工智能（AI）集成用于欺诈检测是一项重大变革，既带来了挑战，也带来了机遇。随着金融机构面临日益复杂的欺诈企图，RPA和AI成为
PyTorch 基础数据集：从理论到实践的深度学习基石那年一路北 Pytorch理论+实践深度学习 pytorch 人工智能
一、引言深度学习作为当今人工智能领域的核心技术，在图像识别、自然语言处理、语音识别等众多领域取得了令人瞩目的成果。而在深度学习的体系中，数据扮演着举足轻重的角色，它是模型训练的基础，如同建筑的基石，决定了模型的性能和泛化能力。PyTorch作为当下最流行的深度学习框架之一，为开发者提供了丰富且强大的工具来处理数据集。本文将深入探讨PyTorch中的基础数据集，从深度学习中数据的重要性出发，详细介绍
Python 数据类型之数字型梅子大魔王 python全栈学习笔记 python
Python数据类型之数字型1.整型int1）整型的介绍2）整型的运算3）int()函数2.浮点型float1）浮点型的介绍2）浮点型的运算3）float()函数3.复数型complex1）复数的介绍2）复数的运算3）complex()函数4.布尔型1)布尔型的介绍2）布尔值的运算3）bool()函数数字类型在Pyhton中非常常见，经常用于数字之间的运算、大小比较、条件判断等等。数字类型包括：整
【2025】拥抱未来砥砺前行摔跤猫子其他年终总结拥抱未来砥砺前行深度思考
2024是怎样的一年2024在历史画卷上是波澜壮阔的一年，人工智能的浪潮来临，涌现出无数国产大模型。22年11月ChatGPT发布，它的出现如同在平静湖面上投下一颗巨石，激起了层层波澜，短短五天用户数就达到了100万，让整个世界为之侧目的同时也掀起了一场AI技术竞赛的浪潮。面对大模型这一蓝海，各方力量都试图搭上这趟时代的列车，争先恐后的相继开启布局。公司大模型名称发布时间澜舟科技孟子GPTV120
python实现冒泡排序完整算法_利用python实现冒泡排序算法实例代码 weixin_39610759
利用python实现冒泡排序算法实例代码冒泡排序冒泡排序（英语：BubbleSort）是一种简单的排序算法。它重复地遍历要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。遍历数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。冒泡排序算法的运作如下：1、比较相邻的元素。如果第一个比第二个大（升序
通过Amazon Bedrock API调用Anthropic Claude模型的实战指南 qwd41564qwd python
在AI技术的飞速发展中，AmazonBedrockAPI为开发者提供了一种稳定可靠的方式来访问Anthropic的Claude模型。无论是启动新的项目还是集成AI解决方案，通过Bedrock调用Claude模型都提供了更广泛的应用场景和便利性。本文将指导您如何在Python中通过AmazonBedrock向Claude模型发起API调用。技术背景介绍Bedrock是Amazon推出的一个集成平台，
BP神经网络概述及其预测的Python和MATLAB实现追蜻蜓追累了神经网络回归算法深度学习机器学习启发式算法 lstm gru
##一、背景###1.1人工神经网络的起源人工神经网络（ArtificialNeuralNetwork,ANN）受生物神经网络的启发，模拟大脑神经元之间的连接和信息处理方式。尽管早在1943年就有学者如McCulloch和Pitts提出了数学模型，但人工神经网络真正被广泛研究是在20世纪80年代。###1.2BP神经网络的兴起反向传播（BackPropagation，简称BP）算法是20世纪80年
python转转商超书籍信息爬虫 Python数据分析与机器学习爬虫 python 网络爬虫爬虫
1基本理论1.1概念体系网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以按照我们设置的规则自动化爬取网络上的信息，这些规则被称为爬虫算法。是一种自动化程序，用于从互联网上抓取数据。爬虫通过模拟浏览器的行为，访问网页并提取信息。这些信息可以是结构化的数据（如表格数据），也可以是非结构化的文本。爬虫任务的执行流程通常包括发送HTTP请求、解析HTML文档、提取所需数据等步骤。1.2技术体系1请求库:
Python中的数字类型不爱敲代码的小李0812 python二级通关宝典 python 开发语言后端
目录一、概述二、整数类型三、浮点数四、复数类型一、概述1）Python语言提供三种数字类型：整数类型，浮点数类型和复数类型，分别对应数学中的整数，实数和复数2）1010是整数类型，10.10是一个浮点数类型，10+10j是一个复数类型二、整数类型1）与数学中的整数概念一致，没有取值范围限制。2）整数类型有4种进制表示：十进制，二进制，八进制和十六进制。默认情况，整数采用十进制，其他进制需要增加引导
收藏！Python常用的第三方模块,你知道几个呢？ Python子木_ Python入门 Python学习 Python零基础 python pandas python教程 python基础 python学习 python入门青少年编程
作为一种流行的编程语言,拥有丰富的第三方模块,这些模块极大地扩展了的功能,使得各种开发任务变得更加高效和便捷.本文将介绍几种常用的第三方模块,提供示例展示,并对它们进行分类,以帮助读者更好地理解和使用这些工具.这里插播一条粉丝福利，如果你正在学习Python或者有计划学习Python，想要突破自我，对未来十分迷茫的，可以点击这里获取最新的Python学习资料和学习路线规划（免费分享，记得关注）1.
matlab程序代编程写做代码图像处理BP神经网络机器深度学习python matlabgoodboy 深度学习 matlab 图像处理
1.安装必要的库首先，确保你已经安装了必要的Python库。如果没有安装，请运行以下命令：bash复制代码pipinstallnumpymatplotlibtensorflowopencv-python2.图像预处理我们将使用OpenCV来加载和预处理图像数据。假设你有一个图像数据集，每个类别的图像存放在单独的文件夹中。python复制代码importosimportcv2importnumpya
【Python】Python中对复杂对象列表根据对象属性进行排序花无凋零之时 Python python 开发语言数据结构
对于Python中对象列表进行排序时，我们往往需要根据对象中的属性进行特定的排序。首先我们假设一个类为：classStudent:def__init__(self,name,score,age):self.name=nameself.score=scoreself.age=agedef__str__(self):returnself.name+""+str
Python气象数据分析：风速预报订正、台风预报数据智能订正、机器学习预测风电场的风功率、浅水模型、预测ENSO等小艳加油大气科学 python 人工智能气象机器学习
目录专题一Python和科学计算基础专题二机器学习和深度学习基础理论和实操专题三气象领域中的机器学习应用实例专题四气象领域中的深度学习应用实例更多应用Python是功能强大、免费、开源，实现面向对象的编程语言，在数据处理、科学计算、数学建模、数据挖掘和数据可视化方面具备优异的性能，这些优势使得Python在气象、海洋、地理、气候、水文和生态等地学领域的科研和工程项目中得到广泛应用。可以预见未来Py
YOLOv8/YOLOv11使用web界面推理自己的模型，Gradio框架快速搭建挂科边缘 YOLOv8改进 YOLO 前端计算机视觉目标检测人工智能 python
前言Gradio是一个开源Python库，用于快速构建和共享机器学习模型的Web界面。开发者可以通过简单的Python代码将机器学习模型封装成交互式应用，无需复杂的设置即可在浏览器中使用自己训练好模型。接下来教你使用Gradio框架构建一个简单Web界面推理YOLOv8/YOLOv11模型。话不多说上检测结果：一、YOLOv8/YOLOv11源码下载YOLOv8源码下载：官网打不开的话，从我的网盘
Python二进制模式打开文件open() 牧文山 Python python
我们看到了在文件打开模式中有以下模式：rb、wb……有这种带b的。什么意思呢？就是用二进制的方式打开文件。#1.只读模式打开文件f1=open('d:\\infile.txt')#2.写模式打开文件f2=open('output.txt','w')#3.以二进制写模式打开文件f3=open('record.dat','wb',0)open()函数-modeModeFunctionr以读模式打开w以
python tornado websocket ping_tornado WebSocket详解 weixin_39978276 python tornado websocket ping
1.什么是WebSocketwebsocket和长轮询的区别是客户端和服务器之间是持久连接的双向通信。协议使用ws://URL格式，但它在是在标准HTTP上实现的。2.tornado的WebSocket模块tornado在websocket模块中提供了一个WebSocketHandler类，这个类提供了和已连接的客户端通信的WebSocket事件和方法的钩子。open方法，新的WebSocket连
python读二进制文件字节长度_使用Python进行二进制文件读写的简单方法(推荐) weixin_39574388
总的感觉，python本身并没有对二进制进行支持，不过提供了一个模块来弥补，就是struct模块。python没有二进制类型，但可以存储二进制类型的数据，就是用string字符串类型来存储二进制数据，这也没关系，因为string是以1个字节为单位的。importstructa=12.34#将a变为二进制bytes=struct.pack('i',a)此时bytes就是一个string字符串，字符串
python pipeline库_Easy Pipeline，一种轻量级的Python Pipeline库周不宅 python pipeline库
嗯，很久没有写博客了，最近的工作都是偏开发性质的，以至于没有时间对自己感兴趣的领域进行探索，感觉个人的成长停滞了一些。如何在枯燥的工作中，提取出有助于自己成长的养分，对于每个人来说都是不小的考验。这次，带来的是之前编写的一下挺简单的库，用来简化流水线作业的小框架。起因是这样的，组内有一个需求，需要挖掘视频中的检测难样本，这样可以极大地减少标注的量，从而降低成本。难样本挖掘的策略，简单来说就是如果视
python input 文件路径_python基础 — 文件操作童雅洋梨 python input 文件路径
读取键盘输入Python提供了两个内置函数从标准输入读入一行文本，默认的标准输入是键盘。如下：raw_inputinputraw_input函数raw_input([prompt])函数从标准输入读取一个行，并返回一个字符串(去掉结尾的换行符)。input函数input([prompt])函数和raw_input([prompt])函数基本类似，但是input可以接收一个Python表达式作为输入
Python打包工具pyinstaller和Nuitka比较 w315427783 python
.1使用需求这次也是由于项目需要，要将python的代码转成exe的程序，在找了许久后，发现了2个都能对python项目打包的工具——pyintaller和nuitka。这2个工具同时都能满足项目的需要：隐藏源码。这里的pyinstaller是通过设置key来对源码进行加密的；而nuitka则是将python源码转成C++（这里得到的是二进制的pyd文件，防止了反编译），然后再编译成可执行文件。方
调用asyncio.to_thread后上下文依然一致吗 socratescli python asyncio
使用Python的asyncio时，可以把一个同步的函数放到线程池中执行从而避免这个函数阻塞asyncio自身的事件循环。比如可以把requests库的请求放进去asyncdefto_thread_do_request(url):returnawaitasyncio.to_thread(requests.get,url)这个to_thread_do_request方法就不会造成asyncio的阻塞
[星球大战]阿纳金的背叛 comsci
本来杰迪圣殿的长老是不同意让阿纳金接受训练的......... 但是由于政治原因,长老会妥协了...这给邪恶的力量带来了机会所以......现代的地球联邦接受了这个教训...绝对不让某些年轻人进入学院
看懂它，你就可以任性的玩耍了！ aijuans JavaScript
javascript作为前端开发的标配技能，如果不掌握好它的三大特点：1.原型 2.作用域 3. 闭包 ,又怎么可以说你学好了这门语言呢？如果标配的技能都没有撑握好，怎么可以任性的玩耍呢？怎么验证自己学好了以上三个基本点呢，我找到一段不错的代码，稍加改动，如果能够读懂它，那么你就可以任性了。 function jClass(b
Java常用工具包 Jodd Kai_Ge java jodd
Jodd 是一个开源的 Java 工具集，包含一些实用的工具类和小型框架。简单，却很强大！写道 Jodd = Tools + IoC + MVC + DB + AOP + TX + JSON + HTML < 1.5 Mb Jodd 被分成众多模块，按需选择，其中工具类模块有： jodd-core &nb
SpringMvc下载 120153216 springMVC
@RequestMapping(value = WebUrlConstant.DOWNLOAD) public void download(HttpServletRequest request,HttpServletResponse response,String fileName) { OutputStream os = null; InputStream is = null;
Python 标准异常总结 2002wmj python
Python标准异常总结 AssertionError 断言语句（assert）失败 AttributeError 尝试访问未知的对象属性 EOFError 用户输入文件末尾标志EOF（Ctrl+d） FloatingPointError 浮点计算错误 GeneratorExit generator.close()方法被调用的时候 ImportError 导入模块失
SQL函数返回临时表结构的数据用于查询 357029540 SQL Server
这两天在做一个查询的SQL，这个SQL的一个条件是通过游标实现另外两张表查询出一个多条数据，这些数据都是INT类型，然后用IN条件进行查询，并且查询这两张表需要通过外部传入参数才能查询出所需数据，于是想到了用SQL函数返回值，并且也这样做了，由于是返回多条数据，所以把查询出来的INT类型值都拼接为了字符串，这时就遇到问题了，在查询SQL中因为条件是INT值，SQL函数的CAST和CONVERST都
java 时间格式化 | 比较大小| 时区个人笔记 7454103 java eclipse tomcat c MyEclipse
个人总结！不当之处多多包含！引用 1.0 如何设置 tomcat 的时区：位置：(catalina.bat---JAVA_OPTS 下面加上) set JAVA_OPT
时间获取Clander的用法 adminjun Clander 时间
/** * 得到几天前的时间 * @param d * @param day * @return */ public static Date getDateBefore(Date d,int day){ Calend
JVM初探与设置 aijuans java
JVM是Java Virtual Machine（Java虚拟机）的缩写，JVM是一种用于计算设备的规范，它是一个虚构出来的计算机，是通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机包括一套字节码指令集、一组寄存器、一个栈、一个垃圾回收堆和一个存储方法域。 JVM屏蔽了与具体操作系统平台相关的信息，使Java程序只需生成在Java虚拟机上运行的目标代码（字节码）,就可以在多种平台
SQL中ON和WHERE的区别 avords
SQL中ON和WHERE的区别数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。 www.2cto.com 在使用left jion时，on和where条件的区别如下： 1、 on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。
说说自信 houxinyou 工作生活
自信的来源分为两种,一种是源于实力,一种源于头脑.实力是一个综合的评定,有自身的能力,能利用的资源等.比如我想去月亮上,要身体素质过硬,还要有飞船等等一系列的东西.这些都属于实力的一部分.而头脑不同,只要你头脑够简单就可以了!同样要上月亮上,你想,我一跳,1米,我多跳几下,跳个几年,应该就到了!什么?你说我会往下掉?你笨呀你!找个东西踩一下不就行了吗? 无论工作还
WEBLOGIC事务超时设置 bijian1013 weblogic jta 事务超时
系统中统计数据，由于调用统计过程，执行时间超过了weblogic设置的时间，提示如下错误：统计数据出错! 原因：The transaction is no longer active - status: 'Rolling Back. [Reason=weblogic.transaction.internal
两年已过去，再看该如何快速融入新团队 bingyingao java 互联网融入架构新团队
偶得的空闲，翻到了两年前的帖子该如何快速融入一个新团队，有所感触，就记下来，为下一个两年后的今天做参考。时隔两年半之后的今天，再来看当初的这个博客，别有一番滋味。而我已经于今年三月份离开了当初所在的团队，加入另外的一个项目组，2011年的这篇博客之后的时光，我很好的融入了那个团队，而直到现在和同事们关系都特别好。大家在短短一年半的时间离一起经历了一
【Spark七十七】Spark分析Nginx和Apache的access.log bit1129 apache
Spark分析Nginx和Apache的access.log，第一个问题是要对Nginx和Apache的access.log文件进行按行解析，按行解析就的方法是正则表达式： Nginx的access.log解析正则表达式 val PATTERN = """([^ ]*) ([^ ]*) ([^ ]*) (\\[.*\\]) (\&q
Erlang patch bookjovi erlang
Totally five patchs committed to erlang otp, just small patchs. IMO, erlang really is a interesting programming language, I really like its concurrency feature. but the functional programming style
log4j日志路径中加入日期 bro_feng java log4j
要用log4j使用记录日志，日志路径有每日的日期，文件大小5M新增文件。实现方式 log4j: <appender name="serviceLog" class="org.apache.log4j.RollingFileAppender"> <param name="Encoding" v
读《研磨设计模式》-代码笔记-桥接模式 bylijinnan java 设计模式
声明：本文只为方便我个人查阅和理解，详细的分析以及源代码请移步原作者的博客http://chjavach.iteye.com/ /** * 个人觉得关于桥接模式的例子，蜡笔和毛笔这个例子是最贴切的：http://www.cnblogs.com/zhenyulu/articles/67016.html * 笔和颜色是可分离的，蜡笔把两者耦合在一起了：一支蜡笔只有一种
windows7下SVN和Eclipse插件安装 chenyu19891124 eclipse插件
今天花了一天时间弄SVN和Eclipse插件的安装，今天弄好了。svn插件和Eclipse整合有两种方式，一种是直接下载插件包，二种是通过Eclipse在线更新。由于之前Eclipse版本和svn插件版本有差别，始终是没装上。最后在网上找到了适合的版本。所用的环境系统：windows7JDK：1.7svn插件包版本：1.8.16Eclipse：3.7.2工具下载地址：Eclipse下在地址：htt
[转帖]工作流引擎设计思路 comsci 设计模式工作应用服务器 workflow 企业应用
作为国内的同行，我非常希望在流程设计方面和大家交流，刚发现篇好文(那么好的文章，现在才发现，可惜)，关于流程设计的一些原理，个人觉得本文站得高，看得远，比俺的文章有深度，转载如下 ================================================================================= 自开博以来不断有朋友来探讨工作流引擎该如何
Linux 查看内存，CPU及硬盘大小的方法 daizj linux cpu 内存硬盘大小
一、查看CPU信息的命令 [root@R4 ~]# cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id" model name : Intel(R) Xeon(R) CPU X5450 @ 3.00GHz model name :
linux 踢出在线用户 dongwei_6688 linux
两个步骤： 1.用w命令找到要踢出的用户，比如下面： [root@localhost ~]# w 18:16:55 up 39 days, 8:27, 3 users, load average: 0.03, 0.03, 0.00 USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
放手吧,就像不曾拥有过一样 dcj3sjt126com
内容提要：静悠悠编著的《放手吧就像不曾拥有过一样》集结“全球华语世界最舒缓心灵”的精华故事，触碰生命最深层次的感动，献给全世界亿万读者。《放手吧就像不曾拥有过一样》的作者衷心地祝愿每一位读者都给自己一个重新出发的理由，将那些令你痛苦的、扛起的、背负的，一并都放下吧！把憔悴的面容换做一种清淡的微笑，把沉重的步伐调节成春天五线谱上的音符，让自己踏着轻快的节奏，在人生的海面上悠然漂荡，享受宁静与
php二进制安全的含义 dcj3sjt126com PHP
PHP里，有string的概念。 string里，每个字符的大小为byte（与PHP相比，Java的每个字符为Character，是UTF8字符，C语言的每个字符可以在编译时选择）。 byte里，有ASCII代码的字符，例如ABC，123，abc，也有一些特殊字符，例如回车，退格之类的。特殊字符很多是不能显示的。或者说，他们的显示方式没有标准，例如编码65到哪儿都是字母A，编码97到哪儿都是字符
Linux下禁用T440s，X240的一体化触摸板(touchpad) gashero linux ThinkPad 触摸板
自打1月买了Thinkpad T440s就一直很火大，其中最让人恼火的莫过于触摸板。 Thinkpad的经典就包括用了小红点(TrackPoint)。但是小红点只能定位，还是需要鼠标的左右键的。但是自打T440s等开始启用了一体化触摸板，不再有实体的按键了。问题是要是好用也行。实际使用中，触摸板一堆问题，比如定位有抖动，以及按键时会有飘逸。这就导致了单击经常就
graph_dfs hcx2013 Graph
package edu.xidian.graph; class MyStack { private final int SIZE = 20; private int[] st; private int top; public MyStack() { st = new int[SIZE]; top = -1; } public void push(i
Spring4.1新特性——Spring核心部分及其他 jinnianshilongnian spring 4.1
目录 Spring4.1新特性——综述 Spring4.1新特性——Spring核心部分及其他 Spring4.1新特性——Spring缓存框架增强 Spring4.1新特性——异步调用和事件机制的异常处理 Spring4.1新特性——数据库集成测试脚本初始化 Spring4.1新特性——Spring MVC增强 Spring4.1新特性——页面自动化测试框架Spring MVC T
配置HiveServer2的安全策略之自定义用户名密码验证 liyonghui160com
具体从网上看 http://doc.mapr.com/display/MapR/Using+HiveServer2#UsingHiveServer2-ConfiguringCustomAuthentication LDAP Authentication using OpenLDAP Setting
一位30多的程序员生涯经验总结 pda158 编程工作生活咨询
1.客户在接触到产品之后，才会真正明白自己的需求。　　这是我在我的第一份工作上面学来的。只有当我们给客户展示产品的时候，他们才会意识到哪些是必须的。给出一个功能性原型设计远远比一张长长的文字表格要好。 2.只要有充足的时间，所有安全防御系统都将失败。　　安全防御现如今是全世界都在关注的大课题、大挑战。我们必须时时刻刻积极完善它，因为黑客只要有一次成功，就可以彻底打败你。 3.
分布式web服务架构的演变自由的奴隶 linux Web 应用服务器互联网
最开始，由于某些想法，于是在互联网上搭建了一个网站，这个时候甚至有可能主机都是租借的，但由于这篇文章我们只关注架构的演变历程，因此就假设这个时候已经是托管了一台主机，并且有一定的带宽了，这个时候由于网站具备了一定的特色，吸引了部分人访问，逐渐你发现系统的压力越来越高，响应速度越来越慢，而这个时候比较明显的是数据库和应用互相影响，应用出问题了，数据库也很容易出现问题，而数据库出问题的时候，应用也容易
初探Druid连接池之二——慢SQL日志记录 xingsan_zhang 日志连接池 druid 慢SQL
由于工作原因，这里先不说连接数据库部分的配置，后面会补上，直接进入慢SQL日志记录。 1.applicationContext.xml中增加如下配置： <bean abstract="true" id="mysql_database" class="com.alibaba.druid.pool.DruidDataSourc