最优化第20页

NLP-Beginner 任务一：基于机器学习的文本分类(超详细！！)

NLP-Beginner任务一：基于机器学习的文本分类传送门一.介绍1.1任务简介1.2数据集1.3流程介绍二.特征提取2.1词袋特征（Bag-of-word）2.2N元特征（N-gram）三.最优化求解

0oTedo0·2023-01-26 07:09

Least Squares Fitting最小二乘法拟合(1)

文章目录LeastSquaresFitting1.1介绍1.2最小二乘法最佳拟合元素1.3最优化1.3.1线性最小二乘法1.3.2正规方程1.3.3特征向量与奇异值的分解1.3.4高斯牛顿法2.最小二乘法最佳拟合直线

树和猫·2023-01-24 11:49

智能优化算法之模拟退火算法（SA）的实现（Python附源码）

由于模拟退火算法在理论上具有概率全局最优化的能力，因此它在工程控制、生产调度、信号处理、机器学习等诸多领域都得到了广泛的应用。模拟退火算法中涉及到的概念主要有三个，这三个分别为目标函数、接受

七层楼的疯子·2023-01-23 01:40

python人工智能数据算法（下）

文章目录差分法逼近微分背景引入差分法简介差分的不同形式及其代码实现蒙特卡罗方法背景引入蒙特卡罗方法原理蒙特卡罗方法应用计算圆周率计算定积分梯度下降算法算法简介方向导数与梯度梯度下降基于梯度下降算法的线性回归算法总结差分法逼近微分背景引入几乎所有的机器学习算法在训练或者预测式都是求解最优化问题

心随而动·2023-01-21 17:12

“深度学习”学习日记。与学习相关的技巧 -- 参数的更新

2023.1.20在神经网络的学习这一章，学习过了利用梯度下降法对参数进行更新，目的是找到是损失函数的值尽量小的参数；像解决这样的问题称为最优化。

Anthony陪你度过漫长岁月·2023-01-21 14:47

一维搜索的python实现

当迭代前后的x的差值的绝对值小于delta时，认为已经收敛，终止迭代s：ax[0]的散点的大小，默认为3alpha：ax[0]的散点的透明度，默认为0.5求解一维搜索问题的过程：在func函数中设置需要最优化的函数表达式设

ersanwuqi·2023-01-21 08:24

最优化理论与方法_《数值与最优化方法》（目录）

目录《数值与最优化方法》（一）包括：一.无约束最优化计算方法1.1数学基础1.1.1等值线；1.1.2可微与梯度；1.1.3方向导数；1.1.4Hesse矩阵；1.1.5多元函数的Taylor展开；1.1.6

weixin_39861918·2023-01-21 08:15

遗传算法及python实现

目录一、遗传算法概念二、遗传算法应用实例基础概念：1、种群和个体：2、编码、解码与染色体：3、适应度和选择：4、交叉、变异：三、遗传算法python完整代码“适者生存，不适者淘汰”一、遗传算法概念用于解决最优化问题的一种搜索算法

某只旺仔·2023-01-20 18:38

CS231n 课程作业 Assignment Two（二）全连接神经网络（0820）

AssignmentTwo（二）全连接神经网络主要工作为：模块化设计、最优化更新的几种方法一、模块设计在A1中，实现了完全连接的两层神经网络。

阿桥今天吃饱了吗·2023-01-20 18:03

控制理论发展专题课程报告——关于神经网络（BP和RBF，含源代码）

而且本门课程涉及到其他多门课程，比如：信号与线性系统、最优化控制、鲁棒性能研究以及智能控制等等。

zztyxd·2023-01-20 08:05

人工智能基础——全局搜索方法

文章目录引言局部搜索算法爬山法模拟退火局部束搜索遗传算法连续空间中的局部搜索使用不确定动作搜索使用部分可观察信息搜索联机搜索问题总结引言这是最优化的内容，我们用状态（包含很多参数）描述一个对象。

季马宝宝·2023-01-20 05:27

Xilinx 7系列FPGA之Spartan-7产品简介

该系列采用TSMC（台积电）的28nmHPL工艺制造，将小尺寸架构的Xilinx7系列FPGA的广泛功能和符合RoHS标准的封装结合在一起，成为7系列家族产品中最优化的连接解决方案。

孤独的单刀·2023-01-19 16:52

图论及其应用学习笔记（一）图的基本概念

图的基本概念图的定义与图论模型图的定义图的相关概念图论模型图的同构完全图、偶图与补图子图的相关概念图运算顶点的度顶点的度及其性质图的度序列及其性质图的频序列及其性质记录一下这门课程的知识点和个人理解，参考资料为这门课老师的讲解、电子科大杨春老师的PPT，以及《图论与网络最优化算法

Asafield·2023-01-19 10:05

CVXPY使用指南

近期工作中遇到了求解最优化问题的业务场景，所以学习了下CVXPY，专门用来求解最优化问题的工具。个人觉得cvxpy还是很强大的，极大的减少了coding的代码，调用也方便，非常实用。

Just Jump·2023-01-19 07:25

第二次培训之遗传算法

一、遗传算法概述遗传算法主要用于求解最优化问题，即优化一个目标函数。它主要运用了生物界种群进化、繁

zadarmo_·2023-01-19 02:45

正则化和最优化Regularization and Optimization

我们已经介绍了图像分类问题中最重要的两个组成部分——scorefunction和lossfunction，具体的内容可见线性分类LinearClassification，下面我们将介绍最优化问题，即如何选择

elfighting·2023-01-18 11:30

softmax（二）：softmax交叉熵不是真正的目标函数

从最优化的角度看待Softmax损失函数Softmax理解之Smooth程度控制一、优化的目标函数做分类的都知道，softmax交叉熵，是常用的分类损失函数，那么，它是怎么来的呢？

仙女修炼史·2023-01-18 03:22

2.1.SVM线性分类器

文章目录1.笔记总结1.1.SmallQuestions1.1.1.图像xi的定义，行列的问题1.1.2.np.hstack函数1.1.3.np.random.randn(）正态分布随机数函数1.2.最优化损失函数

Cc1924·2023-01-17 17:08

Lesson 1. 线性回归模型的一般实现形式

文章目录一、线性回归模型建模准备1.数据准备2.模型准备二、线性回归模型训练1.模型训练的本质：有方向的参数调整1.1模型训练与模型参数调整1.2模型评估指标与损失函数1.3损失函数与参数求解2.利用最优化方法求解损失函数

虚心求知的熊·2023-01-17 12:43

无约束最优化问题

估计有些读者看到这个题目的时候会觉得很数学，和自然语言处理没什么关系，不过如果你听说过最大熵模型、条件随机场，并且知道它们在自然语言处理中被广泛应用，甚至你明白其核心的参数训练算法中有一种叫LBFGS，那么本文就是对这类用于解无约束优化算法的Quasi-NewtonMethod的初步介绍。事实上，这个系列的作者是我的师兄jianzhu，他在中文分词、语言模型方面的研究很深入，如果大家对于srilm

吕秀才·2023-01-17 07:00

统计学 | 最大似然估计与EM算法（持续更新）

文章目录参考资料1.最大似然估计1.1原理1.2示例2.EM算法2.1原理2.2示例参考资料统计计算中的优化问题1.最大似然估计1.1原理统计中许多问题的计算最终都归结为一个最优化问题，典型代表是最大似然估计

CZ一星弱火·2023-01-16 21:04

逻辑回归中的梯度下降法

梯度下降法：该算法是一个一阶最优化算法，通过向函数上当前点对应梯度（或近似梯度）的反方向的规定步长距离点进行迭代搜索找到一个函数的局部极小值。

流泪的猪·2023-01-16 17:50

收藏 | 机器学习最全知识点汇总（万字长文）

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达1.列举常用的最优化方法梯度下降法牛顿法，拟牛顿法坐标下降法梯度下降法的改进型如AdaDelta，AdaGrad，Adam，NAG等

小白学视觉·2023-01-16 15:17

【收藏】机器学习与深度学习核心知识点总结

阅读大概需要33分钟跟随小博主，每天进步一丢丢来源|SIGAI数学1.列举常用的最优化方法梯度下降法牛顿法，拟牛顿法坐标下降法梯度下降法的改进型如AdaDelta，AdaGrad，Adam，NAG等。

zenRRan·2023-01-16 15:17

神经网络基础部件-损失函数详解

一，损失函数概述大多数深度学习算法都会涉及某种形式的优化，所谓优化指的是改变xxx以最小化或最大化某个函数f(x)f(x)f(x)的任务，我们通常以最小化f(x)f(x)f(x)指代大多数最优化问题。

嵌入式视觉·2023-01-16 12:48

【深度学习与计算机视觉】3、最优化与梯度下降

三、最优化与梯度下降上一节深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器中提到两个对图像识别至关重要的概念：用于把原始像素信息映射到不同类别得分的得分函数/scorefunction用于评估参数

呆呆的猫·2023-01-16 12:46

机器学习：《李航统计学方法》二

并且感知机学习算法是基于随机梯度下降法的对损失函数的最优化算

关切得大神·2023-01-16 08:00

文末送书 | 李航老师新作！机器学习经典著作《统计学习方法》全新升级

机器学习是以概率论、统计学、信息论、最优化理论、计算理论等为基础的计算机应用理论学

PaperWeekly·2023-01-16 08:59

数据分析-深度学习 Pytorch Day5

李宏毅《机器学习》第6讲——梯度下降Review:梯度下降法在回归问题的第三步中，需要解决下面的最优化问题：我们要找一组参数θ，让损失函数越小越好，这个问题可以用梯度下降法解决。

小浩码出未来！·2023-01-16 08:51

gitchat训练营15天共度深度学习入门课程笔记(九)

weixin_43114885·2023-01-16 08:50

gitchat训练营15天共度深度学习入门课程笔记(十)

weixin_43114885·2023-01-16 08:50

线性回归算法-1.简单线性回归原理

线性回归算法解决回归问题思想简单，实现容易许多强大的非线性模型的基础结果具有很好的解释性蕴含机器学习中很多重要的思想一类机器学习算法的思路：通过分析问题，找到问题的损失函数或者效用函数，通过最优化损失函数或者效用函数

weixin_30527323·2023-01-16 00:07

python机器学习实战_python机器学习实战（四）

前言这篇notebook是关于机器学习中logistic回归，内容包括基于logistic回归和sigmoid分类，基于最优化方法的最佳系数确定，从疝气病症预测病马的死亡率。

weixin_39637545·2023-01-15 17:28

啃书-《机器学习实战》：Logistic回归

目录1.简介2.sigmoid函数3.基于最优化方法的最佳回归系数确定3.1梯度上升法3.2训练算法：使用梯度上升找到最佳参数3.3分析数据：画出决策边界3.4训练算法：随机梯度上升4.示例：从疝气病症预测病马的死亡率

一根头发学一年·2023-01-15 17:27

机器学习（三）Logistic回归

Logistic回归1.Logistic回归概述1.1Logistic回归的一般过程：2.基于Logistic回归和Sigmoid函数的分类2.1Sigmoid函数3.基于最优化方法的最佳回归系数确定3.1

温蒂公主的侍卫·2023-01-15 17:26

【从零开始的机器学习】-06 多元线性回归问题

在本章，我们将运用这些操作，实现多元线性回归问题的参数最优化和预测。1.什么是多元线性回归问题？在之前的章节里，我们以“用房屋面积来预测房价”为例，介绍了一元线性回归问题。

cyoushika_Nara·2023-01-15 11:17

模拟退火

模拟退火1.模拟退火原理原理模拟退火：是一种随机算法，用于解决最优化问题。要求求解的问题对应的函数要有连续性。模拟退火算法是模拟物理过程，有如下参数：（1）温度t：即步长。

你好世界wxx·2023-01-14 18:43

模拟退火算法求解最优化问题

目录0引言1模拟退火算法理论1.1模拟退火算法的起源1.2物理退火过程1.3模拟退火原理1.4模拟退火算法思想2实例描述2.1TSP旅行商问题2.1.1问题描述2.1.2解空间2.1.3新解的产生2.1.4目标函数2.2背包问题2.2.1问题描述2.2.2具体实现2.2.3结果展示3总结0引言在优化领域中，根据变量性质的不同大体可以分为两类:—类是包含连续变量的优化问题;另一类是包含整数变量的优化

想好好学习天天向上·2023-01-14 18:42

Bellman Equation 贝尔曼方程

Bellmanequation(贝尔曼方程)，是以RichardE.Bellman命名，是数值最优化方法的一个必要条件，又称为动态规划。

eowyn0406·2023-01-14 12:37

数值优化（Numerical Optimization）学习系列-计算导数（Calculating Derivatives）

概述最优化问题中很多算法，包括非线性最优化、非线性等式等都需要计算导数。简单函数可以直接进行人工计算或者编码实现，对于复杂的情况，需要寻找一些方法进行计算或者近似。

下一步·2023-01-14 10:40

sklearn GridSearchCV网格搜索和SVM的两个参数 C 和 gamma

GridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化的结果和参数。GridSearchCV用于系统地遍历多种参数组合，通过交叉验证确定最佳效果参数。

写bug的程旭源·2023-01-14 03:20

线性代数笔记-线性空间和矩阵复习

复习思路这次复习线性代数是为了给机器学习、数值分析、最优化理论三门课程打基础（这三门课程里面的矩阵使用实在太多、太深）。具体来说是要对行列式、矩阵运算、矩阵分解、线性变换里面的基础概念记忆。

杨湘睿·2023-01-14 01:18

随即森林/Extra-Tress/回归问题

随机森林key:随机森林value:基模型为DecisionTree的Bagging进一步增强随机性value:DecisionTreevalue：最优维度、最优阈值更快的训练速度（不用最优化分）fromsklearn.ensembleimportRandomForestClassifierrf_clf

HonourXin·2023-01-13 21:13

智能优化 | MATLAB实现CS-ANN布谷鸟优化人工神经网络算法

MATLAB实现CS-ANN布谷鸟优化人工神经网络算法效果一览基本介绍算法步骤程序设计参考资料效果一览基本介绍CS算法是通过模拟某些种属布谷鸟的寄生育雏（BroodParasitism），来有效地求解最优化问题的算法

机器学习之心·2023-01-13 21:44

运筹学vs机器学习

所以也有人称之为最优化技术。机器学习研究的问题是如何从

Garvin Li·2023-01-13 13:14

Opencv之---棋盘格角点检测算法源码解析

然后利用定义的棋盘能量函数来从4个外沿生长棋盘格，取其中能量最小（最可能是棋盘）的方向作为新的棋盘，以此类推，最后得到一个最优化的

明月醉窗台·2023-01-13 11:42

2-1 组合优化问题

1.1组合优化问题定义首先，我们通过定义对实例和问题做一个区分：定义1.1（最优化问题的实例）一个最优化问题的一个实例是一个二元组(F,c)(F,c)(F,c)，其中FFF是一个集合，ccc是代价函数

Diongbiubiu·2023-01-13 11:06

共轭梯度法的简单直观理解

二次型将Ax=b问题转化为最优化问题拓展：改进——预处理的共轭梯度法参考资料本文是参考以下内容，结合自己的理解做的笔记。请尽量直接访问下述网页。矩

beidou111·2023-01-13 11:36

xgboost算法_第七章 xgboost算法-深入了解xgboost

下面我们来一窥究竟xgboost算法的底层原理，在进一步介绍之前我们有必要对以下几个知识点进行准备，一是cart树，二是导数，三是最优化，看起来好像很枯燥很高深的样子，不要怕，每一部分我们都从简说明。

weixin_39836803·2023-01-13 01:51

反向传播算法过程推导

反向传播算法反向传播算法（BackPropagationAlgorithm）的定义：反向传播（Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的

卿与·2023-01-12 12:48

推荐频道

最优化