stesha_chen
stesha_chen

广义线性模型(Generalized Linear Models)-cs229 lecture4

学习cs229时看到了广义线性模型，所谓广义，应该就是使用这个模型可以将大多数的概率分布模型统一化，可以使用这个模型推导出像sigmoid,softmax之类的函数形式。在这里记录一下学到的相关内容，便于以后回顾。

指数族

概率统计中的很多分布都可以表示为指数族的形式，指数族的通用表示如下：

p(y;\eta)=b(y)exp(\eta^{T}T(y) - a(\eta))    （1）

其中\eta是这个分布的natural parameter或者叫做cononical parameter。

T(y)是sufficient statistic，一般情况下T(y)=y

a(\eta)是log partition function

T,a,b固定后就决定了一种分布集，\eta是这个分布集的参数。比如伯努利分布，p(y=1;\phi ) = \phi，其中\phi就是伯努利分布中的可变参数，代表着伯努利分布中的不同分布形态。而固定某组T,a,b可以将指数族变为伯努利形式。并且\phi与\eta是相关的。

结构GLMs

我们的目的是通过给定的x来估计出y，为此我们有三个假设，或者叫做我们模型的设计：

  1. y|x;\theta服从指数族分布
  2. 给定x，我们希望预测T(y)，因为大多数情况下T(y)=y，这就意味着我们希望假设函数h(x) = E(y|x)
  3. 指定\eta=\theta^{T}x

使用指数族的表示形式和这三条假定来推导三种模型

普通最小二乘法

最小二乘法是用来解决y是连续值的情况，我们可以假定y是服从高斯分布\mathbb{N}(\mu,\sigma^{2})，而高斯分布是指数族的一种，推导公式如下：

p(y;\mu)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y-\mu)^{2}}{2\sigma^{2}}}

\sigma对于这个式子而言是缩放因子，为了简化推导可以假设其为1，如果不使用这个假设结果没有差别，只是需要加上\sigma作为一个因子。

p(y;\mu)=\frac{1}{\sqrt{2\pi}}e^{-\frac{(y-\mu)^{2}}{2}}=\frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y^{2}}e^{(\mu y-\frac{1}{2}\mu^{2})}

对比公式1，其实可以看出如果b(y) = \frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}y^{2}}，T(y)=y，\eta=\mu(因为\mu是实数，所以转置是一样的效果)，a(\eta) = \frac{1}{2}\mu^{2} = \frac{1}{2}\eta^{2}那么高斯分布就是指数族中的一种。

而h(x) = E(y|x)=\mu=\eta=\theta^{T}x

这样就推导除了最小二乘法时的假设函数就是h(x)=\theta^{T}x

逻辑回归

逻辑回归的y取值只能是0或者1，很自然我们可以把y的分布假设为伯努利分布。

p(y;\phi) = \phi^{y}(1-\phi)^{(1-y)}

= e^{log(\phi^{y}(1-\phi)^{(1-y)})}= e^{ylog\phi + (1-y)log(1-\phi)}= exp(ylog\phi+(1-y)log(1-\phi))

= exp(ylog(\frac{\phi}{1-\phi})+log(1-\phi))

对比公式1，可以看出如果b(y) = 1，T(y)=y，\eta=log(\frac{\phi}{1-\phi})，a(\eta) = -log(1-\phi)

通过\eta=log(\frac{\phi}{1-\phi})可以推导出\phi=\frac{1}{1+e^{-\eta}}

而h(x) = E(y|x)=\phi=\frac{1}{1+e^{-\eta}}=\frac{1}{1+e^{-\theta^{T}x}}

与我们逻辑回归中设计的sigmoid是一至的形式。

softmax回归

softmax回归是相对逻辑回归的扩展，逻辑回归中y只能取值0或者1，而softmax回归中y可以取值1,2，...，k，一种有k种可能性，这种需求在实际中应用也是非常的光。

y对每一种可能性的概率为\phi_i，i取值从1到k，并且有\sum_{i=1}^{k}\phi_i=1，所以我们只需要\phi_1,\phi_2,...,\phi_{k-1}个变量就可以表达所有概率

p(y=1;\phi) = \phi_1

p(y=2;\phi)=\phi_2

...

p(y=k-1;\phi)=\phi_{k-1}

p(y=k;\phi)=1-\sum_{i=1}^{k-1}\phi_i

为了能够表达为指数族的形式，我们定义T(y)\in \mathbb{R}^{k-1}

T(1)=\begin{bmatrix} 1\\ 0\\ 0\\ ...\\ 0 \end{bmatrix}，T(2)=\begin{bmatrix} 0\\ 1\\ 0\\ ...\\ 0 \end{bmatrix}，T(3)=\begin{bmatrix} 0\\ 0\\ 1\\ ...\\ 0 \end{bmatrix}，...，广义线性模型(Generalized Linear Models)-cs229 lecture4_第1张图片，T(k)=\begin{bmatrix} 0\\ 0\\ 0\\ ...\\ 0 \end{bmatrix}

T(y)_i表示T(y)向量的第i个元素。引进一个符号1\left \{ . \right \}，括号内如果为True，那么这个值为1，括号内如果为False，那么这个值为0

1\left \{ True \right \}=1，1\left \{ False \right \}=0

那么T(y)_i=1\left \{ y=i \right \}，因为当y为i时，T(y)的第i项为1，当y不等于i的时候T(y)的第i项肯定为0

E[T(y)_i] = p(y=i)=\phi_i

p(y;\phi)=\phi_1^{1\left \{ y=1 \right \}}\phi_2^{1\left \{ y=2 \right \}}...\phi_{k-1}^{1\left \{ y=k-1 \right \}}\phi_k^{1\left \{ y=k \right \}}因为y的取值会是1到k之间，如果y为1，那么其他项\phi_2^{1\left \{ y=2 \right \}}...\phi_{k-1}^{1\left \{ y=k-1 \right \}}\phi_k^{1\left \{ y=k \right \}}都会是1

而\sum_{i=1}^{k}1\left \{ y=i\right \}=1因为y只会取其中一个值，所以求和的所有式子中只有一个为1，其他为0，将这个式子代入上面的式子可以得到

p(y;\phi)=\phi_1^{1\left \{ y=1 \right \}}\phi_2^{1\left \{ y=2 \right \}}...\phi_{k-1}^{1\left \{ y=k-1 \right \}}\phi_k^{1-\sum_{i=1}^{k-1}1\left \{ y=i \right \}}

=\phi_1^{T(y)_1}\phi_2^{T(y)_2}...\phi_{k-1}^{T(y)_{k-1}}\phi_k^{1-\sum_{i=1}^{k-1}T(y)_i}

=exp[T(y)_1log\phi_1+T(y)_2log\phi_2+...+T(y)_{k-1}log\phi_{k-1}+(1-\sum_{i=1}^{k-1}T(y)_i)log\phi_k]合并式子

=exp[T(y)_1log(\phi_1/\phi_k)+T(y)_2log(\phi_2/\phi_k) + ...+T(y)_{k-1}log(\phi_{k-1}/\phi_k)+log\phi_k]

跟指数族的公式比较，可以得到

b(y)=1

\eta=\begin{bmatrix} log(\phi_1/\phi_k)\\ log(\phi_2/\phi_k)\\ ...\\ log(\phi_{k-1}/\phi_k) \end{bmatrix}

a(\eta) = -log\phi_k

所以\eta_i=log(\phi_i/\phi_k)，因此\phi_i=e^{\eta_i}\phi_k

而\sum_{j=1}^{k}\phi_j=1，所以\phi_k\sum_{j=1}^{k}e^{\eta_j}=1，因此\phi_k=\frac{1}{\sum_{j=1}^{k}e^{\eta_j}}代入上一行的式子可以得到

\phi_i=\frac{e^{\eta_i}}{\sum_{j=1}^{k}e^{\eta_j}}

p(y=i|x;\theta)=\phi_i=\frac{e^{\eta_i}}{\sum_{j=1}^{k}e^{\eta_j}}=\frac{e^{\theta_i^{T}x}}{\sum_{j=1}^{k}e^{\theta_j^{T}x}}

下面开始推导h(\theta)

h(\theta)=E[T(y)|x;\theta]

广义线性模型(Generalized Linear Models)-cs229 lecture4_第2张图片

这就是softmax函数的形式，可以预测多分类问题。

其实广义线性模型还可以用来分析很多其他的分布，因为并不常用，这里就不推导了。之前看了很久的sigmoid，softmax，在这里总算找到出处，也算是收货满满。

 

你可能感兴趣的:(机器学习算法)

  • 线性回归和逻辑回归对比学习-含代码和数据 M.D 线性回归逻辑回归学习
    线性回归和逻辑回归是两种常见的机器学习算法，它们在一些方面相似，但在其他方面则有明显的不同。以下是它们的对比以及您提供的代码示例：线性回归(LinearRegression)线性回归用于预测连续的数值。这种模型假设自变量和因变量之间存在线性关系。fromsklearn.linear_modelimportLinearRegressionimportmatplotlib.pyplotaspltimp
  • 基于Python和OpenCV的产品码识别与验证案例 GT开发算法工程师 pythonopencv开发语言人工智能计算机视觉
    引言：本案例展示了如何使用Python结合OpenCV库来实现产品码的识别与验证。首先，通过图像预处理技术（如灰度化、二值化、降噪等）优化产品码图像，然后利用OpenCV中的模板匹配或机器学习算法（如SVM、神经网络等）来定位并识别产品码。目录原理：代码部分：注意：原理：产品码识别与验证的核心在于图像处理与模式识别技术。首先，通过图像处理技术提取出产品码区域，去除背景干扰，增强产品码的可识别性。然
  • 机器学习、深度学习、神经网络之间的关系 你好，工程师 AI机器学习
    机器学习（MachineLearning）、深度学习（DeepLearning）和神经网络（NeuralNetworks）之间存在密切的关系，它们可以被看作是一种逐层递进的关系。下面简要介绍它们之间的关系：机器学习（MachineLearning）：机器学习是一种人工智能的分支，关注如何通过数据让计算机系统从经验中学习，提高性能。机器学习算法可以分为监督学习、无监督学习、半监督学习和强化学习等不同
  • 随机森林原理&sklearn实现 一稻道人 机器学习算法&预测模型Python随机森林sklearn算法
    原理定义随机森林就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，而它的本质属于机器学习的一大分支——集成学习（EnsembleLearning）方法。随机森林的名称中有两个关键词，一个是“随机”，一个就是“森林”。随机森林应该是机器学习算法时最先接触到的集成算法，集成学习的家族：Bagging：个体评估器之间不存在强依赖关系，一系列个体学习器可以并行生成。代表算法：随机森林（R
  • 机器学习是什么 MarkHD 机器学习
    机器学习是一门跨学科的学科，它使用计算机模拟或实现人类学习行为，通过不断地获取新的知识和技能，重新组织已有的知识结构，从而提高自身的性能。机器学习涉及多个学科，如概率论、统计学、逼近论、凸分析、算法复杂度理论等。机器学习的主要任务是指导计算机从数据中学习，然后利用经验来改善自身的性能，不需要进行明确的编程。机器学习算法会不断进行训练，从大型数据集中发现模式和相关性，然后利用这些模式来预测新数据的结
  • 【机器学习案例4】为机器学习算法编码分类数据【含源码】 suoge223 机器学习实用指南机器学习算法分类
    目录编码分类数据序数编码标签编码一次性编码目标编码目标编码的优点目标编码的缺点在现实生活中，收集的原始数据很少采用我们可以直接用于机器学习模型的格式，即数值型数据。因此，需要进行一些预处理，以便以正确的格式呈现数据、选择信息丰富的数据或降低其维度，以便能够最大限度地提取数据。在这篇文章中，我们将讨论对原始数据的编码方式，以便能够使用分类数据作为我们的ML模型的特征，还将讨论数据编码的类型以及对应的
  • 文本分类算法能够应用于哪些领域？真实项目场景介绍 思通数科x 分类数据挖掘人工智能多分类
    我们有幸参与了多个涉及分类算法的项目，这些项目覆盖了多个行业，展示了分类算法的广泛应用和巨大潜力。下面我为大家介绍几个实际的真实项目案例：1.某城市档案馆我们为一线某城市的档案馆开发了一个智能分类系统。这个系统能够自动识别和分类158种不同类型的公文，极大地提高了档案管理的效率。通过机器学习算法，我们训练了一个模型，它能够理解公文的内容和格式，从而实现快速且准确的分类。这不仅减少了人工分类的时间，
  • Elasticsearch：什么是 kNN? Elastic 中国社区官方博客 ElasticsearchAIElasticelasticsearch大数据搜索引擎全文检索人工智能
    kNN-K-nearestneighbor定义kNN（即k最近邻算法）是一种机器学习算法，它使用邻近度将一个数据点与其训练并记忆的一组数据进行比较以进行预测。这种基于实例的学习为kNN提供了“惰性学习（lazylearning）”名称，并使算法能够执行分类或回归问题。kNN的假设是相似的点可以在彼此附近找到——物以类聚。作为一种分类算法，kNN将新数据点分配给其邻居中的多数集。作为一种回归算法，k
  • 深度学习与机器学习的关系 数字化信息化智能化解决方案 深度学习机器学习人工智能
    深度学习和机器学习的关系深度学习是机器学习的一个子领域，专注于使用神经网络，特别是深度神经网络（DNN）来解决各种问题。可以说，深度学习是机器学习的一种方法或技术。两者都致力于通过从数据中提取有用的信息或模式来自动改进算法的性能。机器学习涵盖了更广泛的算法和技术，包括决策树、支持向量机、随机森林、聚类算法等，而深度学习则专注于神经网络和相关的优化技术。优缺点比较机器学习：优点：通用性：机器学习算法
  • 学习笔记：机器学习之决策树 萌龙如我们 机器学习机器学习决策树学习
    0引入决策树是一种归纳式的机器学习算法,可用于分类和回归任务。比如生活中的选男朋友的例子，是否决定将自己托付终生给那个他，就是个二分类问题。考量一个人有很多考量属性，年龄、长相、收入等等。决策树可以帮做做出决策，经过一个个if-then规则后可得到答案。大部分人会首先考虑年龄，认为这是一个首要考虑的指标，年纪太大可能直接Pass了，年龄合适，再继续考量后边的指标。决策树算法就是建立一个模型去帮你做
  • AI手机是什么原理 小黄人软件 人工智能智能手机
    AI手机，即搭载人工智能技术的智能手机，基于几个核心原理和技术来提升用户体验和手机的智能化程度。这些原理主要包括：机器学习和深度学习：AI手机利用机器学习算法，尤其是深度学习模型，来分析和理解用户数据（如照片、视频、文本和语音）。这些技术使得手机能够提供个性化的用户体验，比如智能推荐、语音识别和图像识别。自然语言处理（NLP）：AI手机使用NLP技术来理解和生成人类语言，使得用户可以通过语音命令与
  • 常用机器学习算法优缺点分析 一个数据人的自留地
    作者介绍@飞狐冲冲在国内知名央企负责AI算法建模类工作;曾经在京东、美团等大型互联网公司担任算法工程师的岗位;具有丰富的算法开发经验;“数据人创作者联盟”成员。机器学习无疑是当前数据分析领域的一个热点内容，其理论和方法已经广泛应用于解决工程应用的复杂问题，很多人在平时的工作中都或多或少会用到机器学习的算法。在机器学习领域，没有算法能完美地解决所有问题。比如说，神经网络并不是在任何情况下都能比决策树
  • 数据挖掘十大经典算法之KNN 我姓许啊
    一、knn介绍1.K最近邻(k-NearestNeighbor，KNN)分类算法，属于有监督学习中的分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。2.KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本
  • 【机器学习笔记】 6 机器学习库Scikit-learn RIKI_1 机器学习机器学习笔记scikit-learn
    Scikit-learn概述Scikit-learn是基于NumPy、SciPy和Matplotlib的开源Python机器学习包,它封装了一系列数据预处理、机器学习算法、模型选择等工具,是数据分析师首选的机器学习工具包。自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了，scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学习算法。
  • 【机器学习算法】KNN鸢尾花种类预测案例和特征预处理。全md文档笔记（已分享，附代码） 机器学习python算法
    本系列文章md笔记（已分享）主要讨论机器学习算法相关知识。机器学习算法文章笔记以算法、案例为驱动的学习，伴随浅显易懂的数学知识，让大家掌握机器学习常见算法原理，应用Scikit-learn实现机器学习算法的应用，结合场景解决实际问题。包括K-近邻算法，线性回归，逻辑回归，决策树算法，集成学习，聚类算法。K-近邻算法的距离公式，应用LinearRegression或SGDRegressor实现回归预
  • 单细胞转录组基础分析六：伪时间分析 Seurat_Satija
    本文是参考学习单细胞转录组基础分析六：伪时间分析的学习笔记。可能根据学习情况有所改动。Monocle进行伪时间分析的核心技术是一种机器学习算法——反向图形嵌入(ReversedGraphEmbedding)。它分析的前提需要一张展现细胞转录特征相似性关系的图，Monocle2使用DDTree降维图，Monocle3使用UMAP降维图。Monocle的机器学习算法可以依据上述降维图形，学习描述细胞如
  • Matlab DNN多层感知机进行图像分类——附源码分享 我是狮子搏兔 Predictionmatlabmatlabdnnpython
    提示：麻烦点赞，拒绝白嫖文章目录前言一、数据来源二、训练+预测_一步到位源码1.DNN.m总结前言Python不香吗？非得用matlab来搞机器学习的东西？不是不是，matlab也有集成了许多机器学习算法，当然，都是一些非常基础的机器学习算法。深度学习还是得向python看齐。今天试用了一下matlab自带的DNN模型，封装在newff函数里，寥寥几行代码，非常简洁。提示：以下是本篇文章正文内容，
  • 朴素贝叶斯算法 YuanDaima2048 机器学习算法学习算法机器学习人工智能深度学习pythonsklearn
    朴素贝叶斯算法一、基本概念二、算法及代码应用朴素贝叶斯NB算法分类算法区别其他机器学习算法：机器学习实战工具安装和使用一、基本概念朴素贝叶斯（NB）是一种基于贝叶斯定理与特征条件独立假设的分类算法。它被广泛应用于文本分类、垃圾邮件过滤等领域。朴素贝叶斯算法简单易懂，其核心思想是假设在给定目标值时，各个属性之间相互独立。在实际应用中，朴素贝叶斯算法在垃圾邮件过滤中表现出色。它不仅准确率高，而且速度快
  • 【机器学习】机器学习常见算法详解第4篇：KNN算法计算过程（已分享，附代码） 机器学习python算法
    本系列文章md笔记（已分享）主要讨论机器学习算法相关知识。机器学习算法文章笔记以算法、案例为驱动的学习，伴随浅显易懂的数学知识，让大家掌握机器学习常见算法原理，应用Scikit-learn实现机器学习算法的应用，结合场景解决实际问题。包括K-近邻算法，线性回归，逻辑回归，决策树算法，集成学习，聚类算法。K-近邻算法的距离公式，应用LinearRegression或SGDRegressor实现回归预
  • 初学者入门机器学习 (ML)的推荐教程 suoge223 机器学习实用指南机器学习人工智能
    目录1.机器学习简介2.机器学习和深度学习有什么区别？3.机器学习的日常应用4.类型和分类5.理解机器学习算法6.偏差和方差7.评估指标8.从头开始构建MLWeb应用程序9.ML和Python教程编辑了解基本的机器学习概念并不难。有大量免费的在线博客文章、视频和编码教程可以引导您了解基础知识——从介绍性内容到常见应用程序，再到算法和应用技能。这些博客和教程并非晦涩难懂的公式和理论，而是从开始的通俗
  • 机器学习材料性能预测与材料基因工程如何整？ cuiliuyun 机器学习基因工程复合材料机器学习人工智能python材料工程经验分享
    仍然那句话别再掉头发是我们的共同期望，我不想年纪轻轻就秃头传统的材料研发技术是通过实验合成表征对材料进行试错和验证，而过去的计算手段受限于算法效率，无法有效求解实际工业生产中面临的复杂问题。近几年随着大数据和人工智能介入，通过采用支持向量机、神经网络等机器学习算法训练数据集来构建模型，以预测材料的结构、吸附特性、电学特性、催化性能、力学特性和热力学特性等性能，大大推动了新型材料的发现和传统材料的更
  • 基于决策树的金融市场波动性预测与应用 OverlordDuke 机器学习决策树决策树算法机器学习
    基于决策树的金融市场波动性预测与应用项目背景与意义数据概述与分析数据来源数据特征数据预处理与特征工程模型训练与评估结果与应用总结LightGBM是一个机器学习算法库，用于梯度提升机（GradientBoostingMachine）的实现。梯度提升机是一种集成学习方法，通过串行训练多个弱学习器（通常是决策树），每次学习的模型都试图纠正前一次模型的错误，从而逐步提升整体模型的性能。LightGBM算法
  • Task 11 XGBoost 算法分析与案例调参实例 沫2021
    1.XGBoost算法XGBoost是陈天奇等人开发的一个开源机器学习项目，高效地实现了GBDT算法并进行了算法和工程上的许多改进，被广泛应用在Kaggle竞赛及其他许多机器学习竞赛中并取得了不错的成绩。XGBoost是一个优化的分布式梯度增强库，旨在实现高效，灵活和便携。它在GradientBoosting框架下实现机器学习算法。XGBoost提供了并行树提升（也称为GBDT，GBM），可以快速
  • Python的Sklearn库中的数据集 王荣胜z
    一、Sklearn介绍scikit-learn是Python语言开发的机器学习库，一般简称为sklearn，目前算是通用机器学习算法库中实现得比较完善的库了。其完善之处不仅在于实现的算法多，还包括大量详尽的文档和示例。其文档写得通俗易懂，完全可以当成机器学习的教程来学习。二、Sklearn数据集种类sklearn的数据集有好多个种自带的小数据集（packageddataset）：sklearn.d
  • 探索机器学习：定义、算法及应用领域 cooldream2009 AI技术机器学习机器学习算法人工智能
    目录前言1机器学习的定义2机器学习算法2.1监督学习2.2无监督学习2.3强化学习3机器学习的应用3.1智能搜索3.2医疗诊断3.3无人驾驶结语前言机器学习，源自ArthurSamuel的定义，赋予计算机通过领域学习的能力，使其在不需要明确程序的情况下不断进化。本文将深入探讨机器学习的定义、算法分类以及广泛应用的领域，从监督学习、无监督学习到强化学习，为读者全面解析机器学习的核心概念。1机器学习的
  • 机器为什么能学习(上) ringotc
    本篇文章是台湾大学《机器学习基石上》的课程笔记。以PLA算法为例，推导证明机器学习的可行性。问题概述机器学习在当前发展得很快，我们不由得发问：为什么这种算法是可行的。我们说机器学习算法是可行的，是指它的损失函数值很小。比如在回归问题里，我们的目标是让我们用更为数学化的语言表述这件事情：首先定义一下本文需要用到的数学符号我们让本质上就是要使得足够小且。我们这篇文章需要证明的两个保证机器学习可行的结论
  • lightGBM集成学习算法 亦旧sea 集成学习算法机器学习
    LightGBM集成学习算法是一种基于梯度提升决策树（GradientBoostingDecisionTree）的机器学习算法。它是由微软提出的一种高效的梯度提升框架，主要用于解决分类和回归问题。在集成学习中，LightGBM使用多个决策树来构建一个更强大的模型。每个决策树都是通过迭代地拟合负梯度进行训练的。训练过程中，每个新的决策树都会尝试纠正先前模型的错误，并与当前模型进行融合，从而提高整体模
  • XGboost和lightGBM算法对比 亦旧sea 算法
    XGBoost（eXtremeGradientBoosting）和LightGBM（LightGradientBoostingMachine）都是一类基于梯度提升树（GradientBoostingDecisionTrees）的机器学习算法。XGBoost是由陈天奇开发的一种优化的梯度提升框架，它可以用于分类和回归问题。XGBoost通过将多个弱学习器（通常是决策树）组合成一个强学习器来提高预测性
  • 机器学习入门--支持向量机原理与实践 Dr.Cup 机器学习入门支持向量机机器学习算法
    支持向量机模型支持向量机（SupportVectorMachine，SVM）是一种常用的监督学习算法，主要用于分类和回归问题。它的原理简单而强大，在许多实际应用中取得了很好的效果。原理支持向量机（SupportVectorMachine，SVM）是一种常用的机器学习算法，用于分类和回归问题。其原理是基于统计学习理论中的结构风险最小化原则。SVM的主要思想是将数据通过一个高维特征空间进行映射，使得在
  • 利用生成式AI的产研流程：创新与效率的完美结合
    1背景和目标生成式AI（GenerativeAI）是一类人工智能技术，旨在生成新的、原创的数据、图像、音频、视频或其他形式的内容。它通过机器学习算法来学习和模拟现实世界中的数据分布，然后使用这些模型来生成新的、具有相似特征的数据。比如，在软件开发领域，生成式AI可以自动化代码生成、协助开发人员理解和修改代码、改善代码质量、提升软件可靠性、快速构建原型等。二手车技术团队通过紧跟业界的新趋势结合自身需
  • jvm调优总结（从基本概念 到 深度优化） oloz javajvmjdk虚拟机应用服务器
    JVM参数详解：http://www.cnblogs.com/redcreen/archive/2011/05/04/2037057.html   Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。
  • 【Scala十六】Scala核心十：柯里化函数 bit1129 scala
    本篇文章重点说明什么是函数柯里化，这个语法现象的背后动机是什么，有什么样的应用场景，以及与部分应用函数(Partial Applied Function)之间的联系   1. 什么是柯里化函数 A way to write functions with multiple parameter lists. For instance def f(x: Int)(y: Int) is a
  • HashMap dalan_123 java
    HashMap在java中对很多人来说都是熟的；基于hash表的map接口的非同步实现。允许使用null和null键；同时不能保证元素的顺序；也就是从来都不保证其中的元素的顺序恒久不变。 1、数据结构     在java中，最基本的数据结构无外乎：数组 和 引用（指针），所有的数据结构都可以用这两个来构造，HashMap也不例外，归根到底HashMap就是一个链表散列的数据
  • Java Swing如何实时刷新JTextArea，以显示刚才加append的内容 周凡杨 java更新swingJTextArea
    在代码中执行完textArea.append("message")后，如果你想让这个更新立刻显示在界面上而不是等swing的主线程返回后刷新，我们一般会在该语句后调用textArea.invalidate()和textArea.repaint()。 问题是这个方法并不能有任何效果，textArea的内容没有任何变化，这或许是swing的一个bug，有一个笨拙的办法可以实现
  • servlet或struts的Action处理ajax请求 g21121 servlet
    其实处理ajax的请求非常简单，直接看代码就行了： //如果用的是struts //HttpServletResponse response = ServletActionContext.getResponse(); // 设置输出为文字流 response.setContentType("text/plain"); // 设置字符集 res
  • FineReport的公式编辑框的语法简介 老A不折腾 finereport公式总结
    FINEREPORT用到公式的地方非常多，单元格（以=开头的便被解析为公式），条件显示，数据字典，报表填报属性值定义，图表标题，轴定义，页眉页脚，甚至单元格的其他属性中的鼠标悬浮提示内容都可以写公式。 简单的说下自己感觉的公式要注意的几个地方：   1.if语句语法刚接触感觉比较奇怪，if(条件式子,值1,值2)，if可以嵌套，if(条件式子1，值1，if(条件式子2，值2，值3)
  • linux mysql 数据库乱码的解决办法 墙头上一根草 linuxmysql数据库乱码
    linux 上mysql数据库区分大小写的配置 lower_case_table_names=1 1-不区分大小写 0-区分大小写   修改/etc/my.cnf 具体的修改内容如下:   [client] default-character-set=utf8   [mysqld] datadir=/var/lib/mysql socket=/va
  • 我的spring学习笔记6-ApplicationContext实例化的参数兼容思想 aijuans Spring 3
    ApplicationContext能读取多个Bean定义文件，方法是： ApplicationContext appContext = new ClassPathXmlApplicationContext（ new String[]｛“bean-config1.xml”，“bean-config2.xml”，“bean-config3.xml”，“bean-config4.xml
  • mysql 基准测试之sysbench annan211 基准测试mysql基准测试MySQL测试sysbench
    1 执行如下命令，安装sysbench-0.5： tar xzvf sysbench-0.5.tar.gz  cd sysbench-0.5  chmod +x autogen.sh  ./autogen.sh  ./configure --with-mysql --with-mysql-includes=/usr/local/mysql
  • sql的复杂查询使用案列与技巧 百合不是茶 oraclesql函数数据分页合并查询
      本片博客使用的数据库表是oracle中的scott用户表;          -------------------  自然连接查询           查询 smith 的上司(两种方法) &
  • 深入学习Thread类 bijian1013 javathread多线程java多线程
    一．             线程的名字 下面来看一下Thread类的name属性，它的类型是String。它其实就是线程的名字。在Thread类中，有String getName()和void setName(String)两个方法用来设置和获取这个属性的值。 同时，Thr
  • JSON串转换成Map以及如何转换到对应的数据类型 bijian1013 javafastjsonnet.sf.json
            在实际开发中，难免会碰到JSON串转换成Map的情况，下面来看看这方面的实例。另外，由于fastjson只支持JDK1.5及以上版本，因此在JDK1.4的项目中可以采用net.sf.json来处理。 一.fastjson实例 JsonUtil.java package com.study; impor
  • 【RPC框架HttpInvoker一】HttpInvoker：Spring自带RPC框架 bit1129 spring
    HttpInvoker是Spring原生的RPC调用框架，HttpInvoker同Burlap和Hessian一样，提供了一致的服务Exporter以及客户端的服务代理工厂Bean，这篇文章主要是复制粘贴了Hessian与Spring集成一文，【RPC框架Hessian四】Hessian与Spring集成   在 【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中
  • 【Mahout二】基于Mahout CBayes算法的20newsgroup的脚本分析 bit1129 Mahout
    #!/bin/bash # # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information re
  • nginx三种获取用户真实ip的方法 ronin47
    随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是apache,请跳转到<apache获取用户真实IP地址>，如果是后端真实服务器是nginx，那么继续往下看。 实例环境： 用户IP 120.22.11.11
  • java-判断二叉树是不是平衡 bylijinnan java
    参考了 http://zhedahht.blog.163.com/blog/static/25411174201142733927831/ 但是用java来实现有一个问题。 由于Java无法像C那样“传递参数的地址，函数返回时能得到参数的值”，唯有新建一个辅助类：AuxClass import ljn.help.*; public class BalancedBTree {
  • BeanUtils.copyProperties VS PropertyUtils.copyProperties 诸葛不亮 PropertyUtilsBeanUtils
     BeanUtils.copyProperties VS  PropertyUtils.copyProperties  作为两个bean属性copy的工具类，他们被广泛使用，同时也很容易误用，给人造成困然；比如：昨天发现同事在使用BeanUtils.copyProperties copy有integer类型属性的bean时，没有考虑到会将null转换为0，而后面的业
  • [金融与信息安全]最简单的数据结构最安全 comsci 数据结构
          现在最流行的数据库的数据存储文件都具有复杂的文件头格式，用操作系统的记事本软件是无法正常浏览的，这样的情况会有什么问题呢？        从信息安全的角度来看，如果我们数据库系统仅仅把这种格式的数据文件做异地备份，如果相同版本的所有数据库管理系统都同时被攻击，那么
  • vi区段删除 Cwind linuxvi区段删除
    区段删除是编辑和分析一些冗长的配置文件或日志文件时比较常用的操作。简记下vi区段删除要点备忘。   vi概述    引文中并未将末行模式单独列为一种模式。单不单列并不重要，能区分命令模式与末行模式即可。   vi区段删除步骤： 1. 在末行模式下使用:set nu显示行号 非必须，随光标移动vi右下角也会显示行号，能够正确找到并记录删除开始行
  • 清除tomcat缓存的方法总结 dashuaifu tomcat缓存
    用tomcat容器，大家可能会发现这样的问题，修改jsp文件后，但用IE打开 依然是以前的Jsp的页面。 出现这种现象的原因主要是tomcat缓存的原因。 解决办法如下: 在jsp文件头加上 <meta http-equiv="Expires" content="0"> <meta http-equiv="kiben&qu
  • 不要盲目的在项目中使用LESS CSS dcj3sjt126com Webless
    　如果你还不知道LESS CSS是什么东西，可以看一下这篇文章，是我一朋友写给新人看的《CSS——LESS》 　　不可否认，LESS CSS是个强大的工具，它弥补了css没有变量、无法运算等一些“先天缺陷”，但它似乎给我一种错觉，就是为了功能而实现功能。 　　比如它的引用功能 ? .rounded_corners{     
  • [入门]更上一层楼 dcj3sjt126com PHPyii2
    更上一层楼 通篇阅读完整个“入门”部分，你就完成了一个完整 Yii 应用的创建。在此过程中你学到了如何实现一些常用功能，例如通过 HTML 表单从用户那获取数据，从数据库中获取数据并以分页形式显示。你还学到了如何通过 Gii 去自动生成代码。使用 Gii 生成代码把 Web 开发中多数繁杂的过程转化为仅仅填写几个表单就行。 本章将介绍一些有助于更好使用 Yii 的资源：
  • Apache HttpClient使用详解 eksliang httpclienthttp协议
    Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因此熟练掌握HttpClient是很重要的必修内容，掌握HttpClient后，相信对于Http协议的了解会
  • zxing二维码扫描功能 gundumw100 androidzxing
    经常要用到二维码扫描功能 现给出示例代码 import com.google.zxing.WriterException; import com.zxing.activity.CaptureActivity; import com.zxing.encoding.EncodingHandler; import android.app.Activity; import an
  • 纯HTML+CSS带说明的黄色导航菜单 ini htmlWebhtml5csshovertree
    HoverTree带说明的CSS菜单:纯HTML+CSS结构链接带说明的黄色导航   在线体验效果：http://hovertree.com/texiao/css/1.htm代码如下,保存到HTML文件可以看到效果：   <!DOCTYPE html > <html > <head> <title>HoverTree
  • fastjson初始化对性能的影响 kane_xie fastjson序列化
    之前在项目中序列化是用thrift，性能一般，而且需要用编译器生成新的类，在序列化和反序列化的时候感觉很繁琐，因此想转到json阵营。对比了jackson，gson等框架之后，决定用fastjson，为什么呢，因为看名字感觉很快。。。   网上的说法：   fastjson 是一个性能很好的 Java 语言实现的 JSON 解析器和生成器，来自阿里巴巴的工程师开发。
  • 基于Mybatis封装的增删改查实现通用自动化sql mengqingyu DAO
    1.基于map或javaBean的增删改查可实现不写dao接口和实现类以及xml，有效的提高开发速度。 2.支持自定义注解包括主键生成、列重复验证、列名、表名等 3.支持批量插入、批量更新、批量删除 <bean id="dynamicSqlSessionTemplate" class="com.mqy.mybatis.support.Dynamic
  • js控制input输入框的方法封装(数字，中文，字母，浮点数等) qifeifei javascript js
    在项目开发的时候，经常有一些输入框，控制输入的格式，而不是等输入好了再去检查格式，格式错了就报错，体验不好。 /** 数字，中文，字母,浮点数(+/-/.) 类型输入限制，只要在input标签上加上 jInput="number,chinese,alphabet,floating" 备注：floating属性只能单独用*/     funct
  • java 计时器应用 tangqi609567707 javatimer
    mport java.util.TimerTask;   import java.util.Calendar;   public class MyTask extends TimerTask {        private static final int
  • erlang输出调用栈信息 wudixiaotie erlang
    在erlang otp的开发中，如果调用第三方的应用，会有有些错误会不打印栈信息，因为有可能第三方应用会catch然后输出自己的错误信息，所以对排查bug有很大的阻碍，这样就要求我们自己打印调用的栈信息。用这个函数：erlang:process_display (self (), backtrace).需要注意这个函数只会输出到标准错误输出。 也可以用这个函数：erlang:get_s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他