GiggleMiao
GiggleMiao

机器学习-白板推导学习笔记-4线性分类2

本篇文章是根据视频（ link.）所作的学习笔记，旨在对机器学习的相关知识更好的理解和巩固。本人基础较弱，推导中看不懂的公式可能会细究，如果有理解不当之处也欢迎指出。

本篇主要介绍线性分类中的软分类模型（硬分类模型见上篇），用概率的方法进行分类。包括概率判别模型中的逻辑回归，概率生成模型中的GDA和朴素贝叶斯。

概率判别模型：根据样本数据学习出一个模型，然后对待分类数据进行概率计算，结果与0.5进行比较即可分类。

概率生成模型：根据两类样本数据学习出两个模型，然后将待分类数据带入到两个模型中，比较结果的大小进行分类。

· 数据介绍

D={(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{N},y_{N})}

X=(x_{1},x_{2},...,x_{N})^{T}=\begin{bmatrix} x_{11} & x_{12} &... &x_{1p} \\ x_{21}& x_{22} &... &x_{2p} \\ ... & ... & ...& ...\\ x_{N1}& x_{N2}& ...& x_{Np} \end{bmatrix}_{N\times p}

Y=\begin{bmatrix} y_{1}\\ y_{2}\\ ...\\ y_{N} \end{bmatrix}_{N\times 1}

y_{i}\epsilon\left \{ 0,1 \right \}，且y=1时记为C1类，对应样本数量为N1；y=0时记为C2类，对应样本数量为N2。

概率判别模型之逻辑回归（Logistic Regression）

逻辑回归模型主要是通过一个sigmoid激活函数\sigma (\omega ^{T}+b)来实现线性分类的。

sigmoid函数：\sigma (z)=\frac{1}{1+e^{-z}}

分析该函数：\left\{\begin{matrix} z\rightarrow +\infty , & \sigma (z)\rightarrow 1\\ z\rightarrow 0, & \sigma (z)\rightarrow \frac{1}{2}\\ z\rightarrow -\infty , & \sigma (z)\rightarrow 0 \end{matrix}\right.，图像如下：机器学习-白板推导学习笔记-4线性分类2_第1张图片

软分类得到的是一个[0,1]的概率值p(y|x)。得到该表达式之前，先介绍一下数据属于C1,C2类的概率表达：

\left\{\begin{matrix} P_{1}=P(Y=1|X)=\sigma (\omega ^{T}X+b)=\frac{1}{1+e^{-\omega ^{T}X+b}} ,& X\epsilon C_{1},Y=1\\ P_{0}=P(Y=0|X)=\sigma (\omega ^{T}X+b)=\frac{e^{-\omega ^{T}X+b}}{1+e^{-\omega ^{T}X+b}} ,& X\epsilon C_{2},Y=0 \end{matrix}\right.

构造{\color{Red} P(Y|X)=P_{1}^{Y}P_{0}^{1-Y}}，这个构造还是很巧妙的，Y=1时，刚好是P1；Y=0时，刚好是P0；P0+P1=1，由于sigmoid函数以1/2为划分，所以当P(Y|X)结果大于0.5时则为C1类，否则为C2类。

求参数\theta :\left \{ \omega ,b \right \}:

\hat{\theta }=argmaxLog P(Y|X)\\ =argmax \sum_{i=1}^{N}Log P(y_{i}|x_{i})\\ =argmax \sum_{i=1}^{N}Log P_{1}^{y_{i}}P_{0}^{1-y_{i}}\\ =argmax \sum_{i=1}^{N} [ y_{i}Log P_{1}+(1-y_{i})LogP_{0} ]

记\psi (X,\omega )=P_{1}=\frac{1}{1+e^{-\omega ^{T}X+b}}

则  \hat{\theta }=argmax {\color{Red} \sum_{i=1}^{N} [ y_{i}Log \psi (X,\omega )+(1-y_{i})Log(1-\psi (X,\omega ))) ]}

末尾的红色部分加上负号也叫做二分类问题中的交叉熵损失函数(cross entropy)：

L(\theta )=-\sum_{i=1}^{N} [ y_{i}Log \psi (X,\omega )+(1-y_{i})Log(1-\psi (X,\omega ))) ]

\therefore \hat{\theta }=argminL(\theta )

逻辑回归的推导到这里就戛然而止啦！精彩在后面~

概率生成模型之GDA

由之前的学习我们知道:

P(Y|X)\propto P(X|Y)P(Y)

\hat{y}=argmaxP(Y|X)=argmaxP(X|Y)P(Y)

先假设先验数据服从伯努利分布Y\sim Bernoulli(\phi )，\left\{\begin{matrix} P(Y)=\phi, &Y=1 \\ P(Y)=1-\phi & Y=0 \end{matrix}\right.

则先验概率{\color{Red} P(Y)=\phi ^{y}(1-\phi )^{1-y}}

并假设\left\{\begin{matrix} X|Y=1\sim N(\mu _{1},\Sigma )\\ X|Y=0\sim N(\mu _{2},\Sigma ) \end{matrix}\right.，同方差，不同均值

则似然概率{\color{Red} P(X|Y)=N(\mu _{1},\Sigma )^{y}\cdot N(\mu _{2},\Sigma )^{1-y}}

有了先验概率和似然概率，可得出目标函数表达式：

J(\theta )=LogP(X|Y)P(Y)\\ =\sum_{i=1}^{N}Log[P(x_{i}|y_{i})P(y_{i})]\\ =\sum_{i=1}^{N}Log[N(\mu _{1},\Sigma )^{y_{i}}\cdot N(\mu _{2},\Sigma )^{1-y_{i}}\cdot \phi ^{y_{i}}(1-\phi )^{1-y_{i}}]\\ =\sum_{i=1}^{N}[y_{i}LogN(\mu _{1},\Sigma )+(1-y_{i})LogN(\mu _{2},\Sigma )+Log\phi ^{y_{i}}(1-\phi )^{1-y_{i}}]

为了方便下面的推导，把[]内部的三项分分别记为J1,J2,J3,即：

J_{1}=\sum_{i=1}^{N}y_{i}LogN(\mu _{1},\Sigma )，J_{2}=\sum_{i=1}^{N}y_{i}LogN(\mu _{2},\Sigma )，J_{3}=\sum_{i=1}^{N}Log\phi ^{y_{i}}(1-\phi )^{1-y_{i}}

其中，\theta :\left \{ \mu _{1},\mu _{2},\Sigma ,\phi \right \}，\hat{\theta }=argmaxJ(\theta )，一个一个来求：

1）求参数\phi，只与J3有关。

J_{3}=\sum_{i=1}^{N}{y_{i}Log\phi }+(1-y_{i})Log(1-\phi )

\frac{\partial J_{3}}{\partial \phi }=\sum_{i=1}^{N}[y_{i}\cdot \frac{1}{\phi }+(1-y_{i})\cdot \frac{1}{1-\phi }\cdot (-1))]=0\\

\sum_{i=1}^{N}y_{i}\cdot \frac{1}{\phi }=\sum_{i=1}^{N}(1-y_{i})\cdot \frac{1}{1-\phi }\\

\sum_{i=1}^{N}y_{i}(1-\phi )=\sum_{i=1}^{N}(1-y_{i})\phi \\

\sum_{i=1}^{N}(y_{i}-\phi )=0\\

\phi =\frac{1}{N} \sum_{i=1}^{N}y_{i}=\frac{N_{1}}{N}

\phi对应的是Y=1 时的概率，所以分子为N1；Y=0时的先验概率对应1-\phi=N2/N

2）求参数\mu _{1},\mu _{2}，与J1,J2项有关，形式相同，求出一个，另一个同理。

J_{1}=\sum_{i=1}^{N}y_{i}LogN(\mu _{i},\Sigma )\\ =\sum_{i=1}^{N}y_{i}Log[\frac{1}{(2\pi )^{\frac{p}{2}}\left | \Sigma \right |^{\frac{1}{2}}}exp(-\frac{1}{2}(x_{i}-\mu _{1})^{T}\Sigma ^{-1}(x_{i}-\mu _{1}))]\\ =\sum_{i=1}^{N}[C+y_{i}(-\frac{1}{2}(x_{i}^{T}\Sigma ^{-1}-\mu _{1}^{T}\Sigma ^{-1})(x_{i}-\mu _{1}))]\\ =\sum_{i=1}^{N}[C+y_{i}(-\frac{1}{2}(x_{i}^{T}\Sigma ^{-1}x_{i}-2x_{i}^{T}\Sigma ^{-1}\mu _{1}+\mu _{1}^{T}\Sigma ^{-1}\mu _{1}]

\frac{\partial J_{1}}{\partial \mu _{1}}=\sum_{i=1}^{N}[y_{i}(-\frac{1}{2}(2x_{i}^{T}\Sigma ^{-1}+2\Sigma ^{-1}\mu _{1}]=0

\sum_{i=1}^{N}y_{i}x_{i}^{T}\Sigma ^{-1}=\sum_{i=1}^{N}y_{i}\Sigma ^{-1}\mu _{1}

两边同时乘以\Sigma，得  \sum_{i=1}^{N}y_{i}x_{i}^{T}=\sum_{i=1}^{N}y_{i}\mu _{1}

\mu _{1}=\frac{\sum_{i=1}^{N}y_{i}x_{i}^{T}}{\sum_{i=1}^{N}y_{i}}=\frac{\sum_{i=1}^{N}y_{i}x_{i}^{T}}{N_{1}}，同理，\mu _{2}=\frac{\sum_{i=1}^{N}y_{i}x_{i}^{T}}{\sum_{i=1}^{N}y_{i}}=\frac{\sum_{i=1}^{N}y_{i}x_{i}^{T}}{N_{2}}

3)求参数\Sigma，与J1+J2有关，先看 \sum_{i=1}^{N}LogN(\mu ,\Sigma )的化简结果，再带入J1,J2

\sum_{i=1}^{N}LogN(\mu ,\Sigma )=\sum_{i=1}^{N}Log[\frac{1}{(2\pi )^{\frac{p}{2}}\left | \Sigma \right |^{\frac{1}{2}}}exp(-\frac{1}{2}(x_{i}-\mu )^{T}\Sigma ^{-1}(x_{i}-\mu))]\\ =\sum_{i=1}^{N}[Log\frac{1}{(2\pi )^{\frac{p}{2}}}+Log{|\Sigma |^{-\frac{1}{2}}-\frac{1}{2}(x_{i}-\mu )^{T}\Sigma ^{-1}(x_{i}-\mu)]\\

=C-\frac{1}{2}NLog|\Sigma |-\frac{1}{2}\sum_{i=1}^{N}(x_{i}-\mu )^{T}\Sigma ^{-1}(x_{i}-\mu)\\

=C-\frac{1}{2}NLog|\Sigma |-\frac{1}{2}\sum_{i=1}^{N}(x_{i}-\mu )^{T}\Sigma ^{-1}(x_{i}-\mu)

其中，(x_{i}-\mu )^{T}\Sigma ^{-1}(x_{i}-\mu))为一实数，实数与自身的迹tr()相同

\therefore\: =C-\frac{1}{2}NLog|\Sigma |-\frac{1}{2}tr(\sum_{i=1}^{N}(x_{i}-\mu )^{T}\Sigma ^{-1}(x_{i}-\mu))

引入一个迹的性质：tr(AB)=tr(BA)，里面的元素满足交换律

\therefore\: =C-\frac{1}{2}NLog|\Sigma |-\frac{1}{2}tr(\sum_{i=1}^{N}(x_{i}-\mu)(x_{i}-\mu )^{T}\Sigma ^{-1})

注意了，里面 \sum_{i=1}^{N}(x_{i}-\mu)(x_{i}-\mu )^{T}这一项跟方差S有点像，等于NS

\therefore\: =C-\frac{1}{2}NLog|\Sigma |-\frac{1}{2}Ntr(S\Sigma ^{-1})

此时，就可以得出J1+J2的表达式了

J_{1}+J_{2}=\sum_{i=1}^{N}y_{i}LogN(\mu _{1},\Sigma )+\sum_{i=1}^{N}y_{i}LogN(\mu _{2},\Sigma )\\ =\sum_{x_{i}\epsilon C_{1}}LogN(\mu _{1},\Sigma )+\sum_{x_{i}\epsilon C_{2}}LogN(\mu _{2},\Sigma )\\ =-\frac{1}{2}N_{1}Log|\Sigma |-\frac{1}{2}N_{1}tr(S_{1}\Sigma ^{-1})-\frac{1}{2}N_{2}Log|\Sigma |-\frac{1}{2}N_{2}tr(S_{2}\Sigma ^{-1})+C\\ \\=-\frac{1}{2}NLog|\Sigma |-\frac{1}{2}N_{1}tr(S_{1}\Sigma ^{-1})-\frac{1}{2}N_{2}tr(S_{2}\Sigma ^{-1})+C

这里加入一些求导的性质：行列式求导\frac{\partial |A|}{\partial A}=|A|\cdot A^ {-1},迹的求导\frac{\partial tr(AB))}{\partial A}=B^{T}A^{'}

\frac{\partial J_{1}+J_{2}}{\partial \Sigma }\\ \\=-\frac{1}{2}N\frac{1}{|\Sigma |}\cdot |\Sigma |\cdot |\Sigma |^{-1}-\frac{1}{2}N_{1}S_{1}^{T}(-1)\Sigma ^{-2}-\frac{1}{2}N_{1}S_{2}^{T}(-1)\Sigma ^{-2}\\ \\ =-\frac{1}{2}(N|\Sigma |^{-1}-N_{1}S_{1}\Sigma ^{-2}-N_{2}S_{2}\Sigma ^{-2})=0

N|\Sigma |^{-1}=(N_{1}S_{1}+N_{2}S_{2})\Sigma ^{-2}

N|\Sigma |=N_{1}S_{1}+N_{2}S_{2}

\Sigma =\frac{1}{N}(N_{1}S_{1}+N_{2}S_{2})

终于推导完啦！撒花！！！这个也太长了。。。

概率生成模型之朴素贝叶斯

up主说这个是最简单的，“朴素”可不就约等于简单嘛

之所以朴素是因为作了一个条件独立性假设，即每个数据的特征（属性）之间都是相互独立的，直接连乘就可以啦。 P(X|Y)=\prod_{i=1}^{N}\prod_{j=1}^{p}P(x_{ij}|y_{i})

咱就是说今天下班啦！吃年夜饭去啦！各位新年快乐，虎年如虎~

你可能感兴趣的:(学习笔记,机器学习,机器学习,分类,人工智能)

  • Deepseek 使用攻略 隔窗听雨眠 人工智能
    人工智能飞速发展的时代，新的技术和工具不断涌现，Deepseek便是其中备受瞩目的存在。它以强大的功能和出色的表现，吸引了众多用户的关注。今天，就让我们一起来深入了解一下Deepseek究竟是什么，以及如何使用它。一、什么是DeepseekDeepseek（深度求索）是一家位于杭州的人工智能公司，同时也是一系列大语言模型的统称。它由中国对冲基金高毅资产创立并提供支持，其模型均以开源形式发布。Dee
  • 【Node.js】模块分类与 `require` 用法详解 Peter-Lu #NodeJSnode.jsjavascript前端
    文章目录一、Node.js模块概述1.模块的定义2.模块的作用二、Node.js模块的分类1.核心模块2.文件模块3.第三方模块4.全局模块三、`require`的用法详解1.`require`的基本用法2.模块导出机制3.模块的缓存机制4.`require`的动态引入四、模块的实际应用场景1.项目结构优化2.复用代码五、总结Node.js是一个强大的JavaScript运行环境，广泛应用于服务器
  • JVMGC的分类详解 qq_17805795 JVMJVMGC的分类详解
    JVMGC的分类详解首先JVM有4种GC第一种为单线程GC，也是默认的GC。，该GC适用于单CPU机器。第二种为ThroughputGC，是多线程的GC，适用于多CPU，使用大量线程的程序。第二种GC与第一种GC相似，不同在于GC在收集Young区是多线程的，但在Old区和第一种一样，仍然采用单线程。-XX:+UseParallelGC参数启动该GC。第三种为ConcurrentLowPauseG
  • 【STM32】USART串口收发HEX数据包&收发文本数据包 傍晚冰川 stm32网络嵌入式硬件单片机笔记学习c语言
    有关串口知识参考：【STM32】USART串口协议&串口外设-学习笔记-CSDN博客HEX模式/十六进制模式/二进制模式：以原始数据的形式显示文本模式/字符模式：以原始数据编码后的形式显示参考上面文章查看ASCII编码表HEX数据包包头包尾和载荷数据重复问题的解决方法：解决思路方法文本数据包文本模式有大量的字符可以作为包头包尾，可以有效避免载荷数据和包头包尾重复的问题HEX数据包和文本数据包两者的
  • Matlab多种算法解决未来杯B的多分类问题 Subject.625Ruben 算法分类机器学习数学建模未来杯matlab人工智能
    1.读取数据首先，我们从Excel文件中读取训练集和测试集：2.训练集划分我们将80%的数据用于训练，20%用于验证。3.训练多个模型我们选取8种常见分类模型，并存储预测结果。fori=1:length(modelNames)switchmodelNames{i}case'MultinomialLogisticRegression'B=mnrfit(X_train,Y_train,'model',
  • 深入理解C++内存管理机制 qzw1210 C++c++学习笔记
    侯捷C++系列课程学习笔记：深入理解C++内存管理机制在侯捷老师的C++系列课程中，内存管理是一个极其重要且深刻的主题。通过对这部分内容的学习，我对C++的内存管理机制有了更深入的理解，特别是关于new/delete操作符、内存池设计以及智能指针的应用。一、C++内存分配的层次结构侯捷老师在课程中清晰地阐述了C++内存分配的层次结构，这让我对整个内存管理体系有了全局的认识：最底层：操作系统提供的内
  • 【prompt实战】知乎问题解答专家 姚瑞南 prompt实战应用案例prompt
    本文原创作者：姚瑞南AI-agent大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。（转载需经授权）#Role:知乎问题解答分类专家##Profile:你是一个知乎问题解答分类专家，主要帮助用户解答各类领域专业问题，包括但不限于金融领域、职场问题、互联网领域、科技领域、人工智能领域
  • elasticsearch analyzer 学习笔记 weixin_40455124 elasticsearch代码分析及扩展elasticsearchanalyzertoken
    基本定义analyzer执行将输入字符流分解为token的过程使用场景在indexing的时候，也即在建立索引的时候在searching的时候，也即在搜索时，分析需要搜索的词语analysisCharacterfiltering(字符过滤器):使用字符过滤器转换字符Breakingtextintotokens(把文字转化为标记):将文本分成一组一个或多个标记Tokenfiltering：使用标记过
  • DeepSeek：全栈开发者视角下的AI革命者 大富大贵7 程序员知识储备1程序员知识储备2程序员知识储备3人工智能
    DeepSeek：全栈开发者视角下的AI革命者写在前面随着人工智能（AI）技术的不断进步，AI已经成为各行各业创新的核心动力。从自动驾驶到智能制造，再到自然语言处理和图像识别，AI正在逐渐渗透并改变着我们的生活和工作方式。DeepSeek，作为AI领域的新兴技术，凭借其独特的技术架构和颠覆性的创新理念，成为了全栈开发者关注的焦点。本文将从全栈开发者的角度出发，详细解析DeepSeek的诞生、技术架
  • 操作符详解 知困勉行的Allen c语言学习方法c++
    今天给小伙伴们分享一些关于操作符的知识~文章将会介绍各种操作符以及它们的使用示例。OK，那就让咱们进入正题吧@目录一.操作符分类二.各类操作符介绍1.算数操作符2.移位操作符3.位操作符4.1赋值操作符4.2复合赋值符5.单目操作符6.关系操作符7.逻辑操作符8.条件操作符9.逗号表达式10.下标引用、函数调用和结构成员三.结语一.操作符分类操作符的种类还挺多嘞~可分为：算术操作符移位操作符位操作
  • Assembly语言的自然语言处理 花韵婷 包罗万象golang开发语言后端
    Assembly语言在自然语言处理中的应用引言自然语言处理（NaturalLanguageProcessing,NLP）作为人工智能的一个重要分支，致力于实现计算机与人类语言之间的互动。随着计算能力的提升以及大数据的蓬勃发展，NLP在各个领域的应用如火如荼。从语音识别、机器翻译到情感分析等，NLP正在改变我们与信息之间的互动方式。不过，当前主流的NLP研究通常是用高级编程语言（如Python、Ja
  • Julia语言的学习路线 樟松 包罗万象golang开发语言后端
    Julia语言学习路线指南引言在编程语言层出不穷的今天，Julia作为一门新兴的高级编程语言，以其出色的性能和易用性逐渐获得了越来越多的关注。特别是在科学计算、数据分析和机器学习等领域，Julia的表现十分出色，成为研究人员和开发者的热门选择。本文将为希望学习Julia语言的读者提供一条详细的学习路线，包括基础知识、工具、库、项目和实践经验等，帮助大家有效地掌握这门语言。一、了解Julia语言在开
  • 大语言模型原理与工程实践：大语言模型强化对齐 AGI大模型与大数据研究院 DeepSeekR1&大数据AI人工智能计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    大语言模型原理与工程实践：大语言模型强化对齐作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着人工智能技术的迅猛发展，大语言模型（LargeLanguageModels，LLMs）如GPT-3、LaMDA等，在自然语言处理（NLP）领域取得了显著的突破。这些模型在问答、翻译、文本生成等方面展现出惊人的能力，但同时也引发了
  • 【机器学习】基于t-SNE数据可视化工程 无水先生 AI原理和python实现人工智能综合人工智能算法
    一、说明t-SNE(t-DistributedStochasticNeighborEmbedding)是一种常用的非线性降维技术。它可以将高维数据映射到一个低维空间（通常是2D或3D）来便于可视化。Scikit-learnAPI提供TSNE类，以使用T-SNE方法可视化数据。在本教程中，我们将简要学习如何在Python中使用TSNE拟合和可视化数据。二、t-SNE是个什么？2.1什么是t-SNE？
  • 从图形处理到通用计算的进化之路 绿算技术 GPU架构介绍科技gpu算力
    图形处理单元，作为现代计算机中不可或缺的一部分，已经从最初的图形渲染专用处理器，发展成为强大的并行计算引擎，广泛应用于人工智能、科学计算、游戏娱乐等领域。本文将深入探讨GPU架构的演变历程、核心组件以及其在不同应用场景中的优势。GPU架构的演变：从固定功能到可编程流水线早期的GPU采用固定功能流水线架构，专为图形渲染任务而设计。这种架构将图形渲染流程划分为一系列固定的阶段，例如顶点处理、光栅化、纹
  • 数据处理和分析之数据降维：t-SNE：使用t-SNE进行数据可视化实践 kkchenkx 数据挖掘信息可视化算法聚类均值算法数据挖掘机器学习
    数据处理和分析之数据降维：t-SNE：使用t-SNE进行数据可视化实践数据降维简介降维技术的重要性在数据科学和机器学习领域，数据降维是一种关键的技术，用于减少数据集的维度，同时保留数据的结构和重要信息。降维不仅可以帮助我们更有效地存储和处理数据，还能在高维数据中发现潜在的模式和结构，这对于数据可视化和模型训练尤为重要。高维数据往往难以直观理解，通过降维，我们可以将其转换为二维或三维空间，便于可视化
  • 高效快速教你deepseek如何进行本地部署并且可视化对话 chatgpt
    随着最近一个新的人工智能deepseek的爆火，很多大佬都开始了在本地进行deepseek的部署操作，并且离线也可以使用，这里的话我就一步一步带你们部署本地的deepseek,说实话这个人工智能的实力不亚于openai的gpt安装ollama我们需要先安装ollama，安装地址ollama,我们直接点击下载，我们在下载的时候尽量使用我们的谷歌浏览器，有魔法的最好带上魔法，不然安装的时候可能会出问题
  • NLP-二分类的应用-区分外卖评论好评/差评 左岸Jason 算法pythonkafkaflinkelasticsearch
    目录一、概念二、二分类实战-划分好评/差评1.处理步骤2.实战代码一、概念文本分类一般可以分为二分类、多分类、多标签分类三种情况。二分类是指将一组文本分成两个类(0或1),比较常见的应用如垃圾邮件分类、电商网站的用户评价数据的正负面分类等,多分类是指将文本分成若干个类中的某一个类,比如说门户网站新闻可以归属到不同的栏目中(如政治、体育、社会、科技、金融等栏目)去。多标签分类指的是可以将文本分成若干
  • useblackbox黑箱AI编码助理 百态老人 python开发语言
    黑箱AI是一个人工智能的编码助理可以让代码快10倍。它使您能够把任何问题变成代码和功能,如从任何视频提取代码和代码自动完成。它有以下几个特点：可以从视频、图片、PDF等格式中复制代码。可以将任何问题转换成代码。可以快速找到任何代码片段，并开始编码。支持20多种编程语言的代码自动补全。有Chrome扩展和VSCode扩展。这个网站有不同的收费方案，根据你需要的功能和使用量而定。它有以下几种选择：好开
  • 《架构300讲》学习笔记（201-250） newProxyInstance 笔记架构
    前言内容来自B站IT老齐架构300讲内容。201小心selectforupdate，有效规避索引选择性锁表202设计模式之建造者模式的用途20320分钟上手ELK日志监控系统分类：【ELK】204设计模式之门面模式Facade205设计模式之适配器模式Adapter206经典设计！如何让RabbitMQ支持消息延迟投递207Docker容器基于NFS实现跨容器文件共享208数据向上追溯场景该如何优
  • 大模型火爆 2025：LLaMA、Qwen、DeepSeek 核心原理+就业秘籍，快速入门 AI 工程师 weixin_40941102 llama人工智能
    1.大模型核心原理：从零开始理解AI模型这些是大型语言模型（LLMs）的核心技术，适合初学者逐步深入学习。以下是详细拆解，让小白也能掌握：LLaMA系列模型核心原理详解：什么是LLaMA？：LLaMA是一个基于人工智能的语言模型，像一个超级聪明的聊天机器人，能理解和生成人类语言。它由Meta公司开发，类似ChatGPT，但更开源、灵活。核心原理：Transformer架构：想象一个工厂流水线，LL
  • 【AI热点】MCP协议深度洞察报告 碣石潇湘无限路 人工智能php开发语言
    摘要人工智能技术飞速发展，大型语言模型（LLM）如何高效、安全地利用外部数据和工具成为关键问题。模型上下文协议（ModelContextProtocol，简称MCP）是一种由Anthropic于2024年底提出的开放标准协议。它通过统一的客户端-服务器架构，为AI应用与文件系统、数据库、第三方API等外部资源之间提供标准化、安全的双向通信接口。本文将深入解析MCP协议的基本概念和背景、架构设计（通
  • HIVE开窗函数 Cciccd sqlhive
    ETL,SQL面试高频考点——HIVE开窗函数（基础篇）目录标题ETL,SQL面试高频考点——HIVE开窗函数（基础篇）一，窗口函数介绍二，开窗函数三，分析函数分类1，排序分析函数：实列解析对比总结2.聚合分析函数3.用spark自定义HIVE用户自定义函数后续更新中~一，窗口函数介绍窗口函数，也叫OLAP函数（OnlineAnallyticalProcessing,联机分析处理），可以对数据库数
  • NPU的工作原理：神经网络计算的流水线 绿算技术 NPU架构介绍神经网络人工智能深度学习
    NPU的工作原理可以概括为以下几个步骤：1.模型加载·将训练好的神经网络模型加载到NPU的内存中。2.数据输入·输入数据（如图像、语音）通过接口传输到NPU。3.计算执行·NPU根据模型结构，依次执行卷积、池化、全连接等计算任务。·矩阵乘法单元和卷积加速器并行工作，高效完成计算。4.结果输出·计算完成后，输出结果（如分类标签、检测框）返回给主机或其他处理器。5.任务调度·在多任务场景下，NPU的任
  • 应用场景下的芯片分类 绿算技术 芯片类型科普探索html人工智能科技
    从数据中心级别的高性能芯片，到消费类产品级别的日常应用芯片；从工业类产品级别的稳定可靠芯片，到汽车电子级别的高要求芯片；再到军工和国防级别的专用芯片，不同类型的芯片正以其独特的功能和应用场景，满足着多样化的需求。电路类型下的芯片分类·数字电路芯片：处理数字信号，广泛应用于计算机、通信设备等领域。·模拟电路芯片：处理模拟信号，常用于音频、视频处理等场景。·数模混合电路芯片：兼具数字和模拟信号处理功能
  • 解锁数字世界的多样力量 绿算技术 芯片类型科普探索人工智能云计算html科技
    数字科技蓬勃发展，芯片作为现代电子设备的核心驱动力，正以其多样化的类型和独特的功能，塑造着我们生活中的每一个角落。从智能手机的高效运作，到超级计算机的超强算力，芯片无处不在，默默推动着科技的进步与革新。绿算技术致力于数据“智慧加载、安全存取”的信息技术创新，自主研发多类芯片产品。今天，就让我们一同走进芯片的世界，揭开那些鲜为人知却至关重要的芯片类型，感受它们背后的科技魅力。功能视角下的芯片分类1.
  • 必看！一文读懂知识蒸馏技术 小天才学习机打游戏 人工智能知识图谱神经网络langchainwindows
    导读最近，DeepSeek的爆火让大家对人工智能领域的技术发展又有了新的关注。而知识蒸馏作为深度学习中一项重要的技术，也在背后默默地发挥着作用，今天就来给大家详细介绍一下知识蒸馏及其相关原理。1.知识蒸馏是什么在深度学习领域，大型模型（如DeepSeek）通常具有强大的性能，但它们的计算量和参数量都非常庞大，这使得它们难以在资源受限的设备（如移动设备或嵌入式设备）上部署。例如，GPT-3在570G
  • AI大模型学习路线及相关资源推荐 python游乐园 学习资源学习PythonAIAI编程人工智能
    哈喽，大家好！本文为大家带来AI大模型学习路线及相关资源推荐，这对于学习掌握AI大模型很有帮助呦，希望大家多多点赞收藏～感谢～～1AI大模型的基础信息1.1什么是AI大模型AI大模型，即人工智能大型模型，是一种基于深度学习技术，具有海量参数、强大算力支持、能够处理和生成复杂数据的人工智能模型。1.2AI大模型的主要特点规模庞大：AI大模型通常包含海量的参数。例如，谷歌的BERT模型在最初发布时就有
  • 数据分布偏移检测：保障模型在生产环境中的稳定性 trust Tomorrow 机器学习python机器学习人工智能深度学习
    数据分布偏移检测：保障模型在生产环境中的稳定性引言在机器学习系统从开发环境部署到生产环境的过程中，数据分布偏移问题是影响模型性能的主要挑战之一。当训练数据与生产环境中的数据分布不一致时，即使是经过精心调优的模型也可能表现出明显的性能下降。本文将深入探讨数据分布偏移的检测方法，并提供一套系统化的解决方案，帮助读者构建更加稳健的机器学习系统。1.数据分布偏移问题概述1.1分布偏移的类型数据分布偏移主要
  • 模型蒸馏：从复杂到精简，AI技术的“瘦身”秘籍 lmtealily 人工智能
    引言在人工智能的浪潮中，大型模型如BERT、GPT系列等在自然语言处理（NLP）、计算机视觉（CV）等领域取得了显著的成果。然而，这些“庞然大物”通常拥有数十亿甚至数千亿个参数，计算和存储成本极高，难以部署到资源受限的设备上。为了解决这一问题，模型蒸馏技术应运而生。模型蒸馏是一种将大型复杂模型的知识迁移到小型简单模型的技术，旨在保持高性能的同时大幅减少模型的参数量和计算复杂度。本文将带你深入了解模
  • PHP，安卓，UI，java，linux视频教程合集 cocos2d-x小菜 javaUIPHPandroidlinux
    ╔-----------------------------------╗┆                           
  • 各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。 bozch .net.net mvc
    在.net mvc5中，在执行某一操作的时候，出现了如下错误：       各表中的列名必须唯一。在表 'dbo.XXX' 中多次指定了列名 'XXX'。 经查询当前的操作与错误内容无关，经过对错误信息的排查发现，事故出现在数据库迁移上。 回想过去： 在迁移之前已经对数据库进行了添加字段操作，再次进行迁移插入XXX字段的时候，就会提示如上错误。  &
  • Java 对象大小的计算 e200702084 java
                              Java对象的大小 如何计算一个对象的大小呢？    
  • Mybatis Spring 171815164 mybatis
    ApplicationContext ac = new ClassPathXmlApplicationContext("applicationContext.xml"); CustomerService userService = (CustomerService) ac.getBean("customerService"); Customer cust
  • JVM 不稳定参数 g21121 jvm
            -XX 参数被称为不稳定参数，之所以这么叫是因为此类参数的设置很容易引起JVM 性能上的差异，使JVM 存在极大的不稳定性。当然这是在非合理设置的前提下，如果此类参数设置合理讲大大提高JVM 的性能及稳定性。        可以说“不稳定参数”
  • 用户自动登录网站 永夜-极光 用户
    1.目标:实现用户登录后,再次登录就自动登录,无需用户名和密码 2.思路:将用户的信息保存为cookie            每次用户访问网站,通过filter拦截所有请求,在filter中读取所有的cookie,如果找到了保存登录信息的cookie,那么在cookie中读取登录信息,然后直接
  • centos7 安装后失去win7的引导记录 程序员是怎么炼成的 操作系统
    1.使用root身份(必须)打开 /boot/grub2/grub.cfg 2.找到 ### BEGIN /etc/grub.d/30_os-prober ###   在后面添加    menuentry "Windows 7 (loader) (on /dev/sda1)" { 
  • Oracle 10g 官方中文安装帮助文档以及Oracle官方中文教程文档下载 aijuans oracle
    Oracle 10g 官方中文安装帮助文档下载：http://download.csdn.net/tag/Oracle%E4%B8%AD%E6%96%87API%EF%BC%8COracle%E4%B8%AD%E6%96%87%E6%96%87%E6%A1%A3%EF%BC%8Coracle%E5%AD%A6%E4%B9%A0%E6%96%87%E6%A1%A3 Oracle 10g 官方中文教程
  • JavaEE开源快速开发平台G4Studio_V3.2发布了 無為子 AOPoraclemysqljavaeeG4Studio
      我非常高兴地宣布,今天我们最新的JavaEE开源快速开发平台G4Studio_V3.2版本已经正式发布。大家可以通过如下地址下载。   访问G4Studio网站 http://www.g4it.org   G4Studio_V3.2版本变更日志 功能新增 (1).新增了系统右下角滑出提示窗口功能。 (2).新增了文件资源的Zip压缩和解压缩
  • Oracle常用的单行函数应用技巧总结 百合不是茶 日期函数转换函数(核心)数字函数通用函数(核心)字符函数
    单行函数;   字符函数,数字函数,日期函数,转换函数(核心),通用函数(核心) 一:字符函数: .UPPER(字符串) 将字符串转为大写 .LOWER (字符串) 将字符串转为小写 .INITCAP(字符串) 将首字母大写 .LENGTH (字符串) 字符串的长度 .REPLACE(字符串,'A','_') 将字符串字符A转换成_
  • Mockito异常测试实例 bijian1013 java单元测试mockito
    Mockito异常测试实例： package com.bijian.study; import static org.mockito.Mockito.mock; import static org.mockito.Mockito.when; import org.junit.Assert; import org.junit.Test; import org.mockito.
  • GA与量子恒道统计 Bill_chen JavaScript浏览器百度Google防火墙
    前一阵子，统计**网址时，Google Analytics（GA） 和量子恒道统计（也称量子统计），数据有较大的偏差，仔细找相关资料研究了下，总结如下：   为何GA和量子网站统计（量子统计前身为雅虎统计）结果不同？ 首先：没有一种网站统计工具能保证百分之百的准确出现该问题可能有以下几个原因：（1）不同的统计分析系统的算法机制不同；（2）统计代码放置的位置和前后
  • 【Linux命令三】Top命令 bit1129 linux命令
    Linux的Top命令类似于Windows的任务管理器，可以查看当前系统的运行情况，包括CPU、内存的使用情况等。如下是一个Top命令的执行结果：     top - 21:22:04 up 1 day, 23:49, 1 user, load average: 1.10, 1.66, 1.99 Tasks: 202 total, 4 running, 198 sl
  • spring四种依赖注入方式 白糖_ spring
      平常的java开发中，程序员在某个类中需要依赖其它类的方法，则通常是new一个依赖类再调用类实例的方法，这种开发存在的问题是new的类实例不好统一管理，spring提出了依赖注入的思想，即依赖类不由程序员实例化，而是通过spring容器帮我们new指定实例并且将实例注入到需要该对象的类中。依赖注入的另一种说法是“控制反转”，通俗的理解是：平常我们new一个实例，这个实例的控制权是我
  • angular.injector boyitech AngularJSAngularJS API
    angular.injector   描述: 创建一个injector对象, 调用injector对象的方法可以获得angular的service, 或者用来做依赖注入.   使用方法: angular.injector(modules, [strictDi])   参数详解: Param Type Details mod
  • java-同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待 bylijinnan Integer
    public class PC { /** * 题目：生产者-消费者。 * 同步访问一个数组Integer[10]，生产者不断地往数组放入整数1000，数组满时等待；消费者不断地将数组里面的数置零，数组空时等待。 */ private static final Integer[] val=new Integer[10]; private static
  • 使用Struts2.2.1配置 Chen.H apachespringWebxmlstruts
    Struts2.2.1 需要如下 jar包: commons-fileupload-1.2.1.jar commons-io-1.3.2.jar commons-logging-1.0.4.jar freemarker-2.3.16.jar javassist-3.7.ga.jar ognl-3.0.jar spring.jar struts2-core-2.2.1.jar struts2-sp
  • [职业与教育]青春之歌 comsci 教育
           每个人都有自己的青春之歌............但是我要说的却不是青春...        大家如果在自己的职业生涯没有给自己以后创业留一点点机会,仅仅凭学历和人脉关系,是难以在竞争激烈的市场中生存下去的....   &nbs
  • oracle连接(join)中使用using关键字 daizj JOINoraclesqlusing
    在oracle连接(join)中使用using关键字 34. View the Exhibit and examine the structure of the ORDERS and ORDER_ITEMS tables. Evaluate the following SQL statement: SELECT oi.order_id, product_id, order_date FRO
  • NIO示例 daysinsun nio
    NIO服务端代码： public class NIOServer { private Selector selector; public void startServer(int port) throws IOException { ServerSocketChannel serverChannel = ServerSocketChannel.open(
  • C语言学习homework1 dcj3sjt126com chomework
    0、 课堂练习做完 1、使用sizeof计算出你所知道的所有的类型占用的空间。 int x; sizeof(x);   sizeof(int);   # include <stdio.h> int main(void) { int x1; char x2; double x3; float x4; printf(&quo
  • select in order by , mysql排序 dcj3sjt126com mysql
    If i select like this: SELECT id FROM users WHERE id IN(3,4,8,1); This by default will select users in this order 1,3,4,8, I would like to select them in the same order that i put IN() values so:
  • 页面校验-新建项目 fanxiaolong 页面校验
    $(document).ready( function() { var flag = true; $('#changeform').submit(function() { var projectScValNull = true; var s =""; var parent_id = $("#parent_id").v
  • Ehcache（02）——ehcache.xml简介 234390216 ehcacheehcache.xml简介
    ehcache.xml简介          ehcache.xml文件是用来定义Ehcache的配置信息的，更准确的来说它是定义CacheManager的配置信息的。根据之前我们在《Ehcache简介》一文中对CacheManager的介绍我们知道一切Ehcache的应用都是从CacheManager开始的。在不指定配置信
  • junit 4.11中三个新功能 jackyrong java
    junit 4.11中两个新增的功能，首先是注解中可以参数化，比如 import static org.junit.Assert.assertEquals; import java.util.Arrays; import org.junit.Test; import org.junit.runner.RunWith; import org.junit.runn
  • 国外程序员爱用苹果Mac电脑的10大理由 php教程分享 windowsPHPunixMicrosoftperl
    Mac 在国外很受欢迎，尤其是在 设计/web开发/IT 人员圈子里。普通用户喜欢 Mac 可以理解，毕竟 Mac 设计美观，简单好用，没有病毒。那么为什么专业人士也对 Mac 情有独钟呢？从个人使用经验来看我想有下面几个原因： 1、Mac OS X 是基于 Unix 的 这一点太重要了，尤其是对开发人员，至少对于我来说很重要，这意味着Unix 下一堆好用的工具都可以随手捡到。如果你是个 wi
  • 位运算、异或的实际应用 wenjinglian 位运算
    一． 位操作基础，用一张表描述位操作符的应用规则并详细解释。       二． 常用位操作小技巧，有判断奇偶、交换两数、变换符号、求绝对值。       三． 位操作与空间压缩，针对筛素数进行空间压缩。    &n
  • weblogic部署项目出现的一些问题（持续补充中……） Everyday都不同 weblogic部署失败
    好吧，weblogic的问题确实……   问题一： org.springframework.beans.factory.BeanDefinitionStoreException: Failed to read candidate component class: URL [zip:E:/weblogic/user_projects/domains/base_domain/serve
  • tomcat7性能调优（01） toknowme tomcat7
        Tomcat优化： 1、最大连接数最大线程等设置 <Connector port="8082" protocol="HTTP/1.1"                useBodyEncodingForURI="t
  • PO VO DAO DTO BO TO概念与区别 xp9802 javaDAO设计模式bean领域模型
    O/R Mapping 是 Object Relational Mapping（对象关系映射）的缩写。通俗点讲，就是将对象与关系数据库绑定，用对象来表示关系数据。在O/R Mapping的世界里，有两个基本的也是重要的东东需要了解，即VO，PO。 它们的关系应该是相互独立的，一个VO可以只是PO的部分，也可以是多个PO构成，同样也可以等同于一个PO（指的是他们的属性）。这样，PO独立出来，数据持
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他