ViperL1
ViperL1

神经网络（二）回归与线性模型

一、线性回归

        需要通过训练集x^{(n)}和y^{(n)}求解x,y之间的映射关系y=f(x,\theta )

神经网络（二）回归与线性模型_第1张图片

         1.线性回归

                ①模型

                        f(x;\omega ,b)=\omega^Tx+b

                        增广权重向量&增广特征向量：在x和\omega上添加一个b，可将模型中原有的b消除。

神经网络（二）回归与线性模型_第2张图片

                        模型转换为： f(x;\omega ,b)=\omega^Tx+b ->f(x;\omega)=\omega^Tx

                 ②训练集D上的经验风险

                        R(\omega)=\sum_{n=1}^{N}L(y^{(n)},f(x^{(n)};\omega))=\frac{1}{2}\sum_{n=1}^{N}(y^{(n)}-\omega^Tx^{(n)})^2=\frac{1}{2}||y-X^T\omega||^2

                                X矩阵：其中每行为一个样本

                                Y向量：列向量，每一列为一个结果

                        \left| \begin{array} {ccc} x_1^{(1)},x_1^{(2)},...x_1^{(n)}\\ x_2^{(1)},x_2^{(2)},...x_2^{(n)}\\ ...\\ \end{array} \right|        \left| \begin{array} {ccc} y^1\\ y^2\\ ... \end{array} \right|        x^Tw=\left| \begin{array} {ccc} w^Tx_1^{(1)},w^Tx_1^{(2)},...w^Tx_1^{(n)}\\ w^Tx_2^{(1)},w^Tx_2^{(2)},...w^Tx_2^{(n)}\\ ...\\ \end{array} \right|

                ③经验风险最小化

                        \frac{\partial}{\partial w} R(w)=0        以此公式求解w

                推导：\frac{\partial}{\partial w} R(w)=\frac{\partial \frac{1}{2}||y-x^Tw||^2 }{\partial w}=\frac{1}{2}*-x*2(y-x^Tw)=0

                        ->-xy+xx^T=0

                        ->xx^Tw=xy

                        ->w=(xx^T)^{-1}xy         条件：(xx^T)^{(-1))}必须存在

                                若(xx^T)^{(-1))}不存在（特征之间存在共线性），可以采用以下两种方法求解

                                ①SGD(随机数下降)  ②降维  

                结构风险：R(w)=\frac{1}{2}||y-X^Tw||^2+\frac{1}{2}\lambda ||w||^2 ，其中\frac{1}{2}\lambda ||w||^2被称为正则化项，\lambda为正则化参数。

                        使其最小化：w^*=(XX^T+\lambda I)^{-1}Xy

！！！Attention矩阵微积分

神经网络（二）回归与线性模型_第3张图片

         2.多项式回归

                ①模型

                        f(x,w)=w_0+w_1x+w_2x^2+...+w_mx^m        多项式曲线拟合

                ②损失函数

                        R(w)=\frac{1}{2}\sum_{n=1}^{N}(y^{(n)}-w^T\phi (x^{(n)}))^2

                ③经验风险最小化

                        求解过程与线性回归类似

                ④选择合适的多项式次数

神经网络（二）回归与线性模型_第4张图片

                         控制过拟合：正则化

                                惩罚大的系数：R(w)=\frac{1}{2}\sum_{n=1}^N(y^{(n)}-w^T\phi (x^{(n)}))^2+\frac{\lambda}{2}w^Tw

                                其中\frac{\lambda}{2}w^Tw为正则化项，\lambda为正则化系数

                         控制过拟合：增加训练样本数量

        3.从概率视角来看线性回归

神经网络（二）回归与线性模型_第5张图片

                 ①似然函数

                        参数w固定时，描述随机变量x的分布情况，称p(x;w)为概率

                        已知随机变量x时，不同参数w对其分布的影响，称p(x;w)为似然

                        线性回归中的似然函数：p(y|X;w,\sigma )=\prod_{n=1}^{N}p(y^{(n)}|x^{(n)};w,\sigma)

                                                                                       =\prod_{n=1}^{N}N(y^{(n)};w^Tx^{(n)},\sigma)

                ②最大似然估计

                        求一组参数w，使p(y|X;w,\sigma )取最大值（求导）

                ​​​​​​​        ​​​​​​​        w^{ML}=(XX^T)^{-1}Xy

                ③贝叶斯学习

                        将参数w也视为随机变量；给定一组数据X，求参数w的分布p(w|X)，也称后验分布

                        贝叶斯公式：p(y|x)=\frac{p(x|y)p(y)}{p(x)}

                        先验：p(w|x)\propto p(x|w)p(w)        后验 正比于  似然 X 先验

                         最大后验估计：w^{MAP}=arg max p(y|X,w;\sigma)p(w;v)

                                                              =-\frac{1}{2\sigma}||y-X^T||^2-\frac{1}{2v^2}w^Tw        正则化系数\lambda=\frac{\sigma^2}{v^2}

                ⑤四种准则

平方误差 经验风险最小化 (XX^T)^{-1}Xy
结构风险最小化 (XX^T+\lambda I)^{-1}Xy
概率 最大似然估计 (XX^T)^{-1}Xy
最大后验估计 (XX^T+\lambda I)^{-1}Xy

         4.模型选择

                        模型越复杂，训练错误越低；

                        但不能以训练错误高低来选择模型；

                        选择模型时，测试集不可见。

                ①引入验证集

                可将训练集分为两部分训练集和验证集，在验证集上挑选一个错误最小的模型。

                解决数据稀疏问题（样本过少）：交叉验证，将训练集分为S组，每次使用S-1组作为训练集，剩下一组作验证集；取验证集平均性能最好的一组。

                 ②使用准则

                        赤池信息量准则、贝叶斯信息准则

                ③偏差-方差分解

                        平衡模型复杂度和期望风险

                        期望风险：R(f)=E_{(x,y)~p_r(x,y)}[(y-f(x))^2]=E_{x~p(x)}[E_{y~p(y|x)}[(y-f(x))^2]]

                        最优模型：f^*(x)=E_{y~p_r(y|x)}[y]

                        期望风险可以分解为：R(f)=E_{(x,y)~p_y(x,y)}[(y-f*(x)-f(x))^2]

                                                        =E_{x~p_r(x)}[(f(x)-f^*(x))^2]+\varepsilon

                                \varepsilon =E_{(x,y~p_r(x,y))}[(y-f^*(x))^2] 通常由样本分布及噪声引起，无法通过优化模型消除。

                        目的：模型f(x)与最优模型f^*(x)尽可能贴近

神经网络（二）回归与线性模型_第6张图片

神经网络（二）回归与线性模型_第7张图片

                         由偏差与方差进行模型选择

神经网络（二）回归与线性模型_第8张图片

                         随着模型复杂度↑，方差↑，偏差↓

        5.常用定理

                ①没有免费午餐定理

                        不存在某种算法对所有问题都有效

                ②丑小鸭定理

                        丑小鸭与白天鹅之间的区别和两只白天鹅之间的区别一样大（未给定具体条件的情况下）

                ③奥卡姆剃刀定理

                        若无必要，勿增实体

                ④归纳偏置

                        做出的假设称为归纳偏置，在贝叶斯学习中称为先验

                ⑤PAC学习

                        由大数定律，训练集趋于无穷大时，泛化误差趋近于0

                        \lim_{|D|-> \infty}R(f)-R^{emp}(f)=0

                        P((R(f)-R^{emp}_D(f))<\epsilon )\geqslant 1-\delta​​​​​​​

你可能感兴趣的:(机器学习,学习笔记,回归,机器学习,人工智能)

  • 人工智能专业毕业设计题目精选：推荐合集 HaiLang_IT 毕业设计选题计算机视觉人工智能目标检测
    目录前言毕设选题开题指导建议更多精选选题选题帮助最后前言大家好,这里是海浪学长毕设专题!大四是整个大学期间最忙碌的时光，一边要忙着准备考研、考公、考教资或者实习为毕业后面临的升学就业做准备,一边要为毕业设计耗费大量精力。学长给大家整理了计算机专业最新精选选题，如遇选题困难或选题有任何疑问，都可以问学长哦(见文末)!对毕设有任何疑问都可以问学长哦!更多选题指导:最新最全计算机专业毕设选题精选推荐汇总
  • 跨语言语义理解与生成：多语言预训练方法及一致性优化策略 网罗开发 AI大模型人工智能深度学习负载均衡
    网罗开发（小红书、快手、视频号同名）  大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、HarmonyOS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO
  • langchain系列 - FewShotPromptTemplate 少量示例 码--到成功 大语言模型langchain
    导读环境：OpenEuler、Windows11、WSL2、Python3.12.3langchain0.3背景：前期忙碌的开发阶段结束，需要沉淀自己的应用知识，过一遍LangChain时间：20250220说明：技术梳理，针对FewShotPromptTemplate专门来写一篇博客概念说明few-shot最初来源于机器学习的概念，还有one-shot、zero-shot概念，概念如下：机器学习
  • 《Cell》期刊作者提交指南 TigerZ 生信宝库 科研技能程序人生
    ❝写在前面在投稿论文前，阅读目标期刊的政策要求是非常必要的。本文为《Cell》期刊提供给作者的提交指南，包含了提交论文的相关信息和政策要求。本着自己学习、分享他人的态度，分享学习笔记，希望能对大家有所帮助。目录1期刊介绍（Aboutthejournal）2编辑评估时间表（Editorialevaluationtimeline）3CellPress期刊之间的关系（Relationshipbetwee
  • r语言 面板数据回归_R语言 之回归分析 你的麦克疯 r语言面板数据回归
    回归分析(regressionanalysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。运用十分广泛，下列表格向我们展示了回归的不同类型以及其用途。本章为R语言回归分析之上部分，主要向读者们展示如何运用R语言完成ols(普通最小二乘)回归：简单线性回归、多项式回归、多元线性回归的语言编程示例，以及检验回归分析中统计假设的方法。回归类型用途简单线性用一个量化的解释变量来预测一
  • 【R语言数据分析】基于R语言对中、美两国GDP分析（R语言大作业） m0_73866147 数据分析大数据r语言
    目录一、研究意义二、数据来源三、读取数据读取数据代码运行结果截图四、数据分析绘制箱线图建立箱线图代码运行结果截图五、建立回归模型建立回归模型代码运行结果截图有关于相关系数的计算与检验六、回归分析确定回归方程七、预测中国和美国未来的GDP值、预测中国的GDP赶超美国的时间数据可视化八、总结一、研究意义GDP作为衡量一个国家经济发展的重要指标，被赋予了非常重要的意义，深刻反映着当下经济发展的现状。中美
  • 量化交易策略都有哪些？怎么运用？ 股票程序化交易接口 Python股票量化交易股票API接口量化交易量化交易策略均值回归动量策略风险控制股票量化接口股票API接口
    Python股票接口实现查询账户，提交订单，自动交易（1）Python股票程序交易接口查账，提交订单，自动交易（2）股票量化，Python炒股，CSDN交流社区>>>均值回归策略：寻找价格的回归点均值回归的原理均值回归策略是基于一种市场现象，即价格不会永远偏离其长期的平均值。从市场的历史数据来看，无论是股票、期货还是其他金融资产，价格总是围绕着一个均值上下波动。这就像一个有弹性的绳子，当价格被拉伸
  • R语言中的偏最小乘回归（Partial Least Squares Regression, PLSR）和判别分析（Discriminant Analysis, 程序才子 r语言回归开发语言R语言
    R语言中的偏最小乘回归（PartialLeastSquaresRegression,PLSR）和判别分析（DiscriminantAnalysis,DA）偏最小乘回归（PartialLeastSquaresRegression,PLSR）与判别分析（DiscriminantAnalysis,DA）是R语言中常用的数据建模和预测技术。它们可以用于解决回归问题和分类问题。本文将介绍PLSR和DA的基本
  • AI赋能下的2025商业新契机：AI无人自动直播引领财富增长 V__17671155793 人工智能pythonchatgptgpt-3gpt
    AI赋能下的2025商业新契机：AI无人自动直播引领财富增长！在科技飞速发展的时代，每一次重大的技术突破都有可能重塑商业格局，创造全新的财富机遇。如今，随着人工智能技术的深度应用，AI无人自动直播正成为2025年最具潜力的造富新赛道，为广大商家提供了前所未有的发展契机，助力其在激烈的市场竞争中展翅腾飞。一、传统直播困境与AI无人自动直播的破局之道回顾直播行业的发展历程，传统直播模式在经历了初期的爆
  • 主要空间数据挖掘方法 CodeYoung7 总结归纳数据挖掘地理信息
    文章出自：http://blog.csdn.net/shaoz/article/details/6847925张新长马林兵等，《地理信息系统数据库》[M]，科学出版社，2005年2月第二章第二节空间数据空间数据挖掘是多学科和多种技术交叉综合的新领域，其挖掘方法以人工智能、专家系统、机器学习、数据库和统计等成熟技术为基础。下面介绍近年来出现的主要空间数据挖掘方法。1、空间分析方法利用GIS的各种空间
  • ChatGPT和DeepSeek打造科研与办公的高效引擎 AAIshangyanxiu 编程算法统计语言农林生态遥感chatgpt
    一、2024大语言模型最新进展与ChatGPT各模型讲解1、2024AIGC技术最新进展介绍（生成式人工智能的基本概念与原理、最新前沿技术和发展趋势简介）2、国内外大语言模型（ChatGPT4O、Gemini、Claude、Llama3、PerplexityAI、文心一言、星火、通义千问、Kimi、智谱清言、秘塔AI等）对比分析3、OpenAI12天12场直播新功能解读与演示（ChatGPTO1模
  • 【数据挖掘】ARFF格式与数据收集 布鲁惠比寿 数据挖掘数据挖掘人工智能
    【数据挖掘】ARFF格式与数据收集三级目录1.ARFF格式与数据收集2.稀疏数据3.属性类型4.缺失值与不正确的值5.了解数据6.知识表达7.聚类机器学习算法训练数据挖掘分析数据共享与交换三级目录1.ARFF格式与数据收集ARFF（Attribute-RelationFileFormat）是一种用于存储数据集的文本文件格式，常用于机器学习和数据挖掘领域。它可以表示结构化数据，包括属性定义、关系信息
  • DeepSeek混合专家模型：低成本高精度革新多语言AI应用 智能计算研究中心 其他
    内容概要当前人工智能领域正经历从通用模型向垂直化、场景化应用的关键转型，DeepSeek混合专家模型（MoE）通过突破性的架构设计，为这一进程提供了技术范本。该模型采用分治策略的混合专家架构，通过动态激活670亿参数中的子模块处理特定任务，既保证了模型规模带来的知识广度，又显著降低了计算资源的冗余消耗。在此基础上，其多模态处理能力不仅覆盖80余种自然语言的高精度互译，还实现了视觉符号与文本语义的跨
  • 23. AI-概述 真上帝的左手 23.AIai人工智能
    文章目录前言一、AI1.简介2.发展3.应用场景前言AI‌  随着技术的发展，AI正变得越来越强大和普及，其在解决复杂问题和提高人类生活质量方面的潜力日益显现。一、AIAI（ArtificialIntelligence，人工智能）1.简介  AI（ArtificialIntelligence，人工智能）是计算机科学的一个分支，旨在开发智能系统，使其能够执行通常需要人类智能的任务，例如学习、推理、问
  • 国外7个最佳大语言模型 (LLM) API推荐 程序员后端
    大型语言模型(LLM)API将彻底改变我们处理语言的方式。在深度学习和机器学习算法的支持下，LLMAPI提供了前所未有的自然语言理解能力。通过利用这些新的API，开发人员现在可以创建能够以前所未有的方式理解和响应书面文本的应用程序。下面，我们将比较从Bard到ChatGPT、PaLM等市场上顶级LLMAPI。我们还将探讨整合这些LLM的潜在用例，并考虑其对语言处理的影响。什么是大语言模型(LLM)
  • C语言结构体学习笔记 BUG 劝退师 c语言c语言学习笔记
    C语言结构体学习笔记目录结构体基本概念结构体变量定义结构体初始化结构体数组结构体指针共用体枚举类型typedef自定义类型总结结构体基本概念1.什么是结构体？结构体：一种用户自定义的数据类型，用于将多个不同类型的变量组合成一个整体。用途：表示复杂数据（如学生信息：学号、姓名、成绩等）。2.结构体定义struct结构体名{数据类型成员1;数据类型成员2;//可以嵌套结构体struct子结构体名子成员
  • OpenAI揭示o3的推理过程，以弥合与DeepSeek-R1的差距 c++服务器开发 人工智能deepseek
    生成式人工智能开发商OpenAI公司首席执行官SamAltman最近在RedditAMA问答活动中承认，该公司在开源软件研究方面站在了“历史错误的一边”。尽管OpenAI公司尚未发布其开源模型，但已经迈出了提高透明度的第一步。正如该公司在其X帐号上所宣布的那样，其最新的推理模型o3-mini现在展示了其思维链（CoT）跟踪的更详细版本。此前，OpenAI公司的推理模型仅展示了CoT的高级概述，这使
  • 第26篇：pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA使用lora微调的模型异构个性化联邦学习 还不秃顶的计科生 联邦学习深度学习人工智能开发语言
    第一部分：解决的问题联邦学习（FederatedLearning,FL）是一种分布式机器学习方法，允许客户端在本地数据上训练模型，同时通过中心服务器共享学习成果。传统FL框架假设客户端使用相同的模型结构（模型同构），但在实际中可能面对：统计异质性：客户端的数据分布不均（non-IID）。资源异质性：客户端硬件资源有限。模型异质性：客户端可能拥有不同的模型结构。模型异构的个性化联邦学习（MHPFL）
  • 零基础学会asp.net做AI大模型网站/小程序十六：专栏总结 借雨醉东风 asp.net小程序后端
    本专栏以实战为主，轻理论。如果哪里有不太懂的，可关注博主后加个人微信（平台规定文章中不能贴联系方式，需先关注博主，再加微信），后续一起交流学习。-------------------------------------正文----------------------------------------目录本专栏总结后续方向项目简介项目结构使用方法项目地址关键特点LLaMA机器学习简介使用LLaMA
  • GPT (Generative Pre-trained Transformer) 彬彬侠 自然语言处理gpttransformer预训练NLP自然语言处理
    GPT(GenerativePre-trainedTransformer)是由OpenAI提出的一个基于Transformer架构的自回归语言模型。GPT模型通过大规模无监督预训练，使用大量的文本数据进行学习，然后再进行微调（fine-tuning）来适应具体的下游任务。GPT的设计目标是能够理解和生成自然语言文本，并且它以其出色的自然语言生成能力在多个领域取得了显著的成果。GPT的基本原理GPT
  • 探索AI音乐创作的未来：八款顶尖AI音乐生成工具（本期介绍国外-国内另外专题介绍） 带娃的IT创业者 AIGC程序员创富人工智能音视频ai
    探索AI音乐创作的未来：八款顶尖AI音乐生成工具（本期介绍国外-国内另外专题介绍）在科技飞速发展的今天，人工智能（AI）已经渗透到我们生活的方方面面，其中音乐创作也不例外。AI音乐生成工具不仅为专业音乐人提供了新的创作方式，也让普通人能够轻松创作出高质量的音乐作品。本文将介绍八款知名的AI音乐生成工具，帮助你了解它们的特点和优势。1.SunoSuno是一款AI驱动的音乐生成器，能够快速创建高质量的
  • 深入理解DAG任务调度系统：核心原理与实现 AI天才研究院 计算Python实战编程实践python算法dag
    1.背景介绍随着大数据、人工智能等领域的发展，任务调度系统的重要性日益凸显。DirectedAcyclicGraph(DAG)任务调度系统是一种常见的任务调度系统，它可以有效地解决多个依赖关系复杂的任务调度问题。本文将深入探讨DAG任务调度系统的核心原理和实现，为读者提供一个深入的理解。1.1背景介绍1.1.1任务调度系统简介任务调度系统是计算机科学中一个重要的研究领域，它主要关注于在并行计算系统
  • python 自动化数据提取之正则表达式_python 正则提取(2) m0_60607245 程序员python学习面试
    一、Python所有方向的学习路线Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。二、Python必备开发工具工具都帮大家整理好了，安装就可直接上手！三、最新Python学习笔记当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理
  • Mysql学习笔记-Mysql基础进阶 少年无为 MysqlMysql数据库多表查询数据库备份Mysql查询
    #知识点1.DQL:查询语句1.排序查询2.聚合函数3.分组查询4.分页查询2.约束3.多表之间的关系4.范式5.数据库的备份和还原#DQL:查询语句1.排序查询*语法：orderby子句*orderby排序字段1排序方式1，排序字段2排序方式2...*排序方式：*ASC：升序，默认的。*DESC：降序。*注意：*如果有多个排序条件，则当前边的条件值一样时，才会判断第二条件。2.聚合函数：将一列数
  • 嵌入式学习DAY28 --- 线程、同步和互斥问题、如何实现同步和互斥？ 楼台的春风 嵌入式学习多线程c语言嵌入式linuxubuntu
    嵌入式入门学习笔记，遇到的问题以及心得体会！DAY28概述：一、线程二、同步和互斥问题三、如何实现同步四、如何实现互斥笔记：一、线程1、什么是线程：（1）线程是轻量级的进程（2）线程存在于进程内，不能独立存在（3）线程参与CPU调度，进程是系统资源分配最小单位，线程是系统调度的最小单位（4）在单核CPU中，多线程并发属于伪并发，但是不牵扯虚拟地址空间的切换，所以开销比进程间切换要小很多（5）在多核
  • Python从0到100（三十九）：数据提取之正则（文末免费送书） 是Dream呀 pythonmysql开发语言
    前言：零基础学Python：Python从0到100最新最全教程。想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、计算机视觉、机器学习、神经网络以及人工智能相关知识，成为学习学习和学业的先行者！欢迎大家订阅专栏：零基础学Python：Python从0到100最新
  • 接入DeepSeek后，智慧园区安全调度系统的全面提升 Guheyunyi 安全数据分析python智慧城市人工智能信息可视化
    随着人工智能技术的快速发展，智慧园区的安全管理正逐步向智能化、自动化方向迈进。DeepSeek作为先进的人工智能解决方案，为智慧园区安全调度系统注入了强大的技术动力。通过接入DeepSeek，智慧园区安全调度系统在多个方面实现了显著提升，进一步增强了园区的安全性、管理效率和用户体验。1.智能化监控：从被动到主动传统的监控系统主要依赖人工查看视频画面，容易出现漏检或误判。接入DeepSeek后，智慧
  • （九万字）面向2025年BOSS直聘人工智能算法工程师高频面试题解析 快撑死的鱼 人工智能回归pythonpytorch
    面向2025年BOSS直聘人工智能算法工程师高频面试题解析1.机器学习（ML）理论解析机器学习是让计算机从数据中学习规律的一套方法论，包含监督学习、无监督学习和强化学习等范式。在监督学习中，给定带标签的数据，算法尝试学习从输入到输出的映射关系；无监督学习则在缺乏标签的情况下挖掘数据内在结构；强化学习则让智能体通过与环境交互、依据奖赏反馈来改进策略(Q-learning-Wikipedia)。机器学
  • Centos7 搭建 Jupyter + Nginx 服务 某龙兄 pythonnginxlinuxcentos
    JupyterNotebook（此前被称为IPythonnotebook）是一个交互式笔记本，支持运行40多种编程语言。JupyterNotebook的本质是一个Web应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和markdown。用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等。本文讲述如何搭建Jupyter+Nginx服务,仅供学习与交流，请勿用于商业用途一
  • 人工智能与机器学习入门：基尼系数（Gini Index）和基于熵（Entropy） 基尼系数基于熵机器学习入门
    在决策树应用一文中，在构建决策分类树应用决策算法时，介绍了基尼系数（GiniIndex）和基于熵（Entropy）两种算法。本文通过实例来更加深入的介绍一下这两个算法。仍然以简单的数据为例：id喜欢颜色是否有喉结身高性别1绿否165女2蓝是170男3粉否172女4绿是175男基尼系数分别对喜欢颜色是否有喉结求基尼系数如下：喜欢的颜色id喜欢颜色性别1绿女2蓝男3粉女4绿男对于姓别女分类而言，数据如
  • C/C++Win32编程基础详解视频下载 择善Zach 编程C++Win32
    课题视频：C/C++Win32编程基础详解 视频知识：win32窗口的创建                   windows事件机制 主讲：择善Uncle老师 学习交流群：386620625 验证码：625 --
  • Guava Cache使用笔记 bylijinnan javaguavacache
    1.Guava Cache的get/getIfPresent方法当参数为null时会抛空指针异常 我刚开始使用时还以为Guava Cache跟HashMap一样，get(null)返回null。 实际上Guava整体设计思想就是拒绝null的，很多地方都会执行com.google.common.base.Preconditions.checkNotNull的检查。 2.Guava
  • 解决ora-01652无法通过128（在temp表空间中） 0624chenhong oracle
    解决ora-01652无法通过128（在temp表空间中）扩展temp段的过程 一个sql语句后，大约花了10分钟，好不容易有一个结果，但是报了一个ora-01652错误，查阅了oracle的错误代码说明：意思是指temp表空间无法自动扩展temp段。这种问题一般有两种原因：一是临时表空间空间太小，二是不能自动扩展。 分析过程：    既然是temp表空间有问题，那当
  • Struct在jsp标签 不懂事的小屁孩 struct
    非UI标签介绍： 控制类标签： 1：程序流程控制标签   if   elseif    else <s:if test="isUsed"> <span class="label label-success">True</span> </
  • 按对象属性排序 换个号韩国红果果 JavaScript对象排序
    利用JavaScript进行对象排序，根据用户的年龄排序展示 <script> var bob={ name;bob, age:30 } var peter={ name;peter, age:30 } var amy={ name;amy, age:24 } var mike={ name;mike, age:29 } var john={
  • 大数据分析让个性化的客户体验不再遥远 蓝儿唯美 数据分析
    顾客通过多种渠道制造大量数据，企业则热衷于利用这些信息来实现更为个性化的体验。 分析公司Gartner表示，高级分析会成为客户服务的关键，但是大数据分析的采用目前仅局限于不到一成的企业。 挑战在于企业还在努力适应结构化数据，疲于根据自身的客户关系管理（CRM）系统部署有效的分析框架，以及集成不同的内外部信息源。 然而，面对顾客通过数字技术参与而产生的快速变化的信息，企业需要及时作出反应。要想实
  • java笔记4 a-john java
    操作符 1，使用java操作符       操作符接受一个或多个参数，并生成一个新值。参数的形式与普通的方法调用不用，但是效果是相同的。加号和一元的正号（+）、减号和一元的负号（-）、乘号（*）、除号（/）以及赋值号（=）的用法与其他编程语言类似。       操作符作用于操作数，生成一个新值。另外，有些操作符可能会改变操作数自身的
  • 从裸机编程到嵌入式Linux编程思想的转变------分而治之：驱动和应用程序 aijuans 嵌入式学习
        笔者学习嵌入式Linux也有一段时间了，很奇怪的是很多书讲驱动编程方面的知识，也有很多书将ARM9方面的知识，但是从以前51形式的（对寄存器直接操作，初始化芯片的功能模块）编程方法，和思维模式，变换为基于Linux操作系统编程，讲这个思想转变的书几乎没有，让初学者走了很多弯路，撞了很多难墙。     笔者因此写上自己的学习心得，希望能给和我一样转变
  • 在springmvc中解决FastJson循环引用的问题 asialee 循环引用fastjson
              我们先来看一个例子：           package com.elong.bms; import java.io.OutputStream; import java.util.HashMap; import java.util.Map; import co
  • ArrayAdapter和SimpleAdapter技术总结 百合不是茶 androidSimpleAdapterArrayAdapter高级组件基础
    ArrayAdapter比较简单，但它只能用于显示文字。而SimpleAdapter则有很强的扩展性，可以自定义出各种效果   ArrayAdapter;的数据可以是数组或者是队列        // 获得下拉框对象 AutoCompleteTextView textview = (AutoCompleteTextView) this
  • 九封信 bijian1013 人生励志
            有时候，莫名的心情不好，不想和任何人说话，只想一个人静静的发呆。有时候，想一个人躲起来脆弱，不愿别人看到自己的伤口。有时候，走过熟悉的街角，看到熟悉的背影，突然想起一个人的脸。有时候，发现自己一夜之间就长大了。         2014，写给人
  • Linux下安装MySQL Web 管理工具phpMyAdmin sunjing PHPInstallphpMyAdmin
    PHP http://php.net/ phpMyAdmin http://www.phpmyadmin.net Error compiling PHP on CentOS x64   一、安装Apache 请参阅http://billben.iteye.com/admin/blogs/1985244   二、安装依赖包 sudo yum install gd
  • 分布式系统理论 bit1129 分布式
    FLP One famous theory in distributed computing, known as FLP after the authors Fischer, Lynch, and Patterson, proved that in a distributed system with asynchronous communication and process crashes,
  • ssh2整合(spring+struts2+hibernate)-附源码 白糖_ eclipsespringHibernatemysql项目管理
    最近抽空又整理了一套ssh2框架，主要使用的技术如下： spring做容器，管理了三层(dao,service,actioin)的对象 struts2实现与页面交互(MVC)，自己做了一个异常拦截器，能拦截Action层抛出的异常 hibernate与数据库交互 BoneCp数据库连接池，据说比其它数据库连接池快20倍，仅仅是据说 MySql数据库   项目用eclipse
  • treetable bug记录 braveCS table
    // 插入子节点删除再插入时不能正常显示。修改： //不知改后有没有错，先做个备忘 Tree.prototype.removeNode = function(node) { // Recursively remove all descendants of +node+ this.unloadBranch(node); // Remove
  • 编程之美-电话号码对应英语单词 bylijinnan java算法编程之美
    import java.util.Arrays; public class NumberToWord { /** * 编程之美 电话号码对应英语单词 * 题目： * 手机上的拨号盘，每个数字都对应一些字母，比如2对应ABC，3对应DEF.........，8对应TUV，9对应WXYZ， * 要求对一段数字，输出其代表的所有可能的字母组合
  • jquery ajax读书笔记 chengxuyuancsdn jQuery ajax
    1、jsp页面 <%@ page language="java" import="java.util.*" pageEncoding="GBK"%> <% String path = request.getContextPath(); String basePath = request.getScheme()
  • JWFD工作流拓扑结构解析伪码描述算法 comsci 数据结构算法工作活动J#
      对工作流拓扑结构解析感兴趣的朋友可以下载附件，或者下载JWFD的全部代码进行分析   /*  流程图拓扑结构解析伪码描述算法         public java.util.ArrayList DFS(String graphid, String stepid, int j)
  • oracle I/O 从属进程 daizj oracle
    I/O 从属进程 　　I/O从属进程用于为不支持异步I/O的系统或设备模拟异步I/O.例如，磁带设备(相当慢)就不支持异步I/O.通过使用I/O 从属进程，可以让磁带机模仿通常只为磁盘驱动器提供的功能。就好像支持真正的异步I/O 一样，写设备的进程(调用者)会收集大量数据，并交由写入器写出。数据成功地写出时，写入器(此时写入器是I/O 从属进程，而不是操作系统)会通知原来的调用者，调用者则会
  • 高级排序:希尔排序 dieslrae 希尔排序
    public void shellSort(int[] array){ int limit = 1; int temp; int index; while(limit <= array.length/3){ limit = limit * 3 + 1;
  • 初二下学期难记忆单词 dcj3sjt126com englishword
    kitchen 厨房 cupboard 厨柜 salt 盐 sugar 糖 oil 油 fork 叉；餐叉 spoon 匙；调羹 chopsticks 筷子 cabbage 卷心菜；洋白菜 soup 汤 Italian 意大利的   Indian 印度的 workplace  工作场所 even 甚至；更 Italy 意大利 laugh 笑 m
  • Go语言使用MySQL数据库进行增删改查 dcj3sjt126com mysql
    目前Internet上流行的网站构架方式是LAMP，其中的M即MySQL, 作为数据库，MySQL以免费、开源、使用方便为优势成为了很多Web开发的后端数据库存储引擎。MySQL驱动Go中支持MySQL的驱动目前比较多，有如下几种，有些是支持database/sql标准，而有些是采用了自己的实现接口,常用的有如下几种: http://code.google.c...o-mysql-dri
  • git命令 shuizhaosi888 git
    ---------------设置全局用户名： git config --global user.name "HanShuliang" //设置用户名 git config --global user.email "[email protected]" //设置邮箱 ---------------查看环境配置 git config --li
  • qemu-kvm 网络 nat模式 (四) haoningabc kvmqemu
    qemu-ifup-NAT #!/bin/bash BRIDGE=virbr0 NETWORK=192.168.122.0 GATEWAY=192.168.122.1 NETMASK=255.255.255.0 DHCPRANGE=192.168.122.2,192.168.122.254 TFTPROOT= BOOTP= function check_bridge()
  • 不要让未来的你，讨厌现在的自己 jingjing0907 生活 奋斗 工作 梦想
     故事one 　23岁，他大学毕业，放弃了父母安排的稳定工作，独闯京城，在家小公司混个小职位，工作还算顺手，月薪三千，混了混，混走了一年的光阴。　　　　24岁，有了女朋友，从二环12人的集体宿舍搬到香山民居，一间平房，二人世界，爱爱爱。偶然约三朋四友，打扑克搓麻将，日子快乐似神仙；　　　　25岁，出了几次差，调了两次岗，薪水涨了不过百，生猛狂飙的物价让现实血淋淋，无力为心爱银儿购件大牌
  • 枚举类型详解 一路欢笑一路走 enum枚举详解enumsetenumMap
    枚举类型详解 一.Enum详解      1.1枚举类型的介绍   JDK1.5加入了一个全新的类型的”类”—枚举类型，为此JDK1.5引入了一个新的关键字enum,我们可以这样定义一个枚举类型。      Demo:一个最简单的枚举类   public enum ColorType { RED
  • 第11章 动画效果（上） onestopweb 动画
    index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
  • Eclipse中jsp、js文件编辑时，卡死现象解决汇总 ljf_home eclipsejsp卡死js卡死
    使用Eclipse编辑jsp、js文件时，经常出现卡死现象，在网上百度了N次，经过N次优化调整后，卡死现象逐步好转，具体那个方法起到作用，不太好讲。将所有用过的方法罗列如下：   1、取消验证 windows–>perferences–>validation 把 除了manual 下面的全部点掉，build下只留 classpath dependency Valida
  • MySQL编程中的6个重要的实用技巧 tomcat_oracle mysql
    每一行命令都是用分号(;)作为结束 对于MySQL，第一件你必须牢记的是它的每一行命令都是用分号(;)作为结束的，但当一行MySQL被插入在PHP代码中时，最好把后面的分号省略掉，例如： mysql_query("INSERT INTO tablename(first_name,last_name)VALUES('$first_name',$last_name')");
  • zoj 3820 Building Fire Stations(二分+bfs) 阿尔萨斯 Build
    题目链接：zoj 3820 Building Fire Stations 题目大意：给定一棵树，选取两个建立加油站，问说所有点距离加油站距离的最大值的最小值是多少，并且任意输出一种建立加油站的方式。 解题思路：二分距离判断，判断函数的复杂度是o(n)，这样的复杂度应该是o(nlogn)，即使常数系数偏大，但是居然跑了4.5s，也是醉了。 判断函数里面做了3次bfs，但是每次bfs节点最多
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他