数据人的自我救赎
数据人的自我救赎

【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计

目录

一、广义最小二乘估计的推导

二、广义最小二乘估计的性质——【定理3.6.1】

1.定理内容

2.定理证明

3.定理说明

三、简单例子

四、【例3.6.1】

一、广义最小二乘估计的推导

        在前面的讨论中，我们总是假设线性回归模型的误差是等方差且不相关的，即Cov(e)=\sigma ^2I。但在很多情况下，这个假设总是可以认为近似地成立。但是，像在\S 3.4所指出的，仍然有许多实际问题，经过残差分析后，我们不能认为这些假设是合适的，它们的误差方差可能不相等，也可能彼此相关。这时，误差向量的协方差阵Cov(e)=\sigma ^2\Sigma，这里\Sigma为一个正定阵，当然\Sigma往往包含有位置参数。为简单计，在这一节的讨论中，我们假定\Sigma是完全已知的。我们要讨论的回归模型具有如下形式：

{\color{Red} y=X\beta +e,E(e)=0,Cov(e)=\sigma ^2\Sigma (3.6.1)}

        为了求参数的估计，我们经过适当变换，把它化成前面讨论过的情形，既然\Sigma是正定阵，于是存在n*n的正交阵P使其对角化：\Sigma =P^{'}\Lambda P，这里

\Lambda =diag(\lambda_{1},\lambda_{2},\cdots,\lambda_{n}),\lambda_{i}>0,i=1,2,\cdots,n

\lambda_{i}是\Sigma的特征值。记\Sigma ^{\frac{1}{2}}=P^{'} diag(\lambda_{1}^{-\frac{1}{2}},\lambda_{2}^{-\frac{1}{2}},\cdots,\lambda_{n}^{-\frac{1}{2}}) P。则(\Sigma ^{-\frac{1}{2}})^2=\Sigma ^{-1}，称\Sigma ^{-\frac{1}{2}}是\Sigma ^{-1}的平方根阵。用\Sigma ^{-\frac{1}{2}}左乘(3.6.1)，记{\color{Red} z=\Sigma ^{-\frac{1}{2}}y,U=\Sigma ^{-\frac{1}{2}}X,\epsilon =\Sigma ^{-\frac{1}{2}}e}。因为

Cov(\epsilon )=\Sigma ^{-\frac{1}{2}}\sigma ^2\Sigma \Sigma ^{-\frac{1}{2}}=\sigma ^2I

于是我们得出如下线性回归模型：

{\color{Red} z=U\beta +\epsilon ,E(\epsilon )=0,Cov(\epsilon )=\sigma ^2I(3.6.2)}

        这就是我们已经讨论过的情况在。在这个新模型中，\beta的最小二乘估计为

{\color{Red} \beta ^{*}=(U^{'}U)^{-1}U^{'}z=(X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}y(3.6.3)}

        一般，我们称\beta ^{*}为\beta的广义最小二乘估计，也有一些作者称\beta ^{*}为\beta的Gauss-Markov估计，下面的定理概括了这个估计得统计性质。 

二、广义最小二乘估计的性质——【定理3.6.1】

1.定理内容

        对于线性回归模型(3.6.1)，有

  • (a)E(\beta ^{*})=\beta
  • Cov(\beta ^{*})=\sigma ^2(X^{'}\Sigma ^{-1}X)^{-1}
  • 对任意P*1已知向量c，c^{'}\beta ^{*}为c^{'}\beta的唯一最小方差无偏估计

2.定理证明

{\color{Red} proof:}

{\color{Red} (a)E(\beta ^{*})=E\left [ (X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}y \right ]=(X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}X\beta =\beta }

{\color{Red} (b)Cov(\beta ^{*})=Cov\left [ (X^{'}\Sigma ^{-1}X)^{-1}X^{'}\Sigma ^{-1}y \right ]=\sigma ^2(X^{'}\Sigma ^{-1}X)^{-1}\Sigma \Sigma ^{-1}X(X^{'}\Sigma ^{-1}X)^{-1}=\sigma ^2(X^{'}\Sigma ^{-1}X)^{-1}}

{\color{Red} (c)}设{\color{Red} b^{'}y}是{\color{Red} c^{'}\beta}的任一线性无偏估计，对于模型(3.6.2)，我们有

{\color{Red} c^{'}\beta ^{*}=c^{'}(U^{'}U)^{-1}U^{'}z,b^{'}y=b^{'}\Sigma ^{\frac{1}{2}}\Sigma ^{-\frac{1}{2}}y=b^{'}\Sigma ^{\frac{1}{2}}z}

这就是说，对变换后的模型而言，{\color{Red} c^{'}\beta ^{*}}是{\color{Red} c^{'}\beta}的最小二乘估计，而{\color{Red} b^{'}y=b^{'}\Sigma ^{\frac{1}{2}}z}是{\color{Red} c^{'}\beta}的一个无偏估计，由定理3.2.2知，{\color{Red} Var(c^{'}\beta ^{*})\leqslant Var(b^{'}\Sigma ^{\frac{1}{2}}z)=Var(b^{'}y)}，并且等号成立当且仅当{\color{Red} c^{'}\beta ^{*}=b^{'}y}，定理证毕。

3.定理说明

        定理3.6.1(c)就是一般情况下的Gauss-Markov定理。它表明，在一般线性回归模型(3.6.1)中，广义最小二乘估计\beta ^{*}是最优的。但是，如果我们把\beta ^{*}表达式中的\Sigma换成单位阵I，则得到\hat{\beta }=(X^{'}X)^{-1}X^{'}y。称为简单最最小二乘估计，常常简称为最小二乘估计。容易证明，对于模型(3.6.1)，E(\hat{\beta })=\beta，即\hat{\beta }仍是\beta的无偏估计。但这时对任意线性函数c^{'}\beta，c^{'}\hat{\beta }只是c^{'}\beta的一个无偏估计，它未必是最优的。我们称c^{'}\beta ^{*}和c^{'}\hat{\beta }分别为c^{'}\beta的广义最小二乘估计和（简单）最小二乘估计。根据定理3.6.1(c)，对一切P*1向量c有Var(c^{'}\beta^{*})\leqslant Var(c^{'}\hat{\beta })，这就是说对于一般线性回归模型(3.6.1)，广义最小二乘估计总是优于最小二乘估计。

三、简单例子

        模型(3.6.1)的最简单例子是因变量的不同观测具有不等方差的情况，这时

Cov(e)=\begin{pmatrix} \sigma _{1}^2 & & & \\ & \sigma _{2}^2 & & \\ & &\ddots & \\ & & & \sigma _{n}^2 \end{pmatrix}

这里可以有一些\sigma _{i}^2彼此相等。记x_{1}^{'},\cdots,x_{n}^{'}分别为设计矩阵X的n个行向量，则容易推出，这时\beta的广义最小二乘估计具有如下形式

\beta ^{*}=\left ( \sum_{i=1}^{n}\frac{x_{i}x_{i}^{'}}{\sigma _{i}^2} \right )^{-1}\left ( \sum_{i=1}^{n}\frac{y_{i}}{\sigma _{i}^2}x_{i} \right )(3.6.4) 

从这个表达式我们可以看出，两个和式分别是x_{i}x_{i}^{'}和y_{i}x_{i}的“加权和”，而所用的权都是\frac{1}{\sigma _{i}^2}。因此文献中常常把(3.6.4)定义的\beta ^{*}称为加权最小二乘估计。这里讲的是\sigma _{i}^2皆已知的情况。在实际应用中，\sigma _{i}^2往往是未知的，这时我们可以设法求得他们的估计\hat{\sigma _{i}^2}去代替。

        对于一般线性回归模型，在实际应用中碰到的问题是确定协方差阵\Sigma的形式，但这往往是十分困难的。一般我们总是从假设\Sigma =I入手，求得简单最小二乘估计，然后通过残差分析，对误差方差提供一些信息。另一种做法是，从问题本身的专业角度或其它方面，对误差向量提出一些特殊结构，这时误差协方差阵就具有特殊形式。

四、【例3.6.1】

【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计_第1张图片

【应用回归分析】CH3 回归参数的估计6——广义最小二乘估计_第2张图片

你可能感兴趣的:(应用回归分析,回归)

  • 大数据与物联网（IoT）的完美融合：驱动智能新时代 Echo_Wish 大数据高阶实战秘籍大数据物联网python人工智能
    大数据与物联网（IoT）的完美融合：驱动智能新时代大家好，我是你们的大数据探索者Echo_Wish。今天，我们将深入探讨大数据与物联网（IoT）整合的重要性及其在现代科技中的应用。物联网通过连接大量智能设备，生成海量数据；而大数据技术则赋予我们从这些数据中提取有价值信息的能力。当两者结合在一起时，能够为各行各业带来革命性的变化，推动智能时代的到来。一、大数据与物联网的基本概念1.物联网（IoT）物
  • 基于NLP的客户意见分析：从数据到洞察 Echo_Wish Python算法Python笔记自然语言处理人工智能
    友友们好！我的新专栏《Python进阶》正式启动啦！这是一个专为那些渴望提升Python技能的朋友们量身打造的专栏，无论你是已经有一定基础的开发者，还是希望深入挖掘Python潜力的爱好者，这里都将是你不可错过的宝藏。在这个专栏中，你将会找到：●深入解析：每一篇文章都将深入剖析Python的高级概念和应用，包括但不限于数据分析、机器学习、Web开发等。●实战案例：通过丰富的实战案例，带你一步步实现
  • 使用 Node.js 部署高性能应用：从入门到进阶 Echo_Wish 运维探秘让你快速入坑运维node.js
    使用Node.js部署高性能应用：从入门到进阶大家好，我是你们的运维伙伴Echo_Wish。今天我们来探讨如何使用Node.js部署高性能应用。Node.js因其异步非阻塞I/O模型、高效的事件驱动架构以及强大的包管理器npm，成为了现代Web开发的重要工具。我们将从简单的应用入手，逐步深入，探索如何优化Node.js应用的性能。希望你能从中受益！一、Node.js应用的基本部署首先，我们需要一个
  • matlab空间散点拟合曲线,matlab离散点拟合曲线 圣君阡陌 matlab空间散点拟合曲线
    matlab曲线拟合与数值点标注实例_工程科技_专业资料。实例1:现已知两组...Matlab教程曲线拟合工具箱数学科学与技术学院胡金燕lionfr@曲线拟合定义在实际工程应用和科学实践中,经常需要寻求两个(或多个)变量间的关系,而......(p,x);%获得x点处对相应的y值plot(x,y,'r*',x,y1,'b');%画出离散点和拟合曲线xlabel('墨水浓度');ylabel('吸光
  • （视频演示）基于OpenCV的实时视频跟踪火焰识别软件V1.0源码及exe下载 是刃小木啦~ opencv人工智能计算机视觉
    本文介绍了基于OpenCV的实时视频跟踪火焰识别软件，该软件通过先进的图像处理技术实现对实时视频中火焰的检测与跟踪，同时支持导入图片进行火焰识别。主要功能包括相机选择、实时跟踪和图片模式。软件适用于多种场合，用于保障人民生命财产安全。源码及exe文件可通过蓝奏云网盘下载。软件简介《基于OpenCV的实时视频跟踪火焰识别软件》是一款创新的计算机视觉应用软件，旨在通过先进的图像处理技术实现对实时视频中
  • 【yolov8】模型导出----pytorch导出为onnx模型 栗子风暴 YOLOpytorch人工智能深度学习
    【yolov8】模型导出一、为什么要使用yolo的导出模式二、确保安装必要的库：三、yolov8模型导出3.1不同格式配置参数3.2导出格式四、导出模型性能优化4.1使用TensorRT导出模型有什么好处？4.2导出YOLOv8模型时，如何启用INT8量化？4.3为什么输出模型时动态输入尺寸很重要？4.4优化模型性能需要考虑哪些关键的导出参数？五、问题六、疑问训练模型的最终目标是将其部署到实际应用
  • C# 设计模式之观察者模式 鲤籽鲲 C#c#设计模式观察者模式
    总目录前言在现实生活中，处处可见观察者模式，例如，微信中的订阅号，只要对订阅号进行关注的客户端，如果订阅号有什么更新，就会直接推送给订阅了的用户。这就是观察者模式的一种应用。1基础介绍观察者模式定义了对象之间的一种一对多的依赖关系，使得当一个对象状态发生改变时，它的所有依赖者都能够得到相应的通知并作出相应的反应。观察者模式也被称为发布-订阅模式。观察者模式定义了一种一对多的依赖关系，让多个观察者对
  • Android OCR技术实现与优化指南 缘来的精彩 androidAndroidNDKocr
    关于Android上OCR技术的问题。首先，用户可能想知道在Android平台上如何实现OCR识别。我应该先介绍OCR的基本概念，然后讨论不同的实现方法，比如使用Google的MLKit、Tesseract或者其他第三方SDK。接下来可能需要分步骤说明如何集成这些库到Android应用中，比如添加依赖项、编写代码示例等。同时，还要考虑不同方法的优缺点，比如MLKit的准确性和易用性，Tessera
  • 百望股份全面接入DeepSeek，打造企业级AGI革新引擎 kejicaijinghui agi人工智能microsoft
    近日，百望股份宣布全面接入DeepSeek大模型，通过将DeepSeek集成至数智商业平台，为企业提供AI驱动的数据综合服务。这不仅标志着百望股份在AI技术应用领域的重大突破，更预示着企业财税数字化转型即将迎来奇点。  五大场景升级，打造智能化产品矩阵  作为港股财税数字化解决方案第一股，百望股份凭借在企业服务领域的深厚积累，已成功为超过2000家大型企业集团、2300万家成长型企业提供全方位的数
  • R语言机器学习系列-随机森林回归代码解读 Mrrunsen R语言大学作业机器学习回归r语言
    回归问题指的是因变量或者被预测变量是连续性变量的情形，比如预测身高体重的具体数值是多少的情形。整个代码大致可以分为包、数据、模型、预测评估4个部分，接下来逐一解读。1、包部分，也就是加载各类包，包括随机森林包randomForest，数据相关包tidyverse、skimr、DataExplorer，模型评估包caret。2、数据部分，主要是读取数据，处理缺失值，转换变量类型。3、模型部分。为了对
  • 智能录音工牌如何应用在员工培训效果评估上？ DuDuTalk 人工智能录音设备语音分析自然语言处理语音识别
    在数字化转型加速的今天，企业对员工培训效果的重视程度日益增加。为了确保培训能够切实提升员工的工作能力和效率，许多公司开始探索新的技术和方法来优化这一过程。智能录音工牌作为新兴的技术解决方案之一，正逐渐成为评估员工培训效果的理想选择。本文将深入探讨智能录音工牌如何助力企业更精准地衡量培训成效，并推动员工技能持续进步。1、真实场景数据收集，构建全面评估体系智能录音工牌能够在员工与客户互动的过程中实时录
  • 深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示＜think＞思考过程的问题 羊城迷鹿 DeepSeekLLama-Factory思维链
    文章目录问题背景初始测试与问题发现LLaMAFactory测试结果对照实验：Ollama测试系统性排查与解决方案探索1.尝试更换模板2.深入研究官方文档3.自定义模板实现优化界面展示：实现思考过程的可视化实现方法参数调整影响分析实验一实验二进入大模型应用与实战专栏|查看更多专栏内容问题背景最近在本地环境中部署了DeepSeek-R1-Distill-Qwen-1.5B，即由Qwen2.5-Math
  • 申威、龙芯、海光等六大国产芯片前景分析，谁有扛鼎之力？ 艾瑞网科技 人工智能
    申威、龙芯、海光等六大国产芯片前景分析，谁有扛鼎之力？芯片是底层硬件基础设施的核心，也是智能设备的心脏，人们愈发意识到芯片对于各行各业发展的重要意义，也对国内的芯片厂商投入了更多关注度。经过多年发展，目前我国已有超过14万家芯片相关企业，其中申威、龙芯、海光、兆芯、鲲鹏、飞腾六大厂商作为中坚代表，共同引领着国内芯片产业的进步。这六大厂商谁的商业应用前景更广，谁拥有更可持续发展的未来？其实从现在我们
  • C++ 泛型编程 四代目 水门 C++学习笔记c++开发语言
    C++泛型编程一、泛型编程基础1.核心概念实现算法与数据结构的分离基于模板技术（函数模板/类模板）本质：类型参数化，减少重复代码典型应用：STL容器、迭代器、算法2.类型本质内存布局的抽象不同类型对应不同的内存分配策略二、函数模板1.基本语法cpptemplate//或template返回类型函数名(参数列表){//函数体}2.关键特性支持隐式推导和显式指定类型可重载（包括与普通函数重载）可声明为
  • 【学习笔记5】Linux下cuda、cudnn、pytorch版本对应关系 longii11 linuxpytorch运维
    一、cuda和cudnnNVIDIACUDAToolkit（CUDA）为创建高性能GPU加速应用程序提供了一个开发环境。借助CUDA工具包，您可以在GPU加速的嵌入式系统、桌面工作站、企业数据中心、基于云的平台和HPC超级计算机上开发、优化和部署您的应用程序。该工具包包括GPU加速库、调试和优化工具、C/C++编译器以及用于部署应用程序的运行时库。全球的深度学习研究人员和框架开发人员都依赖cuDN
  • DeepSeek：AI赋能的无限可能——从日常生活到职业进阶的全场景探索 Hello kele 人工智能人工智能
    引言在人工智能技术飞速发展的今天，DeepSeek作为一款国产AI工具，凭借其强大的推理能力、自然语言处理效率和场景化应用潜力，正在重塑人类解决问题的方式。从撰写演讲稿到制定投资策略，从家庭教育到企业管理，DeepSeek通过“自然语言对话”的交互模式，将复杂任务简化为几步提示词的输入，真正实现了“所想即所得”。本文将从七大核心场景出发，系统解析DeepSeek如何成为个人与组织的智能助手，推动效
  • RAG 检索增强生成：技术详解与应用展望 君君学姐 RAG检索增强生成
    RAG检索增强生成：技术详解与应用展望一、引言随着人工智能技术的飞速发展，自然语言处理（NLP）领域迎来了前所未有的变革。其中，检索增强生成（Retrieval-AugmentedGeneration，简称RAG）作为一种新兴的技术框架，正逐渐成为大模型应用中的热门选择。RAG通过结合信息检索（IR）和自然语言生成（NLG）的能力，旨在提升模型在回答问题、生成文本等任务中的准确性和可靠性。本文将深
  • CES Asia 2025:5G与物联网成焦点，论坛峰会引企业关注 赛逸展张胜 5G物联网
    在科技飞速发展的当下，5G与物联网技术正深刻改变着人们的生活和产业格局。作为亚洲消费电子领域的年度盛会，CESAsia2025第七届亚洲消费电子技术贸易展（赛逸展）将在首都北京盛大开幕。此次展会以“科技新视界，创新赢未来”为主题，将全方位展示5G技术及其在物联网中的创新应用，展会期间的相关论坛峰会更是吸引了众多企业的目光，成为行业内交流合作的重要契机。在5G技术展示方面，CESAsia2025将汇
  • 企业信息查询系统的技术实现路径探析——以某大数据平台为例 探熵科技 大数据
    引言在数字化转型加速的背景下，企业信息服务领域正经历着从传统工商查询向智能决策支持的演进。本文将以某企业信息查询系统为研究样本，解析其技术架构与实现路径，探讨大数据技术在企业服务场景中的落地应用。一、行业技术现状分析当前企业信息服务面临三大技术挑战：多源异构数据整合：需聚合工商数据（结构化）、招投标公告（半结构化）、企业新闻（非结构化）等差异化数据源数据实时性要求：企业经营状态变更、联系方式更新等
  • 【无标题】四色定理拓扑证明的数学强化与物理深化框架 2301_81062744 拓扑学
    ###**四色定理拓扑证明的数学强化与物理深化框架**---####**一、拓扑收缩的数学严谨性补全**#####**1.1零点插入的平面性保持证明**-**Kuratowski定理应用**：验证插入零点后的图\(G'\)不含\(K_5\)或\(K_{3,3}\)子图。-**引理**：每次插入零点仅增加2度顶点，不改变图的平面类。-**证明**：设原图\(G\)为平面图，插入零点\(p\)将边\(
  • 【五.LangChain技术与应用】【31.LangChain ReAct Agent：反应式智能代理的实现】 再见孙悟空_ AI进阶之旅》langchainLangChain技术LangChain输出解析器人工智能langchain官方工具Agent案例2
    一、ReActAgent是啥？为什么说它比「普通AI」聪明？想象一下，你让ChatGPT查快递物流，它可能直接编个假单号糊弄你。但换成ReActAgent，它会先推理（Reasoning）需要调用哪个接口，再行动（Action）查询真实数据——这就是ReAct的核心：让AI学会「动脑子」再动手。举个真实案例（参考官方代码改的）：fromlangchain.agentsimportTool,init
  • 大白话react第十五章React 应用性能优化深度实践 IT木昜 大白话reactreact.js前端前端框架
    大白话react第十五章React应用性能优化深度实践1.React服务端渲染（SSR）的深入运用白话解释：之前咱们做的网页大多是在浏览器里把页面一点点搭建起来，这得花点时间。服务端渲染呢，就是让服务器提前把网页组装好，直接发给浏览器，这样页面打开的速度就快多啦，用户体验也更好。代码示例：用Next.js这个框架来做服务端渲染。Next.js是基于React的，能很方便地实现服务端渲染。//pag
  • 【数据库】第三范式 柠檬鲨_ 数据库
    第三范式（ThirdNormalForm，3NF）是数据库设计中的一种规范，它建立在第一范式（1NF）和第二范式（2NF）的基础之上，旨在进一步减少数据冗余和避免更新异常等问题，下面从定义、相关概念、实例分析、优缺点和应用场景几个方面详细介绍：定义若关系模式R满足第二范式（2NF），且每一个非主属性既不部分依赖于码也不传递依赖于码，则称R满足第三范式，记作R∈3NF。简单来说，第三范式要求数据库表
  • Linux服务器配合Frp实现内网穿透使用windows远程桌面 sangAsang Linuxlinux
    前言：我们在公司时，可以根据内网进行远程桌面连接，但由于公司网络一般都是分配内网ip，当我们在家的时候，想进行连接公司电脑，一般会使用1.teamviewer2.向日葵，但是teamviewer用一段时间会提示商业用途无法使用，向日葵因免费版限制网速使用较差，如果有一台不错的国内服务器，可以试试Frpfrp是什么frp是一个可用于内网穿透的高性能的反向代理应用，支持tcp,udp协议，为http和
  • 什么是蓝牙攻击?常见种类有哪些? 老男孩IT教育 网络安全
    在现代生活中，蓝牙技术的应用已经非常普及，无论是生活还是工作蓝牙都为我们带来了诸多便利。正因如此，它与其他技术一样，蓝牙通信也经常遭遇网络攻击，那么什么是蓝牙攻击?常见种类有哪些?我们来看看具体内容介绍。蓝牙攻击是指黑客或攻击利用蓝牙技术中的漏洞或弱点，通过各种手段未经授权地获取或干扰目标设备的信息、功能或控制权的行为。蓝牙攻击可以采取多种形式，包括但不限于以下几种：1、蓝牙监听：攻击者通过监听蓝
  • 前端本地储存的方式汇总 懒羊羊我小弟 前端框架javascriptjs浏览器webapp小程序
    JavaScript本地存储是Web开发中用于在客户端存储数据的重要技术，以下是常见方式及其区别和应用场景：一、WEB浏览器本地存储方式及特点1.1储存方式1.Cookie存储容量：约4KB（每个域名）。生命周期：可设置过期时间；默认随会话结束失效。作用域：同源页面共享。访问方式：通过document.cookie读写，每次HTTP请求自动携带。特点：支持服务器端操作（通过HTTP头），但存储效率
  • 鱼哥好书分享活动第32期：筑牢云安全防线：《eBPF云原生安全》实战指南 落寞的魚丶 赠书福利活动鱼哥好书分享第32期云原生安全网络安全
    鱼哥好书分享活动第32期：筑牢云安全防线：《eBPF云原生安全》实战指南内容简介：大概目录：了解更多：赠书抽奖规则:eBPF技术已经成为云原生社区近年来备受关注的技术话题之一。在云原生领域，越来越多的项目和产品开始使用eBPF技术来构建其核心能力，涉及可观测性、网络和安全等关键领域。《eBPF云原生安全：原理与实践》内容涵盖eBPF的工作原理、eBPF在云原生安全领域的应用、知名eBPF云原生安全
  • 私有IP、VLAN和VPC，分别适合哪些场景你知道吗？ Akamai中国 云计算tcp/ip网络协议网络云计算云平台云服务VPC
    当我们在云中构建应用程序，尤其是使用了第三方云服务商的服务并且我们无法完全掌控后端的每部分时，安全性可能是最需要关注的地方。但这是一项充满挑战的工作，因为保护应用程序的方法实在是太多了！为了改善安全性，开发者可能会使用大量工具和资源，以至于我们也许很难理解和选择所需的内容。这就像给购物狂人一张无限额的信用卡然后把Ta丢在高档购物中心里一样！说真的，确实会有点让人感觉不知所措。我们会面临各种选择：I
  • 【Linux】FRP：内网穿透 T0uken linux运维服务器
    FRP（FastReverseProxy）是一种高性能的反向代理应用，主要用于穿透内网和实现端口映射。它允许你将局域网中的服务暴露到公网，从而能够在公网中访问这些服务。FRP主要由两部分组成:FRPC客户端：运行在公司内网机器上，接收来自公网的访问请求，并将请求转发给内网服务。FRPS服务端：部署在具有公网IP的机器上，暴露服务的公网入口，接收公网访问请求，通过加密隧道转发到FRPC。服务端（fr
  • 双指针——滑动窗口 六七_Shmily 算法题c++双指针滑动窗口
    双指针算法是一种常用的算法技巧，广泛应用于数组、链表、字符串等数据结构的处理中。其中，滑动窗口是双指针的一种特殊形式，主要用于解决子数组或子字符串相关的问题。下面我们详细讨论双指针和滑动窗口的区别，以及滑动窗口的特点和应用场景。1.双指针的基本形式双指针的核心思想是使用两个指针（通常是下标或迭代器）在数据结构中协同工作，通过移动指针来解决问题。双指针的常见形式包括：左右指针：两个指针从两端向中间移
  • 关于旗正规则引擎规则中的上传和下载问题 何必如此 文件下载压缩jsp文件上传
    文件的上传下载都是数据流的输入输出，大致流程都是一样的。 一、文件打包下载 1.文件写入压缩包 string mainPath="D:\upload\";     下载路径 string tmpfileName=jar.zip;        &n
  • 【Spark九十九】Spark Streaming的batch interval时间内的数据流转源码分析 bit1129 Stream
      以如下代码为例（SocketInputDStream）： Spark Streaming从Socket读取数据的代码是在SocketReceiver的receive方法中，撇开异常情况不谈(Receiver有重连机制，restart方法，默认情况下在Receiver挂了之后，间隔两秒钟重新建立Socket连接)，读取到的数据通过调用store(textRead)方法进行存储。数据
  • spark master web ui 端口8080被占用解决方法 daizj 8080端口占用sparkmaster web ui
    spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1，但为了可以控制到指定的端口，我们可以自行设置，修改方法：   1、cd SPARK_HOME/sbin   2、vi start-master.sh     3、定位到下面部分
  • oracle_执行计划_谓词信息和数据获取 周凡杨 oracle执行计划
      oracle_执行计划_谓词信息和数据获取(上) 一：简要说明 在查看执行计划的信息中，经常会看到两个谓词filter和access，它们的区别是什么，理解了这两个词对我们解读Oracle的执行计划信息会有所帮助。 简单说，执行计划如果显示是access，就表示这个谓词条件的值将会影响数据的访问路径（表还是索引），而filter表示谓词条件的值并不会影响数据访问路径，只起到
  • spring中datasource配置 g21121 dataSource
    datasource配置有很多种，我介绍的一种是采用c3p0的，它的百科地址是： http://baike.baidu.com/view/920062.htm   <!-- spring加载资源文件 --> <bean name="propertiesConfig" class="org.springframework.b
  • web报表工具FineReport使用中遇到的常见报错及解决办法（三） 老A不折腾 finereportFAQ报表软件
    这里写点抛砖引玉，希望大家能把自己整理的问题及解决方法晾出来，Mark一下，利人利己。   出现问题先搜一下文档上有没有，再看看度娘有没有，再看看论坛有没有。有报错要看日志。下面简单罗列下常见的问题，大多文档上都有提到的。 1、repeated column width is largerthan paper width： 这个看这段话应该是很好理解的。比如做的模板页面宽度只能放
  • mysql 用户管理 墙头上一根草 linuxmysqluser
    1.新建用户 //登录MYSQL@>mysql -u root -p@>密码//创建用户mysql> insert into mysql.user(Host,User,Password) values(‘localhost’,'jeecn’,password(‘jeecn’));//刷新系统权限表mysql>flush privileges;这样就创建了一个名为：
  • 关于使用Spring导致c3p0数据库死锁问题 aijuans springSpring 入门Spring 实例Spring3Spring 教程
    这个问题我实在是为整个 springsource 的员工蒙羞 如果大家使用 spring 控制事务，使用 Open Session In View 模式， com.mchange.v2.resourcepool.TimeoutException: A client timed out while waiting to acquire a resource from com.mchange.
  • 百度词库联想 annan211 百度
    <!DOCTYPE html> <html> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8"> <title>RunJS</title&g
  • int数据与byte之间的相互转换实现代码 百合不是茶 位移int转bytebyte转int基本数据类型的实现
    在BMP文件和文件压缩时需要用到的int与byte转换,现将理解的贴出来;   主要是要理解;位移等概念 http://baihe747.iteye.com/blog/2078029   int转byte;   byte转int;   /** * 字节转成int,int转成字节 * @author Administrator *
  • 简单模拟实现数据库连接池 bijian1013 javathreadjava多线程简单模拟实现数据库连接池
    简单模拟实现数据库连接池 实例1： package com.bijian.thread; public class DB { //private static final int MAX_COUNT = 10; private static final DB instance = new DB(); private int count = 0; private i
  • 一种基于Weblogic容器的鉴权设计 bijian1013 javaweblogic
            服务器对请求的鉴权可以在请求头中加Authorization之类的key，将用户名、密码保存到此key对应的value中，当然对于用户名、密码这种高机密的信息，应该对其进行加砂加密等，最简单的方法如下： String vuser_id = "weblogic"; String vuse
  • 【RPC框架Hessian二】Hessian 对象序列化和反序列化 bit1129 hessian
     任何一个对象从一个JVM传输到另一个JVM，都要经过序列化为二进制数据(或者字符串等其他格式，比如JSON)，然后在反序列化为Java对象，这最后都是通过二进制的数据在不同的JVM之间传输(一般是通过Socket和二进制的数据传输)，本文定义一个比较符合工作中。   1. 定义三个POJO    Person类 package com.tom.hes
  • 【Hadoop十四】Hadoop提供的脚本的功能 bit1129 hadoop
    1. hadoop-daemon.sh 1.1 启动HDFS ./hadoop-daemon.sh start namenode ./hadoop-daemon.sh start datanode  通过这种逐步启动的方式，比start-all.sh方式少了一个SecondaryNameNode进程，这不影响Hadoop的使用，其实在 Hadoop2.0中，SecondaryNa
  • 中国互联网走在“灰度”上 ronin47 管理 灰度
    中国互联网走在“灰度”上（转） 文/孕峰   第一次听说灰度这个词，是任正非说新型管理者所需要的素质。第二次听说是来自马化腾。似乎其他人包括马云也用不同的语言说过类似的意思。   灰度这个词所包含的意义和视野是广远的。要理解这个词，可能同样要用“灰度”的心态。灰度的反面，是规规矩矩，清清楚楚，泾渭分明，严谨条理，是决不妥协，不转弯，认死理。黑白分明不是灰度，像彩虹那样
  • java-51-输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。 bylijinnan java
    public class PrintMatrixClockwisely { /** * Q51.输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字。 例如：如果输入如下矩阵： 1 2 3 4 5 6 7 8 9
  • mongoDB 用户管理 开窍的石头 mongoDB用户管理
      1:添加用户    第一次设置用户需要进入admin数据库下设置超级用户（use admin）      db.addUsr({user:'useName',pwd:'111111',roles:[readWrite,dbAdmin]});    第一个参数用户的名字    第二个参数
  • [游戏与生活]玩暗黑破坏神3的一些问题 comsci 生活
        暗黑破坏神3是有史以来最让人激动的游戏。。。。但是有几个问题需要我们注意      玩这个游戏的时间，每天不要超过一个小时，且每次玩游戏最好在白天      结束游戏之后，最好在太阳下面来晒一下身上的暗黑气息，让自己恢复人的生气   &nb
  • java 二维数组如何存入数据库 cuiyadll java
    using System; using System.Linq; using System.Text; using System.Windows.Forms; using System.Xml; using System.Xml.Serialization; using System.IO; namespace WindowsFormsApplication1 {
  • 本地事务和全局事务Local Transaction and Global Transaction(JTA) darrenzhu javaspringlocalglobaltransaction
    Configuring Spring and JTA without full Java EE http://spring.io/blog/2011/08/15/configuring-spring-and-jta-without-full-java-ee/ Spring doc -Transaction Management http://docs.spring.io/spri
  • Linux命令之alias - 设置命令的别名，让 Linux 命令更简练 dcj3sjt126com linuxalias
    用途说明 设置命令的别名。在linux系统中如果命令太长又不符合用户的习惯，那么我们可以为它指定一个别名。虽然可以为命令建立“链接”解决长文件名的问 题，但对于带命令行参数的命令，链接就无能为力了。而指定别名则可以解决此类所有问题【1】。常用别名来简化ssh登录【见示例三】，使长命令变短，使常 用的长命令行变短，强制执行命令时询问等。   常用参数 格式：alias 格式：ali
  • yii2 restful web服务[格式响应] dcj3sjt126com PHPyii2
    响应格式 当处理一个 RESTful API 请求时， 一个应用程序通常需要如下步骤 来处理响应格式： 确定可能影响响应格式的各种因素， 例如媒介类型， 语言， 版本， 等等。 这个过程也被称为 content negotiation。 资源对象转换为数组， 如在 Resources 部分中所描述的。 通过 [[yii\rest\Serializer]]
  • MongoDB索引调优（2）——[十] eksliang mongodbMongoDB索引优化
    转载请出自出处：http://eksliang.iteye.com/blog/2178555 一、概述       上一篇文档中也说明了，MongoDB的索引几乎与关系型数据库的索引一模一样，优化关系型数据库的技巧通用适合MongoDB，所有这里只讲MongoDB需要注意的地方 二、索引内嵌文档     可以在嵌套文档的键上建立索引，方式与正常
  • 当滑动到顶部和底部时，实现Item的分离效果的ListView gundumw100 android
    拉动ListView，Item之间的间距会变大，释放后恢复原样； package cn.tangdada.tangbang.widget; import android.annotation.TargetApi; import android.content.Context; import android.content.res.TypedArray; import andr
  • 程序员用HTML5制作的爱心树表白动画 ini JavaScriptjqueryWebhtml5css
    体验效果：http://keleyi.com/keleyi/phtml/html5/31.htmHTML代码如下： <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"><head><meta charset="UTF-8" > <ti
  • 预装windows 8 系统GPT模式的ThinkPad T440改装64位 windows 7旗舰版 kakajw ThinkPad预装改装windows 7windows 8
      该教程具有普遍参考性，特别适用于联想的机器，其他品牌机器的处理过程也大同小异。 该教程是个人多次尝试和总结的结果，实用性强，推荐给需要的人！   缘由 小弟最近入手笔记本ThinkPad T440，但是特别不能习惯笔记本出厂预装的Windows 8系统，而且厂商自作聪明地预装了一堆没用的应用软件，消耗不少的系统资源（本本的内存为4G，系统启动完成时，物理内存占用比
  • Nginx学习笔记 mcj8089 nginx
    一、安装nginx             1、在nginx官方网站下载一个包，下载地址是：  http://nginx.org/download/nginx-1.4.2.tar.gz      2、WinSCP(ftp上传工
  • mongodb 聚合查询每天论坛链接点击次数 qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    /* 18 */ { "_id" : ObjectId("5596414cbe4d73a327e50274"), "msgType" : "text", "sendTime" : ISODate("2015-07-03T08:01:16.000Z"
  • java术语（PO/POJO/VO/BO/DAO/DTO） Luob. DAOPOJODTOpoVO BO
    PO(persistant object) 持久对象 在o/r 映射的时候出现的概念,如果没有o/r映射,就没有这个概念存在了.通常对应数据模型(数据库),本身还有部分业务逻辑的处理.可以看成是与数据库中的表相映射的java对象.最简单的PO就是对应数据库中某个表中的一条记录,多个记录可以用PO的集合.PO中应该不包含任何对数据库的操作. VO(value object) 值对象 通
  • 算法复杂度 Wuaner Algorithm
    Time Complexity & Big-O： http://stackoverflow.com/questions/487258/plain-english-explanation-of-big-o http://bigocheatsheet.com/ http://www.sitepoint.com/time-complexity-algorithms/
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他