香菜大魔王
香菜大魔王

什么是过拟合（overfitting）

转自：用简单易懂的语言描述「过拟合 overfitting」？

https://www.zhihu.com/question/32246256

在机器学习选择模型的过程中，如果一味追求提高训练数据的预测能力，所选模型的复杂度则往往会比真模型更高，这种现象被称为过拟合，过拟合是指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测得很好，对未知数据预测的很差的现象。 转自：https://www.jianshu.com/p/33f33714f08c

好比你想学习追妹子。
先找你表妹问喜欢什么，表妹说她喜欢干净帅气的男生，还说她喜欢周杰伦，喜欢火锅，喜欢酸菜鱼，合计一百条规矩。你规规矩矩地按照要求学习，终于符合表妹的一切要求，0 Error，训练完成，超级自信准备出去试试追个妹子。
可是换了个妹子，发现学到的似乎没想象中有用。第二个妹子只要你干净帅气。后面的九十八条她都不care，她甚至讨厌吃火锅，那后面98条只会增加误差。这就过拟合了。

怎么防止过拟合呢？应该用cross validation，交叉比对。
解释起来就是，你在你表妹那儿学到的东西，在你表姐那儿测试一下对不对。在你表姐那儿学到的，在你二姐那测试一下。来来回回用不同的测试对象和训练对象做交叉比对。这样学到规律就不会过拟合啦~

评论里有小伙伴提到加Regularization可以解决overfit，这里也形象地说一下。还是在学习追妹子。但是我也有男人的尊严！ 有底线！不能妹子说啥就是啥！今天我的底线是，不能无限量增加要学的规矩的数量！女人不能惯着！ 所以可以引入Lasso，对规矩的数量进行一个penalize。通俗说就是，妹子你让我学三条规矩我就忍了，让我学一百条规矩大爷就不干了。这个Regularization可以有不同的形式，Lasso是一种。所以可以通过引入Regularization增加信息，帮助寻找到最优解。

作者：刘文博
链接：https://www.zhihu.com/question/32246256/answer/83898785

 

什么是过拟合（overfitting）_第1张图片

用简单易懂的语言描述「过拟合 overfitting」？ - 疯癫的A兵者的回答 - 知乎 https://www.zhihu.com/question/32246256/answer/106829534

数据

什么是过拟合（overfitting）_第2张图片

正常拟合

什么是过拟合（overfitting）_第3张图片

过度拟合

什么是过拟合（overfitting）_第4张图片

什么是过拟合（overfitting）_第5张图片

 

防止过度拟合的方法：

https://blog.csdn.net/heyongluoyao8/article/details/49429629

 

你可能感兴趣的:(神经网络)

  • python代码实现支持神经网络对鸢尾花分类 邀_灼灼其华 机器学习及概率统计python神经网络分类sklearn
    1、导入支持向量机模型，划分数据集fromsklearnimportdatasetsfromsklearnimportsvmiris=datasets.load_iris()iris_x=iris.datairis_y=iris.targetindices=np.random.permutation(len(iris_x))iris_x_train=iris_x[indices[:-10]]iri
  • 构建神经网络之sklearn（完善） 邪恶的贝利亚 神经网络sklearn机器学习
    1.数据预处理1.缺失值importpandasaspd#假设我们有一个DataFramedfprint(df.isnull().sum())#查看每一列缺失值的数量数值型数据：fromsklearn.imputeimportSimpleImputer#对于数值型数据，使用均值填充imputer=SimpleImputer(strategy='mean')#可选：'mean','median','
  • 从零到精通：小白DeepSeek全栈入门指南 好东西不迷路 各自资源AI前端htmlpython
    第一部分：认知准备（1-3天）1.1基础概念搭建人工智能三要素：数据/算法/算力深度学习与传统机器学习的区别神经网络基本结构（输入层/隐藏层/输出层）常用术语解析：epoch、batch、loss、accuracy1.2环境配置实战Python环境搭建（推荐Anaconda）condacreate-ndeepseekpython=3.8condaactivatedeepseek深度学习框架选择指南
  • 卷积这个词在卷积神经网络中应该怎么理解 abments 人工智能cnn深度学习计算机视觉
    卷积的定义数学概念：在数学上，卷积是一种操作，通常用于两个函数之间的运算。对于图像处理而言，这些函数通常是输入图像和一个称为“卷积核”或“滤波器”的小矩阵。在CNN中的应用：卷积操作是通过滑动窗口（卷积核）与输入数据进行点乘并求和来提取特征的。具体步骤定义卷积核：一个卷积核是一个小矩阵，通常为3x3、5x5等尺寸。卷积核中的每个值称为权重（weights），这些权重是通过训练过程优化得到的。滑动窗
  • 深度学习模型可视化：通俗易懂的全面解读 Crazy learner 模型部署深度学习人工智能
    目录1.什么是深度学习模型可视化？2.张量（Tensors）：深度学习中的核心数据结构3.常见的节点操作**Gather**操作**Transpose**操作**Pow**操作**Add**操作**Mix**操作4.查看模型详情5.可视化工具总结在深度学习领域，理解模型内部的工作原理对于优化、调试和改进模型至关重要。随着神经网络的复杂性日益增加，开发者和研究人员逐渐意识到，可视化不仅是理解模型的一
  • 图神经网络实战（9）——GraphSAGE详解与实现 盼小辉丶 图神经网络从入门到项目实战图神经网络GNNpytorch
    图神经网络实战（9）——GraphSAGE详解与实现0.前言1.GraphSAGE原理1.1邻居采样1.2聚合2.构建GraphSAGE模型执行节点分类2.1数据集分析2.2构建GraphSAGE模型3.PinSAGE小结系列链接0.前言GraphSAGE是专为处理大规模图而设计的图神经网络(GraphNeuralNetworks,GNN)架构。在科技行业，可扩展性是推动系统增长的关键驱动力。因此
  • 如何用 DeepSeek 进行卷积神经网络（CNN）的优化 一碗黄焖鸡三碗米饭 人工智能前沿与实践cnn人工智能神经网络机器学习深度学习
    如何用DeepSeek进行卷积神经网络（CNN）的优化卷积神经网络（CNN）在计算机视觉任务中取得了巨大的成功，例如图像分类、目标检测和图像生成。然而，尽管CNN在这些任务中表现出色，它们通常需要大量的计算资源，并且在优化过程中可能会遇到一些挑战，如过拟合、训练速度慢、局部最优解等问题。为了更好地优化CNN模型，提高其性能和训练效率，DeepSeek提供了多种优化技术和工具，可以帮助我们系统地进行
  • 图像识别-pytorch 星辰瑞云 机器学习cnnpytorch
    Pytorch神经网络工具箱神经网络核心组件神经网络的基本组件层：包括卷积层、池化层、全连接层等。层是神经网络的基本结构，输入张量通过层后变为输出张量。模型：由层构成的网络结构，如AlexNet、VGG等。模型可以是预训练的，也可以自己搭建。损失函数：用于衡量预测值与真实值之间的差距，如均方误差。损失函数越小越好。优化器：用于调整权重和偏置，使损失函数最小化。优化器决定了参数的调整方式。误差反传（
  • 建筑兔零基础人工智能自学记录34|深度学习与神经网络2 阿克兔 人工智能toto学习人工智能深度学习神经网络
    1、人工神经网络ANN从生物课上学到的有关神经元、突触的生物神经网络，被模仿出了简化的人工神经网络（ANN,artificialneuralnetwork）。ANN结构为：输入层、隐藏层、输出层人工神经元：基于生物神经元的数学模型ANN过程：输入---加权求和---激活函数激活函数：类似生物神经元的阈值，达到阈值输出信号（‘神经网络的万能逼近定理’---两层以上神经网络可以逼近任意函数）2、深度学
  • 机器学习与深度学习资料 JasonDing1354 【MachineLearning】
    《BriefHistoryofMachineLearning》介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、DeepLearning.《DeepLearninginNeuralNetworks:AnOverview》介绍:这是瑞士人工智能实验室JurgenSchmidhuber写的最新版本《神经网络与深度学习综述》本综述的特点是以
  • 全过程带你从入门到精通《动手学PyTorch深度学习建模与应用》第二章：2.1-2.3节详解，篇幅超了，缺的后面再补吧 环工人学Python 深度学习pytorch人工智能python机器学习
    写在前面：点点关注不迷路，免费的赞和收藏走起来！后续更新第一时间提示哦，每周会更新不同内容，下周更新如何用各种模态的大模型去为你服务，编写代码。在深度学习的世界里，理解基础概念是构建复杂模型的关键。第二章“深度学习基础与PyTorch实现”将帮助我们深入理解深度学习的核心概念，并通过PyTorch实现这些概念。这一章的内容非常重要，因为它不仅涵盖了神经网络的基本原理，还介绍了激活函数、损失函数和优
  • 基于 Pytorch 的全卷积网络人脸表情识别：从数据到部署的实战之旅 那年一路北 Pytorch理论+实践pytorch网络人工智能
    前言：本文将详细介绍基于Pytorch框架，利用全卷积网络进行人脸表情识别的完整过程，涵盖从数据集的准备、模型的设计与训练，再到模型的部署与预测，通过代码实现以及详细讲解，帮助读者深入理解并掌握这一技术。一、引言人脸表情是人类情感交流的重要方式，不同的表情能够传达出丰富的情感信息。人脸表情识别在智能交互、安防监控、心理健康分析等众多领域有着广泛的应用前景。随着深度学习技术的发展，基于卷积神经网络的
  • YOLOv5 + SE注意力机制：提升目标检测性能的实践 那年一路北 YoloYOLO目标跟踪人工智能
    一、引言目标检测是计算机视觉领域的一个重要任务，广泛应用于自动驾驶、安防监控、工业检测等领域。YOLOv5作为YOLO系列的最新版本，以其高效性和准确性在实际应用中表现出色。然而，随着应用场景的复杂化，传统的卷积神经网络在处理复杂背景和多尺度目标时可能会遇到性能瓶颈。为此，引入注意力机制成为了一种有效的改进方法。本文将详细介绍如何在YOLOv5中引入SE（Squeeze-and-Excitatio
  • pip安装非标准版本号库报错 pip 24.1 will enforce this behaviour change. m0_74397054 pippython机器学习神经网络
    在做神经网络作业安装tensorflow报错pyodbc4.0.0-unsupportedhasanon-standardversionnumber.pip24.1willenforcethisbehaviourchange.Apossiblereplacementistoupgradetoanewerversionofpyodbcorcontacttheauthortosuggestthatth
  • 【模块】Non-local Neural dearr__ 扒网络模块深度学习pytorchpython
    论文《Non-localNeuralNetworks》作用非局部神经网络通过非局部操作捕获长距离依赖，这对于深度神经网络来说至关重要。这些操作允许模型在空间、时间或时空中的任何位置间直接计算相互作用，从而捕获长距离的交互和依赖关系。这种方法对于视频分类、对象检测/分割以及姿态估计等任务表现出了显著的改进。机制非局部操作通过在输入特征图的所有位置上计算响应的加权和来实现，其中权重由位置之间的关系（如
  • yolov5-训练好的模型部署的几种方式-ONNX 黄晓魚 halcon3dPCL点云处理深度神经网络YOLOC#python
    ONNX，即OpenNeuralNetworkExchange，是微软和Facebook发布的一个深度学习开发工具生态系统，旨在让AI开发人员能够随着项目发展而选择正确的工具。ONNX所针对的是深度学习开发生态中最关键的问题之一，在任意一个框架上训练的神经网络模型，无法直接在另一个框架上用。开发者需要耗费大量时间精力把模型从一个开发平台移植到另一个。因此，如何实现不同框架之间的互操作性，简化从研究
  • 大语言模型原理与工程实践：手把手教你训练 7B 大语言模型 自动化训练框架 AI天才研究院 AI大模型企业级应用开发实战DeepSeekR1&大数据AI人工智能大模型计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    大语言模型原理与工程实践：手把手教你训练7B大语言模型自动化训练框架关键词：大语言模型、7B模型、自动化训练、深度学习、神经网络、自然语言处理、分布式计算文章目录大语言模型原理与工程实践：手把手教你训练7B大语言模型自动化训练框架1.背景介绍2.核心概念与联系3.核心算法原理&具体操作步骤3.1算法原理概述3.2算法步骤详解3.3算法优缺点3.4算法应用领域4.数学模型和公式&详细讲解&举例说明4
  • 机器幻觉产生的原因 人机与认知实验室 机器学习人工智能
    机器幻觉是指模型生成的不符合现实的内容，比如图像生成中的错误或者不合理的输出。线性函数在神经网络中的作用通常是传递梯度，但如果每一层都是线性的，整个网络就相当于一个单层的线性模型，无法学习复杂的模式。所以如果只有线性层而没有非线性激活函数的话，网络将无法处理复杂任务。对于激活函数而言，常见的如ReLU、sigmoid、tanh。激活函数引入非线性，让网络有能力学习复杂的特征。但是如果没有合适的激活
  • PyTorch 常见的损失函数：从基础到大模型的应用 阿正的梦工坊 LLMPyTorchpytorch人工智能python
    PyTorch常见的损失函数：从基础到大模型的应用在用PyTorch训练神经网络时，损失函数（LossFunction）是不可或缺的“裁判”。它告诉模型预测结果与真实答案的差距有多大，优化器则根据这个差距调整参数。PyTorch提供了丰富而强大的损失函数接口，位于torch.nn模块中。今天我们就来聊聊几个常见的损失函数（比如nn.MSELoss和nn.CrossEntropyLoss），看看它们
  • Python从0到100（六十八）：Python OpenCV-图像边缘检测及图像融合 是Dream呀 opencvpython计算机视觉
    前言：零基础学Python：Python从0到100最新最全教程。想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、计算机视觉、机器学习、神经网络以及人工智能相关知识，成为学习学习和学业的先行者！欢迎大家订阅专栏：零基础学Python：Python从0到100最新
  • LSTM：解决梯度消失问题 AI天才研究院 DeepSeekR1&大数据AI人工智能大模型AI大模型企业级应用开发实战计算计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    1.背景介绍在深度学习领域，循环神经网络（RNN）是一种处理序列数据的强大工具。然而，RNN在处理长序列时面临着梯度消失的问题。为了解决这个问题，Hochreiter和Schmidhuber于1997年提出了长短期记忆（LSTM）网络。本文将深入探讨LSTM如何解决梯度消失问题。2.核心概念与联系2.1梯度消失问题在深度神经网络中，梯度消失是一个常见的问题。当网络的层数增加时，反向传播的梯度会随着
  • Python深度学习实践：使用TensorFlow构建图像分类器 Evaporator Core Python开发经验python深度学习tensorflow
    摘要随着深度学习技术的飞速发展，图像识别已成为AI领域的热点应用之一。本篇文章将引导读者使用Python和Google的TensorFlow框架，从零开始构建一个简单的图像分类器。我们将深入探讨卷积神经网络（CNN）的基本原理，实现一个能够识别MNIST手写数字的数据集模型，并通过实战代码演示整个过程，最终展示模型的训练与评估。一、环境配置与库导入确保已安装Python3.7+版本，以及Tenso
  • 深度学习进阶：构建多层神经网络 孤寂大仙v 深度学习神经网络人工智能
    在上一篇文章中，我们从零开始构建了一个简单的两层神经网络，并通过异或问题（XOR）展示了神经网络的强大能力。今天，我们将进一步深入，构建一个更复杂的多层神经网络，并引入更多高级概念，如多隐藏层、激活函数选择、正则化等。我们还会使用更复杂的分类任务来训练模型，并评估其性能。1.多层神经网络的结构在实际应用中，深度学习模型通常包含多个隐藏层，这种结构被称为深度神经网络（DNN）。多层神经网络能够学习更
  • 神经网络中的Adam 化作星辰 神经网络人工智能深度学习
    Adam（AdaptiveMomentEstimation）是一种广泛使用的优化算法，结合了RMSprop和动量（Momentum）的优点。它通过计算梯度的一阶矩估计（mean）和二阶矩估计（uncenteredvariance），为每个参数提供自适应学习率。Adam由DiederikP.Kingma和JimmyBa在2014年的论文《Adam:AMethodforStochasticOptimi
  • 神经网络中的Nesterov Momentum 化作星辰 神经网络人工智能深度学习
    NesterovAcceleratedGradient(NAG)，也称为NesterovMomentum，是一种改进版的动量优化算法，旨在加速梯度下降过程中的收敛速度，并提高对最优解的逼近效率。它由YuriiNesterov在1983年提出，是对传统动量方法的一种增强。###传统动量法回顾在传统的动量方法中，更新规则不仅考虑当前的梯度，还包含了之前所有梯度的方向和大小的累积（即“动量”），以帮助克
  • 神经网络中的Adagrad 化作星辰 神经网络人工智能深度学习
    Adagrad（AdaptiveGradient）是一种自适应学习率的优化算法，专门设计用于在训练过程中自动调整每个参数的学习率。这种方法对于处理稀疏数据特别有效，并且非常适合那些需要频繁更新但很少使用的参数的学习任务。###Adagrad的核心思想Adagrad通过累积过去所有梯度平方的和来调整每个权重的学习率。具体来说，它为网络中的每个参数维护一个历史梯度平方和，然后用这个累积值来缩放当前的学
  • 大模型专栏博文汇总和索引 Donvink 大模型transformer深度学习人工智能语言模型
    大模型专栏主要是汇总了我在学习大模型相关技术期间所做的一些总结和笔记，主要包括以下几个子专栏：DeepSeek-R1AIGC大模型实践Transformer多模态系统视频理解对比学习目标检测目标跟踪图神经网络大模型专栏汇总了以上所有子专栏的论文，目前暂时先按照不同的技术领域划分子专栏，子专栏之间的内容可能会有交集，不完全是独立的。为了方便查阅相关模块的内容，故以此文章进行汇总与索引。一、DeepS
  • 金融风控与医疗影像算法创新前沿 智能计算研究中心 其他
    内容概要在金融风控与医疗影像交叉领域，算法创新正推动两大行业的技术范式变革。联邦学习算法通过分布式数据协作机制，在保证隐私安全的前提下，显著提升金融风险预测模型的泛化能力。医疗影像诊断领域则依托三维卷积神经网络（3D-CNN）架构，实现了对CT、MRI等多模态影像的精准病灶分割，诊断准确率较传统方法提升23.6%。值得关注的是，可解释性算法（如LIME和SHAP）的深度应用，使两类场景中的模型决策
  • AI探索笔记：浅谈人工智能算法分类 安意诚Matrix 机器学习笔记人工智能笔记
    人工智能算法分类这是一张经典的图片，基本概况了人工智能算法的现状。这张图片通过三个同心圆展示了人工智能、机器学习和深度学习之间的包含关系，其中人工智能是最广泛的范畴，机器学习是其子集，专注于数据驱动的算法改进，而深度学习则是机器学习中利用多层神经网络进行学习的特定方法。但是随着时代的发展，这张图片表达得也不是太全面了。我更喜欢把人工智能算法做如下的分类：传统机器学习算法-线性回归、逻辑回归、支持向
  • pytorch阶段性总结2 Colinnian pytorch人工智能python
    nn神经网络functional当中卷积的使用importtorchimporttorch.nn.functionalasF#数据input=torch.tensor([[1,2,0,3,1],[0,1,2,3,1],[1,2,1,0,0],[5,2,3,1,1],[2,1,0,1,1]])#卷积核kernel=torch.tensor([[1,2,1],[0,1,0],[2,1,0]])#min
  • html页面js获取参数值 0624chenhong html
    1.js获取参数值js function GetQueryString(name) {      var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)");      var r = windo
  • MongoDB 在多线程高并发下的问题 BigCat2013 mongodbDB高并发重复数据
    最近项目用到 MongoDB , 主要是一些读取数据及改状态位的操作. 因为是结合了最近流行的 Storm进行大数据的分析处理，并将分析结果插入Vertica数据库，所以在多线程高并发的情境下, 会发现 Vertica 数据库中有部分重复的数据. 这到底是什么原因导致的呢？笔者开始也是一筹莫 展，重复去看 MongoDB 的 API , 终于有了新发现 ： com.mongodb.DB 这个类有
  • c++ 用类模版实现链表(c++语言程序设计第四版示例代码) CrazyMizzz 数据结构C++
    #include<iostream> #include<cassert> using namespace std; template<class T> class Node { private: Node<T> * next; public: T data;
  • 最近情况 麦田的设计者 感慨考试生活
       在五月黄梅天的岁月里，一年两次的软考又要开始了。到目前为止，我已经考了多达三次的软考，最后的结果就是通过了初级考试（程序员）。人啊，就是不满足，考了初级就希望考中级，于是，这学期我就报考了中级，明天就要考试。感觉机会不大，期待奇迹发生吧。这个学期忙于练车，写项目，反正最后是一团糟。后天还要考试科目二。这个星期真的是很艰难的一周，希望能快点度过。   
  • linux系统中用pkill踢出在线登录用户 被触发 linux
    由于linux服务器允许多用户登录，公司很多人知道密码，工作造成一定的障碍所以需要有时踢出指定的用户 1/#who   查出当前有那些终端登录（用 w 命令更详细） # who root     pts/0        2010-10-28 09:36 (192
  • 仿QQ聊天第二版 肆无忌惮_ qq
    在第一版之上的改进内容:  第一版链接: http://479001499.iteye.com/admin/blogs/2100893   用map存起来号码对应的聊天窗口对象,解决私聊的时候所有消息发到一个窗口的问题. 增加ViewInfo类,这个是信息预览的窗口,如果是自己的信息,则可以进行编辑.   信息修改后上传至服务器再告诉所有用户,自己的窗口
  • java读取配置文件 知了ing
    1，java读取.properties配置文件 InputStream in; try { in = test.class.getClassLoader().getResourceAsStream("config/ipnetOracle.properties");//配置文件的路径 Properties p = new Properties()
  • __attribute__ 你知多少？ 矮蛋蛋 C++gcc
    原文地址: http://www.cnblogs.com/astwish/p/3460618.html GNU C 的一大特色就是__attribute__ 机制。__attribute__ 可以设置函数属性（Function Attribute ）、变量属性（Variable Attribute ）和类型属性（Type Attribute ）。 __attribute__ 书写特征是：
  • jsoup使用笔记 alleni123 java爬虫JSoup
    <dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.7.3</version> </dependency> 2014/08/28 今天遇到这种形式，
  • JAVA中的集合 Collectio 和Map的简单使用及方法 百合不是茶 listmapset
             List ,set ,map的使用方法和区别 java容器类类库的用途是保存对象，并将其分为两个概念：     Collection集合：一个独立的序列，这些序列都服从一条或多条规则;List必须按顺序保存元素  ，set不能重复元素；Queue按照排队规则来确定对象产生的顺序（通常与他们被插入的
  • 杀LINUX的JOB进程 bijian1013 linuxunix
    今天发现数据库一个JOB一直在执行，都执行了好几个小时还在执行，所以想办法给删除掉   系统环境：    ORACLE 10G    Linux操作系统   操作步骤如下： 第一步.查询出来那个job在运行，找个对应的SID字段 select * from dba_jobs_running--找到job对应的sid &n
  • Spring AOP详解 bijian1013 javaspringAOP
            最近项目中遇到了以下几点需求，仔细思考之后，觉得采用AOP来解决。一方面是为了以更加灵活的方式来解决问题，另一方面是借此机会深入学习Spring AOP相关的内容。例如，以下需求不用AOP肯定也能解决，至于是否牵强附会，仁者见仁智者见智。 1.对部分函数的调用进行日志记录，用于观察特定问题在运行过程中的函数调用
  • [Gson六]Gson类型适配器(TypeAdapter) bit1129 Adapter
    TypeAdapter的使用动机  Gson在序列化和反序列化时，默认情况下，是按照POJO类的字段属性名和JSON串键进行一一映射匹配，然后把JSON串的键对应的值转换成POJO相同字段对应的值，反之亦然，在这个过程中有一个JSON串Key对应的Value和对象之间如何转换(序列化/反序列化)的问题。   以Date为例，在序列化和反序列化时，Gson默认使用java.
  • 【spark八十七】给定Driver Program， 如何判断哪些代码在Driver运行，哪些代码在Worker上执行 bit1129 driver
    Driver Program是用户编写的提交给Spark集群执行的application，它包含两部分 作为驱动： Driver与Master、Worker协作完成application进程的启动、DAG划分、计算任务封装、计算任务分发到各个计算节点(Worker)、计算资源的分配等。 计算逻辑本身，当计算任务在Worker执行时，执行计算逻辑完成application的计算任务
  • nginx 经验总结 ronin47 nginx 总结
    　　　深感nginx的强大，只学了皮毛，把学下的记录。 　　　获取Header 信息，一般是以$http_XX（ＸＸ是小写）            获取body,通过接口，再展开，根据Ｋ取Ｖ 　　　获取uri,以$arg_XX      &n
  • 轩辕互动-1.求三个整数中第二大的数2.整型数组的平衡点 bylijinnan 数组
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class ExoWeb { public static void main(String[] args) { ExoWeb ew=new ExoWeb(); System.out.pri
  • Netty源码学习-Java-NIO-Reactor bylijinnan java多线程netty
    Netty里面采用了NIO-based Reactor Pattern 了解这个模式对学习Netty非常有帮助 参考以下两篇文章： http://jeewanthad.blogspot.com/2013/02/reactor-pattern-explained-part-1.html http://gee.cs.oswego.edu/dl/cpjslides/nio.pdf
  • AOP通俗理解 cngolon springAOP
    1.我所知道的aop     初看aop,上来就是一大堆术语，而且还有个拉风的名字，面向切面编程，都说是OOP的一种有益补充等等。一下子让你不知所措，心想着：怪不得很多人都和 我说aop多难多难。当我看进去以后，我才发现：它就是一些java基础上的朴实无华的应用，包括ioc，包括许许多多这样的名词，都是万变不离其宗而 已。 2.为什么用aop&nb
  • cursor variable 实例 ctrain variable
    create or replace procedure proc_test01 as type emp_row is record( empno emp.empno%type, ename emp.ename%type, job emp.job%type, mgr emp.mgr%type, hiberdate emp.hiredate%type, sal emp.sal%t
  • shell报bash: service: command not found解决方法 daizj linuxshellservicejps
    今天在执行一个脚本时，本来是想在脚本中启动hdfs和hive等程序，可以在执行到service hive-server start等启动服务的命令时会报错，最终解决方法记录一下：   脚本报错如下： ./olap_quick_intall.sh: line 57: service: command not found ./olap_quick_intall.sh: line 59
  • 40个迹象表明你还是PHP菜鸟 dcj3sjt126com 设计模式PHP正则表达式oop
    你是PHP菜鸟，如果你：1. 不会利用如phpDoc 这样的工具来恰当地注释你的代码2. 对优秀的集成开发环境如Zend Studio 或Eclipse PDT 视而不见3. 从未用过任何形式的版本控制系统，如Subclipse4. 不采用某种编码与命名标准 ，以及通用约定，不能在项目开发周期里贯彻落实5. 不使用统一开发方式6. 不转换（或）也不验证某些输入或SQL查询串（译注：参考PHP相关函
  • Android逐帧动画的实现 dcj3sjt126com android
    一、代码实现： private ImageView iv; private AnimationDrawable ad; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout
  • java远程调用linux的命令或者脚本 eksliang linuxganymed-ssh2
    转载请出自出处： http://eksliang.iteye.com/blog/2105862        Java通过SSH2协议执行远程Shell脚本(ganymed-ssh2-build210.jar)   使用步骤如下： 1.导包 官网下载: http://www.ganymed.ethz.ch/ssh2/ ma
  • adb端口被占用问题 gqdy365 adb
    最近重新安装的电脑，配置了新环境，老是出现： adb server is out of date. killing... ADB server didn't ACK * failed to start daemon * 百度了一下，说是端口被占用，我开个eclipse，然后打开cmd，就提示这个，很烦人。 一个比较彻底的解决办法就是修改
  • ASP.NET使用FileUpload上传文件 hvt .netC#hovertreeasp.netwebform
    前台代码： <asp:FileUpload ID="fuKeleyi" runat="server" /> <asp:Button ID="BtnUp" runat="server" onclick="BtnUp_Click" Text="上 传" />
  • 代码之谜（四）- 浮点数（从惊讶到思考） justjavac 浮点数精度代码之谜IEEE
    在『代码之谜』系列的前几篇文章中，很多次出现了浮点数。 浮点数在很多编程语言中被称为简单数据类型，其实，浮点数比起那些复杂数据类型（比如字符串）来说， 一点都不简单。 单单是说明 IEEE浮点数 就可以写一本书了，我将用几篇博文来简单的说说我所理解的浮点数，算是抛砖引玉吧。 一次面试 记得多年前我招聘 Java 程序员时的一次关于浮点数、二分法、编码的面试， 多年以后，他已经称为了一名很出色的
  • 数据结构随记_1 lx.asymmetric 数据结构笔记
    第一章   1.数据结构包括数据的 逻辑结构、数据的物理/存储结构和数据的逻辑关系这三个方面的内容。 2.数据的存储结构可用四种基本的存储方法表示，它们分别是 顺序存储、链式存储 、索引存储 和 散列存储。 3.数据运算最常用的有五种，分别是  查找/检索、排序、插入、删除、修改。 4.算法主要有以下五个特性：  输入、输出、可行性、确定性和有穷性。 5.算法分析的
  • linux的会话和进程组 网络接口 linux
    会话： 一个或多个进程组。起于用户登录，终止于用户退出。此期间所有进程都属于这个会话期。会话首进程：调用setsid创建会话的进程1.规定组长进程不能调用setsid，因为调用setsid后，调用进程会成为新的进程组的组长进程.如何保证？ 先调用fork，然后终止父进程，此时由于子进程的进程组ID为父进程的进程组ID，而子进程的ID是重新分配的，所以保证子进程不会是进程组长，从而子进程可以调用se
  • 二维数组 元素的连续求解 1140566087 二维数组ACM
    import java.util.HashMap; public class Title { public static void main(String[] args){ f(); } // 二位数组的应用 //12、二维数组中，哪一行或哪一列的连续存放的0的个数最多，是几个0。注意，是“连续”。 public static void f(){
  • 也谈什么时候Java比C++快 windshome javaC++
      刚打开iteye就看到这个标题“Java什么时候比C++快”，觉得很好笑。   你要比，就比同等水平的基础上的相比，笨蛋写得C代码和C++代码，去和高手写的Java代码比效率，有什么意义呢？   我是写密码算法的，深刻知道算法C和C++实现和Java实现之间的效率差，甚至也比对过C代码和汇编代码的效率差，计算机是个死的东西，再怎么优化，Java也就是和C
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他