独孤金泽
独孤金泽

Keras搭建CNN进行人脸识别系列(一)

一.项目意义

       人脸识别是当前深度学习与机器学习的热门研究方向，本项目适用于机器学习刚入门的本科生与硕士研究生，好了废话少说，下面切入正题！本项目就是要一步一步地带你搭建CNN，实现一个用keras实现的人脸识别程序

二.需要的环境

        IDE：Pycharm

        OS：Linux 和windows都可以

        Python：python3和python2都可以跑，但是python2需要添加from __future__  print_function这个语句增加兼容性

        cuda：这个程序用到了cuda和gpu加速，需要你事先配置好cuda

        硬件条件：哈尔滨工业大学生物信息实验室服务器(kesla T40*1，corei7-7700 * 8，显存12G），服务器比较寒酸。。。。

三.文件目录

        Keras搭建CNN进行人脸识别系列(一)_第1张图片

        创建一个文件夹，名字自拟。之后在这个文件夹创建data文件夹和model文件夹，在这个目录下是我们需要的几个文件(py格式)，data文件夹里面创建俩文件夹，一个为me，另一个为other。先说到这里，咱们到下一章。

你可能感兴趣的:(计算机视觉)

  • 图像去雾常见数据集 梦姐的编程日志 图像处理深度学习人工智能
    近年来，随着深度学习技术的快速发展，图像去雾任务成为计算机视觉领域的重要研究方向之一。高质量的数据集是算法研究的基础，本文将介绍一些常用的图像去雾数据集，包括其特点、应用场景以及下载地址。1.RESIDE数据集RESIDE（REalisticSingleImageDEhazing）数据集是目前最常用的图像去雾数据集之一。该数据集提供了多种规模的子数据集，主要分为以下几部分：IndoorTraini
  • 点云从入门到精通技术详解100篇-基于激光雷达点云的三维目标检测 格图素书 目标检测人工智能计算机视觉
    目录前言图像目标检测算法研究现状点云目标检测算法研究现状基于投影图的方法基于体素的方法基于点云的多模态融合方法2地面点云滤波及神经网络2.1目标检测数据集及采集设备2.1.1KITTI数据集2.1.2车载激光雷达2.2地面点云滤波算法2.2.1RANSAC算法2.2.2CSF算法本文篇幅较长，分为上下两篇，下篇详见基于激光雷达点云的三维目标检测（续）前言近几年来，在计算机视觉领域，利用深度学习卷积
  • 探索水下视觉新境界：基于Retinex理论的水下图像增强项目 葛冉忱Edith
    探索水下视觉新境界：基于Retinex理论的水下图像增强项目【下载地址】基于ace-urcp-retinex的水下图像增强代码本资源文件提供了一个基于Retinex理论的水下图像增强方法的代码实现。该方法旨在消除水下图像捕捉过程中产生的色彩失真和光线散射问题，从而显著提高水下图像的可视性。Retinex理论是一种模拟人类视觉系统处理图像的计算机视觉概念。它认为，人类视觉系统通过分离物体表面反射的光
  • 【AIGC】计算机视觉-YOLO系列家族 LeeZhao@ 计算机视觉AIGC计算机视觉YOLO
    YOLO系列家族（1）YOLO发展史（2）YOLOX（3）YOLOv6（4）YOLOv7（5）YOLOv8（6）YOLOv9（7）YOLOv10（8）YOLOv11（9）YOLOv12（1）YOLO发展史YOLO(YouOnlyLookOnce）是一种流行的物体检测和图像分割模型，由华盛顿大学的约瑟夫-雷德蒙（JosephRedmon）和阿里-法哈迪（AliFarhadi）开发。YOLO于2015
  • 整理：4篇论文介绍实时语义分割的未来，Transformer架构下的性能与效率平衡 mslion transformer深度学习人工智能语义分割
    在Transformer架构推动下，计算机视觉领域致力于打造一个极为强大且通用的大规模模型，它能处理物体检测、图像分割等多种任务。不少基于Transformer架构的研究成果显著，其通用模型在特定应用中表现出色，在图像和视频分割方面，通用设计的研究成果也超越了以往定制模型。其中，分割一切模型（SAM）在交互式分割中表现突出，能统一应对点、边界框、掩码和文本输入等交互方式。然而，多数此类研究存在弊端
  • 计算机视觉算法实战——茶园害虫识别（主页有源码） 喵了个AI 计算机视觉实战项目计算机视觉算法人工智能
    ✨个人主页欢迎您的访问✨期待您的三连✨✨个人主页欢迎您的访问✨期待您的三连✨✨个人主页欢迎您的访问✨期待您的三连✨1.引言茶园害虫识别是农业领域中的一个重要研究方向，旨在通过计算机视觉技术自动识别茶园中的害虫种类，从而帮助农民及时采取防治措施，减少经济损失。随着深度学习技术的快速发展，茶园害虫识别的准确性和效率得到了显著提升，为智慧农业提供了强有力的技术支持。2.当前相关算法在茶园害虫识别领域，常
  • 计算机视觉算法实战——图像配准（主页有源码） 喵了个AI 计算机视觉实战项目计算机视觉
    ✨个人主页欢迎您的访问✨期待您的三连✨✨个人主页欢迎您的访问✨期待您的三连✨✨个人主页欢迎您的访问✨期待您的三连✨1.领域简介图像配准（ImageRegistration）是计算机视觉中的一个重要研究方向，旨在将两幅或多幅图像在空间上对齐。这些图像可能来自不同的传感器、不同的时间或不同的视角。图像配准在医学影像、遥感、自动驾驶、机器人导航等领域有着广泛的应用。其核心目标是通过几何变换（如平移、旋转
  • YOLOv5改进：在C3块不同位置添加EMA注意力机制，有效提升计算机视觉性能 UksApps YOLO计算机视觉深度学习
    计算机视觉中的目标检测是一个重要的任务，而YOLOv5是目前广泛应用的一种高效目标检测算法。为了进一步提升YOLOv5的性能，我们在C3块的不同位置添加了EMA（ExponentialMovingAverage）注意力机制。EMA注意力机制是一种用于提升模型的感知能力和特征表达能力的技术。在YOLOv5中，我们将EMA注意力机制嵌入到C3块中，以增强这一块的特征表示能力。下面是我们改进的YOLOv
  • LeNet-5卷积神经网络详解 LChuck 深度学习人工智能神经网络深度学习数据结构计算机视觉AIGC
    LeNet-5卷积神经网络详解1.历史背景LeNet-5是由YannLeCun等人在1998年提出的一种卷积神经网络架构，是深度学习领域的一个重要里程碑。这个网络最初是为了解决手写数字识别问题而设计的，在当时取得了突破性的成果。它的成功不仅证明了卷积神经网络在计算机视觉任务中的有效性，更为后来深度学习的发展奠定了重要基础。图1：LeNet-5网络结构示意图2.网络结构LeNet-5的结构非常优雅且
  • 【论文阅读】Learning Transferable Visual Models From Natural Language Supervision（2021） Bosenya12 论文阅读
    摘要State-of-the-art（最先进的）computervisionsystems（计算机视觉系统）aretrainedtopredictafixedsetofpredeterminedobjectcategories（被训练来预测一组固定的预定对象类别）.Thisrestrictedformofsupervision（受限制的监督形式）limitstheirgenerality（通用性）
  • 如何增强机器学习基础，提升大模型面试通过概率 weixin_40941102 机器学习面试人工智能
    我的好朋友没有通过面试所以我给我的好朋友准备了这一篇学习路线随着大模型（如Transformer、GPT-4、LLaMA等）在自然语言处理（NLP）、计算机视觉（CV）和多模态任务中的广泛应用，AI行业的招聘竞争愈发激烈。面试官不仅要求候选人熟练使用深度学习框架（如PyTorch、TensorFlow），还希望他们具备扎实的机器学习理论基础、算法实现能力和实际问题解决经验。本文将从机器学习基础入手
  • Python----计算机视觉处理（opencv：像素，RGB颜色，图像的存储，opencv安装，代码展示） 蹦蹦跳跳真可爱589 Pythonopencv图像处理计算机视觉pythonopencv人工智能
    一、计算机眼中的图像像素像素是图像的基本单元，每个像素存储着图像的颜色、亮度和其他特征。一系列像素组合到一起就形成了完整的图像，在计算机中，图像以像素的形式存在并采用二进制格式进行存储。根据图像的颜色不同，每个像素可以用不同的二进制数表示。日常生活中常见的图像是RGB三原色图。RGB图上的每个点都是由红（R）、绿（G）、蓝（B）三个颜色按照一定比例混合而成的，几乎所有颜色都可以通过这三种颜色按照不
  • 【Python+OpenCV实战】手把手教你打造自定义视频播放器 m0_54877156 计算机视觉pythonopencv
    随着计算机视觉技术的发展，Python作为其主要开发语言，搭配强大的OpenCV库，为我们提供了无比丰富的功能和可能性。今天，我们将一起踏入这个奇妙的世界，通过Python和cv2来实现一款自定义的视频播放器，让你在理解基础原理的同时，也能亲手打造出属于自己的酷炫工具。首先我们需要确保安装了必要的库pipinstallopencv-python安装完毕之后我们就可以正式开始了。1.导入OpenCV
  • Transformer 的原理是什么？ 玩人工智能的辣条哥 人工智能transformer深度学习人工智能
    环境：Transformer问题描述：Transformer的原理是什么？通俗易懂一点。解决方案：Transformer是一种基于注意力机制（AttentionMechanism）的深度学习架构，最初由Vaswani等人在2017年的论文《AttentionisAllYouNeed》中提出。它在自然语言处理（NLP）领域取得了巨大成功，并逐渐扩展到计算机视觉（CV）和其他领域。Transforme
  • 计算机视觉深度学习入门（4） yyc_audio 计算机视觉人工智能计算机视觉深度学习神经网络
    在小型数据集上从头开始训练一个卷积神经网络利用少量数据来训练图像分类模型，这是一种很常见的情况。如果你从事与计算机视觉相关的职业，那么很可能会在实践中遇到这种情况。“少量”样本既可能是几百张图片，也可能是上万张图片。我们来看一个实例——猫狗图片分类，数据集包含5000张猫和狗的图片（2500张猫的图片，2500张狗的图片）。我们将2000张图片用于训练，1000张用于验证，2000张用于测试。将介
  • 计算机视觉图像处理面试笔试题整理——边缘检测 fpga和matlab 图像处理计算机视觉图像面试笔试计算机视觉面试笔试
    目录1.边缘检测综述2.Roberts算子3.Prewitt算子4.Sobel算子5.Laplace算子6.Canny1.边缘检测综述边缘检测是图像处理和计算机视觉中，尤其是特征提取中的一个研究领域。图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。图像边缘是图像最基本的特征，所谓**边缘**(Edge)是指图像局部特性的不连续性。灰度或结构等信息的突变处
  • 无人机动态追踪技术难点与距离分析！ 云卓SKYDROID 无人机人工智能云卓科技智能跟踪吊舱
    一、技术难点概述目标识别与跟踪算法的鲁棒性复杂场景适应性**：在动态背景（如人群、森林）或光照变化（逆光、夜间）下，算法需精准区分目标与干扰物。传统计算机视觉方法（如光流法、卡尔曼滤波）易受干扰，需结合深度学习（如YOLO、SiamRPN++）提升抗干扰能力。多目标跟踪与遮挡处理**：目标被遮挡或短暂消失时，需通过轨迹预测或特征匹配恢复跟踪，对算法的记忆能力和实时性要求极高。实时性要求**：算法需
  • 仿射变换矩阵应用 点云学习 c++pcl点云处理算法pcl点云处理3D视觉
    目录1原理介绍2数学公式推导3计算流程4示例代码仿射变换是计算机视觉、图像处理和点云处理中常用的几何变换之一。它不仅包括旋转和平移，还包括缩放和剪切等线性变换。仿射变换保持了点、直线和平面的平行性。1原理介绍仿射变换在三维空间中通常由一个3×3的线性变换矩阵和一个3×1的平移向量组成。通过使用齐次坐标，我们可以将仿射变换表示为一个4×4矩阵：其中：A是一个3×3的线性变换矩阵（包含旋转、缩放、剪切
  • H800实战应用深度解析endofsentence 智能计算研究中心 其他
    内容概要H800作为新一代计算架构的核心组件，其设计理念聚焦于高性能计算与人工智能场景的深度融合。通过模块化异构计算架构，H800实现了计算密度与能效比的突破性提升。下表展示了H800在不同场景下的性能表现对比：场景类型训练速度提升推理延迟降低能效比提升自然语言处理35%22%40%计算机视觉28%18%33%推荐系统41%29%37%资深系统架构师指出："H800的异构计算架构在模型并行处理方面
  • NTIRE比赛：技术前沿、国内企业表现与计算机视觉未来展望 AndrewHZ 深度学习新浪潮计算机视觉人工智能深度学习调研报告算法NTIRE画质算法
    一、NTIRE比赛概述：图像恢复与增强领域的全球竞技场1.1NTIRE的定位与历史NTIRE（NewTrendsinImageRestorationandEnhancement）是计算机视觉领域最具影响力的国际赛事之一，聚焦于图像恢复与增强技术的前沿探索。自2017年首次举办以来，NTIRE每年与计算机视觉顶会CVPR联合召开，成为学术界与工业界技术实力的重要展示平台。其竞赛内容涵盖图像超分辨率、
  • Python从0到100（七十六）：计算机视觉-直方图和自适应直方图均衡化 是Dream呀 python计算机视觉开发语言
    前言：零基础学Python：Python从0到100最新最全教程。想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、计算机视觉、机器学习、神经网络以及人工智能相关知识，成为学习学习和学业的先行者！欢迎大家订阅专栏：零基础学Python：Python从0到100最新
  • 《 YOLOv5、YOLOv8、YOLO11训练的关键文件：data.yaml文件编写全解》 空云风语 人工智能YOLO机器视觉目标跟踪人工智能计算机视觉YOLO
    走进YOLOv5、YOLOv8、YOLO11的data.yaml在计算机视觉领域的广袤星空中，目标检测无疑是一颗璀璨的明星，它广泛应用于自动驾驶、智能安防、工业检测、医疗影像分析等众多关键领域，发挥着不可或缺的作用。而YOLO系列算法，更是以其独特的“一次看全（YouOnlyLookOnce）”理念和卓越的性能，在目标检测领域中独树一帜，成为了众多研究者和开发者的首选工具。从最初的YOLOv1横空
  • 机器学习之线性代数 珠峰日记 AI理论与实践机器学习线性代数人工智能
    文章目录一、引言：线性代数为何是AI的基石二、向量：AI世界的基本构建块（一）向量的定义（二）向量基础操作（三）重要概念三、矩阵：AI数据的强大容器（一）矩阵的定义（二）矩阵运算（三）矩阵特性（四）矩阵分解（五）Python示例（使用NumPy库）四、线性代数在AI中的应用（一）数据表示（二）降维：PCA（三）线性回归（四）计算机视觉（五）自然语言处理一、引言：线性代数为何是AI的基石在人工智能领
  • 深度解析：DETR的多尺度特征融合 AI天才研究院 AI大模型企业级应用开发实战DeepSeekR1&大数据AI人工智能大模型计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    "深度解析：DETR的多尺度特征融合"作者：禅与计算机程序设计艺术1.背景介绍1.1目标检测的挑战与传统方法的局限性目标检测是计算机视觉领域中的一个基本任务，其目标是识别图像或视频中所有感兴趣的目标，并确定它们的位置和类别。传统的目标检测方法，如FasterR-CNN和YOLO，通常依赖于预定义的锚框或候选区域来生成目标proposals。然而，这些方法存在一些固有的局限性：人工先验知识:锚框的设
  • 目标检测项目 sho_re 神经网络人工智能pytorch目标检测
    ·识别图片中有哪些物体并且找到物体的存在位置多任务：位置+类别目标种类与数量繁多的问题目标尺度不均的问题遮挡、噪声等外部环境干扰VOC数据集：PASCALVOC挑战赛(ThePASCALVisualObjectClasses)是一个世界级的计算机视觉挑战赛。4大类，20小类VOC2007：9963图片/24640目标VOC2012：23080图片/54900目标·COCO数据集：起源于微软2014
  • 点云语义分割：PointNet++在S3DIS数据集上的训练 完美代码 3dneo4j点云
    点云语义分割：PointNet++在S3DIS数据集上的训练点云语义分割是计算机视觉领域的一个重要任务，旨在将点云数据中的每个点分配给其对应的语义类别。PointNet++是一种流行的深度学习方法，可用于处理点云数据，并在各种任务中取得了良好的性能。在本文中，我们将探讨如何使用PointNet++模型在S3DIS数据集上进行训练，并提供相应的源代码。数据集介绍S3DIS数据集是一个常用的用于室内场
  • 基于YOLOv5的烟雾检测系统：从数据集准备到UI界面实现 深度学习&目标检测实战项目 YOLOui分类数据挖掘目标跟踪
    1.引言烟雾是火灾发生的一个重要早期信号。烟雾检测能够在火灾初期及时识别并报警，为火灾的扑灭争取宝贵的时间。因此，烟雾检测的研究一直是计算机视觉领域中的一个热点问题。近年来，随着深度学习技术的发展，目标检测算法被广泛应用于烟雾检测，尤其是基于YOLOv5的目标检测模型，由于其较高的精度和较低的计算开销，已经成为许多实时检测系统的首选模型。在这篇博客中，我们将介绍如何使用YOLOv5模型进行烟雾检测
  • 计算机视觉｜3D 点云处理黑科技：PointNet++ 原理剖析与实战指南 紫雾凌寒 AI炼金厂#深度学习#计算机视觉深度学习计算机视觉3dcnnPointNet++3d云3d云数据
    一、引言在当今数字化与智能化快速发展的时代，3D点云处理技术在多个前沿领域中发挥着重要作用。特别是在自动驾驶和机器人视觉等领域，这项技术已成为实现智能化的关键支撑。以自动驾驶为例，车辆需要实时感知周围复杂的环境信息，包括行人、车辆、交通标志和路况等。3D点云数据能够提供高精度的三维空间信息，使自动驾驶车辆更准确地识别和定位周围物体，从而做出安全、合理的行驶决策。在城市街道上，自动驾驶车辆通过3D点
  • 【基于手势识别的音量控制系统】 合肥玉安人工智能工作室 PythonOpenCVpythonmediapipe手势手势控制音量
    基于手势识别的音量控制系统github项目效果这是一个结合了计算机视觉和系统控制的实用项目，通过识别手势来实现音量的无接触控制，同时考虑到了用户隐私，加入了实时人脸遮罩功能。核心功能实现1.手势识别与音量映射系统使用MediaPipe框架进行手部关键点检测，通过计算大拇指和食指之间的距离来控制音量：def_process_landmarks(self,hand_landmarks):#获取手指关键
  • 利用CUDA与OpenCV实现高效图像处理：全面指南 快撑死的鱼 C++（C语言）算法大揭秘opencv图像处理人工智能
    利用CUDA与OpenCV实现高效图像处理：全面指南前言在现代计算机视觉领域，图像处理的需求日益增加。无论是自动驾驶、安防监控，还是医疗影像分析，图像处理技术都扮演着至关重要的角色。然而，图像处理的计算量非常大，往往需要强大的计算能力来保证实时性和高效性。幸运的是，CUDA和OpenCV为我们提供了一种高效的图像处理解决方案。本篇文章将详细介绍如何结合CUDA与OpenCV，利用GPU的强大计算能
  • 设计模式介绍 tntxia 设计模式
    设计模式来源于土木工程师 克里斯托弗 亚历山大（http://en.wikipedia.org/wiki/Christopher_Alexander）的早期作品。他经常发表一些作品，内容是总结他在解决设计问题方面的经验，以及这些知识与城市和建筑模式之间有何关联。有一天，亚历山大突然发现，重复使用这些模式可以让某些设计构造取得我们期望的最佳效果。 亚历山大与萨拉-石川佳纯和穆雷 西乐弗斯坦合作
  • android高级组件使用(一) 百合不是茶 androidRatingBarSpinner
    1、自动完成文本框（AutoCompleteTextView） AutoCompleteTextView从EditText派生出来，实际上也是一个文本编辑框，但它比普通编辑框多一个功能：当用户输入一个字符后，自动完成文本框会显示一个下拉菜单，供用户从中选择，当用户选择某个菜单项之后，AutoCompleteTextView按用户选择自动填写该文本框。 使用AutoCompleteTex
  • [网络与通讯]路由器市场大有潜力可挖掘 comsci 网络
              如果国内的电子厂商和计算机设备厂商觉得手机市场已经有点饱和了,那么可以考虑一下交换机和路由器市场的进入问题.....        这方面的技术和知识,目前处在一个开放型的状态,有利于各类小型电子企业进入  &nbs
  • 自写简单Redis内存统计shell 商人shang Linux shell统计Redis内存
    #!/bin/bash address="192.168.150.128:6666,192.168.150.128:6666" hosts=(${address//,/ }) sfile="staticts.log" for hostitem in ${hosts[@]} do ipport=(${hostitem
  • 单例模式(饿汉 vs懒汉) oloz 单例模式
    package 单例模式; /* * 应用场景:保证在整个应用之中某个对象的实例只有一个 * 单例模式种的《 懒汉模式》 * */ public class Singleton { //01 将构造方法私有化，外界就无法用new Singleton()的方式获得实例 private Singleton(){}; //02 申明类得唯一实例 priva
  • springMvc json支持 杨白白 json springmvc
    1.Spring mvc处理json需要使用jackson的类库，因此需要先引入jackson包 2在spring mvc中解析输入为json格式的数据:使用@RequestBody来设置输入 @RequestMapping("helloJson") public @ResponseBody JsonTest helloJson() {
  • android播放，掃描添加本地音頻文件 小桔子
            最近幾乎沒有什麽事情，繼續鼓搗我的小東西。想在項目中加入一個簡易的音樂播放器功能，就像華為p6桌面上那麼大小的音樂播放器。用過天天動聽或者QQ音樂播放器的人都知道，可已通過本地掃描添加歌曲。不知道他們是怎麼實現的，我覺得應該掃描設備上的所有文件，過濾出音頻文件，每個文件實例化為一個實體，記錄文件名、路徑、歌手、類型、大小等信息。具體算法思想，
  • oracle常用命令 aichenglong oracledba常用命令
    1 创建临时表空间 create temporary tablespace user_temp  tempfile 'D:\oracle\oradata\Oracle9i\user_temp.dbf' size 50m  autoextend on  next 50m maxsize 20480m  extent management local
  • 25个Eclipse插件 AILIKES eclipse插件
    提高代码质量的插件1. FindBugsFindBugs可以帮你找到Java代码中的bug，它使用Lesser GNU Public License的自由软件许可。2. CheckstyleCheckstyle插件可以集成到Eclipse IDE中去，能确保Java代码遵循标准代码样式。3. ECLemmaECLemma是一款拥有Eclipse Public License许可的免费工具，它提供了
  • Spring MVC拦截器+注解方式实现防止表单重复提交 baalwolf spring mvc
    原理：在新建页面中Session保存token随机码，当保存时验证，通过后删除，当再次点击保存时由于服务器端的Session中已经不存在了，所有无法验证通过。   1.新建注解：   ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
  • 《Javascript高级程序设计(第3版)》闭包理解 bijian1013 JavaScript
    “闭包是指有权访问另一个函数作用域中的变量的函数。”--《Javascript高级程序设计(第3版)》         看以下代码： <script type="text/javascript"> function outer() { var i = 10; return f
  • AngularJS Module类的方法 bijian1013 JavaScriptAngularJSModule
            AngularJS中的Module类负责定义应用如何启动，它还可以通过声明的方式定义应用中的各个片段。我们来看看它是如何实现这些功能的。 一.Main方法在哪里         如果你是从Java或者Python编程语言转过来的，那么你可能很想知道AngularJS里面的main方法在哪里？这个把所
  • [Maven学习笔记七]Maven插件和目标 bit1129 maven插件
    插件(plugin)和目标(goal) Maven，就其本质而言，是一个插件执行框架，Maven的每个目标的执行逻辑都是由插件来完成的，一个插件可以有1个或者几个目标，比如maven-compiler-plugin插件包含compile和testCompile，即maven-compiler-plugin提供了源代码编译和测试源代码编译的两个目标   使用插件和目标使得我们可以干预
  • 【Hadoop八】Yarn的资源调度策略 bit1129 hadoop
    1. Hadoop的三种调度策略 Hadoop提供了3中作业调用的策略， FIFO Scheduler Fair Scheduler Capacity Scheduler 以上三种调度算法，在Hadoop MR1中就引入了，在Yarn中对它们进行了改进和完善.Fair和Capacity Scheduler用于多用户共享的资源调度   2. 多用户资源共享的调度
  • Nginx使用Linux内存加速静态文件访问 ronin47
    Nginx是一个非常出色的静态资源web服务器。如果你嫌它还不够快，可以把放在磁盘中的文件，映射到内存中，减少高并发下的磁盘IO。 先做几个假设。nginx.conf中所配置站点的路径是/home/wwwroot/res，站点所对应文件原始存储路径：/opt/web/res shell脚本非常简单，思路就是拷贝资源文件到内存中，然后在把网站的静态文件链接指向到内存中即可。具体如下：
  • 关于Unity3D中的Shader的知识 brotherlamp unityunity资料unity教程unity视频unity自学
    首先先解释下Unity3D的Shader，Unity里面的Shaders是使用一种叫ShaderLab的语言编写的，它同微软的FX文件或者NVIDIA的CgFX有些类似。传统意义上的vertex shader和pixel shader还是使用标准的Cg/HLSL 编程语言编写的。因此Unity文档里面的Shader，都是指用ShaderLab编写的代码，然后我们来看下Unity3D自带的60多个S
  • CopyOnWriteArrayList vs ArrayList bylijinnan java
    package com.ljn.base; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.concurrent.CopyOnWriteArrayList; /** * 总述： * 1.ArrayListi不是线程安全的，CopyO
  • 内存中栈和堆的区别 chicony 内存
    1、内存分配方面：     堆：一般由程序员分配释放， 若程序员不释放，程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事，分配方式是类似于链表。可能用到的关键字如下：new、malloc、delete、free等等。     栈：由编译器(Compiler)自动分配释放，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中
  • 回答一位网友对Scala的提问 chenchao051 scalamap
    本来准备在私信里直接回复了，但是发现不太方便，就简要回答在这里。 问题 写道 对于scala的简洁十分佩服，但又觉得比较晦涩，例如一例，Map("a" -> List(11,111)).flatMap(_._2)，可否说下最后那个函数做了什么，真正在开发的时候也会如此简洁？谢谢    先回答一点，在实际使用中，Scala毫无疑问就是这么简单。
  • mysql 取每组前几条记录 daizj mysql分组最大值最小值每组三条记录
    一、对分组的记录取前N条记录：例如：取每组的前3条最大的记录 1.用子查询： SELECT * FROM tableName a  WHERE 3> (SELECT COUNT(*) FROM  tableName b WHERE b.id=a.id AND b.cnt>a. cnt) ORDER BY a.id,a.account DE
  • HTTP深入浅出 http请求 dcj3sjt126com http
      HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信的规则。计算机专家设计出HTTP，使HTTP客户（如Web浏览器）能够从HTTP服务器(Web服务器)请求信息和服务，HTTP目前协议的版本是1.1.HTTP是一种无状态的协议，无状态是指Web浏览器和Web服务器之间不需要建立持久的连接，这意味着当一个客户端向服务器端发出请求，然后We
  • 判断MySQL记录是否存在方法比较 dcj3sjt126com mysql
    把数据写入到数据库的时，常常会碰到先要检测要插入的记录是否存在，然后决定是否要写入。 　　我这里总结了判断记录是否存在的常用方法： 　　sql语句： select   count ( * )  from  tablename; 　　然后读取count(*)的值判断记录是否存在。对于这种方法性能上有些浪费，我们只是想判断记录记录是否存在，没有必要全部都查出来。
  • 对HTML XML的一点认识 e200702084 htmlxml
    感谢http://www.w3school.com.cn提供的资料 HTML 文档中的每个成分都是一个节点。 节点 根据 DOM，HTML 文档中的每个成分都是一个节点。 DOM 是这样规定的： 整个文档是一个文档节点 每个 HTML 标签是一个元素节点 包含在 HTML 元素中的文本是文本节点 每一个 HTML 属性是一个属性节点 注释属于注释节点 Node 层次
  • jquery分页插件 genaiwei jqueryWeb前端分页插件
    //jquery页码控件// 创建一个闭包    (function($) {      // 插件的定义      $.fn.pageTool = function(options) {        var totalPa
  • Mybatis与Ibatis对照入门于学习 Josh_Persistence mybatisibatis区别联系
    一、为什么使用IBatis/Mybatis         对于从事 Java EE 的开发人员来说，iBatis 是一个再熟悉不过的持久层框架了，在 Hibernate、JPA 这样的一站式对象 / 关系映射（O/R Mapping）解决方案盛行之前，iBaits 基本是持久层框架的不二选择。即使在持久层框架层出不穷的今天，iBatis 凭借着易学易用、
  • C中怎样合理决定使用那种整数类型？ 秋风扫落叶 c数据类型
    如果需要大数值(大于32767或小于32767), 使用long 型。 否则, 如果空间很重要 (如有大数组或很多结构), 使用 short 型。 除此之外, 就使用 int 型。 如果严格定义的溢出特征很重要而负值无关紧要, 或者你希望在操作二进制位和字节时避免符号扩展的问题, 请使用对应的无符号类型。 但是, 要注意在表达式中混用有符号和无符号值的情况。    &nbs
  • maven问题 zhb8015 maven问题
      问题1： Eclipse 中 新建maven项目 无法添加src/main/java 问题    eclipse创建maevn web项目，在选择maven_archetype_web原型后，默认只有src/main/resources这个Source Floder。     按照maven目录结构，添加src/main/ja
  • (二)androidpn-server tomcat版源码解析之--push消息处理 spjich javaandrodipn推送
    在 (一)androidpn-server tomcat版源码解析之--项目启动这篇中，已经描述了整个推送服务器的启动过程，并且把握到了消息的入口即XmppIoHandler这个类，今天我将继续往下分析下面的核心代码，主要分为3大块，链接创建，消息的发送，链接关闭。 先贴一段XmppIoHandler的部分代码 /** * Invoked from an I/O proc
  • 用js中的formData类型解决ajax提交表单时文件不能被serialize方法序列化的问题 中华好儿孙 JavaScriptAjaxWeb上传文件FormData
    var formData = new FormData($("#inputFileForm")[0]); $.ajax({ type:'post', url:webRoot+"/electronicContractUrl/webapp/uploadfile", data:formData, async: false, ca
  • mybatis常用jdbcType数据类型 ysj5125094 mybatismapperjdbcType
      MyBatis 通过包含的jdbcType 类型 BIT         FLOAT      CHAR          
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他