IFT_jason
IFT_jason

计算机视觉与计算机图形学

计算机图形学（Computer Graphics, CG）是研究计算机在硬件和软件的帮助下创建计算机图形的科学学科，是计算机科学的一个分支领域，主要关注数字合成与操作视觉的图形内容。虽然这个词通常被认为是指三维图形，事实上同时包括了二维图形以及影响处理。

图形通常由点、线、面、体等集合元素和灰度、色彩、线性、线宽等非几何属性组成。从处理技术来看，图形主要分为两类，一类是基于线条信息表示的，如工程图、等高线地图、曲面的线框图等，另一类是明暗图，也就是通常所说的真实感图形。

分支学科：

  • 几何：研究面的表示和处理的方法
  • 动画：研究移动的表示和操作方法
  • 影像拟真/渲染：研究模拟光线传递效果的算法
  • 影像：研究影响的获取或是编辑
  • 拓扑结构：研究空间和表面的结构
  • 实时渲染
  • 非真实感绘制
  • 光照

计算机视觉（Computer Vision）是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄像机和计算机代替人眼对目标进行实别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理称为更适合人眼观察或传送给一起检测的图像。

计算机视觉系统需具备的功能：图像获取、预处理、特征提取、检测/分割、高级处理（分类、姿态/体积估测等）

分支：画面重建、事件监测、目标跟踪、目标识别、机器学习、索引创建、图像恢复等

关联领域：

  • 物理：理解电磁波--主要是可见光与红外线部分
  • 神经生物学：生物视觉系统
  • 信号处理：单元变量信号的处理方法
  • 数学：统计学、最优化理论、几何学等

计算机视觉研究对象主要是映射到单幅或多幅图像上的三维场景。（三维重建）

图像处理/图像分析，研究对象主要是二维图像，实现图像的转话，尤其针对像素级的操作。（图像对比度，边缘提取，去噪等）

机器视觉，主要指工业领域的视觉研究。（自主机器人的视觉，用于检测和测量的视觉）

模式识别，使用各种方法从信号中提取信息，主要运用统计学的理论

 

（均整理自维基百科）

你可能感兴趣的:(计算机视觉,计算机图形学,计算机视觉,图形学)

  • 【计算机视觉】图像滤波 油泼辣子多加 计算机视觉计算机视觉人工智能python神经网络
    1.图像滤波定义图像滤波是一种非常重要的图像处理技术，图像平滑、边缘检测、边缘增强、去除噪声都属于图像滤波，图像滤波是一种基于邻域的算法。通过图像滤波，可以实现图像平滑、边缘检测；图像平滑也叫图像模糊，用以去除图像中的噪声、伪影等，它是图像处理和计算机视觉的常见步骤。函数模糊类型特点使用场景cv.blur均值模糊简单快速，所有像素权重相等基础平滑和降噪cv.GaussianBlur高斯模糊中心权重
  • SalFAU-Net:显著性目标检测的显著性融合注意U-Net 明初啥都能学会 目标检测人工智能计算机视觉
    SalFAU-Net:显著性目标检测的显著性融合注意U-Net摘要IntroductionRelatedWorksSalFAU-Net:SaliencyFusionAttentionU-NetforSalientObjectDetection摘要显著目标检测（SOD）在计算机视觉中仍然是一个重要的任务，其应用范围从图像分割到自动驾驶。基于全卷积网络（FCN）的方法在过去几十年里在视觉显著性检测方面
  • ultralytics 是什么？ 博刻 AI学习笔记python
    ultralytics是一个用于计算机视觉任务的Python库，专注于提供高效、易用的目标检测、实例分割和图像分类工具。它最著名的功能是实现YOLO（YouOnlyLookOnce）系列模型，特别是最新的YOLOv8。1.YOLO是什么？YOLO是一种流行的目标检测算法，以其速度快和精度高而闻名。YOLO的核心思想是将目标检测问题转化为一个回归问题，直接预测目标的边界框和类别。YOLOv8是YOL
  • 从简单到深刻的认知发展 AI架构设计之禅 计算机软件编程原理与应用实践javapythonjavascriptkotlingolang架构人工智能
    认知发展，人工智能，深度学习，神经网络，机器学习，自然语言处理，计算机视觉1.背景介绍认知发展是人类从简单到复杂的思维方式演进的过程，它涉及感知、记忆、语言、推理和决策等多个方面。随着人工智能技术的飞速发展，我们开始尝试用计算机模拟人类的认知能力，构建能够学习、理解和解决复杂问题的智能系统。从早期的符号逻辑到如今的深度学习，人工智能的发展经历了多个阶段。早期的人工智能研究主要集中在规则和逻辑推理上
  • 使用Python调用OpenCV中的solvePnP函数 WzisTypescript pythonopencv开发语言OpenCV
    OpenCV是一个广泛使用的计算机视觉库，它提供了许多用于处理图像和视频的功能。其中一个重要的功能是解决透视投影问题，也就是通过已知的3D点和对应的2D图像点来计算相机的位姿。在OpenCV中，solvePnP函数就是用于解决这个问题的。solvePnP函数使用了一种称为Perspective-n-Point（PnP）问题的算法，它可以估计相机的旋转和平移向量，从而确定相机在3D空间中的位置。这对
  • cv python_python里面cv是什么意思 weixin_40004659 cvpython
    OpenCV(OpenSourceComputerVisionLibrary)开放源代码计算机视觉库，主要算法涉及图像处理、计算机视觉和机器学习相关方法。OpenCV其实就是一堆C和C++语言的源代码文件，这些源代码文件中实现了许多常用的计算机视觉算法。OpenCV由一系列C函数和C++类构成，它有C，C++，Python和java接口，当前SDK(SoftwareDevelopmentKit软件
  • Shapely：Python中的几何操作库 xyt556_CUMT BigDatapython开发语言
    Shapely：Python中的几何操作库介绍Shapely是一个用于操作和分析几何对象的Python库。它基于GEOS（GeometryEngine-OpenSource）库，提供了一系列函数来处理几何形状，如点（Point）、线（LineString）、多边形（Polygon）等。Shapely被广泛应用于GIS（地理信息系统）、数据分析和计算机图形学中，用于处理地理空间数据和几何分析。安装S
  • 探索人工智能在计算机视觉领域的创新应用与挑战 戒了9 人工智能学习方法
    一、引言1.1研究背景与意义在科技飞速发展的当下，人工智能（ArtificialIntelligence,AI）已然成为引领新一轮科技革命和产业变革的重要驱动力。作为AI领域的关键分支，计算机视觉（ComputerVision,CV）致力于让计算机具备像人类一样理解和解析图像、视频等视觉信息的能力，近年来取得了令人瞩目的进展。二者的深度融合，更是为众多领域带来了前所未有的变革与机遇。从技术发展历程
  • 全局光照：优化与加速技术教程_2024-07-21_16-04-16.Tex chenjj4003 游戏开发2人工智能计算机视觉性能优化vrffmpeg
    全局光照：优化与加速技术教程理解全局光照全局光照的基本概念全局光照(GlobalIllumination,GI)是一种在计算机图形学中模拟真实世界光照效果的技术。它不仅考虑光源直接照射到物体表面的光照（直接光照），还考虑了光线在不同物体表面之间的多次反射（间接光照），从而产生更加自然和真实的光照效果。全局光照能够模拟出环境光遮蔽、全局阴影、色彩溢出等现象，使得渲染的场景更加逼真。全局光照与局部光照
  • 人工智能技术的应用前景及未来发展 键盘上的蚂蚁- 人工智能生活
    引言人工智能（AI）作为21世纪最具创新性和革命性的技术之一，正在全球范围内深刻地改变着我们的生产、工作和生活方式。随着深度学习、强化学习、自然语言处理（NLP）、计算机视觉（CV）等技术的飞速进展，AI不再仅仅是学术研究中的一个热点，而是渗透到各个行业，成为推动创新、优化生产和提升效率的核心力量。对于开发者来说，理解和掌握AI技术不仅是提升个人技能的途径，更是应对未来技术变革、抓住职业机遇的关键
  • opencv2.4中SVD分解的几种调用方法 weixin_34342992 人工智能matlabc#
    原帖地址：http://blog.sina.com.cn/s/blog_6109b5d00101ag7a.html在摄影测量和计算机视觉中，考虑最优解问题时，经常要用到SVD分解。奇异值分解(singularvaluedecomposition,SVD)是一种可靠地正交矩阵分解法，但它比QR分解法要花上近十倍的计算时间。在matlab中，[U,S,V]=svd(A)，其中U和V代表二个相互正交矩阵
  • Python从0到100（四十）：Web开发简介-从前端到后端（文末免费送书） 是Dream呀 python前端开发语言
    前言：零基础学Python：Python从0到100最新最全教程。想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、计算机视觉、机器学习、神经网络以及人工智能相关知识，成为学习学习和学业的先行者！欢迎大家订阅专栏：零基础学Python：Python从0到100最新
  • 基于OpenCV的答题卡识别系统（附全部源码） Dong__ZW opencv人工智能计算机视觉
    本项目基于Python和OpenCV图像处理库，在Windows平台下开发了一个答题卡识别系统。系统运用精巧的计算机视觉算法，实现了批量识别答题卡并将信息导出至Excel表格的功能。这一解决方案使得答题卡的判卷过程变得轻便、高效且准确。首先，我们以Python语言作为开发基础，结合OpenCV图像处理库，为系统提供了强大的图像处理和分析能力。这使得我们能够在图像中准确地定位答题卡，检测填涂区域，以
  • 基于3dmax及Unity的虚拟博物展览馆 杨鸭嘴兽在工作 项目建档unity3d产品经理虚拟现实
    基于3dmax及Unity的虚拟博物展览馆前言1.项目简介2.创意来源3.成果展示4.总结前言本文用来记录2019年7月的项目：基于3dmax及Unity的虚拟博物展览馆，这是本科期间的一个项目，最后拿到了第七届全国大学生数字媒体科技作品竞赛全国二等奖，本人在团队中主要负责资料采集、实地调研与模型建立等工作。1.项目简介本产品是以陕西历史博物馆为基础，利用计算机图形学技术、3D建模技术构建的数字化
  • 数字人+虚拟展厅：开启互动展览新篇章！ jimumeta 3D行业资讯人工智能vrar虚拟展厅3D展厅
    “数字人+展厅”这一组合正逐渐成为展览展示领域的新宠，它融合了最前沿的人工智能、虚拟现实、增强现实等技术，为观众带来了前所未有的互动新体验。数字人，即利用计算机图形学、人工智能等技术生成的具有人类外貌、行为和交互能力的虚拟形象。这些数字人不仅在外形上栩栩如生，还能通过自然语言处理、语音识别与合成等技术实现与人类的实时交互，模拟出真实的人际对话和情感表达。展厅应用的优势增强互动性：数字人作为展厅的虚
  • 计算机视觉目标检测-DETR网络 next_travel 计算机视觉目标检测人工智能
    目录摘要abstractDETR目标检测网络详解二分图匹配和损失函数DETR总结总结摘要DETR（DEtectionTRansformer）是由FacebookAI提出的一种基于Transformer架构的端到端目标检测方法。它通过将目标检测建模为集合预测问题，摒弃了锚框设计和非极大值抑制（NMS）等复杂后处理步骤。DETR使用卷积神经网络提取图像特征，并将其通过位置编码转换为输入序列，送入Tra
  • YOLO到XML：轻松转换标注文件，助力计算机视觉项目 m0_69670384 YOLOxml计算机视觉
    YOLO到XML：轻松转换标注文件，助力计算机视觉项目在计算机视觉项目中，数据标注是至关重要的一步。不同的算法和框架可能需要不同格式的标注文件。YOLO（YouOnlyLookOnce）格式因其简洁和高效，在目标检测任务中备受欢迎。然而，有时我们可能需要将YOLO格式的标注文件转换为XML格式，以便与其他工具或框架兼容。本文将详细介绍如何将YOLO格式的标注文件批量转换为XML格式，助力你的计算机
  • Python从0到100（六十一）：机器学习实战-实现客户细分 是Dream呀 python机器学习开发语言
    前言：零基础学Python：Python从0到100最新最全教程。想做这件事情很久了，这次我更新了自己所写过的所有博客，汇集成了Python从0到100，共一百节课，帮助大家一个月时间里从零基础到学习Python基础语法、Python爬虫、Web开发、计算机视觉、机器学习、神经网络以及人工智能相关知识，成为学习学习和学业的先行者！欢迎大家订阅专栏：零基础学Python：Python从0到100最新
  • 请问Python怎么安装vlfeat？ cda2024 python开发语言
    在当今数据驱动的时代，图像处理和计算机视觉成为了许多前沿应用的核心技术之一。作为一门强大的编程语言，Python在这些领域中扮演着极其重要的角色。而vlfeat是一个广泛使用的计算机视觉库，它提供了许多经典的计算机视觉算法实现，如SIFT、HOG等。本文将详细介绍如何在Python中安装和使用vlfeat，帮助你在项目中高效地集成这些强大的工具。什么是vlfeat？vlfeat是一个开源的计算机视
  • 双目视觉之获取三维坐标（立体校正、Q矩阵与三角测量原理） 乐平要加油啊 YOLO+双目视觉计算机视觉opencv
    前言双目视觉是一种模拟人类立体视觉的计算机视觉技术，它通过两个相机从不同的角度拍摄同一个场景，然后利用三角测量原理，计算出场景中物体的三维坐标信息。这种技术在机器人导航、自动驾驶、物体跟踪、三维重建等领域有广泛的应用。获取三维坐标是双目视觉的核心任务之一。通过对左右相机拍摄的图像进行特征匹配和视差计算，我们可以得到场景中每个像素点的视差值。视差值表示了同一个物体在左右图像中的位置差异，它与物体距离
  • 计算机视觉 ---图像读取与显示(OpenCV与Matplotlib) 两千连弹 计算机视觉计算机视觉opencvmatplotlib
    前言本文分别介绍了使用OpenCV和Matplotlib进行图像读取与显示的方法，如cv2.imread()、cv2.imshow()、plt.imread()、plt.imshow()等，并提及了使用OpenCV时的注意事项。OpenCV与Matplotlib图像读取与显示的差异图像读取：OpenCV：使用cv2.imread()函数读取图像，默认读取的图像格式是BGR（蓝绿红）。Matplot
  • OpenCV中添加高斯噪声到彩色图像和点云 LpmShell opencv人工智能计算机视觉点云
    在计算机视觉和图像处理中，噪声是一种常见的现象，可以对图像和点云数据产生不良影响。高斯噪声是一种常见的噪声类型，它具有正态分布的特点。在本文中，我们将使用OpenCV库来添加高斯噪声到彩色图像和点云数据，并提供相应的源代码示例。添加高斯噪声到彩色图像首先，我们将介绍如何使用OpenCV库向彩色图像添加高斯噪声。以下是添加高斯噪声的步骤：步骤1:导入必要的库importnumpyasnpimport
  • 激光线扫标定和相机标定：中高级C++程序员与计算机视觉工程师的指南 m0_57781768 数码相机c++计算机视觉
    激光线扫标定和相机标定：中高级C++程序员与计算机视觉工程师的指南简介在计算机视觉和机器人领域，激光标定和相机标定是实现高精度测量和检测的关键技术。激光线扫标定和相机标定在许多应用中都是必不可少的，如自动驾驶、工业检测、三维重建等。本文将详细介绍激光线扫标定和相机标定的基本概念、实现细节以及常见问题的解决方案。目标读者为中高级C++程序员和计算机视觉工程师，文章将提供详细的技术细节和代码示例，确保
  • QT 笔记 繁缕怀夕 QT笔记
    本文详述了QT的基础应用，其中包括基础控件应用、多线程等工具类使用、以及显示2D、3D图像等功能，适用于C++和计算机视觉领域的开发者。1、基础控件QLineEditQComboBoxQMenuQToolBar2、基础功能2.1、多线程线程QThread2.2、多语言静态显示动态切换3、QChart4、QGraphicsView5、PCL之VTK
  • python机器学习 方安乐 pythonpython机器学习人工智能
    Python机器学习是当前最为热门的机器学习领域之一，其简洁、易用、高效的特点，让越来越多的开发者开始探索其应用。本文将从以下几个方面介绍Python机器学习的基础知识和实践案例，帮助读者更好地理解和应用机器学习技术。前提Python机器学习的应用领域A.图像识别和计算机视觉B.自然语言处理和文本分析C.数据挖掘和推荐系统深度学习A.神经网络的基本原理B.常用的深度学习框架和算法C.深度学习在图像
  • 计算机视觉：卷积核 每天五分钟玩转人工智能 计算机视觉计算机视觉深度学习人工智能机器学习卷积神经网络
    本文重点卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种深度学习模型，广泛应用于图像识别、自然语言处理、语音识别等领域。在卷积神经网络中，卷积核是网络的核心组件之一。通过不断堆叠卷积层和池化层，可以逐渐提取出更高级别的特征，从而实现更复杂的任务。卷积神经网络中的卷积核可以通过反向传播算法进行训练和优化，使其能够自适应地学习输入数据中的特征。因此，卷积神经网络在图像
  • 4-2 计算机视觉-卷积神经网络-基本网络组件 沉睡的小卡比兽 AI基础知识cnn卷积核端到端训练计算机视觉卷积神经网络
    1、为什么卷积核一般都是奇数？2、由哪些层组成了基本的卷积神经网络，作用分别是什么？3、卷积层和池化层有什么区别？4、什么是端到端学习end-to-end？1、为什么卷积核一般都是奇数？（1）保护位置信息：保证锚点刚好在中间，方便以模块中心为标准进行滑动卷积，避免了位置信息发生偏移（2）padding时的对称性：保证padding时图像的两边依然对齐（3）一些历史尝试的经验，如边缘检测等，还有pa
  • 国内的AI大模型有可能超过ChatGPT吗？ AIWritePaper官方账号 PromptChatGPTAIWritePaperchatgpt人工智能深度学习AI写作AIGC
    这是一个非常有前瞻性和现实意义的问题。要回答国内AI是否有可能超过ChatGPT，我们需要从多个方面来分析，包括技术基础、数据资源、应用场景、政策支持以及人才储备等。以下是对这一问题的详细探讨：1.技术基础（1）现状国内AI技术：国内的AI技术发展迅速，尤其在深度学习、自然语言处理（NLP）和计算机视觉等领域已经取得了显著进展。例如，百度的文心一言、阿里的通义千问等大语言模型（LLM）已经在技术上
  • 基于深度学习的鸟类识别系统详解（UI界面 + YOLOv10 + 数据集） 2025年数学建模美赛 深度学习uiYOLO人工智能python计算机视觉
    引言鸟类识别是计算机视觉领域中一个独具挑战性的任务，尤其是在复杂的自然环境中，识别不同种类的鸟类需要非常强大的模型和丰富的数据集。随着深度学习技术的发展，基于YOLO（YouOnlyLookOnce）系列模型的目标检测系统展现了卓越的性能，特别是在速度和精度上的平衡方面。本博客将详细讲解如何利用YOLOv10模型来构建一个基于深度学习的鸟类识别系统。该系统会结合自定义鸟类数据集，设计一个简洁直观的
  • 想转行到人工智能领域，我该学什么，怎么学？ 张登杰踩 人工智能python
    转行到人工智能（AI）领域需要系统的学习和实践，以下是详细的路径建议，涵盖基础知识、技能学习、项目实践和求职准备：一、明确目标和领域方向人工智能领域广泛，建议先了解细分方向（如机器学习、深度学习、计算机视觉、自然语言处理、强化学习等），结合兴趣和职业规划选择切入点。二、构建基础知识1.数学基础线性代数：矩阵运算、特征值、向量空间。微积分：导数、梯度、优化理论。概率与统计：贝叶斯定理、分布、假设检验
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他