灬德布罗意的猫灬
灬德布罗意的猫灬

卷积神经网络基础与补充

参考自 

  • up主的b站链接：霹雳吧啦Wz的个人空间-霹雳吧啦Wz个人主页-哔哩哔哩视频
  • 这位大佬的博客 https://blog.csdn.net/m0_37867091?type=blog

CNN的历史发展：

卷积神经网络基础与补充_第1张图片

这一点老师上课的时候也有讲到，BP的出现对CNN的发展至关重要

卷积的特性：关于具体体现在哪，上课老师的ppt讲的非常的明白

卷积神经网络基础与补充_第2张图片

目的：进行特征提取，减少训练过程中需要的参数数量

下面这种图也是非常的好，对于理解卷积的过程有很好的理解

卷积神经网络基础与补充_第3张图片

需要注意的是：

1.卷积核的chanel和输入矩阵的阿chanel是一致的

2.根据卷积的过程也可以知道最后输出矩阵的chanel是卷积核的个数

反向传播中误差的计算：softmax/sigmoid

一般是用 交叉熵损失 （Cross Entropy Loss）来计算误差

卷积神经网络基础与补充_第4张图片

权重的更新

卷积神经网络基础与补充_第5张图片

常用优化器：SGD优化器（Stochastic Gradient Descent 随机梯度下降）

  • 缺点：1. 易受样本噪声影响；2. 可能陷入局部最优解
  • 改进：SGD+Momentum优化器

你可能感兴趣的:(CNN图像处理基础,cnn,人工智能,神经网络)

  • Sora文本生成影像模型背后的创新原理与挑战 noVonN c语言深度学习算法区块链人工智能
    引言随着人工智能技术的飞速发展，OpenAI作为行业领导者，在文本生成领域取得重大突破之后，近日又推出了其在影像生成领域的最新力作——Sora。这款模型将自然语言处理与计算机视觉技术相结合，旨在通过输入文本描述来快速创作出逼真的电影场景，为内容创作者提供了前所未有的艺术表达工具。然而，正如OpenAI所指出的那样，尽管Sora展现出了令人惊叹的创造力，但它在仿真复杂物理现象和理解具体事例因果关系方
  • 【Hopfield 网络】 记忆和联想 Deno_V 人工智能神经网络算法
    Hopfield网络：记忆和联想这篇内容是观看这个视频（神经网络是如何联想和记忆的）之后的emmm可以说是总结吧！开篇如果我们突然听到了一首歌，我们为什么能快速的反应出这是哪首歌？这很不可思议，对吧！我们听到了一首歌，如果我们要把这首歌和我们记忆中存储的成千上万首歌一一比较才能知道这是哪首歌的话，那大脑早就超载爆炸了！所以我们不可能通过搜索的方式还原出一首歌是啥样。蛋白质是由肽链折叠而成的，蛋白质
  • SpringMVC的架构有什么优势？——视图与模型（二） 不会编程的小孩子 架构
    #SpringMVC的架构有什么优势？——视图与模型（二）前言关键字：机器学习人工智能AIchatGPT学习实现使用搭建深度python事件远程dockermysql安全技术部署技术自动化代码视图(View)视图是展示结果的组件，它们负责渲染模型数据并生成HTML输出。SpringMVC支持多种视图技术，包括JSP、Thymeleaf等。视图(View)是SpringMVC中渲染并呈现结果的组件，
  • Python在金融大数据分析中的AI应用实战 田野猫咪 python金融数据分析
    随着人工智能时代的到来，Python作为一种功能强大的编程语言，在金融领域的大数据分析中扮演着日益重要的角色。本文将探讨Python在金融领域的应用，重点介绍其在大数据分析方面的实际应用案例，涉及股票市场分析、投资组合优化、风险管理等方面，并提供相关的代码示例。引言随着金融市场数据规模的不断增长，金融机构和投资者们越来越依赖于大数据分析和人工智能技术来做出更准确、更智能的决策。Python作为一种
  • AI：助力开发者翱翔，而非抢夺其舞台 中草药z 人工智能社会AIGC开发学习方法
    在当今这个科技飞速发展的时代，人工智能（AI）犹如一股春风，悄然渗透进全球各个行业，尤其在软件开发领域，其影响力日益显著。从初创企业到跨国巨头，无一不在积极探索AI如何重塑编程的面貌，引发了一场关于它究竟是开发者的朋友还是潜在对手的热烈讨论。本文将深入探讨AI对软件工程师的影响，揭示其真实角色，以期为业界同仁提供一份全面的视角。️AI：开发者的得力助手AI不是来势汹汹的竞争者，而是软件工程师最可靠
  • 国产AI大模型Kimi爆火！概念梳理 我爱学AI 人工智能ai大模型
    在人工智能（AI）技术的飞速发展浪潮中，一款名为Kimi的国产大模型近期在资本市场上引起了广泛关注，成为了AI领域的新星。Kimi，由国内AI创业公司月之暗面科技有限公司（MoonshotAI）开发，凭借其卓越的长文本处理能力和丰富的应用场景，迅速在AI对话助手市场中脱颖而出。3月18日，根据月之暗面官方微信公众号消息，支持200万字上下文的Kimi即日启动“内测”。根据机器之心数据显示，尚未上线
  • Matlab实现BP-NSGA-II多目标预测优化方法 含老司开挖掘机
    本文还有配套的精品资源，点击获取简介：本文涉及将遗传算法优化的BP神经网络与NSGA-II相结合，应用于多目标预测问题的解决。主要内容包括BP神经网络的学习原理、适应度函数的设计与应用、NSGA-II在多目标优化中的作用、多目标预测的策略以及Matlab工具在算法实现中的使用。本文旨在通过这些技术，帮助读者构建出能在多个相互冲突的目标间取得平衡的优化解决方案，并提供完整的Matlab代码实现，以供
  • 深度学习驱动下的字符识别：挑战与创新 逼子歌 神经网络深度学习字符识别卷积神经网络图像处理特征提取
    一、引言1.1研究背景深度学习在字符识别领域具有至关重要的地位。随着信息技术的飞速发展，对字符识别的准确性和效率要求越来越高。字符识别作为计算机视觉领域的一个重要研究方向，其主要目的是将各种形式的字符转换成计算机可识别的文本信息。近年来，深度学习技术在字符识别领域取得了显著的进展。国内研究者主要使用基于模板匹配的方法、基于统计模型的方法、基于神经网络的方法等各种方法进行字符识别研究。目前，国内各大
  • Adam优化器：深度学习中的自适应方法 2401_85743969 深度学习人工智能
    引言在深度学习领域，优化算法是训练神经网络的核心组件之一。Adam（AdaptiveMomentEstimation）优化器因其自适应学习率调整能力而受到广泛关注。本文将详细介绍Adam优化器的工作原理、实现机制以及与其他优化器相比的优势。深度学习优化器概述优化器在深度学习中负责调整模型的参数，以最小化损失函数。常见的优化器包括SGD（随机梯度下降）、RMSprop、AdaGrad、AdaDelt
  • 【python】最新版小红书js逆向拿到数据，非常详细教程（附完整代码） 景天科技苑 爬虫副业实战零基础进阶教学pythonjs逆向小红书逆向python爬虫
    ✨✨欢迎大家来到景天科技苑✨✨养成好习惯，先赞后看哦~作者简介：景天科技苑《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。《博客》：Python全栈，前后端开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi，flask等框架，linux，shell脚本等实操经验，网站搭
  • 构建数字产业生态链，共绘数字经济新蓝图 树莓集团 人工智能大数据物联网科技生活
    在当今数字化浪潮席卷全球的时代，构建数字产业生态链成为了推动经济发展的关键引擎。数字产业生态链如同一个强大的磁场，吸引着各类创新要素汇聚，共同描绘出数字经济的宏伟新蓝图。数字产业生态链的核心在于融合与协同。它将软件开发、数据分析、人工智能、物联网等多个领域紧密连接在一起，打破传统产业界限，实现资源的高效整合与共享。不同的数字技术相互赋能，催生出全新的商业模式和产业形态。构建数字产业生态链，离不开创
  • 【深度学习实战】行人检测追踪与双向流量计数系统【python源码+Pyqt5界面+数据集+训练代码】YOLOv8、ByteTrack、目标追踪、双向计数、行人检测追踪、过线计数 阿_旭 AI应用软件开发实战深度学习实战深度学习python行人检测行人追踪过线计数
    《博主简介》小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~感谢小伙伴们点赞、关注！《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体
  • Python八大主要应用领域，你都知道吗？ TOP级别安卓开发 程序员python开发语言
    随着NumPy，SciPy，Matplotlib等众多程序库的开发和完善，Python越来越适合于做科学计算和数据分析了。它不仅支持各种数学运算，还可以绘制高质量的2D和3D图像。和科学计算领域最流行的商业软件Matlab相比，Python比Matlab所采用的脚本语言的应用范围更广泛，可以处理更多类型的文件和数据。4、人工智能当前最热工资最高的IT工作就是从事人工智能领域的工程师了。Python
  • 【激活函数总结】Pytorch中的激活函数详解： ReLU、Leaky ReLU、Sigmoid、Tanh 以及 Softmax 阿_旭 深度学习知识点pytorch人工智能python激活函数深度学习
    《博主简介》小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。感谢小伙伴们点赞、关注！《------往期经典推荐------》一、AI应用软件开发实战专栏【链接】项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.
  • 020 现代数据中心的路由与交换架构 Network_Engineer RS网络网络安全计算机网络网络协议网络安全
    引言现代数据中心的设计必须兼顾高性能、高可用性和灵活性，以满足云计算、大数据、人工智能等应用的需求。在这样的背景下，数据中心的路由与交换架构设计显得尤为重要。Spine-Leaf架构、BGP路由优化以及高密度虚拟化环境中的交换技术，成为了现代数据中心的关键组成部分。本篇博文将探讨这些技术的实际应用，并提供华为设备的配置示例。1.Spine-Leaf架构的设计与实施Spine-Leaf架构是一种扁平
  • Deep learning for Computer Vision with Python（1）从零开始入门计算机视觉 Hazelyu27 计算机视觉大数据计算机视觉深度学习
    本书的内容分成三个部分：1.初始阶段初始阶段学习：机器学习、神经网络、卷积神经网络、建立数据集。2.实践阶段实践阶段：深入学习深度学习，理解先进技术，发现最佳实践方式。3.图像网络阶段完成计算机视觉领域的经验积累。使用大规模数据集和真实图片案例作为数据集，包括年龄和性别预测，交通工具模型识别。本书提供了对应网站：http://pyimg.co/fnkxk本文介绍前两章内容：基本介绍和深度学习简介。
  • 连续上多个热搜的chatgpt到底是什么？ 高省张导师
    近日，一款名为ChatGPT的人工智能聊天机器人火了。ChatGPT能做什么呢？除了简单的对话，它能帮你写代码、写文章、写诗、翻译，只要你能想到...，甚至有人用它来写作业。大家好我是氧惠APP最大团队张导师，氧惠首批邀请码520888，注册就帮你推广，一起做到百万团队。氧惠APP，2023全新模式，我的直推也会放到你下面，我曾经1年做到百万团队，现在加入我也会帮你做到百万团队。【氧惠】百度有几百
  • 人工智能与机器学习原理精解【18】 叶绿先锋 基础数学与应用数学人工智能机器学习
    文章目录决策树基础决策树的定义决策树的计算决策树的例子决策树的例题决策树算法一、决策树的算法过程二、决策树的性质Julia中实现框架使用`DecisionTree.jl`使用`MLJ.jl`Julia包的教程一、了解Julia包生态系统二、安装Julia包1.打开JuliaREPL2.使用Pkg包管理器三、使用Julia包四、查找和了解Julia包1.Julia官方文档2.JuliaHub3.Gi
  • 使用matlab的热门问题 七十二五 值得关注matlab开发语言青少年编程算法经验分享
    MATLAB广泛应用于科学计算、数据分析、信号处理、图像处理、机器学习等多个领域，因此热门问题也涵盖了这些方面。以下是一些可能被认为当前最热门的MATLAB问题：深度学习与神经网络：如何使用MATLAB的深度学习工具箱（DeepLearningToolbox）来构建和训练神经网络？如何利用MATLAB进行图像识别、语音识别或自然语言处理等深度学习应用？数据分析与可视化：如何使用MATLAB进行大数
  • 【机器学习】机器学习的基本概念、算法的工作原理、实际应用案例 @我们的天空 人工智能技术机器学习算法人工智能自然语言处理金融pythonsklearn
    一、机器学习的基本概念定义：机器学习是人工智能的一个分支，它使计算机能够在没有明确编程的情况下从数据中学习并改进其性能。机器学习的目标是让计算机自动学习模式和规律，从而能够对未知数据做出预测或决策。主要类型：监督学习：在这种类型的学习中，算法通过已知输入输出数据对进行训练，学习映射函数，以便对新的输入数据进行预测。常见的监督学习任务包括分类和回归。无监督学习：无监督学习的任务是发现数据中的结构或模
  • 从零开始设计一款全新GPU jack_201316888 GPUAI大模型渲染GPUGPGPU
    （提纲：：）设计一款全新的GPU（图形处理单元）是一项复杂且多方面的工程工作，涉及到硬件架构、软件编程模型、性能优化、功耗管理等多个领域。以下是从零到一设计一款全新GPU的基本步骤和关键考虑因素。1.定义需求和目标1.1应用场景首先，需要明确GPU的应用场景。这可以是图形渲染（如游戏、电影制作）、通用计算（如科学计算、人工智能训练）、嵌入式系统（如移动设备、汽车电子）等。1.2性能目标根据应用场景
  • 【专题】2024年中国AI人工智能基础数据服务研究报告合集PDF分享（附原数据表） 拓端研究室 人工智能
    原文链接：https://tecdat.cn/?p=37516随着人工智能技术的迅猛发展，AI基础数据服务行业迎来了前所未有的发展机遇。报告合集显示，2023年中国AI基础数据服务市场规模达到45亿元，且未来五年复合增长率有望达到30.4%。多模态大模型、长文本处理能力提升以及大模型小型化技术成为AI领域热点研究方向，从而推动了对高质量数据的大量需求。阅读原文，获取专题报告合集全文，解锁文末403
  • 【自然语言处理】自然语言处理NLP概述及应用 @我们的天空 人工智能技术nlp人工智能深度学习python机器学习自然语言处理scikit-learn
    自然语言处理（NaturalLanguageProcessing，简称NLP）是一门集计算机科学、人工智能以及语言学于一体的交叉学科，致力于让计算机能够理解、解析、生成和处理人类的自然语言。它是人工智能领域的一个关键分支，旨在缩小人与机器之间的交流障碍，使得机器能够更有效地识别并响应人类的自然语言指令或内容。自然语言处理NLP概述基本任务：文本分类：将文本划分为预定义的类别，如情感分析、主题分类等
  • 大模型落地指南：从下载到本地化部署全流程解析 网安猫叔 人工智能自然语言处理语言模型AIGC深度学习
    一、引言随着人工智能技术的迅猛发展，大规模预训练模型（如GPT-4、BERT等）在自然语言处理、图像识别等领域展现出了卓越的性能。然而，如何将这些强大的模型从理论落地到实际应用中，仍然是许多技术从业者面临的挑战。本篇文章旨在为读者提供一份详尽的大模型落地指南，从模型的下载、文件结构的解析，到本地化部署的具体步骤，全面覆盖整个流程。无论你是初次接触大模型的新手，还是希望深入了解部署细节的资深开发者，
  • ChatGPT在环境科学领域的应用前沿分享 树谷-胡老师 科研会议chatgpt
    ChatGPT在环境科学领域的应用前沿在党的二十届三中全会上，明确要求健全因地制宜的发展新质生产力体制机制。新质生产力通过创新驱动，以高科技、高效能、高质量为特征，旨在摆脱传统经济增长方式和生产力发展路径，符合新发展理念。环境科学的新质生产力主要体现在基础数据、数据管理和数据分析三方面。通过增加数据覆盖率、提升数据管理自动化水平和利用人工智能（AI）进行数据分析，实现环境质量的实时监控和管理，为环
  • 如何在5个步骤中编写更好的ChatGPT提示 AI脑极体 chatgpt人工智能
    ChatGPT是一个风靡全球的生成式人工智能(AI)工具。虽然它有可能编造一些东西，但是通过精心设计提示，可以确保获得最佳结果。在这篇文章中，我们将探讨如何做到这一点。在本文中，我将向你展示如何编写提示，激励驱动ChatGPT的大语言模型（LLM）提供最佳答案。另请参阅:自从ChatGPT问世以来，我测试了几十个AI聊天机器人。这里是我最新的首选编写有效提示，通常被称为提示工程，已经成为一个高薪职
  • 自然语言处理系列六十六》对话机器人项目实战》对话机器人原理与介绍 陈敬雷-充电了么-CEO兼CTO python人工智能算法自然语言处理机器人人工智能AIGCchatgptgptai
    注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列六十六对话机器人项目实战》对话机器人原理与介绍对话机器人项目代码实战总结自然语言处理系列六十六对话机器人项目实战》对话机器人原理与介绍对话机器人是一个用来模拟人类对话或聊天的计算机程序，本质上是通过机器学习和人工智能等技术让
  • OPENAI中RAG实现原理以及示例代码用PYTHON来实现 dzend aigcpython开发语言ai
    OPENAI中RAG实现原理以及示例代码用PYTHON来实现1.引言在当今人工智能领域，自然语言处理（NLP）是一个非常重要的研究方向。近年来，OPENAI发布了许多创新的NLP模型，其中之一就是RAG（Retrieval-AugmentedGeneration）模型。RAG模型结合了检索和生成两种方法，可以用于生成与给定问题相关的高质量文本。本文将介绍RAG模型的实现原理，并提供使用Python
  • auto encoder war3gu 深度学习
    Deepauto-encoder与受限玻尔兹曼机有点像，都可以进行信息的压缩，都可以用作pre-trainning.区别在于受限玻尔兹曼机是无向图模型，而Deepauto-encoder是一种神经网络,中间特别窄的bottleneck的数据作为压缩的codeencoder与decoder的参数可以相互独立，也可以互为逆数字图片auto-encoder，越是deep的auto-encoder，压缩出
  • 自动编码器 - Autoencoder hellozhxy 深度学习人工智能机器学习
    文章目录一、自编码器（Autoencoder）简单模型介绍二、神经网络自编码模型三、神经网络自编码器三大特点四、自编码器（Autoencoder）搭建五、几种常见编码器1.堆栈自动编码器2.欠完备自编码器3.正则自编码器4.噪自编码器（denoisingautoencoder,DAE）参考链接一、自编码器（Autoencoder）简单模型介绍暂且不谈神经网络、深度学习等，仅仅是自编码器的话，其原理
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他