lantianjialiang
lantianjialiang

AWS的虚拟化技术

AWS的虚拟化技术

提到aws的底层的虚拟化的技术的时候，大家可能总是能看到这张图。
但是我一直没有看的太懂，于是今天花点时间仔细看看了。
这里详细解释一下。
AWS的虚拟化技术_第1张图片先解释一下图中的术语：
上面颜色部分由于我是色盲所以不说颜色了，下面的颜色的性能最差，上面颜色的性能最高

VM：虚拟机 HW：硬件
VS：软件虚拟化 VH：硬件虚拟化 P：半虚拟化，没有包含所有的组合
SR-IOV（net）：网络组件的硬件虚拟化技术，ixgbe/ena driver SR-IOV（store）：存储组件的硬件虚拟化技术 nvme driver

第一条不是aws使用的技术，作者列到这里只是为了对比。
第二条是虚拟机上的宿主机软件需要修改和适配，也就是说宿主机是能知道自己是在虚拟环境下允许的，这时候还没有Intel VT-x, AMD-V之类的虚拟机特权指令
第三条就是使用了Intel VT-x, AMD-V特权指令，硬件支持了CPU和内存的虚拟化
第四条增加了中断和计时器的半虚拟化
第五条在第四条的基础上加了网络的硬件虚拟化技术SR-IOV
第六条在第五条的基础上提供了存储的硬件虚拟化技术SR-IOV
第七条就是aws现在使用的Nitro系统，把缩减的kvm封到专有硬件中去，实现虚拟机的可以打到裸机性能。

这里先说一下SR-IOV的技术：

由于VT-x技术只是提供了CPU和内存的虚拟化支持，所以虚拟机访问网卡或者存储的时候，必须经过xen的虚拟交换机来中转，降低了效率。
AWS的虚拟化技术_第2张图片
AWS的虚拟化技术_第3张图片
aws刚开始使用的时候Intel 82599 网卡达到这个功能，最后收购了以色列的一家公司 Annapurna Labs，把网卡的速度提高到了25Gbps。
AWS的虚拟化技术_第4张图片
Nitro的hypervisor就是缩减版本的kvm，只负责管理CPU和内存，其他的事情都有自己的专业硬件去管理，通过控制器来协调和通信。
AWS的虚拟化技术_第5张图片

使用Nitro之后的性能提示

AWS的虚拟化技术_第6张图片2017年的时候，hypervisor还是放在和和宿主机一起的服务器上
AWS的虚拟化技术_第7张图片2018年的时候hypervisor也被放到了硬件中去了。
AWS的虚拟化技术_第8张图片AWS的虚拟化技术_第9张图片

参考
https://www.brendangregg.com/blog/2017-11-29/aws-ec2-virtualization-2017.html
https://cloudierthanthou.wordpress.com/2014/11/20/ec2-enhanced-networking/
https://medium.com/@paccattam/aws-enhanced-networking-an-overview-aee8a852cf5c
https://cloud.tencent.com/developer/article/1452583
https://twosixtech.com/running-thousands-of-kvm-guests-on-amazons-new-i3-metal-instances/

你可能感兴趣的:(Openstack,计算机相关,aws,运维,云计算)

  • 探索IT世界的宝藏：优质资源推荐与深度解析 点我头像干啥 Ai分类人工智能数据挖掘python深度学习
    引言在当今数字化时代，信息技术（IT）已经成为推动社会进步和经济发展的重要引擎。无论是软件开发、网络安全、数据分析，还是人工智能、云计算等领域，IT技术都在不断革新和演进。对于IT从业者、学生以及技术爱好者来说，掌握最新的技术动态和获取优质的学习资源至关重要。本文将为大家推荐一些优质的IT资源，并深入探讨如何利用这些资源提升自己的技术能力。一、优质IT资源推荐1.在线学习平台1.1Coursera
  • 有没有开源的企业网盘，是否适合企业使用？ 网盘
    开源选项丰富、灵活定制能力强、需要额外运维投入、适合特定场景但不一定适合所有企业，是开源企业网盘的主要特征。从表面看，开源网盘往往具有免费或低成本优势，但企业要投入一定的人力与技术资源来完成安装、维护与升级，从而保障系统的稳定运行。我个人尤其建议在评估运维能力和长期需求后再行决定，因为开源网盘的可行性需要与企业的IT基础和信息安全策略相匹配。在这几点特征里，灵活定制能力强最具吸引力。企业可以根据自
  • HCIE数通 VS HCIE云计算：如何选择最适合你的方向？ IT程序媛-桃子 数通华为认证云计算云计算华为数通
    在华为认证体系中，HCIE（HuaweiCertifiedInternetworkExpert）无疑是技术专家级别的标志。而在众多HCIE认证方向中，数通（Datacom）和云计算（CloudComputing）成为了很多考生纠结的焦点。它们各有优势，那么对于不同的职业发展规划，应该选择哪个更适合自己呢？【点赞+关注】私我领取华为认证考试复习资料/题库今天，我们就从多个角度来详细对比HCIE数通和
  • 云原生Serverless平台：无服务器计算的架构革命 桂月二二 云原生serverless架构
    引言：从虚拟机到函数即服务(FaaS)AWSLambda每天处理数十万亿次请求，阿里巴巴函数计算支撑双十一亿级事件触发。KnativeServing实现秒级自动扩缩至零，Vercel边缘函数网络响应时间跌破50ms。CNCFOpenFaaS在GitHub斩获25k星，AzureFunctions支持毫秒级计费精度，GoogleCloudRun冷启动优化至200ms内。全球500强企业70%采用Se
  • 探讨消息队列系统：AWS SQS vs. Apache Kafka fxrz12 工具awsapachekafka
    在现代软件架构中，消息队列系统扮演着关键角色，帮助系统实现异步通信、负载均衡和解耦。两种广泛使用的消息队列系统是AWSSimpleQueueService(SQS)和ApacheKafka。尽管它们都提供消息传递功能，但在设计理念、功能和使用场景上存在显著差异。本文将详细探讨AWSSQS和ApacheKafka的特点，帮助你在不同场景下做出最佳选择。一、ApacheKafkaApacheKafka
  • 【C语言】八进制、十六进制 Octopus2077 c语言开发语言算法visualstudio
    前言在我们日常生活中使用的数往往是十进制的，而当我们学习C语言后我们会接触到许多不同的进制并且时常需要去思考与使用这些不同的进制（尤其是2的幂相关的进制，因为这种计数系统比十进制更接近于计算机的二进制系统），所以学习和掌握这些不同进制是非常重要的。本文将对八进制和十六进制（8和16都为2的幂）进行一些讲解。通常情况C语言都假定整型常量是十进制的数，但在表达与计算机相关的值时，八进制和十六进制却十分
  • 云存储技术的神器--rclone llody_55 经验分享linuxpythoncentos运维mysqlossinsight
    原文地址：云存储技术的神器--rclone云存储技术的神器--rclone今天我们要推荐一款运维必备工具--rclone。官网地址：Rclone中文网：rclone中文站-专为国人汉化，解决数据同步/数据备份/数据迁移需求Rclone是什么？Rclone，即"rsyncforcloudstorage"，是一款专业的用于管理和同步云储存数据的开源命令行工具。通过该工具，用户不仅可以在各类型云盘之间拷
  • 什么是SaaS化部署 LCY133 阿里云
    SaaS化部署是将传统软件转变为“软件即服务”（SoftwareasaService，SaaS）模式的过程。其核心是通过云端托管、多租户架构和按需订阅的方式，让用户通过互联网直接使用软件功能，无需自行安装和维护本地服务器。以下是详细解析：核心特点云端托管•软件部署在云端服务器（如AWS、阿里云），用户通过浏览器或API访问。•优势：无需本地硬件投入，降低运维成本。多租户架构（Multi-tenan
  • 新的一年，新的感受和成长 是小天才哦 #高职生闲谈服务器
    本人现在是工作快2年的打工人，我是前年7月份毕业的大专生。其实我在大学刚开始的时候因为体验过社会的毒打，所以发誓一定要好好学习，而我也的确好好学习了，在学校2年时间里，大部分时间都是在图书馆里面看书，主要为啥天天在图书馆很大原因是本专业的课程自己不是非常喜欢（我是人工智能专业，人工智能专业大专学历出来基本也是打框的无聊活）所以我就自己学习了系统运维方向，这个过程也考取了RHCE认证，也是因为这个认
  • 架构生命周期（演进史）技术应服务于业务 Limbo1213 java架构生命周期演进史
    架构生命周期简介本篇幅主要讲述架构的各阶段出现的需求问题、业务问题、性能问题以及相应的解决方案。1、web1.0时代（1996年左右）2、web2.0时代（2006年左右）3、互联网时代（2012年左右）–》互联网±-》智慧城市。滴滴打车。饿了么（工商局）4、大数据+云计算5、AI未来以来时代…第一时期单一应用架构allinone。所有的模块和代码都在一起。技术也不分层。(2000年左右)网站的初
  • ELK安装配置 hu_wenjie OpsDevOpsDev运维开发
    ELK平台介绍日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
  • 气膜科技赋能冰雪产业，开启可持续发展新路径—轻空间 Qspace丨轻空间 大数据科技娱乐安全
    冰雪运动的普及受到地域和气候条件的制约，传统冰雪场馆建设周期长、成本高，难以满足日益增长的市场需求。智能气膜冰雪场馆凭借建设周期短、空间利用率高、运维成本低的独特优势，成为破解冰雪运动场地短缺的关键方案，为冰雪产业的可持续发展提供了全新思路。绿色低碳，打造高效节能冰雪空间智能气膜冰雪场馆采用先进的膜结构技术，结合AI驱动的超低能耗恒温系统，实现精准温控，将场馆运营能耗降低40%以上，大幅减少碳排放
  • docker和kubectl客户端安装Linux yyytucj dockerlinux容器
    在现代软件开发和运维领域，Docker和Kubernetes已成为不可或缺的工具。Docker是一个开源的应用容器引擎，允许开发者打包应用及其依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器或者Windows机器上。Kubernetes（简称K8s）是一个开源的容器编排工具，用于自动化容器的部署、扩展和管理。在Linux环境中安装Docker和Kubernetes客户端（kubect
  • 在运维工作中，硬盘满了，新买了一块，如何扩容？ Dusk_橙子 Linux基础运维
    在运维工作中，当硬盘满了且新增了一块硬盘后，可以通过以下几种方式扩容：直接使用新硬盘如果系统中已经没有多余空间，可以将新增硬盘格式化并挂载到系统中，用于存储数据，详细操作步骤如下：格式化新硬盘：#假设新增硬盘为/dev/sdb，使用XFS文件系统mkfs.xfs/dev/sdb创建挂载点并挂载：mkdir/data2mount/dev/sdb/data2配置开机自动挂载:echo"/dev/sdb
  • Java打包镜像部署的全景解析 程序员总部 javajava开发语言
    在现代软件开发中，Java作为一种广泛使用的编程语言，赋予开发者强大的能力，能够轻松创建跨平台应用。随着云计算和微服务架构的普及，Java应用的打包与镜像部署变得愈发重要。今天，就让我们来聊聊如何高效地将Java应用打包成镜像并部署到生产环境。我们得了解Java应用的基本构建流程。Java应用通常使用Maven或Gradle等构建工具。Maven是一个流行的项目管理工具，通过XML配置文件来定义项
  • 深入Linux内核架构：操作系统的核心奥秘 Echo_Wish 运维探秘让你快速入坑运维linux架构运维
    Linux是一种广泛使用的开源操作系统，其核心组件——Linux内核，承担着系统资源管理与硬件交互的关键任务。对于系统运维人员和开发者来说，理解Linux内核的架构不仅有助于高效管理系统，还能优化性能，排查复杂问题。本文将深入浅出地介绍Linux内核架构的核心组成，并配以简单的代码示例和逻辑说明，帮助您更好地理解这一重要领域。一、什么是Linux内核？Linux内核是操作系统的核心，它为上层应用提
  • Rocky9 使用 kolla-ansible all-in-one部署 OpenStack Zed Tassel_YUE Linux云计算#虚拟化openstackansiblelinux云计算
    目录写在前面一些支持网站2024.05后，安装Zed注意事项什么是kolla-ansible流程梳理操作系统选择安装流程概览安装详细步骤环境设置配置yum并下载软件包禁用firewalld，selinux安装ansible、kolla-ansible、galaxy生成密码文件修改global.yml安装部署测试写在前面一些支持网站官网：https://docs.openstack.org/koll
  • 2025最新Linux系统深度优化指南：20个核心技巧与实战案例解析 emmm形成中 linux应用实操服务器linuxgithub
    2025最新Linux系统深度优化指南：20个核心技巧与实战案例解析摘要：随着Linux在云计算、大数据、AI等领域的广泛应用，系统性能优化成为运维工程师的核心技能。本文结合2025年最新实践案例，从内核调优、资源管理、安全加固到云原生适配，全面解析Linux系统优化的20项核心技术，助力企业打造高性能、高可用的服务器环境。一、Linux系统优化的重要性与趋势在数字化转型加速的背景下，Linux系
  • 程序员必看！手把手教你玩转DeepSeek大模型的5个实战技巧 后端
    上个月在克拉玛依云计算产业园，我亲眼见到值班工程师用DeepSeek-R1大模型自动生成油田设备监测报告，原本需要3小时的工作现在10分钟就能完成。这让我突然意识到，这个刷爆朋友圈的AI工具，已经悄悄改变了程序员的工作方式。今天就跟大家聊聊，怎么让这个"代码外挂"真正成为你的生产力加速器。最近广东15个城市的政务系统集体升级，背后的秘密武器就是DeepSeek大模型。深圳程序员48小时完成全栈适配
  • 告别“装Python踩坑”：专家级避坑指南，新手老手都适用 清水白石008 人工智能学习笔记职业生涯python开发语言
    告别“装Python踩坑”：专家级避坑指南，新手老手都适用Python，这门简洁而强大的编程语言，已成为数据科学、Web开发、自动化运维等领域的首选。然而，对于许多初学者甚至一些有经验的开发者来说，Python的安装过程并非总是顺风顺水，各种“坑”层出不穷，轻则浪费时间，重则影响学习热情。我深知安装过程中的痛点。因此，本文将结合多年的实战经验，为您奉上一份专家级Python安装避坑指南，旨在帮助您
  • 物理服务器的作用都有哪些？ wanhengidc 服务器运维
    物理服务器是一种高性能的专用服务器，一般会被运用在大型组织和云计算环境当中，可以为企业和用户提供数据存储和计算资源，帮助企业提高整体的工作效率和快速实现业务目标。物理服务器有着较高的安全性，企业可以将重要的数据信息备份到物理服务器上，避免受到恶意的网络攻击导致数据丢失或者是意外删除的风险，当企业数据丢失或者是系统故障时，可以从物理服务器中恢复数据，保证业务能够持续稳定的运行。物理服务器可以部署网站
  • 悠星运维团队的 GenAI 技术实践：Claude 3-Powered Code Reviewer 快乐小天使哈哈哈 运维代码复审人工智能
    AmazonBedrock和Claude3模型AmazonBedrock是一个完全托管的服务，通过单一API为头部AI公司如AI21Labs、Anthropic、Cohere、Meta、StabilityAI提供高性能的基础模型选择，以及构建具有安全性、隐私性和负责任AI的生成式AI应用程序所需的广泛功能。Claude3模型基于Anthropic公司对于创建可靠、可解释和可控制的AI系统的研究。C
  • AWS无服务器 应用程序开发—第十一章API Gateway yunquantong AWS技术awsserverlessgateway
    APIGateway是AWS提供的一种托管服务，用于创建、发布、维护、保护和监控RESTful和WebSocketAPI。它可以帮助开发者构建可扩展的微服务架构，并提供了丰富的功能来管理API的生命周期和流量。主要功能和特点：API创建和管理：可以使用APIGateway快速创建和定义API，包括定义资源、方法和参数。支持多种集成方式，如AWSLambda、AWSEC2、AWSS3等，还可以自定义
  • 快速入门Anthropic Chat模型的使用 wad485486aw python开发语言
    在这篇文章中，我们将深入探讨如何开始使用Anthropic的Chat模型。你将学习如何通过AWSBedrock和GoogleVertexAI来访问这些模型。此外，我们还将介绍如何安装和使用langchain-anthropic包来集成Anthropic的聊天功能。技术背景介绍Anthropic提供了一系列强大的聊天模型，这些模型可以通过不同的平台访问，如AWSBedrock和GoogleVerte
  • 数据集与云计算：云端数据集的管理与应用 AI天才研究院 AI大模型企业级应用开发实战DeepSeekR1&大数据AI人工智能大模型计算科学神经计算深度学习神经网络大数据人工智能大型语言模型AIAGILLMJavaPython架构设计AgentRPA
    1.背景介绍1.1大数据时代的数据挑战步入21世纪，我们见证了信息技术的爆炸式增长，数据以前所未有的速度产生、存储和使用。从社交媒体互动到科学研究，从电子商务交易到物联网传感器，各行各业都被海量数据所淹没。这种数据爆炸式增长带来了前所未有的机遇和挑战。1.1.1机遇：数据驱动型决策数据的激增为企业和组织提供了前所未有的洞察力。通过分析和理解这些数据，我们可以识别趋势、预测未来行为并做出更明智的决策
  • AWS WAFv2 自动保护 API Gateway 实现指南 ivwdcwso 安全awsgateway云计算
    AWSWAFv2（WebApplicationFirewallVersion2）是一项强大的服务，用于保护Web应用程序免受各种网络攻击。本文将重点介绍如何使用AWSWAFv2与Python脚本自动保护APIGateway，确保你的RESTAPI在暴露在互联网上时能够抵御常见的网络威胁。AWSWAFv2概述AWSWAFv2提供了先进的Web应用程序防火墙功能，可帮助你保护Web应用程序免受SQL注
  • aws VPC link 在API gateway 作用 shenghuiping2001 awsaws
    今天实践了VPClink的使用：先看一下架构：（如果没有apigateway,那么就是domain->SLB,有了apigateway就是：domain->apigateway）1：创建vpclink:2:先看创建的netloadbvalancer:3:注意上面的oadbalancer的scheme是internal,所以说这个是不能公网访问的。注意上面的type是network的loadbala
  • 探索未来SaaS开发的新范式：AWS + React SaaS 模板 潘俭渝Erik
    探索未来SaaS开发的新范式：AWS+ReactSaaS模板saas-templateSaaStemplateforAWS,Amplify,React,NextJSandChakra项目地址:https://gitcode.com/gh_mirrors/sa/saas-template在快速发展的科技领域中，高效、可靠的SaaS（Software-as-a-Service）开发框架是创新者的得力工
  • IoT平台软件：AWS IoT二次开发_高级功能探索与实践 chenlz2007 物联网物联网awsandroid安全云计算边缘计算
    高级功能探索与实践在上一节中，我们已经完成了基础功能的开发和配置，包括设备连接、数据收集和基本的规则引擎使用。接下来，我们将深入探讨AWSIoT平台的高级功能，这些功能将帮助我们构建更加复杂和高效的IoT应用。本节将涵盖以下几个方面：设备影子（DeviceShadow）设备管理和远程配置数据处理与分析安全性和认证跨服务集成1.设备影子（DeviceShadow）1.1设备影子的概念设备影子（Dev
  • IoT平台软件：AWS IoT二次开发_AWSIoT基础架构与核心组件 chenlz2007 物联网物联网aws云计算边缘计算azurephp
    AWSIoT基础架构与核心组件AWSIoT是亚马逊提供的一套全面的云服务，旨在简化设备的连接、监控和管理。在这一节中，我们将详细介绍AWSIoT的基础架构及其核心组件，帮助你更好地理解如何利用这些组件进行二次开发。基础架构概述AWSIoT的基础架构主要由以下几个核心组件组成：设备网关（DeviceGateway）消息代理（MessageBroker）规则引擎（RulesEngine）设备影子（De
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他