lantianjialiang
lantianjialiang

AWS的虚拟化技术

AWS的虚拟化技术

提到aws的底层的虚拟化的技术的时候，大家可能总是能看到这张图。
但是我一直没有看的太懂，于是今天花点时间仔细看看了。
这里详细解释一下。
AWS的虚拟化技术_第1张图片先解释一下图中的术语：
上面颜色部分由于我是色盲所以不说颜色了，下面的颜色的性能最差，上面颜色的性能最高

VM：虚拟机 HW：硬件
VS：软件虚拟化 VH：硬件虚拟化 P：半虚拟化，没有包含所有的组合
SR-IOV（net）：网络组件的硬件虚拟化技术，ixgbe/ena driver SR-IOV（store）：存储组件的硬件虚拟化技术 nvme driver

第一条不是aws使用的技术，作者列到这里只是为了对比。
第二条是虚拟机上的宿主机软件需要修改和适配，也就是说宿主机是能知道自己是在虚拟环境下允许的，这时候还没有Intel VT-x, AMD-V之类的虚拟机特权指令
第三条就是使用了Intel VT-x, AMD-V特权指令，硬件支持了CPU和内存的虚拟化
第四条增加了中断和计时器的半虚拟化
第五条在第四条的基础上加了网络的硬件虚拟化技术SR-IOV
第六条在第五条的基础上提供了存储的硬件虚拟化技术SR-IOV
第七条就是aws现在使用的Nitro系统，把缩减的kvm封到专有硬件中去，实现虚拟机的可以打到裸机性能。

这里先说一下SR-IOV的技术：

由于VT-x技术只是提供了CPU和内存的虚拟化支持，所以虚拟机访问网卡或者存储的时候，必须经过xen的虚拟交换机来中转，降低了效率。
AWS的虚拟化技术_第2张图片
AWS的虚拟化技术_第3张图片
aws刚开始使用的时候Intel 82599 网卡达到这个功能，最后收购了以色列的一家公司 Annapurna Labs，把网卡的速度提高到了25Gbps。
AWS的虚拟化技术_第4张图片
Nitro的hypervisor就是缩减版本的kvm，只负责管理CPU和内存，其他的事情都有自己的专业硬件去管理，通过控制器来协调和通信。
AWS的虚拟化技术_第5张图片

使用Nitro之后的性能提示

AWS的虚拟化技术_第6张图片2017年的时候，hypervisor还是放在和和宿主机一起的服务器上
AWS的虚拟化技术_第7张图片2018年的时候hypervisor也被放到了硬件中去了。
AWS的虚拟化技术_第8张图片AWS的虚拟化技术_第9张图片

参考
https://www.brendangregg.com/blog/2017-11-29/aws-ec2-virtualization-2017.html
https://cloudierthanthou.wordpress.com/2014/11/20/ec2-enhanced-networking/
https://medium.com/@paccattam/aws-enhanced-networking-an-overview-aee8a852cf5c
https://cloud.tencent.com/developer/article/1452583
https://twosixtech.com/running-thousands-of-kvm-guests-on-amazons-new-i3-metal-instances/

你可能感兴趣的:(Openstack,计算机相关,aws,运维,云计算)

  • Flink中的SQL Client和SQL Gateway BigDataMLApplication flinkflinksqlgateway
    Flink中的SQLClient和SQLGateway对比目录定义基本原理适用场景主要区别常用运维命令示例官方链接正文1.定义SQLClient：FlinkSQLClient是一种用于提交和执行FlinkSQL语句的命令行界面或图形界面工具。SQLGateway：FlinkSQLGateway是一个独立的服务，它允许客户端通过RESTfulAPI将SQL查询提交到Flink集群。2.基本原理SQL
  • 2022年河南省高等职业教育技能大赛云计算赛项竞赛赛卷（样卷） 忘川_ydy 云计算云计算openstackkubernetesdockerpythonk8sansible
    #需要资源（软件包及镜像）或有问题的，可私博主！！！#需要资源（软件包及镜像）或有问题的，可私博主！！！#需要资源（软件包及镜像）或有问题的，可私博主！！！第一部分：私有云任务1私有云服务搭建(10分)使用提供的用户名密码，登录竞赛用的云计算平台，按要求自行使用镜像创建两台云主机，创建完云主机后确保网络正常通信，然后按要求配置服务器。根据提供安装脚本框架，补充脚本完成OpenStack平台的安装搭
  • springboot集成logback-spring.xml文件 RT_0114 SpringBootspringbootspringlogback
    彩色日志日志分debug和error文件输出，方便开发人员运维日志限制最大保管天数日志限制总量大小占用量GB日志限制单个文件大小MB日志显示最大保留天数屏蔽没用的日志${CONSOLE_LOG_PATTERN}${log.path}/debug.log${log.path}/%d{yyyy-MM-dd,aux}/debug.%d{yyyy-MM-dd}.%i.log.gz1024MB50GB365
  • ChatGPT一路狂飙？ 何鲸洛
    2月2日。根据投行瑞银集团在周三发布的一份研究报告。爆红聊天机器人ChatGPT的月活跃用户在今年1月份预计达到了1亿，这距离它推出只有2个月时间，成为史上增长最快的消费者应用。①ChatGPT一路火花带闪电？▽2014年。OpenAI创始人SamAltman早年曾执掌著名的硅谷孵化器YCombinator。2015年。Altman联合马斯克、彼得·泰尔、AWS、印度Infosys和YC等作为出资
  • 网络安全（黑客）——自学2024 小言同学喜欢挖漏洞 web安全安全网络学习网络安全信息安全渗透测试
    01什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。02怎样规划网络安全如果你是一
  • 黑客（网络安全）技术自学30天 一个迷人的黑客 web安全安全网络笔记网络安全信息安全渗透测试
    01什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。02怎样规划网络安全如果你是一
  • 自学黑客（网络安全）技术——2024最新 九九归二 web安全安全学习笔记网络网络安全信息安全
    01什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。02怎样规划网络安全如果你是一
  • 网络安全（黑客技术）—自学 德西德西 web安全安全网络安全学习python开发语言php
    1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。2.网络安全市场一、是市场需求量高；二、则是发展相对成熟入门比较容易。3.所需要的技术水平需要掌握的知识点偏多（举例）：4.国家政策环境对于国家与企业的地位愈发重要，没有网络安全就没有国家安全更有为国效力的正义黑客—红客联盟可见其重视
  • 智慧公厕的先进技术应用 中期科技ZONTREE 智慧厕所智慧公厕智慧城市
    公共厕所一直以来都是城市管理中一个重要的工作，但设施老化、环境脏乱、服务质量低下等问题一直困扰着城市居民。然而，随着科技的进步和数字技术的应用，智慧公厕的建设正在改变这一现状。智慧公厕通过对所在辖区内所有公共厕所的全域感知、全网协同、全业务融合和全场景智慧的赋能，“千厕一云”的公共厕所云管理模式应运而生。智慧公厕的云端多屏管理，将各个公厕连接在一起，实现信息的共享和管理的集中化。通过大数据、云计算
  • SQL运维_Unix下MySQL-8.0.18配置文件示例 Mostcow SQLsql运维unix
    SQL运维_Unix下MySQL-8.0.18配置文件示例MySQL是一个关系型数据库管理系统,由瑞典MySQLAB公司开发,属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一,在WEB应用方面,MySQL是最好的RDBMS(RelationalDatabaseManagementSystem,关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统,关系数据库将
  • 关于HDP的20道高级运维面试题 编织幻境的妖 运维
    1.描述HDP的主要组件及其作用。HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive、HBase等。以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
  • 网络安全（黑客技术）—2024自学 德西德西 开发语言php安全web安全网络安全python网络
    1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。2.网络安全市场一、是市场需求量高；二、则是发展相对成熟入门比较容易。3.所需要的技术水平需要掌握的知识点偏多（举例）：4.国家政策环境对于国家与企业的地位愈发重要，没有网络安全就没有国家安全更有为国效力的正义黑客—红客联盟可见其重视
  • 网络安全（黑客）—2024自学笔记 羊村最强沸羊羊 web安全笔记安全网络安全网络python开发语言
    前言一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。二、怎样规划网络安全如果你
  • 谈谈对前端性能监控的理解和实践 Layla_c webjavepython前端
    一、谈谈对前端性能监控的理解和实践前端性能监控是确保网页或应用高效、稳定运行的关键环节，它涉及对前端页面加载速度、资源消耗、错误率等指标的实时监控和预警。通过前端性能监控，开发者和运维团队能够及时发现并解决性能瓶颈，从而提升用户体验和系统稳定性。理解前端性能监控，首先要明确其重要性。在移动互联网时代，用户对网页和应用的响应速度有着极高的要求。如果页面加载缓慢或出现卡顿，用户可能会选择离开，这对企业
  • Devops-02-Jpom 简而轻的低侵入式在线构建、自动部署、日常运维、项目监控软件 老马啸西风 java
    拓展阅读Devops-01-devops是什么？Devops-02-Jpom简而轻的低侵入式在线构建、自动部署、日常运维、项目监控软件代码质量管理SonarQube-01-入门介绍项目管理平台-01-jira入门介绍缺陷跟踪管理系统，为针对缺陷管理、任务追踪和项目管理的商业性应用软件项目管理平台-01-Phabricator入门介绍一套集成的强大工具，帮助公司构建更高质量的软件持续集成平台01je
  • centos7安装jdk17 小丛的知识窝 java
    AmazonCorretto是亚马逊提供的一个免费的、兼容OpenJDK的JDK发行版。以下是在CentOS7系统上安装AmazonCorrettoJDK17的步骤：下载AmazonCorrettoJDK：wgethttps://corretto.aws/downloads/latest/amazon-corretto-17-x64-linux-jdk.tar.gz解压JDK17文件：在服务器上执
  • Docker(一)：Docker入门教程 蓝胖子的白日梦丶
    如今Docker的使用已经非常普遍，特别在一线互联网公司。使用Docker技术可以帮助企业快速水平扩展服务，从而到达弹性部署业务的能力。在云服务概念兴起之后，Docker的使用场景和范围进一步发展，如今在微服务架构越来越流行的情况下，微服务+Docker的完美组合，更加方便微服务架构运维部署落地。本文详细解释介绍Docker入门相关内容，后期重点关注Docker在微服务体系中的使用。在了解Dock
  • ECS Fargate 上部署 SkyWalking OAP Server：利用 AWS CLI 和服务发现提供服务 ivwdcwso 运维开发skywalkingaws服务发现
    在本篇文章中，我们将演示如何使用AWSCLI在ECSFargate上部署SkyWalkingOAPServer，并利用AWS服务发现为gRPC流量提供一个静态入口点。这样，客户端就可以通过服务发现名称访问gRPC服务。以下是详细步骤：1.注册任务定义创建一个名为dev-skywalking-oap-server-task.json的文件，内容如下：{"family":"dev-skywalking
  • 企业数字化转型必读：数据处理是“终极任务” MongoDB 数据平台 mongodb人工智能
    当前，可用的数据获取和分析技术的跃进，为产业创新创造了巨大的机遇，诸如线上音视频平台、游戏开发和运营商、新消费品牌、从传统行业中崛起的数字化工厂等等，迎来了前所未有的快节奏业务迭代，同时也面临着数据处理需求更加复杂多变的挑战。对于企业来说，在开发体验、开发效率、用户使用体验以及运维成本之间寻找平衡，可谓一项“终极任务”——以下是来自不同行业的4个客户案例，一起来看看他们是如何在MDB的帮忙下降本增
  • Unix运维_Unix下配置PHP-7.x.x和Apache-2.x.x Mostcow Unixunix运维php
    Unix运维_Unix下配置PHP-7.x.x和Apache-2.x.xApacheHTTPServer(简称Apache,音译为:阿帕奇)是Apache软件基金会的一个开放源码的网页服务器。Apache源于NCSAhttpd服务器,经过多次修改,成为世界上最流行的Web服务器软件之一。Apache可以运行在几乎所有广泛使用的计算机平台上,由于其跨平台和安全性被广泛使用。它快速,可靠并且可通过简单
  • 网络安全（黑客）—2024自学 德西德西 web安全python网络安全网络安全开发语言php
    1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。2.网络安全市场一、是市场需求量高；二、则是发展相对成熟入门比较容易。3.所需要的技术水平需要掌握的知识点偏多（举例）：4.国家政策环境对于国家与企业的地位愈发重要，没有网络安全就没有国家安全更有为国效力的正义黑客—红客联盟可见其重视
  • 网络安全（黑客）0基础到精通，看这一篇就够了！ 羊村最强沸羊羊 web安全安全网络安全php网络python开发语言
    前言一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。二、怎样规划网络安全如果你
  • 2024网络安全-自学笔记 羊村最强沸羊羊 web安全安全网络安全开发语言phppython网络
    前言一、什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。二、怎样规划网络安全如果你
  • 快来学云平台和四层云架构！ Joy T 云原生架构云计算
    云平台云平台通常包括软件和硬件两部分，它是云计算架构中的一个关键组成部分，属于平台层。云平台提供了在云环境中构建、部署和管理应用程序所需的底层硬件资源（如服务器、存储和网络设备）以及上层的软件服务和工具。软件和硬件硬件：云平台的硬件部分包括数据中心内的物理服务器、存储设备、网络设备等。这些硬件资源被抽象化并通过网络提供给最终用户，使用户无需关心物理设备的具体细节。（IaaS）软件：云平台的软件部分
  • 服务维护之crontab定时监测告警 羽恒
    项目维护中服务会不定时的出现异常，比如502、404、101等等，当工作任务繁重时又不能实时监测，而linux的运维者，逃脱不了定时任务的命题，最常用和快捷简单的是crontab，在少量机器的情况下，crontab效率还是比较高和比较便捷。但当机器越多、应用越多的情况下，继续使用crontab进行定时任务的管理配置，那严重影响工作效率。但crontab执行后结果如何如果不登录服务器一般不能实施感知
  • 【Nginx】使用普通用户安装和运行Nginx经验分享 cnskylee Nginxnginx安全运维
    各位做运维的小伙伴在日常工作中，可能都会习惯性的使用root超级用户来安装和运行Nginx。但是，如果所在的公司有安全部门，他们就可能会强烈的建议你将Nginx的运行用户整改为普通用户，来提升系统的安全性。下面我来分享下自己整改的一个过程和细节经验。Nginx的安装是需要使用root超级用户的，但是我们可以在安装命令中添加参数，让Nginx被安装到指定的用户和组（如app用户、app组）目录下。安
  • 运维面试题（网络基础、系统管理） 王尼码 网络运维网络协议
    目录网络基础类1、简述ISO/OSI七层模型的==分层与作用==相关-==TCP/IP四（五）层==模型与作用?2、简述TCP三次握手的过程相关-简述四次挥手的过程3、172.22.141.231/26，该IP位于哪个网段？该网段拥有多少可用IP地址？广播地址是什么?系统管理1、权限优化相关-用户user1，对/testdir目录有写和执行权限时，该目录下的只读文件file1是否可修改和删除?2、
  • 考试总结 chloepang
    1.1运维人员的重要职责有哪些（3分）1.企业数据不丢失不泄露2.7*24小时不宕机3.提升用户体验1.2绝对路径与相对路径概念和区别是什么？（2分）1．从/开始系统唯一的路径2．不从/开始相对于当前目录的路径1.3简述进程、守护进程、程序之间的区别（6分）1.存放在磁盘满中的文件2.内存中运行中的程序3.为了提供某种服务持续运行的程序1.4写出你所知道的主流Linux系统发行版本（5种以上）（5
  • 提高效率成部署云的常见动力 但优化云支出可否同步？ 我是一个做云计算的奇女子
    根据Aptum一项研究，尽管80％企业认为云计算对其财务安全至关重要，但57％却遇到成本问题。80％IT专业人员看到成功利用云服务来释放更大的业务利润。云部署的敏捷性使企业能够快速扩展其服务以支持需求，向市场发布新产品或服务，从而提高利润率并提高效率。实际上，对于72％的受访者而言，提高效率是云计算背后的常见推动力。云的整体效率和灵活性使企业只需为使用的资源付费，从而提高了整体盈利能力，这一点被3
  • 华为认证云计算专家（HCIE-Cloud Computing）--问答题 大沙头三马路 云计算ICT认证云计算HCS华为HCIE
    华为认证云计算专家（HCIE-CloudComputing）–问答题38处于退出状态的容器，会占用系统什么资源?参考答案：宿主机文件系统资源39在docker中，删除所有容器的命令是什么?参考答案：dockerps-aq|xargsdockerrm-f36.申明式API对比命令式API有哪些优势?参考答案：申明式API比命令式API更加智能化，同时更加节省人力成本25管理节点的计算资源可以缩容吗?
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他