Mc顽固份子
Mc顽固份子

防逆向技术简史：从代码混淆到虚拟机保护技术

点击查看全文

 开发软件的人都知道这个世界上没有破解不了的软件，只有不值得破解的软件。换而言之，只有软件的破解成本超过Hacker收益，软件资产才是相对安全的。Android平台以其免费和开源的特性占据了移动应用领域半壁江山，但也因其应用很容易被逆向破解获取源码，导致它成为Hacker最喜欢攻击的一个“靶子”。

那么如何才能保护自己开发APP不被逆向破解呢?在道高一尺魔高一丈的网络安全攻防对抗中，防逆向保护技术也在不停更新演进，笔者在这里梳理了几个关键时期的防逆向保护技术，让大家对APP防护有一个更好理解。

启蒙阶段——防逆向保护始于代码混淆技术

这个时期最大特点是，从未能登上大雅之堂的代码混淆技术，摇身一变成为了防逆向保护唯一有效的技术。这要从1995年JAVA语言横空出世说起，它让人们在享受跨平台便利运行的同时，由于其天生易反编译特性，也让传统针对机器码的安全保护一夜之间变得毫无用处。

从此，那个曾经被唾弃的代码混淆技术开始逐渐被人所重视。从Android 2.3开始，Google在SDK中加入了一款叫ProGuard代码混淆工具，通过它可混淆JAVA代码。



ProGuard混淆后DEX文件截图

从上图就可以看到，代码混淆之后左侧的类名大多都变成了a、b等自定义字母，虽然机器执行起来的逻辑是一样的，但增加了黑客人为分析的难度和时间成本。从某种程度上来说，代码混淆技术很好的保护JAVA源代码，但这种方式也只是简单的改变类名或者变量名，黑客只要找到DEX文件，反编译也就是时间问题了，就看时间成本是否超过黑客收益。

发展阶段——DEX加密技术成为应用防护中流砥柱

随着Android反编译技术越来越纯熟，即便代码混淆技术做到native层，也是治标不治本。为了解决代码混淆技术存在弊端，越来越多的人采用DEX整体隐藏和DEX函数抽取加密来保护自己代码安全，例如梆梆安全等厂商早期加固产品用的就是这个技术。




点击查看全文

防逆向技术简史：从代码混淆到虚拟机保护技术_第1张图片

你可能感兴趣的:(虚拟机,技术,阿里云)

  • 基于 WPF 平台实现成语游戏 code_shenbing WPFwpf游戏c#
    一、引言在软件开发领域，利用各种框架开发有趣的应用程序是提升技术能力和增加开发乐趣的有效方式。WPF（WindowsPresentationFoundation）作为微软强大的桌面应用开发框架，提供了丰富的图形和交互功能。本文将带领大家基于WPF平台实现一个成语游戏，不仅能让大家深入了解WPF的应用，还能通过实际项目锻炼编程能力。二、成语游戏功能设计（一）游戏规则本成语游戏采用常见的接龙规则，玩家
  • 东华发思特&巨杉数据库：打造智慧城市分布式大数据联合解决方案 巨杉数据库SequoiaDB SequoiaDB巨杉数据库巨杉数据库sequoiadb东华发思特联合解决方案
    合作伙伴公司简介东华发思特为东华软件旗下控股子公司，是一家通过高新技术企业认定的技术企业，拥有CMMI3、ISO27001、ISO9000、ISO20000等高级行业资质认证。公司组建了一批视野开拓、经验丰富的管理和研发团队，如今已打造了一系列新型智慧城市产品体系，以HarryData大数据中台和BobbyLink物联网中台为核心，以数字政府、数字文旅、数字乡村、城市精细化管理平台等为产业互联网助
  • 前端开发是随着互联网的发展而逐渐兴起的一种新的开发领域。它一直在不断地发展和演变，经历了许多重要的里程碑事件和技术革新，下面就来回顾一下前端开发的历程和发展趋势。 21级应用技术UI3班何珍锋 前端javascript前端框架
    一、Web1.0时代1990年代末到2000年代初，Web1.0时代是Web发展的初期阶段，这个阶段的Web界面设计以简单的文本和图像为主，用户的互动性和用户体验都很低。在这个时代，浏览器的前端技术主要是基于HTML和CSS的，HTML指的是超文本标记语言，而CSS则指的是层叠样式表。由于这些技术的简单性，前端开发者往往需要手动编写HTML和CSS代码，并进行基本的样式设计。二、Web2.0时代随
  • 航空航天混合动力（7）航空航天分布式电推进系统 小幽余生不加糖 航空航天混合动力分布式笔记嵌入式硬件硬件工程学习单片机
    航空航天分布式电推进系统1.概述2.分布式电推进系统组成3.关键技术4.分布式电推进系统优势5.国内外研究情况5.1国外5.2国内6.分布式电推进系统应用场景6.1航空领域6.2航天领域tips：资料来自网上，仅供参考学习使用1.概述分布式推进系统是指飞行器推力由位于整个航空器上的一组推进器产生，目的是提高系统级效率或为飞行器某方面性能改善发挥有利作用，因此，分布式的本质是将集中的能量源发生器产生
  • 【分布式日志篇】从工具选型到实战部署：全面解析日志采集与管理路径 网罗开发 人工智能实战java集springboot人工智能分布式
    网罗开发（小红书、快手、视频号同名）  大家好，我是展菲，目前在上市企业从事人工智能项目研发管理工作，平时热衷于分享各种编程领域的软硬技能知识以及前沿技术，包括iOS、前端、HarmonyOS、Java、Python等方向。在移动端开发、鸿蒙开发、物联网、嵌入式、云原生、开源等领域有深厚造诣。图书作者：《ESP32-C3物联网工程开发实战》图书作者：《SwiftUI入门，进阶与实战》超级个体：CO
  • FACEBOOK改名META,元宇宙救不了FACEBOOK 公众号:肉眼品世界 大数据微软编程语言区块链python
    肉眼品世界导读：没错，看标题你就会发现这里又是不同的观点，正如此，我相信即便是这个公众号，以及由此而散开的花是值得期待的；这不仅打开一扇技术的窗，更打开一扇人生的窗口读懂中国互联网，读懂商业模式请关注微信公众号“肉眼品世界”（ID：find_world_fine），深度价值体系传递FACEBOOK的更名与愿景今天facebook在Connect2021的开幕会上，宣布公司更名为meta，正式进入M
  • swiper移入暂停_用Swiper插件实现无缝轮播的品牌展示，鼠标移动停止，鼠标移出无缝移动视觉效果... weixin_39726971 swiper移入暂停
    正常操作，正常分析，大家好，我是D1n910。文章关键词：技术前端JQuery入门滚动文章前言：公司要求做官网呀呀呀，其中有一部分设计是要求我们最亲爱的品牌商的LOGO能够在底部无缝轮播，鼠标移上去就停下来。效果如下：一、使用插件介绍1、使用的框架是JQuery，因为讲究快速、兼容、展示，所以没有用vue、react之类的看起来高大上的框架。2、使用的是优秀的轮播插件Swiper3.0版(实际上S
  • 使用Zapier Natural Language Actions与LangChain集成实现自动化工作流 srudfktuffk langchain自动化windowspython
    技术背景介绍ZapierNaturalLanguageActions（NLA）提供了一种通过自然语言接口访问Zapier平台上5000多个应用和20000多个操作的方法。通过NLA，你可以将自然语言翻译成具体的API调用并获取简化的输出。这使得在复杂的多应用环境中进行自动化操作变得更加轻松。然而需要注意的是，ZapierNLA将在2023年11月17日停用。核心原理解析NLA的核心思想是通过类似O
  • 数字水印算法分类以及区别（含有变换域python代码链接） Nefelibat 数字水印数字水印变换域
    目录看代码前需要知道的理论知识使用场景分类水印算法运行名词解释历史信息的两个丢失其他抗打印水印数字水印技术变换域算法。去github上下载了一个用python写的源码:https://codeload.github.com/Messi-Q/python-watermark/zip/master然后自己跑了一下，该代码包括两个部分。一个是图像数字水印代码实现，一个是PDF数字水印代码实现。看代码前需
  • 计算广告（一） 爱学习的菜鸟罢了 搜广推人工智能
    计算广告学是一个十分庞大的学科，里面涵盖了自然语言处理、机器学习、推荐系统等众多研究方向。而且广告作为互联网行业的三大盈利模式（广告、电商、游戏）之一，也是这三大模式中最有技术含量的，计算广告学一直都吸引着无数学术界/工业界的精英投入其中（ps：计算广告学也是机器学习在商业界最成功的应用之一）。行业分类例子盈利搜索引擎Google百度广告社交网络腾讯facebook广告增值服务游戏电商网站亚马逊阿
  • Web3D技术应用的场景有哪些？有何优势？ mirrornan 3D行业资讯web33D模型三维扫描3D建模3d
    Web3D技术，即将三维图形技术与Web技术结合，使用户无需额外软件即可通过浏览器体验三维场景。其应用场景广泛，且具备诸多优势，以下是对Web3D技术应用场景及其优势的详细阐述：一、应用场景电商领域：Web3D技术可以提供3D商品展示，让消费者能够全面了解商品的每一个细节，并且进行定制等交互操作，提升购物体验。51建模网的Web3D展示引擎，让3D交互展示制作更简单，轻松赋予用户制作Web3D的能
  • Web3D技术有哪些优势？应用场景有哪些？ mirrornan 3D行业资讯3D建模3D营销3D展示3d3D模型web3
    Web3D技术具有多方面的优势，这些优势使得它在多个领域得到了广泛的应用。51建模网为各行业web3D展示提供技术支持。以下是对Web3D技术优势的详细阐述及其应用场景的归纳：一、Web3D技术的优势1、跨平台兼容性：Web3D技术可以在不同的平台和设备上运行，包括桌面、移动设备和虚拟现实设备等，用户可以随时随地访问3D内容。2、强大的交互性：Web3D技术允许用户与3D模型进行全方位的交互，如旋
  • 日志收集平台day01：项目设计 intqao 日志收集平台项目linuxkafkazookeepernginxpython
    一、项目需求本项目的目的是模拟生产环境下对web服务器产生的日志进行收集并存入数据库，最终以web应用方式展示日志数据。二、技术选型环境：CentOs7web服务器：nginx/1.20.1（仅测试使用）消息队列：kafka2.12分布式应用程序协调服务软件：zookeeper3.6.3生产者：filebeat-7.17.5-1.x86_64消费者：使用python中的模块pykafka实现消费者
  • 使用Mojeek Search进行搜索查询 jkgSFS java服务器前端python
    在这篇文章中，我们将深入讲解如何使用MojeekSearch进行搜索查询，并展示具体的代码实现。您可以从Mojeek网站获取API密钥，并参照本文提供的示例代码进行实际操作。技术背景介绍Mojeek是一款隐私友好的搜索引擎，致力于提供无追踪的搜索服务。借助MojeekSearchAPI，我们能够在应用程序中集成搜索功能，获取到相关的搜索结果。核心原理解析MojeekSearchAPI允许开发者通过
  • 探秘Python字节码：解读pycdc的强大反编译实力 晏肠冲Jessie
    探秘Python字节码：解读pycdc的强大反编译实力Pycdc.7z项目地址:https://gitcode.com/open-source-toolkit/a35f1在这个数字时代，深入了解代码的本质成为了众多开发者追求的目标。针对Python编程语言，一款名为pycdc的工具以其独特魅力，正逐渐成为探索字节码奥秘的首选武器。本文旨在全面剖析pycdc，引导您发现它如何助力技术探索，教育学习，
  • 使用AI技术从Telegram导入数据到LangChain fGVBSAbe langchainpython
    技术背景介绍Telegram是一款全球范围内可供使用的即时通讯软件，支持多种平台并提供安全的加密通讯。对于开发者而言，它提供了丰富的API接口，可以用于自动化数据处理和集成。本文将介绍如何将Telegram中的聊天数据导入到LangChain，这是一种数据处理和分析工具，能够帮助开发者更高效地管理和分析聊天记录。核心原理解析我们将使用LangChain提供的TelegramChatApiLoade
  • 如何从Oracle Autonomous Database加载文档 fGVBSAbe 数据库oraclepython
    OracleAutonomousDatabase是一种云数据库，利用机器学习来自动化数据库调优、安全性、备份、更新以及其他传统由数据库管理员(DBAs)执行的例行管理任务。在本文中，我们将演示如何从OracleAutonomousDatabase加载文档。我们将使用连接字符串或TNS配置来进行连接。技术背景介绍OracleAutonomousDatabase通过自动化的方式极大地简化了数据库管理的
  • 《CPython Internals》阅读笔记：p336-p352 codists 读书笔记python
    《CPythonInternals》学习第17天，p336-p352总结，总计17页。一、技术总结1.GDBGDB是GNUDbugger的缩写。(1)安装sudoaptinstallgdb(2)创建.gdbinit文件touch~/.gdbinitvim~/.gdbinit(3)配置.gdbinit文件add-auto-load-safe-path/project/cpython注：1./proj
  • 快速入门Volc Engine的MaaS LLM模型 azzxcvhj python
    在这篇文章中，我将为你详细介绍如何使用VolcEngine的MaaSLLM模型。我们将从安装库开始，然后深入到具体的代码实现，最后分析其应用场景及实践建议。技术背景介绍VolcEngine（火山引擎）提供了一个强大的MaaS（ModelasaService）平台，支持多种语言模型。这个平台旨在让开发者更容易地集成和使用先进的自然语言处理能力。通过VolcEngine，开发者可以轻松实现文本生成、文
  • Windows10环境vagrant+VirtualBox虚拟机无法创建私有网络的解决方案。 XiaoYu_3328 运维操作系统
    报错信息==>default:Clearinganypreviouslysetnetworkinterfaces...Therewasanerrorwhileexecuting`VBoxManage`,aCLIusedbyVagrantforcontrollingVirtualBox.Thecommandandstderrisshownbelow.Command:["hostonlyif","cr
  • 如何使用Langchain加载Blackboard文档 PPIG564 langchain前端python
    在当今数字化和网络化的学习环境中，Blackboard已成为许多教育机构的关键工具。为了有效地集成和利用Blackboard中的数据，开发人员可以使用特定的工具来加载和处理这些数据。Langchain是一个强大的Python库，能够帮助我们轻松地处理Blackboard中的文档数据。在本文中，我们将深入了解如何使用Langchain来加载Blackboard文档。技术背景介绍BlackboardL
  • 虚拟与现实的桥梁：Facebook AI 如何变革社交互动模式 LokiSan Facebookfacebook智能合约人工智能隐私保护
    在过去的十年里，社交平台的发展经历了巨大的变化，而其中最为引人注目的便是人工智能（AI）技术的引入。作为全球最大的社交平台之一，Facebook在人工智能的应用上不断创新，通过AI变革了社交互动的方式，为用户带来了更加智能和个性化的社交体验。人工智能如何融入社交平台人工智能并非突然出现在Facebook的社交模式中，而是通过不断的发展和技术积累，逐步渗透到平台的各个方面。首先，AI被应用于内容推荐
  • 常见3D打印技术原理及比较 HuAo_3D 3D打印其他
    3D打印作为一项新兴技术，对于制造行业来说具有革命性的意义，该技术能够有效缩减产品的开发、设计周期，大大提高工作效率，有效节约企业的运营成本，可以帮助企业在风云变化的市场竞争中站稳脚跟。尤其近年来，随着科学技术的飞速发展，3D打印技术也蓬勃发展，并得到社会各界的广泛关注，各类3D打印技术更是如雨后春笋般涌现，下面大家一起来看看各类比较常见的3D打印技术有何不同以及它们的工作原理又是怎样的。1、FD
  • 从虚拟现实到元宇宙：Facebook如何塑造未来的社交体验？ ClonBrowser Facebookvrfacebook元宇宙虚拟现实社交媒体数据保护
    近年来，虚拟现实（VR）和元宇宙成为科技领域的热门话题。Facebook（现Meta）作为全球最大的社交平台之一，正积极推动从虚拟现实到元宇宙的转型，以重塑未来的社交体验。随着技术的进步，Facebook如何通过创新构建全新的社交生态，成为行业瞩目的焦点。虚拟现实：开启沉浸式社交体验虚拟现实技术提供了一种全新的沉浸式体验，将人们从传统的平面屏幕中解放出来。用户通过佩戴VR设备，可以进入一个完全数字
  • 如何优化 Nginx 处理流媒体的性能？ 糖葫芦.T 前端框架nginxvue.js服务器运维网络
    关注博主️带你畅游技术世界，不错过每一次成长机会！文章目录如何优化Nginx处理流媒体的性能？一、理解Nginx与流媒体的“舞蹈”二、Nginx处理流媒体的挑战（一）带宽压力山大（二）高并发的考验（三）延迟和卡顿的噩梦三、优化策略之“软硬兼施”（一）硬件升级——给Nginx换上“强劲引擎”（二）软件优化——为Nginx打造“智能导航”四、具体配置与实践案例（一）缓存配置示例（二）负载均衡配置示例五
  • 元宇宙如何改变社交平台的交互模式？Facebook的未来展望 Roc_z7 Facebookfacebook隐私保护社交媒体元宇宙
    随着科技的进步，"元宇宙"这个概念逐渐从科幻走进现实，并开始改变我们对社交平台的认知。元宇宙是一个虚拟的沉浸式三维世界，结合了虚拟现实（VR）、增强现实（AR）和人工智能（AI）等技术。Facebook（现Meta）作为全球最大的社交平台之一，早已着手布局元宇宙，力求在未来的社交世界中占据一席之地。那么，元宇宙将如何改变社交平台的交互模式？Facebook如何借此机会发展？本文将一一探讨。什么是元
  • SSM 架构中 JAVA 网络直播带货查询系统设计与 JSP 有效实现方法 2401_85439108 架构java开发语言
    摘要随着科学技术的飞速发展，各行各业都在努力与现代先进技术接轨，通过科技手段提高自身的优势；对于网络直播带货网站当然也不能排除在外，随着网络技术的不断成熟，带动了网络直播带货网站，它彻底改变了过去传统的管理方式，不仅使服务管理难度变低了，还提升了管理的灵活性。这种个性化的平台特别注重交互协调与管理的相互配合，激发了管理人员的创造性与主动性，对网络直播带货网站而言非常有利。本系统采用的数据库是Mys
  • Facebook 元宇宙与全球文化交流的新趋势 Roc_z7 Facebookfacebook人工智能智能合约
    随着科技的快速发展，虚拟现实与增强现实技术逐渐成为全球社交平台的重要组成部分。Facebook（现改名为Meta）率先将目光投向了元宇宙这一新兴领域，致力于打造一个超越传统社交媒体的虚拟空间，成为全球文化交流的新平台。Facebook元宇宙不仅仅是一个技术概念，它还将推动全球文化的相互理解与互动，为未来社交和文化传播开辟了全新的可能性。元宇宙：虚拟世界的新时代元宇宙（Metaverse）是一个由虚
  • 数据治理组织架构 产品经理自我修养 大数据
    企业数据治理体系除了在技术方面的实施架构，还需要管理方面的组织架构支撑。一般在数据治理建设初期，集团会先成立数据治理管理委员会。从上至下由决策层、管理层、执行层构成。决策层决策、管理层制定方案、执行层实施。层级管理、统一协调。4.2.1组织架构1）决策层提供数据标准管理的决策职能，通俗理解即拍板定方案。2）管理层审议数据标准管理相关制度对跨部门难的数据标准管理争议事项进行讨论并决策管理重大数据标准
  • 软考信安19~操作系统安全保护 jnprlxc 软考~信息安全工程师安全网络学习方法笔记运维
    1、操作系统安全概述1.1、操作系统安全概念操作系统的安全是指满足安全策略要求，具有相应的安全机制及安全功能，符合特定的安全标准，在一定约束条件下，能够抵御常见的网络安全威胁，保障自身的安全运行及资源安全。《信息安全技术操作系统安全技术要求(GB/T20272—2019)》将操作系统分成五个安全等级，即用户自主保护级、系统审计保护级、安全标记保护级、结构化保护级、访间验证保护级。操作系统的安全可控
  • jdk tomcat 环境变量配置 Array_06 javajdktomcat
    Win7 下如何配置java环境变量 1。准备jdk包，win7系统，tomcat安装包（均上网下载即可） 2。进行对jdk的安装，尽量为默认路径（但要记住啊！！以防以后配置用。。。） 3。分别配置高级环境变量。   电脑-->右击属性-->高级环境变量-->环境变量。 分别配置 : path    &nbs
  • Spring调SDK包报java.lang.NoSuchFieldError错误 bijian1013 javaspring
            在工作中调另一个系统的SDK包，出现如下java.lang.NoSuchFieldError错误。 org.springframework.web.util.NestedServletException: Handler processing failed; nested exception is java.l
  • LeetCode[位运算] - #136 数组中的单一数 Cwind java题解位运算LeetCodeAlgorithm
    原题链接：#136 Single Number 要求： 给定一个整型数组，其中除了一个元素之外，每个元素都出现两次。找出这个元素 注意：算法的时间复杂度应为O(n)，最好不使用额外的内存空间 难度：中等 分析： 题目限定了线性的时间复杂度，同时不使用额外的空间，即要求只遍历数组一遍得出结果。由于异或运算 n XOR n = 0, n XOR 0 = n，故将数组中的每个元素进
  • qq登陆界面开发 15700786134 qq
    今天我们来开发一个qq登陆界面，首先写一个界面程序，一个界面首先是一个Frame对象，即是一个窗体。然后在这个窗体上放置其他组件。代码如下： public class First {         public void initul(){        jf=ne
  • Linux的程序包管理器RPM 被触发 linux
    在早期我们使用源代码的方式来安装软件时，都需要先把源程序代码编译成可执行的二进制安装程序，然后进行安装。这就意味着每次安装软件都需要经过预处理-->编译-->汇编-->链接-->生成安装文件--> 安装，这个复杂而艰辛的过程。为简化安装步骤，便于广大用户的安装部署程序，程序提供商就在特定的系统上面编译好相关程序的安装文件并进行打包，提供给大家下载，我们只需要根据自己的
  • socket通信遇到EOFException 肆无忌惮_ EOFException
    java.io.EOFException at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2281) at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:
  • 基于spring的web项目定时操作 知了ing javaWeb
    废话不多说，直接上代码，很简单 配置一下项目启动就行 1，web.xml <?xml version="1.0" encoding="UTF-8"?> <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="h
  • 树形结构的数据库表Schema设计 矮蛋蛋 schema
    原文地址： http://blog.csdn.net/MONKEY_D_MENG/article/details/6647488     程序设计过程中，我们常常用树形结构来表征某些数据的关联关系，如企业上下级部门、栏目结构、商品分类等等，通常而言，这些树状结构需要借助于数据库完成持久化。然而目前的各种基于关系的数据库，都是以二维表的形式记录存储数据信息，
  • maven将jar包和源码一起打包到本地仓库 alleni123 maven
    http://stackoverflow.com/questions/4031987/how-to-upload-sources-to-local-maven-repository <project> ... <build> <plugins> <plugin> <groupI
  • java IO操作 与 File 获取文件或文件夹的大小，可读，等属性！！！ 百合不是茶
    类 File File是指文件和目录路径名的抽象表示形式。 1，何为文件： 标准文件（txt doc mp3...） 目录文件（文件夹） 虚拟内存文件   2，File类中有可以创建文件的 createNewFile（）方法,在创建新文件的时候需要try{} catch(）{}因为可能会抛出异常；也有可以判断文件是否是一个标准文件的方法isFile();这些防抖都
  • Spring注入有继承关系的类（2） bijian1013 javaspring
    被注入类的父类有相应的属性，Spring可以直接注入相应的属性，如下所例：1.AClass类 package com.bijian.spring.test4; public class AClass { private String a; private String b; public String getA() { retu
  • 30岁转型期你能否成为成功人士 bijian1013 成长励志
            很多人由于年轻时走了弯路，到了30岁一事无成，这样的例子大有人在。但同样也有一些人，整个职业生涯都发展得很优秀，到了30岁已经成为职场的精英阶层。由于做猎头的原因，我们接触很多30岁左右的经理人，发现他们在职业发展道路上往往有很多致命的问题。在30岁之前，他们的职业生涯表现很优秀，但从30岁到40岁这一段，很多人
  • 【Velocity四】Velocity与Java互操作 bit1129 velocity
    Velocity出现的目的用于简化基于MVC的web应用开发，用于替代JSP标签技术，那么Velocity如何访问Java代码.本篇继续以Velocity三http://bit1129.iteye.com/blog/2106142中的例子为基础，      POJO    package com.tom.servlets; public
  • 【Hive十一】Hive数据倾斜优化 bit1129 hive
    什么是Hive数据倾斜问题   操作：join,group by,count distinct 现象：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成；查看未完成的子任务，可以看到本地读写数据量积累非常大，通常超过10GB可以认定为发生数据倾斜。 原因：key分布不均匀 倾斜度衡量：平均记录数超过50w且
  • 在nginx中集成lua脚本：添加自定义Http头，封IP等 ronin47 nginx lua csrf
    Lua是一个可以嵌入到Nginx配置文件中的动态脚本语言，从而可以在Nginx请求处理的任何阶段执行各种Lua代码。刚开始我们只是用Lua 把请求路由到后端服务器，但是它对我们架构的作用超出了我们的预期。下面就讲讲我们所做的工作。 强制搜索引擎只索引mixlr.com Google把子域名当作完全独立的网站，我们不希望爬虫抓取子域名的页面，降低我们的Page rank。 location /{
  • java-3.求子数组的最大和 bylijinnan java
    package beautyOfCoding; public class MaxSubArraySum { /** * 3.求子数组的最大和 题目描述： 输入一个整形数组，数组里有正数也有负数。 数组中连续的一个或多个整数组成一个子数组，每个子数组都有一个和。 求所有子数组的和的最大值。要求时间复杂度为O(n)。 例如输入的数组为1, -2, 3, 10, -4,
  • Netty源码学习-FileRegion bylijinnan javanetty
    今天看org.jboss.netty.example.http.file.HttpStaticFileServerHandler.java 可以直接往channel里面写入一个FileRegion对象，而不需要相应的encoder： //pipeline（没有诸如“FileRegionEncoder”的handler）： public ChannelPipeline ge
  • 使用ZeroClipboard解决跨浏览器复制到剪贴板的问题 cngolon 跨浏览器复制到粘贴板Zero Clipboard
    Zero Clipboard的实现原理 Zero Clipboard 利用透明的Flash让其漂浮在复制按钮之上，这样其实点击的不是按钮而是 Flash ，这样将需要的内容传入Flash，再通过Flash的复制功能把传入的内容复制到剪贴板。 Zero Clipboard的安装方法 首先需要下载 Zero Clipboard的压缩包，解压后把文件夹中两个文件：ZeroClipboard.js
  • 单例模式 cuishikuan 单例模式
    第一种（懒汉，线程不安全）： public class Singleton {   2     private static Singleton instance;   3     pri
  • spring+websocket的使用 dalan_123
    一、spring配置文件 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans"    xmlns:xsi="http://www.w3.or
  • 细节问题：ZEROFILL的用法范围。 dcj3sjt126com mysql
    1、zerofill把月份中的一位数字比如1，2，3等加前导0 mysql> CREATE TABLE t1 (year YEAR(4), month INT(2) UNSIGNED ZEROFILL,    -> day
  • Android开发10——Activity的跳转与传值 dcj3sjt126com Android开发
    Activity跳转与传值，主要是通过Intent类，Intent的作用是激活组件和附带数据。   一、Activity跳转 方法一Intent intent = new Intent(A.this, B.class); startActivity(intent)   方法二Intent intent = new Intent();intent.setCla
  • jdbc 得到表结构、主键 eksliang jdbc 得到表结构、主键
    转自博客：http://blog.csdn.net/ocean1010/article/details/7266042 假设有个con DatabaseMetaData dbmd = con.getMetaData(); rs = dbmd.getColumns(con.getCatalog(), schema, tableName, null); rs.getSt
  • Android 应用程序开关GPS gqdy365 android
    要在应用程序中操作GPS开关需要权限： <uses-permission android:name="android.permission.WRITE_SECURE_SETTINGS" /> 但在配置文件中添加此权限之后会报错，无法再eclipse里面正常编译，怎么办？ 1、方法一：将项目放到Android源码中编译； 2、方法二：网上有人说cl
  • Windows上调试MapReduce zhiquanliu mapreduce
    1.下载hadoop2x-eclipse-plugin https://github.com/winghc/hadoop2x-eclipse-plugin.git 把 hadoop2.6.0-eclipse-plugin.jar 放到eclipse plugin 目录中。 2.下载 hadoop2.6_x64_.zip http://dl.iteye.com/topics/download/d2b
  • 如何看待一些知名博客推广软文的行为？ justjavac 博客
    本文来自我在知乎上的一个回答：http://www.zhihu.com/question/23431810/answer/24588621 互联网上的两种典型心态： 当初求种像条狗，如今撸完嫌人丑 当初搜贴像条犬，如今读完嫌人软 你为啥感觉不舒服呢？ 难道非得要作者把自己的劳动成果免费给你用，你才舒服？ 就如同 Google 关闭了 Gooled Reader，那是
  • sql优化总结 macroli sql
    为了是自己对sql优化有更好的原则性，在这里做一下总结，个人原则如有不对请多多指教。谢谢！   要知道一个简单的sql语句执行效率，就要有查看方式，一遍更好的进行优化。   一、简单的统计语句执行时间 declare @d datetime ---定义一个datetime的变量set @d=getdate() ---获取查询语句开始前的时间select user_id
  • Linux Oracle中常遇到的一些问题及命令总结 超声波 oraclelinux
    1.linux更改主机名   (1)#hostname oracledb　　　　临时修改主机名 (2) vi /etc/sysconfig/network 　　修改hostname (3) vi /etc/hosts　　　　　　　　修改IP对应的主机名   2.linux重启oracle实例及监听的各种方法 （注意操作的顺序应该是先监听，后数据库实例） &nbs
  • hive函数大全及使用示例 superlxw1234 hadoophive函数
      具体说明及示例参 见附件文档。     文档目录：   目录 一、关系运算： 4 1. 等值比较: = 4 2. 不等值比较: <> 4 3. 小于比较: < 4 4. 小于等于比较: <= 4 5. 大于比较: > 5 6. 大于等于比较: >= 5 7. 空值判断: IS NULL 5
  • Spring 4.2新特性-使用@Order调整配置类加载顺序 wiselyman spring 4
    4.1 @Order Spring 4.2 利用@Order控制配置类的加载顺序 4.2 演示 两个演示bean package com.wisely.spring4_2.order; public class Demo1Service { } package com.wisely.spring4_2.order; public class
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他