weixin_34234823
weixin_34234823

发现和拦截恶意爬虫

互联网爬虫的种类众多，本文主要介绍了nginx网站如何发现恶意爬虫和拦截恶意爬虫。

发现问题

某日，收到A服务器所有网站打开缓慢的反馈，首先登陆到A服务器，查看nginx、php和mysql都正常运行，通过top命令查看发现服务器CPU、内存、系统负载均正常，通过云监控进行查看发现外网网卡出流量和数据包发送量很大

发现和拦截恶意爬虫_第1张图片

通过命令sar –n DEV 1 4进行核实后确实是外网网卡网络存在问题。
通过命令iftop -i eth1 –P对外网网卡流量情况进行分析排查发现http服务的tcp80端口占用了13+M/s的出流量。
接下来排查nginx站点日志发现XXXXX.com.log站点的日志存在日志量较大超过3G,打开日志发现大量的user-agent为Baiduspider 的访问，如下图
发现和拦截恶意爬虫_第2张图片

查看访问IP为不同的IP，通过命令nslookup ip进行查看发现不是百度官方的蜘蛛抓取，判断为恶意爬虫。

拦截恶意爬虫
正常爬虫通常会带有xxspider的user-agent标识，并且爬取的请求量不大，爬取URL和时间段都比较分散。合法的爬虫IP在做反向的nslookup或tracert时，一般都可以看到合法的来源地址。例如，下图显示了一条百度爬虫的记录。
发现和拦截恶意爬虫_第3张图片
而恶意爬虫可能会在某个时间段大量请求某个域名的特定地址/接口，这很可能是伪装成爬虫的CC攻击，或是经第三方伪装后，针对性爬取敏感信息的请求。当恶意爬虫请求量大到一定程度，往往可以造成服务器的CPU飙升，带来网站无法打开等业务中断问题。

在站点配置文件XXXXX.com.conf中加入以下代码阻止user-agent带有Baiduspider的访问，返回结果指定为403。
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") {
return 403;
}
此代码会屏蔽所有的爬虫，所以对搜索排名有要求的话建议不用使用此方法。重新载入XXXXX.com.conf后观察流量情况发现流量恢复正常。网站访问恢复正常。
发现和拦截恶意爬虫_第4张图片

你可能感兴趣的:(发现和拦截恶意爬虫)

  • 一文搞懂Nginx: 域名配置、SSL、HTTP转HTTPS 千层冷面 知识类httpnginxssllinux
    本文将在Centos系统下详解Nginx服务器，从概念、下载、安装、编译、配置(含域名和证书)到启动。本文先讲Nginx如何使用，然后再谈概念。一、实践1.下载下载通常有2种方式：Centos自带的包管理工具、源码编译安装(推荐，拓展性强)，本文使用源码编译安装的形式下载从Nginx官网（nginx.org）下载Nginx的源代码。亦可以使用wget命令或者浏览器下载后通过FTP等方式传输到服务器
  • 指令系统和计算机体系结构——一文解析冯·诺依曼架构 点滴汇聚江河 软考-软件设计师架构
    文章目录一、核心思想二、核心组成部分1.中央处理器（CPU）2.内存（Memory）3.输入/输出（I/O）设备4.总线（Bus）三、工作流程四、冯·诺依曼架构的局限性五、现代计算机的改进1.流水线技术（Pipeline）关键机制2.高速缓存（Cache）关键机制3.多核CPU（Multi-Core）关键挑战与解决方案4.乱序执行（Out-of-OrderExecution）关键技术5.其他关键改
  • python assert()函数 欢天喜地小姐姐 python编程学习python
    1.断言函数作用断言函数是对表达式布尔值的判断，要求表达式计算值必须为真。可用于自动调试。如果表达式为假，触发异常；如果表达式为真，不会报错。2.使用assert判断数组是否相等np.array.any()和numpy.array.all()np.array.any()是或操作，任意一个元素为True，输出为True。np.array.all()是与操作，所有元素为True，输出为True。当我们
  • 【Leetcode刷题随笔】844 比较含退格的字符串 Poor_DayDreamer 移除元素篇字符串篇leetcode算法职场和发展
    1.题目描述给定s和t两个字符串，比较s和t是否在删除所有由#字符表示的退格操作后相等。退格操作会删除其前面（不包括#本身）的一个字符，如果前面没有字符则忽略该#。如果字符串的末尾有多个退格符，它们会相互抵消，直到没有退格符剩余或者所有字符都被删除。示例1：输入：s=“ab#c”,t=“ad#c”输出：true解释：s和t都会变成“ac”，因为#前面的b和d都被删除。示例2：输入：s=“ab##”
  • 【Leetcode刷题随笔】2765最长交替子数组 Poor_DayDreamer leetcode数组篇leetcode算法职场和发展
    1.题目描述：该题目标是在一个整数数组nums中寻找最长的“交替子数组”。这种交替子数组的特点是：其元素按照“递增1，递减1，递增1…”的模式循环排列，且子数组的长度必须大于1，例如数组nums=[2,3,4,3,4]，交替子数组有[2,3]，[3,4]，[3,4,3]和[3,4,3,4]。最长的子数组为[3,4,3,4]，长度为4。详细题目描述见原题：原题。2.1解题思路一（双层循环）：这道题有
  • LeetCode刷题笔记 小李李李李腊八 leetcode算法java
    leetcode_01两数之和斐波那契数列三个数最大乘积反转链表x的平方根环形列表LeetCode随笔两数之和给定一个整数数组nums和一个整数目标值target，请你在该数组中找出和为目标值target的那两个整数，并返回它们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素在答案里不能重复出现。你可以按任意顺序返回答案。暴力法记录下数组第一个数值，对数组进行循环，将之后的值
  • 【计算机系统概论】计算机框架是什么？冯诺依曼架构为什么重要？我们要记住冯·诺依曼架构的什么？ 爱吃羊的老虎 计算机系统架构系统架构计算机网络
    什么是计算机的框架？计算机的框架（架构）就是计算机工作的基本规则，规定了它如何存储数据、如何执行指令、如何传输信息。可以理解成是计算机的大脑结构，它决定了一台计算机的工作方式。如果把计算机比作一个工厂，那么架构就像是生产流程，比如：存储区（仓库）：存放数据和指令。控制中心（调度室）：决定接下来做什么。加工车间（计算单元）：执行计算和逻辑处理。运输系统（总线）：负责不同部件之间的信息传输。冯·诺依曼
  • MySQL请求处理全流程深度解析：从SQL语句到数据返回 longdong7889 mysqlsqladb
    MySQL请求处理全流程深度解析：从SQL语句到数据返回一、MySQL架构全景图MySQL采用经典的C/S架构和分层设计，其核心模块协同工作流程如下：客户端连接管理器查询解析器查询优化器执行引擎存储引擎磁盘存储各层核心职责：连接层：管理客户端连接、权限验证服务层：SQL解析、优化、内置函数实现存储引擎层：数据存储与索引管理（如InnoDB）文件系统层：日志文件、数据文件存储二、请求处理七步详解步骤
  • 每日新闻掌握【2025年3月20日 星期四】 cdmt 每日新闻掌握科技
    2025年3月20日星期四农历二月廿一大公司/大事件住建部：坚决稳住楼市，推动房地产市场止跌回稳近日，中共住房和城乡建设部党组召开理论学习中心组学习（扩大）会议。会议要求，要持续推进城市更新，坚持问题导向和目标导向，开展城市体检，找准人民群众急难愁盼问题和城市发展短板弱项，下功夫实施一批惠民生、防风险、促发展的更新项目。要坚决稳住楼市，持续巩固“四个取消、四个降低、两个增加”房地产政策“组合拳”效
  • 关于HAL库STM32中断接收丢失第一个字节的问题 隔夜秀才 STM32stm32
    被HAL库中断接收丢失首字节的这个问题折磨了四天了，今天终于解决了，觉得有必要记录一下。问题是这样的：刚开始上电后，用串口助手给串口1发送一帧数据（有帧头帧尾的），正常接收，继续发送，也正常接收，之后当串口4中断接收数据完成后，再用串口助手给串口1发送一帧数据的时候，发现首字节会丢失无法接收到，如果不让串口4进中断接收，就不会这样。网上搜罗查阅了很多资料，什么RXNE、ORE、TC问题都试过了，一
  • 大数据最新大数据StarRocks(七)：数据表创建(2) 2401_84182271 程序员大数据
    2.1表分为内部表和外部表默认未内部表，3.0版本开始集成外部数据建议使用catalog，外部表的建表方式将被弃用2.2列定义语法：col_namecol_type[agg_type][NULL|NOTNULL][DEFAULT"default\_value"][AUTO_INCREMENT][ASgeneration_expr]col_name：列名称注意，在一般情况下，不能直接创建以以__op
  • 系统架构设计（以飞控系统、航电系统、机电管理系统、电子电气架构为例） 机载软件与适航 机载系统系统工程适航系统架构架构
    架构的定义系统架构涉及对系统的结构和行为进行高层次的描述。它包括系统的组成部分、这些部分之间的关系、与外部环境的交互方式，以及满足特定功能和非功能性需求的方法。系统架构定义了系统的总体设计蓝图，指导系统的开发、集成、部署和维护。系统架构的核心要素组成部分（Components）：系统中的独立模块或单元，每个模块执行特定的功能。组件可以是软件模块、硬件设备、数据库、用户界面等。组件间的关系（Rela
  • python -- assert函数 我不是程序员‍ python知识python
    一、assert函数在Python中，assert语句用于调试和测试代码。它用于检查某个条件是否为真。如果条件为假，assert语句会抛出一个AssertionError异常，并可以选择性地附加一条错误消息。assert语句的基本语法是：assertcondition,optional_messagecondition:一个布尔表达式。如果结果为True，程序继续执行。如果为False，会触发As
  • Beekeeper Studio：高颜值且免费的SQL开发工具 开源项目精选 sql数据库
    BeekeeperStudio是一款免费开源的SQL开发和数据库管理工具，具有美观高效、简单易用的特点。BeekeeperStudio基于Vue.js开发，遵循MIT开源协议，支持Windows、Linux以及macOS平台。Stars数17842Forks数1170主要特点安全连接：除了正常的连接，也可以使用SSL加密连接或通过SSH隧道连接；SQL自动补全：代码编辑器支持语法高亮和表名自动补全
  • PCDN如何优化移动设备的网络体验 yczykjyxgs pcdn服务器
    在移动互联网时代，用户对网络体验的要求不断提升，PCDN（P2PCDN）技术为优化移动设备网络体验提供了创新解决方案。这项技术通过重构传统内容分发模式，有效解决了移动网络环境下的带宽瓶颈和传输延迟问题。PCDN技术的核心在于构建了一个去中心化的内容分发网络。移动设备不再仅仅作为内容消费者，而是同时承担了内容分发节点的角色。这种设计充分利用了移动设备的闲置带宽和存储资源，形成了一个动态的内容共享网络
  • PCDN 与传统 CDN 的对比：优势和劣势分析 yczykjyxgs pcdn智能路由器
    在内容分发领域，PCDN和传统CDN是两种重要的技术手段。传统CDN凭借其成熟的架构，在互联网发展历程中发挥着关键作用。它通过在各地广泛部署缓存服务器，将内容缓存至离用户更近的节点，以此加快分发速度。这种模式下，内容传输路径短，能有效减少延迟，为用户提供稳定的访问体验。不过，传统CDN的大规模服务器部署带来了高昂成本，无论是建设费用还是维护成本都不容小觑。PCDN作为融合了P2P技术的新兴内容分发
  • 我所认识的区块链 whg1016 区块链
    什么是区块链区块链是一个多节点共同参与，共同确认的记账系统，账本由是由一串串数据块组成的，下一个数据块记录了上个数据的hash，所有的块按照顺序形成一个完整的数据链条。每个节点都有完全一致的账本数据，记录的数据不可篡改和不可伪造。这个链条被保存在所有的服务器中，只要整个系统中有一台服务器可以工作，整条区块链就是安全的。区块链的由来区块链起源于Bitcoin，2008年11月1日，一位自称中本聪(S
  • 鸿蒙HarmonyOS实战：应用程序包-HAP 让开，我要吃人了 harmonyos华为
    HAP（HarmonyAbilityPackage）是应用安装和运行的基本单元。HAP包是由代码、资源、第三方库、配置文件等打包生成的模块包，其主要分为两种类型：entry和feature。entry：应用的主模块，作为应用的入口，提供了应用的基础功能。feature：应用的动态特性模块，作为应用能力的扩展，可以根据用户的需求和设备类型进行选择性安装。应用程序包可以只包含一个基础的entry包，也
  • 鸿蒙HarmonyOS开发：应用程序静态包-HAR 让开，我要吃人了 鸿蒙开发OpenHarmonyHarmonyOSharmonyos华为移动开发前端html开发语言鸿蒙
    HAR（HarmonyArchive）是静态共享包，可以包含代码、C++库、资源和配置文件。通过HAR可以实现多个模块或多个工程共享ArkUI组件、资源等相关代码。使用场景作为二方库，发布到OHPM私仓，供公司内部其他应用使用。作为三方库，发布到OHPM中心仓，供其他应用使用。约束限制HAR不支持在设备上单独安装/运行，只能作为应用模块的依赖项被引用。HAR不支持在配置文件中声明UIAbility
  • CTF杂项挑战：使用已知字典破解ZIP文件密码 0dayNu1L Web安全CTFweb安全网络安全
    在CTF比赛中，杂项挑战通常包含一些非传统的题目，其中破解ZIP文件密码是一个常见的任务。本文将介绍两种在已知密码字典文件的情况下，破解ZIP文件密码的方法：一种是使用Python脚本进行暴力破解，另一种是通过zip2john和john命令结合进行破解。0dayNu1L-CSDN博客请一键三连吧！！！❤❤❤目录方法一：使用Python脚本进行暴力破解步骤方法二：使用zip2john和john命令结
  • 近期计算机领域的热点技术 0dayNu1L 云计算量子计算人工智能
    随着科技的飞速发展，计算机领域的新技术、新趋势层出不穷。本文将探讨近期计算机领域的几个热点技术趋势，并对它们进行简要的分析和展望。一、人工智能与机器学习人工智能（AI）和机器学习（ML）是近年来计算机领域最为热门的话题之一。AI和ML技术已经广泛应用于图像识别、自然语言处理、智能推荐等领域，并取得了显著的成果。随着技术的不断进步，AI和ML将更深入地渗透到各个行业，为人类社会带来更多便利和效益。在
  • 区块链赋能：用Python开发去中心化投票系统 Echo_Wish Python！实战！区块链python去中心化
    区块链赋能：用Python开发去中心化投票系统在这个互联网迅猛发展的时代，投票系统不仅仅停留在政务领域，它已成为社区治理、企业决策甚至区块链DAO（去中心化自治组织）中重要的机制。然而，传统投票系统往往集中化，存在信任和数据安全问题。区块链技术以其不可篡改性和透明性为去中心化投票提供了理想的解决方案。在这篇文章中，我将通过Python语言，结合区块链智能合约，教你如何从零开发一个去中心化的投票系统
  • Peach-Editor，一款Web版电子病例编辑器实验版本上线了 大神1573 Peach-Editor编辑器
    经过一年多的辛苦钻研，一款web版本的电子病例编辑器基础word编辑功能版本终于和大家见面了，编辑器实现了参照传统文档编辑习惯，尽可能的还原原汁原味的文档编辑体验。目前初步完成了基础的文本编辑、表格、分页、页面控制等后续还加加入电子病例相关内容，整个编辑器的研发进度正在有序推进中，现将阶段性成果展示给大家。整体界面，沿用了传统的文档编辑习惯，菜单栏分为文件、编辑、插入、页面、审阅。编辑菜单内容主要
  • Parrot OS 6.3 发布！全面提升安全性，新增先进工具，带来更高性能 wljslmz Linux技术linuxParrotOS
    2025年2月，全球知名的安全和隐私为核心的Linux发行版——ParrotOS迎来了其最新版本——ParrotOS6.3。作为一款基于Debian的多功能操作系统，ParrotOS旨在为安全专家、开发人员以及关注隐私的用户提供强大的功能支持。ParrotOS6.3版本在性能、工具更新、硬件支持等方面进行了一系列优化，凭借其更加稳定的安全性，最新的工具包，以及对硬件兼容性的大幅提升，ParrotO
  • oracle当前耗时sql语句,查看Oracle最耗时的SQL weixin_39846553 oracle当前耗时sql语句
    有很多种方法可以用来找出哪些sql语句需要优化，但是很久以来，最简单的方法都是分析保存在V$sql视图中的缓存的sql信息。通过V$sql视图，可以确定具有高消耗时间、CUP和IO读取的sql语句。1.查看总消耗时间最多的前10条sql语句select*from(selectv.sql_id,v.child_number,v.sql_text,last_load_time,v.PARSING_US
  • DevOps中集成自动化测试的具体案例 Zachary AI CICD相关devops运维
    在DevOps中集成自动化测试的具体案例可以从多个角度进行分析，包括金融行业、分布式系统、大型企业等不同领域的实践。以下是几个具体的案例：金融行业的DevOps实践：在金融行业中，DevOps被广泛应用于提升软件开发和运营的效率。例如，通过解析后台接口代码日志格式，自动化生成接口测试案例，解决了接口自动化测试过程中各交易输入值难以确定的问题，从而提高了接口测试效率[14]。此外，农行手机银行系统存
  • 技术沙龙 | 从高并发架构到企业级区块链探索零售创新 weixin_33984032 区块链python数据库
    2019独角兽企业重金招聘Python工程师标准>>>伴随消费新理念的不断升级和技术创新发展，零售业逐渐被推到风口浪尖，对此京东曾表示，推动“无界零售”时代的到来理念，倡导实现成本、效率、体验的升级才是终极目标。此概念一出，零售行业的侧重点开始由销售端向技术端倾斜，趁着一年一度618来临之际，京东云特别在上海举办了主题为"从高并发架构到企业级区块链，探索无界零售的数字化创新"的技术沙龙活动。本次活
  • 关于STM32如何选择：HAL与标准库的抉择及初学者建议 笑靥藏情. stm32嵌入式硬件单片机
    STM32是意法半导体（STMicroelectronics）推出的一系列基于ARMCortex-M内核的32位微控制器，因其高性能、多功能性和成本效益而广受嵌入式系统开发者的欢迎。对于初学者而言，学习STM32编程时面临的第一个重要抉择往往是如何选择编程方式：是使用硬件抽象层（HAL），还是选择标准外设库（StandardPeripheralLibrary）？本文将围绕这一问题展开，详细比较HA
  • Android开发 哈哈哈隔 android
    AndroidAdapter是将数据绑定到UI界面上的桥接类比如:当lambada中只有一个参数时，可以用it指代@Target和@Retention是由Java提供的元注解，所谓元注解就是标记其他注解的注解，下面分别介绍https://blog.csdn.net/javazejian/article/details/71860633#%E5%A3%B0%E6%98%8E%E6%B3%A8%E8%
  • 转USDT手续费太贵？我教你！ Trx能量租赁闪兑 比特币区块链智能合约能源物联网
    什么是TRX能量闪租？还不明白就来看看1.当我们在波场转u的时候，是需要矿工费那么这个矿工费可以理解为能量和带宽2.能量和TRX是两个概念，不要混淆3.转账的时候首先是需要消耗能量和带宽，当我们能量不足转账所需时，就会燃烧相应的TRX作为能量。对方账户有u需要65000的能量=13.7TRX，对方账户没有u或者交易所地址需要131000的能量=27.3TRX4.为了节省一定的trx.能量可以找我们
  • Enum 枚举 120153216 enum枚举
    原文地址：http://www.cnblogs.com/Kavlez/p/4268601.html Enumeration 于Java 1.5增加的enum type...enum type是由一组固定的常量组成的类型，比如四个季节、扑克花色。在出现enum type之前，通常用一组int常量表示枚举类型。比如这样： public static final int APPLE_FUJI = 0
  • Java8简明教程 bijian1013 javajdk1.8
            Java 8已于2014年3月18日正式发布了，新版本带来了诸多改进，包括Lambda表达式、Streams、日期时间API等等。本文就带你领略Java 8的全新特性。  一.允许在接口中有默认方法实现         Java 8 允许我们使用default关键字，为接口声明添
  • Oracle表维护 快速备份删除数据 cuisuqiang oracle索引快速备份删除
    我知道oracle表分区，不过那是数据库设计阶段的事情，目前是远水解不了近渴。 当前的数据库表，要求保留一个月数据，且表存在大量录入更新，不存在程序删除。 为了解决频繁查询和更新的瓶颈，我在oracle内根据需要创建了索引。但是随着数据量的增加，一个半月数据就要超千万，此时就算有索引，对高并发的查询和更新来说，让然有所拖累。 为了解决这个问题，我一般一个月会进行一次数据库维护，主要工作就是备
  • java多态内存分析 麦田的设计者 java内存分析多态原理接口和抽象类
          “  时针如果可以回头，熟悉那张脸，重温嬉戏这乐园，墙壁的松脱涂鸦已经褪色才明白存在的价值归于记忆。街角小店尚存在吗？这大时代会不会牵挂，过去现在花开怎么会等待。       但有种意外不管痛不痛都有伤害，光阴远远离开，那笑声徘徊与脑海。但这一秒可笑不再可爱，当天心
  • Xshell实现Windows上传文件到Linux主机 被触发 windows
    经常有这样的需求，我们在Windows下载的软件包，如何上传到远程Linux主机上？还有如何从Linux主机下载软件包到Windows下；之前我的做法现在看来好笨好繁琐，不过也达到了目的，笨人有本方法嘛； 我是怎么操作的： 1、打开一台本地Linux虚拟机，使用mount 挂载Windows的共享文件夹到Linux上，然后拷贝数据到Linux虚拟机里面；（经常第一步都不顺利，无法挂载Windo
  • 类的加载ClassLoader 肆无忌惮_ ClassLoader
    类加载器ClassLoader是用来将java的类加载到虚拟机中，类加载器负责读取class字节文件到内存中，并将它转为Class的对象（类对象），通过此实例的 newInstance()方法就可以创建出该类的一个对象。   其中重要的方法为findClass(String name)。   如何写一个自己的类加载器呢？ 首先写一个便于测试的类Student
  • html5写的玫瑰花 知了ing html5
    <html> <head> <title>I Love You!</title> <meta charset="utf-8" /> </head> <body> <canvas id="c"></canvas>
  • google的ConcurrentLinkedHashmap源代码解析 矮蛋蛋 LRU
    原文地址： http://janeky.iteye.com/blog/1534352 简述 ConcurrentLinkedHashMap 是google团队提供的一个容器。它有什么用呢？其实它本身是对 ConcurrentHashMap的封装，可以用来实现一个基于LRU策略的缓存。详细介绍可以参见 http://code.google.com/p/concurrentlinke
  • webservice获取访问服务的ip地址 alleni123 webservice
    1. 首先注入javax.xml.ws.WebServiceContext, @Resource private WebServiceContext context; 2. 在方法中获取交换请求的对象。 javax.xml.ws.handler.MessageContext mc=context.getMessageContext(); com.sun.net.http
  • 菜鸟的java基础提升之道——————>是否值得拥有 百合不是茶
    1，c++，java是面向对象编程的语言，将万事万物都看成是对象；java做一件事情关注的是人物，java是c++继承过来的，java没有直接更改地址的权限但是可以通过引用来传值操作地址，java也没有c++中繁琐的操作，java以其优越的可移植型，平台的安全型，高效性赢得了广泛的认同，全世界越来越多的人去学习java，我也是其中的一员      java组成：
  • 通过修改Linux服务自动启动指定应用程序 bijian1013 linux
    Linux中修改系统服务的命令是chkconfig (check config)，命令的详细解释如下: chkconfig 功能说明：检查，设置系统的各种服务。 语　　法：chkconfig [ -- add][ -- del][ -- list][系统服务] 或 chkconfig [ -- level  <</SPAN>
  • spring拦截器的一个简单实例 bijian1013 javaspring拦截器Interceptor
    Purview接口 package aop; public interface Purview { void checkLogin(); } Purview接口的实现类PurviesImpl.java package aop; public class PurviewImpl implements Purview { public void check
  • [Velocity二]自定义Velocity指令 bit1129 velocity
    什么是Velocity指令 在Velocity中，#set,#if, #foreach, #elseif, #parse等，以#开头的称之为指令，Velocity内置的这些指令可以用来做赋值，条件判断，循环控制等脚本语言必备的逻辑控制等语句，Velocity的指令是可扩展的，即用户可以根据实际的需要自定义Velocity指令   自定义指令(Directive)的一般步骤 &nbs
  • 【Hive十】Programming Hive学习笔记 bit1129 programming
    第二章 Getting Started 1.Hive最大的局限性是什么？一是不支持行级别的增删改(insert, delete, update)二是查询性能非常差(基于Hadoop MapReduce）,不适合延迟小的交互式任务三是不支持事务2. Hive MetaStore是干什么的？Hive persists table schemas and other system metadata.
  • nginx有选择性进行限制 ronin47 nginx 动静　限制
    http { limit_conn_zone $binary_remote_addr zone=addr:10m; limit_req_zone $binary_remote_addr zone=one:10m rate=5r/s;... server {... location ~.*\.(gif|png|css|js|icon)$ {
  • java-4.-在二元树中找出和为某一值的所有路径 . bylijinnan java
    /* * 0.use a TwoWayLinkedList to store the path.when the node can't be path,you should/can delete it. * 1.curSum==exceptedSum:if the lastNode is TreeNode,printPath();delete the node otherwise
  • Netty学习笔记 bylijinnan javanetty
    本文是阅读以下两篇文章时： http://seeallhearall.blogspot.com/2012/05/netty-tutorial-part-1-introduction-to.html http://seeallhearall.blogspot.com/2012/06/netty-tutorial-part-15-on-channel.html 我的一些笔记 ===
  • js获取项目路径 cngolon js
    //js获取项目根路径，如： http://localhost:8083/uimcardprj function getRootPath(){     //获取当前网址，如： http://localhost:8083/uimcardprj/share/meun.jsp     var curWwwPath=window.document.locati
  • oracle 的性能优化 cuishikuan oracleSQL Server
       在网上搜索了一些Oracle性能优化的文章，为了更加深层次的巩固[边写边记]，也为了可以随时查看，所以发表这篇文章。     1.ORACLE采用自下而上的顺序解析WHERE子句，根据这个原理，表之间的连接必须写在其他WHERE条件之前，那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾。（这点本人曾经做过实例验证过，的确如此哦！
  • Shell变量和数组使用详解 daizj linuxshell变量数组
    Shell 变量 定义变量时，变量名不加美元符号（$，PHP语言中变量需要），如： your_name="w3cschool.cc" 注意，变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。同时，变量名的命名须遵循如下规则： 首个字符必须为字母（a-z，A-Z）。 中间不能有空格，可以使用下划线（_）。 不能使用标点符号。 不能使用ba
  • 编程中的一些概念，KISS、DRY、MVC、OOP、REST dcj3sjt126com REST
    KISS、DRY、MVC、OOP、REST （1）KISS是指Keep It Simple,Stupid（摘自wikipedia），指设计时要坚持简约原则，避免不必要的复杂化。 （2）DRY是指Don't Repeat Yourself（摘自wikipedia），特指在程序设计以及计算中避免重复代码，因为这样会降低灵活性、简洁性，并且可能导致代码之间的矛盾。 （3）OOP 即Object-Orie
  • [Android]设置Activity为全屏显示的两种方法 dcj3sjt126com Activity
    1. 方法1：AndroidManifest.xml 里，Activity的 android:theme  指定为" @android:style/Theme.NoTitleBar.Fullscreen" 示例:   <application      
  • solrcloud 部署方式比较 eksliang solrCloud
    solrcloud 的部署其实有两种方式可选，那么我们在实践开发中应该怎样选择呢？ 第一种：当启动solr服务器时，内嵌的启动一个Zookeeper服务器，然后将这些内嵌的Zookeeper服务器组成一个集群。  第二种：将Zookeeper服务器独立的配置一个集群，然后将solr交给Zookeeper进行管理   谈谈第一种：每启动一个solr服务器就内嵌的启动一个Zoo
  • Java synchronized关键字详解 gqdy365 synchronized
    转载自：http://www.cnblogs.com/mengdd/archive/2013/02/16/2913806.html 多线程的同步机制对资源进行加锁，使得在同一个时间，只有一个线程可以进行操作，同步用以解决多个线程同时访问时可能出现的问题。 同步机制可以使用synchronized关键字实现。 当synchronized关键字修饰一个方法的时候，该方法叫做同步方法。 当s
  • js实现登录时记住用户名 hw1287789687 记住我记住密码cookie记住用户名记住账号
    在页面中如何获取cookie值呢? 如果是JSP的话,可以通过servlet的对象request 获取cookie,可以 参考:http://hw1287789687.iteye.com/blog/2050040 如果要求登录页面是html呢?html页面中如何获取cookie呢? 直接上代码了 页面:loginInput.html 代码: <!DOCTYPE html PUB
  • 开发者必备的 Chrome 扩展 justjavac chrome
    Firebug：不用多介绍了吧https://chrome.google.com/webstore/detail/bmagokdooijbeehmkpknfglimnifench ChromeSnifferPlus：Chrome 探测器，可以探测正在使用的开源软件或者 js 类库https://chrome.google.com/webstore/detail/chrome-sniffer-pl
  • 算法机试题 李亚飞 java算法机试题
           在面试机试时，遇到一个算法题，当时没能写出来，最后是同学帮忙解决的。        这道题大致意思是：输入一个数，比如4,。这时会输出：           &n
  • 正确配置Linux系统ulimit值 字符串 ulimit
    在Linux下面部 署应用的时候，有时候会遇上Socket/File: Can’t open so many files的问题；这个值也会影响服务器的最大并发数，其实Linux是有文件句柄限制的，而且Linux默认不是很高，一般都是1024，生产服务器用 其实很容易就达到这个数量。下面说的是，如何通过正解配置来改正这个系统默认值。因为这个问题是我配置Nginx+php5时遇到了，所以我将这篇归纳进
  • hibernate调用返回游标的存储过程 Supanccy2013 javaDAOoracleHibernatejdbc
    注：原创作品，转载请注明出处。     上篇博文介绍的是hibernate调用返回单值的存储过程，本片博文说的是hibernate调用返回游标的存储过程。     此此扁博文的存储过程的功能相当于是jdbc调用select 的作用。 1，创建oracle中的包，并在该包中创建的游标类型。 ---创建oracle的程
  • Spring 4.2新特性-更简单的Application Event wiselyman application
    1.1 Application Event Spring 4.1的写法请参考10点睛Spring4.1-Application Event 请对比10点睛Spring4.1-Application Event 使用一个@EventListener取代了实现ApplicationListener接口,使耦合度降低; 1.2 示例 包依赖 <p
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他