alaya_c09d
alaya_c09d

Hive 遗留子进程频繁操作HDFS

NameNode日志中频繁出现rename失败的日志，且频繁GC

2019-10-22 12:18:15,826 WARN  hdfs.StateChange (FSDirRenameOp.java:validateRenameSource(559)) - DIR* FSDirectory.unprotectedRenameTo: rename source /apps/hive/warehouse/zs_db.db/umetrip_client_all/.hive-staging_hive_2019-10-21_15-05-03_662_6055882197773119796-53816/-ext-10000/000080_0 is not found.
2019-10-22 12:18:15,827 WARN  hdfs.StateChange (FSDirRenameOp.java:validateRenameSource(559)) - DIR* FSDirectory.unprotectedRenameTo: rename source /apps/hive/warehouse/zs_db.db/umetrip_client_all/.hive-staging_hive_2019-10-21_15-05-03_662_6055882197773119796-53816/-ext-10000/000080_0 is not found.
2019-10-22 12:18:15,827 WARN  hdfs.StateChange (FSDirRenameOp.java:validateRenameSource(559)) - DIR* FSDirectory.unprotectedRenameTo: rename source /apps/hive/warehouse/zs_db.db/umetrip_client_all/.hive-staging_hive_2019-10-21_15-05-03_662_6055882197773119796-53816/-ext-10000/000080_0 is not found.
2019-10-22 12:18:15,828 WARN  hdfs.StateChange (FSDirRenameOp.java:validateRenameSource(559)) - DIR* FSDirectory.unprotectedRenameTo: rename source /apps/hive/warehouse/zs_db.db/umetrip_client_all/.hive-staging_hive_2019-10-21_15-05-03_662_6055882197773119796-53816/-ext-10000/000080_0 is not found.
2019-10-22 12:18:15,828 WARN  hdfs.StateChange (FSDirRenameOp.java:validateRenameSource(559)) - DIR* FSDirectory.unprotectedRenameTo: rename source /apps/hive/warehouse/zs_db.db/umetrip_client_all/.hive-staging_hive_2019-10-21_15-05-03_662_6055882197773119796-53816/-ext-10000/000080_0 is not found.

根据日志发现查尝试rename 文件/apps/hive/warehouse/zs_db.db/umetrip_client_all/.hive-staging_hive_2019-10-21_15-05-03_662_6055882197773119796-53816/-ext-10000/000080_0 ，但该文件并不存在。

根据路径怀疑是Hive任务操作，但集群中并无运行中的Hive任务。类似
https://issues.apache.org/jira/browse/HIVE-7273。

解决方法：
创建文件/apps/hive/warehouse/zs_db.db/umetrip_client_all/.hive-staging_hive_2019-10-21_15-05-03_662_6055882197773119796-53816/-ext-10000/000080_0

创建该文件后，NameNode中相关日志消失，且GC频率恢复正常。

/apps/hive/warehouse/zs_db.db/umetrip_client_all/ 目录下多出了文件000080_0_copy_131756330

drwxr-xr-x   - umecron hadoop          0 2019-10-22 19:19 /apps/hive/warehouse/zs_db.db/umetrip_client_all/.hive-staging_hive_2019-10-21_15-05-03_662_6055882197773119796-53816
-rw-r--r--   3 umecron hadoop          0 2019-10-22 19:21 /apps/hive/warehouse/zs_db.db/umetrip_client_all/000080_0_copy_131756330

可能原因是运行在Yarn集群中的Hive任务中的Reducer线程遗留了下来，该线程卡死在尝试重命名不存在的文件。手工创建该文件后，重名成功，遗留线程执行结束。

你可能感兴趣的:(Hive 遗留子进程频繁操作HDFS)

  • tkinter中text属性_tkinter属性（总结） 俠之大者 tkinter中text属性
    一、主要控件1.Button按钮。类似标签,但提供额外的功能,例如鼠标掠过、按下、释放以及键盘操作事件2.Canvas画布。提供绘图功能(直线、椭圆、多边形、矩形)可以包含图形或位图3.Checkbutton选择按钮。一组方框,可以选择其中的任意个(类似HTML中的checkbox)4.Entry文本框。单行文字域,用来收集键盘输入(类似HTML中的text)5.Frame框架。包含其他组件的纯容
  • 探秘IO分布式模块设计：让大数据处理更高效 清水湾落车 分布式
    一、引言随着互联网的飞速发展，大数据、云计算、人工智能等技术逐渐成为时代的主流。在这个数据爆炸的时代，如何高效地处理海量数据成为企业面临的重大挑战。IO分布式模块设计作为一种有效的解决方案，越来越受到关注。本文将带您了解IO分布式模块设计的基本概念、原理及其在实际应用中的优势。二、什么是IO分布式模块设计？IO分布式模块设计，是指将数据存储、数据处理、数据传输等IO操作进行分布式处理的一种设计方法
  • Hive SQL 分组与连接操作详解 大数据深度洞察 Hive数据库hive大数据数据仓库sql
    目录分组GroupBy语句1.案例实操Having语句1.having与where不同点2.案例实操Join语句等值Join1.案例实操表的别名1.好处2.案例实操内连接左外连接右外连接满外连接多表连接1.创建位置表2.导入数据3.多表连接查询笛卡尔集1.笛卡尔集会在下面条件下产生2.案例实操联合（union&unionall）1.union&unionall上下拼接2.案例实操分组GroupBy
  • 关于Linux（Centos7）的静态IP地址配置操作 为已己任 Linux配置篇linuxcentos网络
    Centos7-静态IP地址设置1、内容概述2、环境介绍3、操作步骤3.1、编辑网口配置文件3.2、进入网口配置文件3.3、修改网口配置文件内容3.3.1、静态IP设置3.3.2、自动激活网络3.4、添加配置内容3.4.1、添加IP信息3.4.2、添加网关信息3.4.3、添加掩码信息3.4.4、添加DNS地址3.5、操作结果内容4、重启网络5、检查修改情况6、检查网络情况7、总结1、内容概述关于在
  • 微信小程序连接蓝牙 xluo1715 微信小程序小程序前端javascriptvue
    准备工作：1：需要一个蓝牙板子和串口软件（卖蓝牙板子的商家会提供），手机上需要蓝牙调试助手（为了测试蓝牙是否正常连接）2：蓝牙板通过usb插入到电脑端3：安装好串口调试工具并打开连接上蓝牙4：打开手机蓝牙调试助手，连接上后进行读写操作，确认已正常连接通信准备工作完结！直接上代码第一步：初始化蓝牙设备，onShow里面调用或者onLoad里面调用都可，看你的需求场景initBlue(){wx.ope
  • Jmeter进阶篇（33）报错Error occurred during initialization of VM Could not reserve enough space…的解决方案 綦枫Maple Jmeter性能测试大全jmeter
    报错现象在使用Jmeter进行性能测试等操作时，可能会遇到各种各样的问题，其中一个比较常见的报错是在启动Jmeter的时候出现：ErroroccurredduringinitializationofVMCouldnotreserveenoughspacefor1048576KBobjectheaperrorlevel=1请按任意键继续...这个报错可能会让不少新手感到困惑，甚至会影响到性能测试工作
  • 如何使用批处理脚本批量终止占用特定端口的进程-windows 好奇的菜鸟 Toolswindows
    如何使用批处理脚本批量终止占用特定端口的进程在Windows操作系统中，有时我们会遇到需要终止占用某些端口的进程的情况。比如，当我们尝试启动某个程序时，发现该程序所需的端口已经被其他程序占用，导致无法正常运行。这时，我们就可以使用一个批处理脚本来快速查找并结束占用端口的进程。本文将展示如何编写一个批处理脚本，允许用户批量查找和终止占用特定端口的进程，并根据用户输入决定是否继续操作或退出。步骤一：编
  • 学习笔记：顺序表（动态创建）vscode实现 San~ui 学习笔记考研vscode
    动态分配的顺序表的优缺点：优点：可以动态增加主题缺点：动态增加长度中的迁徙工作时间增加实现方式（删除操作与静态一样）#include#include#include#defineInitSize1typedefstruct{int*data;//指向分配空间的起始地址intMaxSize;//最大容量intlength;//当前长度}SqList;//初始化voidInitList(SqList*
  • 计算机网络 （46）简单网络管理协议SNMP IT 青年 一研为定计算机网络
    前言简单网络管理协议（SNMP，SimpleNetworkManagementProtocol）是一种用于在计算机网络中管理网络节点的标准协议。一、概述SNMP是基于TCP/IP五层协议中的应用层协议，它使网络管理员能够管理网络效能，发现并解决网络问题以及规划网络增长。SNMP由互联网工程任务组（IETF）定义，确保了不同厂商设备之间的互操作性。由于其简单可靠，提供了一种监控和管理网络设备的系统方
  • JAVA：MyBatis 缓存机制详解的技术指南 拾荒的小海螺 JAVAjavamybatis缓存
    1、简述MyBatis是Java开发中常用的持久层框架之一，通过面向对象的方式操作数据库。为了提高系统性能，MyBatis提供了两级缓存机制：一级缓存（本地缓存）和二级缓存（全局缓存）。本文将详细讲解MyBatis缓存机制的使用原理、配置方法，并通过示例展示如何合理地使用缓存优化数据访问效率。2、基础原理2.1一级缓存作用范围：一级缓存是基于SqlSession级别的缓存，即在同一个SqlSess
  • C：JSON-C简介 技术探索者 #Cjson
    介绍JSON-C是一个用于处理JSON格式数据的C语言库，提供了一系列操作JSON数据的函数。一、json参数类型typedefenumjson_type{json_type_null,json_type_boolean,json_type_double,json_type_int,json_type_object,json_type_array,json_type_string,}json_ty
  • NGINX 报错 413 Request Entity Too Large 解决方案 技术探索者 NGINXnginx
    1、问题原因用Nginx反向代理服务器，进行附件相关的操作时，当文件大小超过1M，会出现413RequestEntityTooLarge，这是由于nginx客户端默认的最大请求体是1M。2、解决方案通过修改Nginx配置文件的“client_max_body_size”属性来解决。nginx的默认配置文件是conf目录下的nginx.conf。注意：如果有自行扩展的配置文件可在nginx.conf
  • JavaScript中通过array.map(）实现数据转换、创建派生数组、异步数据流处理、复杂API请求、DOM操作、搜索和过滤等，array.map(）的使用详解（附实际应用代码） watermelo37 前端#数据结构javascriptvue.js前端算法数据分析数据挖掘
    目录JavaScript中通过array.map(）实现数据转换、创建派生数组、异步数据流处理、复杂API请求、DOM操作、搜索和过滤等，array.map（）的使用详解（附实际应用代码）一、什么时候该使用Array.map()，与forEach()的区别是什么？1、什么时候该用Array.map()2、Array.map()与Array.forEach()的区别二、Array.map(）的使用与
  • 六种主流虚拟化技术全解析：OpenStack、KVM、Hyper-V、VMware、Xen及Docker 律己杂谈 计算机系统发展史及基础openstackdockerVMwareXenHyper-VKVM虚拟机
    秒懂虚拟化（一）：从概念到网络、存储虚拟化全解析，通俗解读版-CSDN博客秒懂虚拟化（二）：服务器虚拟化、操作系统虚拟化、服务虚拟化全解析，通俗解读版_hostos和guestos-CSDN博客秒懂虚拟化（三）：桌面拟化、用户体验虚拟化、应用程序虚拟化全解析，通俗解读版-CSDN博客秒懂虚拟化（四）：虚拟化技术优劣、技术原理、CPU虚拟化和内存虚拟化全解析，通俗解读版-CSDN博客前面4篇文章详细
  • 全国青少年信息学奥林匹克竞赛（信奥赛）备考实战之一维数组（应用技巧） 律己杂谈 信奥赛信奥赛c++算法数据结构
    二、一维数组应用技巧2：打标记实战训练1—开关灯问题描述：有M个从1到M依次编号的人参加一项游戏。将K盏从1到K依次编号的灯(K和M均为正整数，M≤K≤5000)进行一系列的熄灭与打开的操作，游戏开始时均处于亮灯的状态；第一个人(1号)将灯全部熄灭；第二个人(2号)将编号为2的倍数的灯做相反处理（即将打开的灯熄灭，将熄灭的灯打开）；第三个人(3号)将编号为3的倍数的灯做相反处理；依照编号递增顺序，
  • docker设置开机自启操作 docker
    一：开启自启服务文件配置1：docker.socketsudotee/usr/lib/systemd/system/docker.socket<
  • 【MySQL】CRUD增删改查操作 卡皮巴拉吖 mysql数据库
    文章目录CRUD简介一、Creat新增1.单行数据全列插入2.单行数据全指定列插入3.多行数据指定列插入二、Retrieve检索1.全列查询--练习阶段最简单的查询：（在生产环境最好不要用！！）2.指定列查询3.结果去重查询4.where条件查询5.分页查询6.orderby排序三、Update修改四、Delete删除截断表【拓展】CRUD简介CRUD是对数据库中的记录进行的增删改查操作：Crea
  • 域名重定向怎么设置？设置后为什么打不开？ 域名域名配置重定向
    在互联网的世界中，域名重定向是一种常见的操作，它能够帮助网站管理者更好地管理域名资源，提升用户体验。简单来说，域名重定向就是将一个域名指向另一个域名或者网页地址，当用户访问原域名时，会自动跳转到指定的目标地址。然而，在进行域名重定向设置的过程中，可能会遇到设置后打不开网页的情况，下面我们就来详细探讨一下域名重定向的设置方法以及设置后打不开的原因。一、域名重定向的设置方法（一）通过DNS设置许多域名
  • CDN防御如何保护我们的网络安全？ cdncdn缓存网络安全
    在当今数字化时代，网络安全成为了一个至关重要的议题。随着网络攻击的日益频繁和复杂化，企业和个人都面临着前所未有的安全威胁。内容分发网络（CDN）作为一种分布式网络架构，不仅能够提高网站的访问速度和用户体验，还能够在很大程度上增强网络安全防护能力。本文将探讨CDN防御如何保护我们的网络安全。1、CDN防御的首要本领是分布式抗DDoS攻击DDoS攻击，即分布式拒绝服务攻击，犹如网络中的“洪水猛兽”，攻
  • JAVA：Spring Boot 实现责任链模式处理订单流程的技术指南 拾荒的小海螺 JAVAjavaspringboot责任链模式
    1、简述在复杂的业务系统中，订单流程往往需要一系列的操作，比如验证订单、检查库存、处理支付、更新订单状态等。责任链模式（ChainofResponsibility）可以帮助我们将这些处理步骤分开，并且以链式方式处理每一个操作，从而让代码更加清晰、可扩展和模块化。本文将介绍如何在SpringBoot3.3中使用责任链模式实现订单流程管理。2、场景设计责任链模式是一种行为设计模式，它通过将请求沿着处理
  • 给Windows 11系统的笔记本电脑设置合上盖子不休眠 微技术 电脑windows
    导言Windows11是微软最新的操作系统版本，为用户提供了更多的个性化和定制化选项。其中之一是合上笔记本电脑盖子后的休眠设置。本文将介绍如何在Windows11中设置合上笔记本盖子后不让电脑进入休眠状态，以及如何取消该功能。在某些场景下，我们希望笔记本电脑在合上盖子后能够保持唤醒状态，而不是进入休眠模式。比如下面这几个场景。持续运行任务：当您正在执行一些需要长时间运行的任务，比如大型文件下载、视
  • vim系列-文本操作篇 工具
    Vim实用技巧：文本编辑与处理基数行与偶数行分组使用Vim的替换命令，可以轻松地将基数行和偶数行分组：%s/\(^.*$\)\n\(^.*$\)/\1\2/g然后，删除所有的基数行：%s/^.*$\n\(^.*$\)/\1/g删除重复行在Vim中删除重复行是一个常见的操作，以下是几种方法：删除相邻重复行:g/\(.\+\)$\n\1/d删除不相邻重复行使用排序命令删除不相邻的重复行：:sortu删
  • Python中的元组和字典 DuADC python
    Python中的元组和字典1.元组什么是元组（tuple）元组是容器型数据类型；将()作为容器的标志，里面多个文件用逗号隔开(元素1,元素2,…)元组不可变(只能查)元组有序-支持下标操作元素：和列表一样只有一个元素的元组-唯一的元素后面必须加逗号list1=[12]print(list1,type(list1),len(list1))#[12]1t2=(12)print(t2,type(t2))
  • 【原创】开发部署中间件安装记录 liangrun521 java部署docker中间件dockerlinux
    文章目录1.docker安装1.1离线安装：X86架构的主机1.2离线安装：ARM64架构的主机1.3在线安装-系统CentOS1.3在线安装-系统Debian2.supervisor安装3.nginx安装4.rabbitmq-包含x-delayed-message5.nacos5.1docker部署5.2系统命令部署（单机）5.3定制jar包部署，supervisor托管，使用提供的压缩包操作6
  • 产生式系统实验头歌实验测试不通过解决（人工智能） 兜里没有一毛钱 人工智能pythonnumpy数据分析人工智能机器学习
    任务描述本关任务：编写一个使用产生式方法识别动物的系统。编程要求根据提示，在右侧编辑器补充代码，完成产生式系统——动物识别系统的操作，最后达到输入动物特征，输出动物类型的结果。特别说明在这个实验中，存在一个实验现象,就是你的自测运行输出结果与实验要求输出结果一模一样也不能通过，为什么呢？答：这个不知道算不算是头歌实验平台存在bug，一般我们在编写程序代码中，要求格式都是英文格式，但是在这个实验测试
  • MySQL union 和 union all 来杯卡布奇洛 其他sql数据库database
    MySQLunion和unionall在使用union和unionall的时候，大部分情况下可能只会关注到union会对查询结果集进行去重操作，unionall则会保留重复项。实际上它们还有一个容易忽略的区别：union会对结果集进行默认规则的排序，unionall则不会。Union：对两个结果集进行并集操作，不包括重复行，同时进行默认规则的排序UnionAll：对两个结果集进行并集操作，包括重复
  • chatgpt赋能python：Python当前文件目录：了解Python中的文件路径 atest166 ChatGptpythonchatgpt机器学习计算机
    Python当前文件目录：了解Python中的文件路径Python是一个流行的编程语言，用于开发各种类型的应用程序。在Python中，文件路径是一个非常重要的概念，特别是在操作文件和文件夹时。在本篇文章中，我们将深入探讨Python当前文件目录及其相关概念。什么是当前文件目录？当前文件目录是指当前正在运行的Python文件的位置。在Python中，我们可以使用“os”模块中的函数轻松获得当前文件目
  • Python基础06（字符串格式化/操作方法） XYX的Blog Pythonpython开发语言
    字符串在Python中，字符串属于不可变有序序列，使用单引号、双引号、三单引号或三双引号作为定界符，并且不同的定界符之间可以互相嵌套。除了支持序列通用方法（包括双向索引、比较大小、计算长度、元素访问、切片、成员测试等操作）以外，字符串类型还支持一些特有的操作方法，例如字符串格式化、查找、替换、排版等等。字符串属于不可变序列，不能直接对字符串对象进行元素增加、修改与删除等操作，切片操作也只能访问其中
  • MongoDB文档查询操作 卢妍- mongodb数据库
    文档操作1.文档插入①单文档插入db.COLLECTION_NAME.insert(document)db.COLLECTION_NAME.save(document)insert()和save()方法的区别在于使用insert()方法插入文档时，集合中已存在该文档，则会报错；使用save()方法时，则会覆盖。②多文档插入db.COLLECTION_NAME.insertMany([documen
  • 数据库的DQL(1) 比特知识工坊 MySQL专栏数据库
    数据库的DQLDQL是sql中的一种重要语言类型，用于查询数据库中表的记录。DQL的主要关键字是select，用于从数据库中检索数据。常见的查询操作包括基本查询，条件查询，排序查询，分组查询，聚合函数等；在MySQL中，可以使用select语句来查询数据。查询数据是指从数据库总根据需求，使用不同的查询方式来获取不同的数据。SELECTFROM表名WHERE表达式在练习之前，导入准备好的sql文件。
  • 算法 单链的创建与删除 换个号韩国红果果 c算法
    先创建结构体 struct student { int data; //int tag;//标记这是第几个 struct student *next; }; // addone 用于将一个数插入已从小到大排好序的链中 struct student *addone(struct student *h,int x){ if(h==NULL) //??????
  • 《大型网站系统与Java中间件实践》第2章读后感 白糖_ java中间件
           断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章，这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难，但每一个屏障都会有解决方案，最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。          看完整章内容，
  • zeus持久层spring事务单元测试 deng520159 javaDAOspringjdbc
    今天把zeus事务单元测试放出来,让大家指出他的毛病, 1.ZeusTransactionTest.java 单元测试   package com.dengliang.zeus.webdemo.test; import java.util.ArrayList; import java.util.List; import org.junit.Test; import
  • Rss 订阅 开发 周凡杨 htmlxml订阅rss规范
                    RSS是 Really Simple Syndication的缩写（对rss2.0而言，是这三个词的缩写，对rss1.0而言则是RDF Site Summary的缩写，1.0与2.0走的是两个体系）。   RSS
  • 分页查询实现 g21121 分页查询
    在查询列表时我们常常会用到分页，分页的好处就是减少数据交换，每次查询一定数量减少数据库压力等等。 按实现形式分前台分页和服务器分页： 前台分页就是一次查询出所有记录，在页面中用js进行虚拟分页，这种形式在数据量较小时优势比较明显，一次加载就不必再访问服务器了，但当数据量较大时会对页面造成压力，传输速度也会大幅下降。 服务器分页就是每次请求相同数量记录，按一定规则排序，每次取一定序号直接的数据
  • spring jms异步消息处理 510888780 jms
    spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器，常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量，以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理，进一步提高性能，减少侦听器的阻塞。具体配置如下：
  • highCharts柱状图 布衣凌宇 hightCharts柱图
    第一步：导入 exporting.js,grid.js,highcharts.js;第二步：写controller   @Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController {  private UserServi
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans springmvcSpring 教程spring3 教程Spring 入门
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • TLS java简单实现 antlove javasslkeystoretlssecure
      1. SSLServer.java package ssl; import java.io.FileInputStream; import java.io.InputStream; import java.net.ServerSocket; import java.net.Socket; import java.security.KeyStore; import
  • Zip解压压缩文件 百合不是茶 Zip格式解压Zip流的使用文件解压
       ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件; ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));     &n
  • underscore.js 学习（一） bijian1013 JavaScriptunderscore
            工作中需要用到underscore.js，发现这是一个包括了很多基本功能函数的js库，里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。       学
  • java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon) bijian1013 javajvmjstatd
    1.介绍         jstatd是一个基于RMI（Remove Method Invocation）的服务程序，它用于监控基于HotSpot的JVM中资源的创建及销毁，并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。         jstatd是基于RMI的，所以在运行jstatd的服务
  • 【Spring框架三】Spring常用注解之Transactional bit1129 transactional
    Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力，如下是@Transactional注解的定义：   /* * Copyright 2002-2010 the original author or authors. * * Licensed under the Apache License, Version
  • 我(程序员)的前进方向 bitray 程序员
    作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
  • nginx lua开发经验总结 ronin47
    使用nginx lua已经两三个月了，项目接开发完毕了，这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的，跟PHP的占比差不多持平了，因此在开发中遇到一些问题备忘一下 1：content_by_lua中代码容量有限制，一般不要写太多代码，正常编写代码一般在100行左右（具体容量没有细心测哈哈，在4kb左右），如果超出了则重启nginx的时候会报 too long pa
  • java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。颠倒之后的栈为{5,4,3,2,1}，5处在栈顶 bylijinnan java
    import java.util.Stack; public class ReverseStackRecursive { /** * Q 66.颠倒栈。 * 题目：用递归颠倒一个栈。例如输入栈{1,2,3,4,5}，1在栈顶。 * 颠倒之后的栈为{5,4,3,2,1}，5处在栈顶。 *1. Pop the top element *2. Revers
  • 正确理解Linux内存占用过高的问题 cfyme linux
    Linux开机后，使用top命令查看，4G物理内存发现已使用的多大3.2G，占用率高达80%以上： Mem:   3889836k total,  3341868k used,   547968k free,   286044k buffers Swap:  6127608k total,&nb
  • [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题 comsci 工作流
         当我们的流程引擎进入IRC阶段的时候，当循环反馈模型出现之后，每次循环都会导致一大堆节点内存数据残留在系统内存中，循环的次数越多，这些残留数据将导致系统内存溢出，并使得引擎崩溃。。。。。。       而解决办法就是利用汇编语言或者其它系统编程语言，在引擎运行时，把这些残留数据清除掉。
  • 自定义类的equals函数 dai_lm equals
    仅作笔记使用 public class VectorQueue { private final Vector<VectorItem> queue; private class VectorItem { private final Object item; private final int quantity; public VectorI
  • Linux下安装R语言 datageek R语言 linux
    命令如下：sudo gedit  /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
  • 如何修改mysql 并发数(连接数)最大值 dcj3sjt126com mysql
    MySQL的连接数最大值跟MySQL没关系，主要看系统和业务逻辑了   方法一：进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可 　　方法二：MySQL的最大连接数默认是100客户端登录：mysql -uusername -ppass
  • 单一功能原则 dcj3sjt126com 面向对象的程序设计软件设计编程原则
    单一功能原则[ 编辑]     SOLID 原则 单一功能原则 开闭原则 Liskov代换原则 接口隔离原则 依赖反转原则 查   论   编 在面向对象编程领域中，单一功能原则（Single responsibility principle）规定每个类都应该有
  • POJO、VO和JavaBean区别和联系 fanmingxing VOPOJOjavabean
    POJO和JavaBean是我们常见的两个关键字，一般容易混淆，POJO全称是Plain Ordinary Java Object / Plain Old Java Object，中文可以翻译成：普通Java类，具有一部分getter/setter方法的那种类就可以称作POJO，但是JavaBean则比POJO复杂很多，JavaBean是一种组件技术，就好像你做了一个扳子，而这个扳子会在很多地方被
  • SpringSecurity3.X--LDAP：AD配置 hanqunfeng SpringSecurity
    前面介绍过基于本地数据库验证的方式，参考http://hanqunfeng.iteye.com/blog/1155226，这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证，权限依旧存储在本地数据库中】。   将配置文件中的如下部分删除： <!-- 认证管理器，使用自定义的UserDetailsService，并对密码采用md5加密-->
  • mac mysql 修改密码 IXHONG mysql
    $ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码（注意，这是第一次MySQL密码为空的时候的设置命令，如果是修改密码，还需在-
  • 设计模式--抽象工厂模式 kerryg 设计模式
    抽象工厂模式：     工厂模式有一个问题就是，类的创建依赖于工厂类，也就是说，如果想要拓展程序，必须对工厂类进行修改，这违背了闭包原则。我们采用抽象工厂模式，创建多个工厂类，这样一旦需要增加新的功能，直接增加新的工厂类就可以了，不需要修改之前的代码。     总结：这个模式的好处就是，如果想增加一个功能，就需要做一个实现类，
  • 评"高中女生军训期跳楼” nannan408
       首先，先抛出我的观点，各位看官少点砖头。那就是，中国的差异化教育必须做起来。    孔圣人有云：有教无类。不同类型的人，都应该有对应的教育方法。目前中国的一体化教育，不知道已经扼杀了多少创造性人才。我们出不了爱迪生，出不了爱因斯坦，很大原因，是我们的培养思路错了，我们是第一要“顺从”。如果不顺从，我们的学校，就会用各种方法，罚站，罚写作业，各种罚。军
  • scala如何读取和写入文件内容？ qindongliang1922 javajvmscala
    直接看如下代码： package file import java.io.RandomAccessFile import java.nio.charset.Charset import scala.io.Source import scala.reflect.io.{File, Path} /** * Created by qindongliang on 2015/
  • C语言算法之百元买百鸡 qiufeihu c算法
    中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”，鸡翁一，值钱五，鸡母一，值钱三，鸡雏三，值钱一，百钱买百鸡，问翁，母，雏各几何？ 代码如下： #include <stdio.h> int main() { int cock,hen,chick; /*定义变量为基本整型*/ for(coc
  • Hadoop集群安全性：Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode wyz2009107220 NameNode
    正如大家所知，NameNode在Hadoop系统中存在单点故障问题，这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理：Secondary NN会定期的从NN中读取editlog，与自己存储的Image进行合并形成新的metadata image 优点：Hadoop较早的版本都自带，
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他