zcc_0015
zcc_0015

hadoop在put数据时，出现org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException 分析

org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException: Not replicated yet:/nnThroughputBenchmark/addblock/AddblockBenchDir0/AddblockBench0
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1350)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:400)
    at org.apache.hadoop.hdfs.NNThroughputBenchmark.addBlocks(NNThroughputBenchmark.java:1228)
    at org.apache.hadoop.hdfs.NNThroughputBenchmark.testAddBlcok(NNThroughputBenchmark.java:1216)
    at org.apache.hadoop.hdfs.NNThroughputBenchmark.main(NNThroughputBenchmark.java:1247)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
    at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:141)
    at org.apache.hadoop.test.AllTestDriver.main(AllTestDriver.java:90)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:165)
    at org.apache.hadoop.mapred.JobShell.run(JobShell.java:54)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.mapred.JobShell.main(JobShell.java:68)

     NotReplicatedYetException这个异常是在写文件过程中新分配一个数据块getAdditionalBlock()时调用checkFileProgress(pendingFile, false)检查文件的倒数第二个数据块的副本数是否达到系统安全副本数要求，不达到则抛NotReplicatedYetException。

     checkFileProgress(pendingFile, true)还会在写完文件关闭时completeFileInternal()调用，对文件的所有数据块进行检查，若有文件有数据块的副本数少于安全要求则返回CompleteFileStatus.STILL_WAITING状态；

     下面主要对写文件过程新分配数据块的流程进行分析：

     1，Namenode在命名空间新建一个INode节点；

     2，为新数据块选DN位置location返回Client，检查文件的倒数第二个数据块副本数是否达到安全要求，否则抛NotReplicatedYetException（当然第一个数据块跳过这样的检查）；

     3，Client写pipeline；

     4，pipeline上DN的PacketResponder线程等待下一级的ack，在成功接受完一个数据块后finalizeBlock，调用addBlock添加到volumeMap，之后在offerService()向NN上报告知已经存好到这个数据块了；

     5，NN处理blockReceived()；

     6，有新数据块则继续步骤2；

 

你可能感兴趣的:(hadoop,hdfs,put操作)

  • 如何配置虚拟机的IP上网 嘟嘟嘟嘟嘟嘟嘟. 虚拟机
    要配置虚拟机的IP地址以便上网，你可以按照以下步骤操作：打开虚拟机软件，确保虚拟机的网络设置为“桥接模式”或“NAT模式”，这样虚拟机可以与物理网络连接。在虚拟机操作系统中，打开网络设置界面，一般在控制面板或系统设置中可以找到网络设置选项。在网络设置中，选择手动配置IP地址（静态IP）或自动获取IP地址（动态IP）的方式，具体取决于你的网络环境和需求。如果选择手动配置IP地址，输入需要的IP地址、
  • PyCharm极速安装指南：3分钟掌握Python开发环境 三流搬砖艺术家 pythonpythonpycharmide
    目录为什么选择PyCharm？️准备工具步骤一：下载安装包⚙️步骤二：安装配置步骤三：首次启动配置步骤四：创建第一个项目效率优化技巧❗常见问题排雷社区版vs专业版为什么选择PyCharm？✅智能代码补全：媲美IDE的语法高亮与提示✅跨平台支持：Windows/macOS/Linux全兼容✅插件生态丰富：支持Web开发、数据分析等场景✅社区版免费：无功能限制，个人开发者首选️准备工具操作系统：Win
  • ‌Tomcat 8.0.12安装流程 小魚資源大雜燴 tomcatjavalinux
    需要确保系统已经安装了JavaDevelopmentKit(JDK)7或更高版本。可以通过以下命令检查Java是否安装以及版本信息：shjava-version如果未安装Java，需要先下载并安装适合你操作系统的JDK。Windows系统安装流程步骤1：下载Tomcat8.0.12打开浏览器，访问ApacheTomcat的存档页面：https://archive.apache.org/dist/t
  • 构建神经网络之sklearn（完善） 邪恶的贝利亚 神经网络sklearn机器学习
    1.数据预处理1.缺失值importpandasaspd#假设我们有一个DataFramedfprint(df.isnull().sum())#查看每一列缺失值的数量数值型数据：fromsklearn.imputeimportSimpleImputer#对于数值型数据，使用均值填充imputer=SimpleImputer(strategy='mean')#可选：'mean','median','
  • Http、tcp、https、socket、tomcat、长短连接等总结回顾 SJLoveIT httptcp/iphttps
    （1）关于http、tcp的长短连接问题tcp是没有所谓长连接的概念的。tcp经过三次握手就已经建立了一个连接，这个所谓建立了一个连接就是两边操作系统层面都已经建立了socket，都准备好了相应的缓冲区等。socket是啥呢？socket其实就是操作系统提供tcp连接的接口。比如tcp的可能有第一次握手的方法，是C语言写的，比如就叫syn方法，对应第一次握手，也就是客户端发一个syn位置1的tcp
  • 基于 ‌MySQL 数据库‌对三级视图（用户视图、DBA视图、内部视图）的详细解释 huaqianzkh 架构理解与实践数据库mysqldba
    基于‌MySQL数据库‌对三级视图（用户视图、DBA视图、内部视图）的详细解释，结合理论与实际操作说明：一、三级视图核心概念数据库的三级视图是ANSI/SPARC体系结构的核心思想，MySQL的实现逻辑如下：‌层级‌‌别称‌‌核心内容‌‌MySQL中的体现‌‌用户视图‌外模式/子模式用户看到的数据逻辑结构用户权限内的表、视图、可操作字段‌DBA视图‌概念模式/逻辑模式全局逻辑结构、表关系、约束in
  • GitHub入门指南：从零开始掌握代码协作平台 The god of big data 神器？三叉戟？教程github
    GitHub是全球最大的代码托管平台，拥有超过1亿开发者的庞大社区。作为现代软件开发的核心工具，掌握GitHub的使用已成为程序员的必备技能。本文将从基础操作到协作流程，手把手教你快速上手这个强大的开发平台。一、前期准备1.注册GitHub账号访问github.com点击"Signup"创建免费账户，建议：使用专业用户名（如公司/项目名+姓名）验证邮箱确保账号安全启用双重认证（2FA）2.安装Gi
  • 教程 | 在 Linux 环境中安装 Docker（含2025最新镜像站加速，实测可用） The god of big data 大Big数据Data容器那点事儿教程linuxdocker运维
    在Linux环境中安装Docker的完整教程Docker是一种流行的容器化平台，可帮助用户快速构建、部署和运行应用程序。本教程将指导您如何在常见的Linux发行版（Ubuntu/Debian、CentOS/Fedora）上安装Docker。准备工作系统要求64位Linux系统（内核3.10或更高版本）。确保已安装curl或wget工具。以root用户或具有sudo权限的用户执行以下操作。卸载旧版本
  • git 多分支管理 大丈夫在世当日食一鲲 GITgit
    Git多分支管理是团队协作和复杂项目开发的核心实践，通过合理利用分支机制可以实现并行开发、版本控制和代码稳定性：一、分支管理基础概念与操作分支的创建与切换创建分支：使用gitbranch基于当前提交创建新分支，例如gitbranchfeature/user-auth。快速切换：通过gitcheckout或gitswitch切换上下文，建议在开发新功能前创建独立分支以避免污染主分支。分支命名规范：推
  • OpenCV Python 版使用教程（三）摄像头读取延迟解决方法 tianchengwang opencvopencvpython人工智能
    文章目录一、上篇回顾二、产生原因三、解决方法1.cap.grab()方法2.多线程法总结一、上篇回顾在上一篇中，简单介绍了如何使用OpenCV操作摄像头，本期来讲在摄像头读取时，可能会出现画面延迟的解决方法。二、产生原因OpenCV在读取的时候，会将视频流放在缓冲区中，然后每次调用的时候，会从缓冲区内读取视频帧。虽然说大多数情况难以出现写入缓冲区远大于读取缓冲区的速度，但是当设备出现性能瓶颈，尤其
  • 828华为云征文 | 使用Flexus云服务器X实例部署GLPI资产管理系统 降世神童 高级IT运维技术专栏华为云nginxmysql
    828华为云征文|使用Flexus云服务器X实例部署GLPI资产管理系统1.部署环境说明2.部署基础环境2.1.操作系统基本配置2.2.部署Nginx2.3.部署MySQL2.4.部署PHP3.部署GLPI资产管理系统1.部署环境说明  本次环境选择使用华为云Flexus云服务器X实例，因为其具有高性能的计算能力、灵活的资源配置、稳定的运行环境、高效的网络访问速度、服务的高可用性保证以及多层次的数
  • Python NumPy 深度解析：科学计算的得力助手 tekin Python高阶工坊pythonnumpy科学计算
    PythonNumPy深度解析：科学计算的得力助手在Python数据科学和科学计算领域，NumPy是一个核心且基础的库。它提供了强大的多维数组对象以及用于处理这些数组的各种工具，包括高效的数学运算、线性代数操作、随机数生成等功能。本文将全方位详细介绍NumPy，从数组的创建、操作到高级应用，深入探讨索引和切片操作、广播机制等重要特性，还会对NumPy与其他可选计算方式进行比较，帮助读者深入理解并掌
  • GD32F4xx SD卡读写及FATFS移植记录 madao1024 GD32F4xxMCUGD32F4xxSDIOFATFS
      最近调试了一下GD32F450Z的SDIO接口，读写microSD卡并移植了FATFS调试过程记录如下，调试时使用的是16GBKingstonTF卡。说一下思路：分3步实现1、从资料中首先学习一下SDIO接口的相关内容；2、根据例程调通SDcard的读写驱动程序；3、最后移植FATFS文件系统，文件系统来操作SD卡。目录1、GD32F4xxSDIO接口2、GD32F4xxSDIO驱动3、FAT
  • 鸿蒙轻内核M核源码分析系列二一 05 文件系统FatFS 愿天堂没有996 OpenHarmony鸿蒙内核移动开发harmonyos鸿蒙开发移动开发鸿蒙内核LiteOS-M鸿蒙源码轻内核
    3、LiteOS-MFATFS的文件系统操作接口快速记录下各个操作接口，对每个接口的用途用法不再描述。可以参考之前的系列文章，《鸿蒙轻内核M核源码分析系列十九MuslLibC》中介绍了相关的接口，那些接口会调用VFS文件系统中操作接口，然后进一步调用FatFS文件操作接口。3.1挂载和卸载操作先看下挂载操作，FatFS支持重新挂载操作。如果挂载选项包含MS_REMOUNT时，会调用函数Remoun
  • Spark核心算子对比：`reduceByKey`与`groupByKey`源码级解析及生产调优指南 数据大包哥 大数据spark分布式
    Spark核心算子对比：reduceByKey与groupByKey源码级解析及生产调优指南1.核心机制对比在Spark中，reduceByKey和groupByKey都是对键值对RDD（RDD[(K,V)]）进行聚合操作的高阶算子，但两者的底层实现和性能表现截然不同。特性reduceByKeygroupByKeyShuffle前预聚合✅启用（mapSideCombine=true）❌禁用（map
  • C语言-GPS经纬度数据提取 昇柱 C语言
    一帧数据：constcharinput[1024]="$GNGGA,084852.000,2236.9453,N,11408.4790,E,1,05,3.1,89.7,M,0.0,M,,*48$GNGLL,2236.9453,N,11408.4790,E,084852.000,A,A*4C$GPGSA,A,3,10,18,31,,,,,,,,,,6.3,3.1,5.4*3E$BDGSA,A,3,0
  • Completion TLP ：CplD和Cpl 昇柱 fpga开发
    术语定义用途特点CplD带数据的完成事务层包（CompletionwithData）响应读取请求（ReadRequest），将请求的数据返回给发起设备（Requester）。包含请求的数据和相关的状态信息，确保数据传输的完整性和可靠性。Cpl不带数据的完成事务层包（CompletionwithoutData）响应写入请求（WriteRequest）或其他不需要返回数据的操作，确认操作完成。不携带数
  • PHP Captcha实现图片验证码生成及识别（附源码） mayday1102 PHPphpcaptcha
    目录什么是Captchacomposer安装思路修改Captcha.php源码调用什么是CaptchaCAPTCHA（CompletelyAutomatedPublicTuringTesttoTellComputersandHumansApart）是区分计算机和人类的一种程序算法。composer安装composerrequirephp-quickorm/captcha思路由于原扩展基于sessi
  • 云计算 | 截止2022年现行云计算相关国家标准汇总 摄魂小怪兽 云计算
    截止2022年现行云计算相关国家标准汇总，详见下表。序号标准编号标准名称实施日期归口单位1GB/T40690-2021信息技术云计算云际计算参考架构2022-05-01全国信息技术标准化技术委员会2GB/T33780.4-2021基于云计算的电子政务公共平台技术规范第4部分：操作系统2021-11-01工业和信息化部（通信）3GB/T33780.5-2021基于云计算的电子政务公共平台技术规范第5
  • cursor 弹出在签出前，请清理仓库工作树 窗口 小丁学Java cursorcursor
    问题出现的背景：是因为我有两台电脑开发，提交后，另一个电脑的代码是旧的，这个时候我想拉取最新的代码，就会出现如下弹窗，因为这个代码暂存区有记录或者工作区有代码的修改，所以有冲突，我们只需要舍弃旧代码的记录，执行gitreset--hard以撤销所有未提交的更改。从图片来看，这是一个错误提示窗口，提示“在签出前，请清理仓库工作树。”这通常发生在你尝试使用Git进行签出（checkout）操作时，当前
  • 卷积这个词在卷积神经网络中应该怎么理解 abments 人工智能cnn深度学习计算机视觉
    卷积的定义数学概念：在数学上，卷积是一种操作，通常用于两个函数之间的运算。对于图像处理而言，这些函数通常是输入图像和一个称为“卷积核”或“滤波器”的小矩阵。在CNN中的应用：卷积操作是通过滑动窗口（卷积核）与输入数据进行点乘并求和来提取特征的。具体步骤定义卷积核：一个卷积核是一个小矩阵，通常为3x3、5x5等尺寸。卷积核中的每个值称为权重（weights），这些权重是通过训练过程优化得到的。滑动窗
  • 解析Linux中的系统安全及应用（二） 石头城云计算笔记 Linuxsu命令切换用户sudo机制提升权限PAM安全认证网络端口扫描弱口令检测
    各位小伙伴大家好，本次和大家分享的是Linux系统中的系统安全及应用的相关理论知识及操作。我将通过以下几点和相关的实验进行分析说明：（接上篇）五.使用su命令切换用户：1、用途及方法用途：SubstituteUser，切换用户格式：su-目标用户（bash环境）2、密码验证root→任意用户，不验证密码普通用户→其他用户，验证目标用户的密码[jerry@localhost~]$su-root（带-
  • Node.js 内置模块简介（带示例） 浪九天 node.jsnode.js开发语言前端
    目录1.fs（文件系统）模块2.http模块3.path模块4.os模块5.events模块6.crypto模块1.fs（文件系统）模块fs模块提供了与文件系统进行交互的功能，包括文件的读写、删除、重命名等操作。它有同步和异步两种操作方式，异步操作能避免阻塞事件循环，在处理大量文件或高并发场景中更常用。示例：异步读取文件内容constfs=require('fs');//异步读取文件fs.read
  • python学习笔记——三元操作符 面向对象的邓老凉茶 python
    三元操作符三元操作符的基本格式为：result=xifx<yelsey其中，x<y为判断语句。若x<y为真则result=x，否则result=y。
  • python中httpx库的详细使用及案例 数据知道 2025年爬虫和逆向教程pythonhttpx开发语言爬虫
    文章目录1.安装httpx2.同步请求3.异步请求4.高级功能5.错误处理6.配置客户端7.结合BeautifulSoup使用8.示例：抓取并解析网页9.注意事项httpx是一个现代化的PythonHTTP客户端库，支持同步和异步请求，功能强大且易于使用。它比requests更高效，支持HTTP/2和异步操作。以下是httpx的详细使用方法：1.安装httpx首先，确保已经安装了httpx。可以通
  • 深度学习模型可视化：通俗易懂的全面解读 Crazy learner 模型部署深度学习人工智能
    目录1.什么是深度学习模型可视化？2.张量（Tensors）：深度学习中的核心数据结构3.常见的节点操作**Gather**操作**Transpose**操作**Pow**操作**Add**操作**Mix**操作4.查看模型详情5.可视化工具总结在深度学习领域，理解模型内部的工作原理对于优化、调试和改进模型至关重要。随着神经网络的复杂性日益增加，开发者和研究人员逐渐意识到，可视化不仅是理解模型的一
  • python网格交易法详解_什么是网格交易？一文教会你网格交易策略 weixin_39793319 python网格交易法详解
    一、网格交易法设定价值中枢，利用“档位”的模式对投资标的进行机械式操作，下跌时，进行分档买入，上涨时，进行分档卖出。网格法由于不依赖人为的思考,完全是一种程序行为,像渔网一样,利用行情的波动在网格区间内低买高卖，可以合理控制仓位，避免追涨杀跌,拥有较强的抗风险能力。例如国外一个经典的仓位管理系统，某只蓝筹股现价10元，本金是20万。则第一次买入10万元，另外每下跌1元买入1万元，每上涨1元卖出1万
  • 【Python学习之路】——Day20（Django 下） weixin_30758821 数据库pythonjavascriptViewUI
    Model到目前为止，当我们的程序涉及到数据库相关操作时，我们一般都会这么搞：创建数据库，设计表结构和字段使用MySQLdb来连接数据库，并编写数据访问层代码业务逻辑层去调用数据访问层执行数据库操作importMySQLdbdefGetList(sql):db=MySQLdb.connect(user='root',db='wupeiqidb',passwd='1234',host='localh
  • Linux基础知识：操作系统概述、常用命令、文件系统及Shell脚本入门与进阶 一碗黄焖鸡三碗米饭 Linux探索与实践linux运维服务器
    Linux基础知识：操作系统概述、常用命令、文件系统及Shell脚本入门与进阶Linux操作系统因其开源、稳定和高效的特点，广泛应用于各类服务器、嵌入式系统及开发环境中。对于开发者或系统管理员来说，掌握Linux的基础知识是必不可少的。本文将深入探讨Linux操作系统概述、常用命令的讲解、文件系统结构与权限管理，以及Shell脚本的入门与进阶，帮助你更好地理解和使用Linux。一、Linux操作系
  • sharpGL绘制球体 苜柠 SharpGLc#
    OpenGLgl=openGLControl1.OpenGL; //画二次曲面球体绘制过程 //OpenGL的状态记录与恢复的操作，就需要PushMatrix和PopMatrix两个函数。 gl.PushMatrix(); //绘制二次曲面 varsphere=gl.NewQuadric(); //设置二次却面绘制风格。gluQuadricDrawStyle。一般都是选用GLU_FILL风格，采用
  • java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs javajdk
    好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
  • IT人应当知道的10个行业小内幕 beijingjava 工作互联网
    10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。 　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。 　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
  • java 实现自定义链表 CrazyMizzz java数据结构
    1.链表结构   链表是链式的结构 2.链表的组成    链表是由头节点，中间节点和尾节点组成    节点是由两个部分组成：       1.数据域       2.引用域 3.链表的实现 &nbs
  • web项目发布到服务器后图片过一会儿消失 麦田的设计者 struts2上传图片永久保存
      作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
  • CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniterCart框架　
    今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。 在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
  • linux回收站 _wy_ linux回收站
    今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。     后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
  • jquery回到页面顶端 知了ing htmljquerycss
    html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
  • B树、B-树、B+树、B*树 矮蛋蛋 B树
    原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树        即二叉搜索树：        1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
  • 数据库连接池 alafqq 数据库连接池
    http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼 数据库连接池 用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
  • java泛型 百合不是茶 java泛型
    泛型 在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患   泛型的特点：消除强制转换 确保类型安全 向后兼容   简单泛型的定义：      泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
  • javascript闭包[两个小测试例子] bijian1013 JavaScriptJavaScript
    一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
  • 探索JUnit4扩展：假设机制（Assumption） bijian1013 javaAssumptionJUnit单元测试
    一.假设机制（Assumption）概述        理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
  • 【Gson四】范型POJO的反序列化 bit1129 POJO
    在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO   import com.google.gson.Gson; import java.
  • 【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
    几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
  • NGINX + LUA实现复杂的控制 ronin47 nginx lua
    安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
  • java-递归判断数组是否升序 bylijinnan java
    public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
  • Netty源码学习-DefaultChannelPipeline2 bylijinnan javanetty
    Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”： 如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB） 来
  • Java工具之JPS chinrui java
    JPS使用     熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
  • window.print分页打印 ctrain window
    function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
  • 安装hadoop时 执行jps命令Error occurred during initialization of VM daizj jdkhadoopjps
    在安装hadoop时，执行JPS出现下面错误   [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
  • PHP开发大型项目的一点经验 dcj3sjt126com PHP重构
    一、变量 最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。 二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
  • android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
    使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
  • linux复习笔记 之bash shell (3) 通配符 eksliang linux 通配符linux通配符
    转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。 下面列出一些常用的通配符，如下表所示 符号 意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
  • Android关于短信加密 gqdy365 android
    关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）：     1、因为Android有短信收发接口，可以调用接口完成短信收发；         发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
  • asp.net在网站根目录下创建文件夹 hvt .netC#hovertreeasp.netWeb Forms
    假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
  • 一个合格的程序员应该读过哪些书 justjavac 程序员书籍
    编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本， 你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是推荐数
  • 单实例实践 跑龙套_az 单例
       1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
  • PO VO BEAN 理解 q137681467 VODTOpo
    PO：      全称是 persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。 好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。     BO：     全称是 business object:业务对象 主要作用是把业务逻辑封装为一个对象。这个对
  • 战胜惰性，暗自努力 金笛子 努力
    偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？ 我有个朋友是搞技术的，平时嘻嘻哈哈，以
  • NDK/JNI二维数组多维数组传递 wenzongliang 二维数组jniNDK
    多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组 用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他