zcc_0015
zcc_0015

hadoop在put数据时，出现org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException 分析

org.apache.hadoop.hdfs.server.namenode.NotReplicatedYetException: Not replicated yet:/nnThroughputBenchmark/addblock/AddblockBenchDir0/AddblockBench0
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1350)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:400)
    at org.apache.hadoop.hdfs.NNThroughputBenchmark.addBlocks(NNThroughputBenchmark.java:1228)
    at org.apache.hadoop.hdfs.NNThroughputBenchmark.testAddBlcok(NNThroughputBenchmark.java:1216)
    at org.apache.hadoop.hdfs.NNThroughputBenchmark.main(NNThroughputBenchmark.java:1247)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
    at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:141)
    at org.apache.hadoop.test.AllTestDriver.main(AllTestDriver.java:90)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:165)
    at org.apache.hadoop.mapred.JobShell.run(JobShell.java:54)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
    at org.apache.hadoop.mapred.JobShell.main(JobShell.java:68)

     NotReplicatedYetException这个异常是在写文件过程中新分配一个数据块getAdditionalBlock()时调用checkFileProgress(pendingFile, false)检查文件的倒数第二个数据块的副本数是否达到系统安全副本数要求，不达到则抛NotReplicatedYetException。

     checkFileProgress(pendingFile, true)还会在写完文件关闭时completeFileInternal()调用，对文件的所有数据块进行检查，若有文件有数据块的副本数少于安全要求则返回CompleteFileStatus.STILL_WAITING状态；

     下面主要对写文件过程新分配数据块的流程进行分析：

     1，Namenode在命名空间新建一个INode节点；

     2，为新数据块选DN位置location返回Client，检查文件的倒数第二个数据块副本数是否达到安全要求，否则抛NotReplicatedYetException（当然第一个数据块跳过这样的检查）；

     3，Client写pipeline；

     4，pipeline上DN的PacketResponder线程等待下一级的ack，在成功接受完一个数据块后finalizeBlock，调用addBlock添加到volumeMap，之后在offerService()向NN上报告知已经存好到这个数据块了；

     5，NN处理blockReceived()；

     6，有新数据块则继续步骤2；

 

你可能感兴趣的:(hadoop,hdfs,put操作)

  • MNIST数据集&手写数字识别 Zoro｜ kerastensorflow人工智能机器学习
    TensorFlow是一个开源的机器学习框架，由Google开发并发布。它提供了一种基于数据流图的编程模型，用于构建和训练机器学习模型。TensorFlow的核心概念是张量（Tensor）和流图（Graph）。张量是TensorFlow中的基本数据单位，可以理解为多维数组，可以是标量、向量、矩阵或更高维度的数组。流图是由一系列操作（Operation）和张量组成的。操作定义了计算和转换张量的方式。
  • How Spark Read Sftp Files from Hadoop SFTP FileSystem IT•轩辕 CloudyComputationsparkhadoop大数据
    GradleDependenciesimplementation('org.apache.spark:spark-sql_2.13:3.5.3'){excludegroup:"org.apache.logging.log4j",module:"log4j-slf4j2-impl"}implementation('org.apache.hadoop:hadoop-common:3.3.4'){exc
  • C#运算符与表达式详解 AitTech C#c#算法开发语言
    在C#编程中，运算符和表达式是构建复杂逻辑和处理数据的关键元素。以下是对C#运算符与表达式的详细解析：一、运算符运算符是一种特殊的符号，用于执行各种数学、逻辑和其他操作。C#中的运算符可以分为以下几类：算术运算符：+：加法运算符，用于将两个数值相加。-：减法运算符，用于将一个数值减去另一个数值。*：乘法运算符，用于将两个数值相乘。/：除法运算符，用于将一个数值除以另一个数值。%：取模运算符，用于获
  • 5G时代新基建：边缘节点如何将云计算响应速度提升300%“ 云上的阿七 5G云计算
    随着5G技术的普及，云计算正在迈向一个全新的阶段。传统云计算模式虽然提供了强大的算力和存储能力，但由于数据中心与用户终端的物理距离，网络时延问题始终是一个挑战。为了解决这一问题，边缘计算应运而生，并成为5G时代新基建的重要组成部分。本文将探讨边缘节点如何结合5G技术，将云计算响应速度提升300%，为企业和用户带来更流畅的数字体验。边缘计算的核心优势边缘计算（EdgeComputing）是一种分布式
  • 蓝易云 - 【C++STL基础入门】string类的基础使用 蓝易云 c++javalinuxokhttp开发语言架构
    C++的STL（标准模板库）中的string类是用于操作字符串的重要工具。以下是string类的基础使用方法：包含头文件：首先，要使用string类，需要包含头文件。定义和初始化：可以通过以下方式定义和初始化string对象：stringstr1;//默认构造函数，创建空字符串stringstr2="Hello,world!";//使用字符串字面量初始化stringstr3(str2);//使用另
  • 蓝桥杯新手算法练习题单|冲击国一(三) 小咖拉眯 蓝桥杯蓝桥杯java数据结构算法dfsbfs
    此题单为算法基础精选题单，包含蓝桥杯常考考点以及各种经典算法，可以帮助你打牢基础，查漏补缺。本题单目标是冲击蓝桥杯省一国一，团体程序天梯赛个人国三、XCPC区域赛铜/银奖前言本次题单重点关注模拟类问题，DFS问题，BFS问题目录模拟类题型一、最大子矩阵二、世纪末的星期三、图像相似度四、操作系统DFS题型五、老子的全排列呢六、皇后问题七、池塘BFS题型八、迷宫九、八数码问题十、字符变换一、最大子矩阵
  • 中电金信25/3/18面前笔试（需求分析岗+数据开发岗） 苍曦 需求分析前端javascript
    部分相同题目在第二次数据开发岗中不做解析，本次解析来源于豆包AI，正确与否有待商榷，本文只提供一个速查与知识点的补充。一、需求分析第1题，单选题,Hadoop的核心组件包括HDFS和以下哪个？MapReduceSparkStormFlink解析：Hadoop的核心组件是HDFS（分布式文件系统）和MapReduce（分布式计算框架）。Spark、Storm、Flink虽然也是大数据处理相关技术，但
  • flutter TextField 限制输入长度 冬无雪 flutterandroidstudio
    限制TextField的输入长度需要inputFormatters的属性及属性值：LengthLimitingTextInputFormatter(6)如下：TextField(inputFormatters:[WhitelistingTextInputFormatter.digitsOnly,//只允许输入数字LengthLimitingTextInputFormatter(6)],)其他的属性
  • Flink实践：通过Flink SQL进行SFTP文件的读写操作 kkk1622245 flinksql大数据
    在大数据处理领域，ApacheFlink出类拔萃，它是一个高性能、易扩展、用于处理有界和无界数据流的分布式处理引擎。FlinkSQL是ApacheFlink提供的一种声明式API，允许开发者以SQL的形式，轻松实现复杂的数据流和批处理分析。本文将重点探讨如何通过FlinkSQL来实现对SFTP文件的读写操作，这是在实际应用中经常遇到的一种场景。Flink与SFTP文件的读写在很多实际应用场景中，数
  • 3.4 C#的运算符和表达式详解（运算符优先级、算术运算符、逻辑运算符……） Argonaut春 从零开始学cc#javaandroid运算符表达式
    文章目录C#的运算符和表达式3.4.1运算符与表达式类型1.算术运算符与算术表达式2.字符串运算符与字符串表达式3.关系运算符与关系表达式4.逻辑运算符与逻辑表达式5.条件运算符与条件表达式6.赋值运算符与赋值表达式3.4.2运算符的优先级与结合性1.运算符的优先级2.结合性示例代码C#的运算符和表达式运算符大致分为3类：一元运算符，包括前缀运算符和后缀运算符，用于处理一个操作数二元运算符，使用时
  • Laravel框架下通过DB获取数据并转为数组的方法 kkk1622245 数据库laraveloracle
    在Laravel框架中，获取数据库信息并将其转换为数组是一种常见的操作，特别是在处理数据导出、API响应等场景中。Laravel提供了简洁而强大的数据库抽象层，旨在简化这类操作。接下来，我们将探讨几种在Laravel中通过数据库抽象层（DBFacade）获取数据并转换为数组的方法。使用DBFacadeLaravel的DBfacade提供了直接访问数据库的功能。你可以执行查询并获得结果，然后轻松地将
  • 实现音视频录制功能鸿蒙示例代码
    本文原创发布在华为开发者社区。介绍本示例基于AVRecorder实现音视频录制，包括开始录制、暂停、结束、上一个等几乎所有录制音视频的基本操作。实现音视频录制功能源码链接效果预览使用说明打开应用，展示视频录制和音频录制两个按钮。点击视频录制即可录制视频，并会保存视频。点击音频录制按钮即可开始录制音频，并会保留音频文件，点击文件可以进行播放。实现思路构建音频录制页面构造setAudioRecorde
  • C语言的数据：变量、常量、数据类型及其使用 c++
    目录引言变量与常量1.1变量1.2常量数据类型关键字C语言基本数据类型3.1整型（int）3.1.1定义与含义3.1.2内存占用和取值范围3.1.3声明和初始化3.1.4运算操作3.1.5实际应用场景3.2浮点型（float和double）3.2.1定义与含义3.2.2内存占用和取值范围3.2.3声明和初始化3.2.4运算操作3.2.5实际应用场景3.3字符型（char）3.3.1定义与含义3.3
  • C++数据结构 数组加链表 哈儿1号 数据结构C++c++
    #includeusingnamespacestd;//对于线性表有必要执行的操作：//创建，撤销//确定线性表是否为空//确定线性表的长度//按索引查找一个元素//按元素查找索引。//按索引删除元素//按索引插入元素//从左到右的顺序输出线性表元素//这是个老祖宗templateclasslinearList{public:virtual~linearList(){};virtualboolem
  • 深度学习五大模型：CNN、Transformer、BERT、RNN、GAN详细解析 深度学习
    卷积神经网络（ConvolutionalNeuralNetwork,CNN）原理：CNN主要由卷积层、池化层和全连接层组成。卷积层通过卷积核在输入数据上进行卷积运算，提取局部特征；池化层则对特征图进行下采样，降低特征维度，同时保留主要特征；全连接层将特征图展开为一维向量，并进行分类或回归计算。CNN利用卷积操作实现局部连接和权重共享，能够自动学习数据中的空间特征。适用场景：广泛应用于图像处理相关的
  • PHP入门教程3：数组和字符串操作 Evaporator Core #php程序设计经验phpandroid开发语言
    PHP入门教程3：数组和字符串操作在前两篇文章中，我们学习了PHP的基础语法、控制结构和函数的使用。本文将重点介绍数组和字符串的高级操作，这些是PHP编程中非常常见且重要的内容。本文将包含以下几个部分：数组的类型和操作多维数组数组函数字符串操作字符串函数1.数组的类型和操作数组是一种可以存储多个值的数据结构。PHP中有三种类型的数组：索引数组、关联数组和多维数组。索引数组索引数组是用数字索引的数组
  • 服务器数据恢复—服务器raid5阵列中多块硬盘故障离线的数据恢复案例 数据恢复
    服务器数据恢复环境&故障：某公司一台服务器，服务器上有一组由8块硬盘组建的raid5磁盘阵列。磁盘阵列中2块硬盘的指示灯显示异常，其他硬盘指示灯显示正常。上层应用不可用。服务器数据恢复过程：1、将服务器中所有硬盘编号后取出，经过硬件工程师的检测发现2块异常硬盘磁头损坏。将完好的硬盘以只读方式进行全盘镜像，将2块存在坏道的硬盘进行更换磁头后镜像。后续的数据分析和数据恢复操作都基于镜像文件进行，避免对
  • 【操作系统之对换技术详解】 武帝为此 操作系统服务器网络
    文章目录一、前言二、对换技术的原理1.什么是对换（Swapping）？2.为什么需要对换？三、对换的工作过程1️⃣内存不足，触发对换2️⃣将内存中的数据写入磁盘3️⃣释放内存4️⃣数据交换回内存四、对换与分页的区别五、对换的优缺点✅优点：❌缺点：六、现代操作系统中的对换✅1️⃣LinuxSwap分区✅2️⃣Windows虚拟内存七、总结一、前言在操作系统中，对换（Swapping）是一种将内存与磁
  • CAPL系统事件-01 on preStart 正当少年 CAPLCAPL
    在CAPL（CANAccessProgrammingLanguage）中，onpreStart事件是一个特殊的事件处理程序，用于在仿真节点（SimulationNode）启动之前执行特定的初始化操作。这个事件通常用于设置仿真环境的初始状态、初始化变量、配置总线参数等。1.onpreStart事件的基本功能触发时机：在仿真节点启动之前触发。主要用途：初始化变量和信号。配置总线参数（如波特率、通道模式
  • C++核心编程手册 易方达蓝筹 Cor计算机网络c++开发语言后端
    C++核心编程本阶段主要针对C++面向对象编程技术做详细讲解，探讨C++中的核心和精髓。1内存分区模型C++程序在执行时，将内存大方向划分为4个区域代码区：存放函数体的二进制代码，由操作系统进行管理的全局区：存放全局变量和静态变量以及常量栈区：由编译器自动分配释放,存放函数的参数值,局部变量等堆区：由程序员分配和释放,若程序员不释放,程序结束时由操作系统回收内存四区意义：不同区域存放的数据，赋予不
  • Java入门第72课——String字符串基本操作 猴子学编程 Java零基础课程Java字符串StringStringBuilder
    1.1String及其常用API1.1.1String是不可变对象·java.lang.String使用了final修饰，不能被继承；·字符串底层封装了字符数组及针对字符数组的操作算法；·字符串一旦创建，对象永远无法改变，但字符串引用可以重新赋值；·Java字符串在内存中采用Unicode编码方式，任何一个字符对应两个字节的定长编码。1.1.2String常量池·Java为了提高性能，静态字符串(
  • 使用 jQuery 实现一键复制功能 几度泥的菜花 jquery前端javascript
    在现代Web应用中，一键复制功能是一个常见的交互设计，能够显著提升用户体验。例如，在订单页面中，用户可以通过点击按钮快速复制订单号，避免了手动选择文本的繁琐操作。本文将详细讲解如何实现一键复制功能，并通过代码优化和用户体验改进，确保功能的稳定性和易用性。1.一键复制功能的核心逻辑一键复制功能的实现主要包括以下步骤：获取要复制的内容：从DOM元素中提取需要复制的文本。创建临时输入框：将文本放入一个临
  • 实现音视频录制功能鸿蒙示例代码
    本文原创发布在华为开发者社区。介绍本示例基于AVRecorder实现音视频录制，包括开始录制、暂停、结束、上一个等几乎所有录制音视频的基本操作。实现音视频录制功能源码链接效果预览使用说明打开应用，展示视频录制和音频录制两个按钮。点击视频录制即可录制视频，并会保存视频。点击音频录制按钮即可开始录制音频，并会保留音频文件，点击文件可以进行播放。实现思路构建音频录制页面构造setAudioRecorde
  • 融合AMD与NVIDIA GPU集群的MLOps：异构计算环境中的分布式训练架构实践
    在深度学习的背景下，NVIDIA的CUDA与AMD的ROCm框架缺乏有效的互操作性，导致基础设施资源利用率显著降低。随着模型规模不断扩大而预算约束日益严格，2-3年更换一次GPU的传统方式已不具可持续性。但是Pytorch的最近几次的更新可以有效利用异构计算集群，实现对所有可用GPU资源的充分调度，不受制于供应商限制。本文将深入探讨如何混合AMD/NVIDIAGPU集群以支持PyTorch分布式训
  • 《Operating System Concepts》阅读笔记：p389-p407 操作系统
    《OperatingSystemConcepts》学习第33天，p389-p407总结，总计19页。一、技术总结1.virtualmemeory(1)定义Atechniquethatallowstheexecutionofaprocessthatisnotcompletelyinmemory.Also,separationofcomputermemoryaddressspacefromphysic
  • 新手如何成为一名顶尖黑客？只需这十二个步骤轻松入门！ 网络安全淼叔 黑客渗透测试白帽黑客网络安全副业
    成为一名黑客的过程涉及不断学习和实践技术，既要掌握基础的计算机知识，也要具备足够的安全意识和道德责任感。以下是成为一名黑客的12个基本步骤，为小白提供系统的入门指导。对于从来没有接触过黑客的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。1.了解计算机基础要成为一名黑客，首先需要了解计算机硬件、操作系统和网络的基础。你需要理解计算机如何处
  • C++智能指针：从内存裸奔到安全驾驶（附保姆级代码示例） 灰灰的C旅程 随时随地C++C/C++c++安全开发语言
    大家好呀，我是灰灰，上期咱们聊完引用，不少小伙伴在评论区哭诉内存泄漏的惨痛经历。今天咱们就来解锁C++的"自动驾驶"神器——智能指针！从此告别new/delete的手动挡时代，系好安全带，发车啦！一、智能指针是什么？为什么需要它？1.1手动管理内存的痛void作死示例(){int*裸指针=newint[10086];//申请//...一顿操作猛如虎...if(rand()%2)return;//5
  • Java Stream 流的介绍 吱屋猪_ java
    介绍在Java8中，引入了StreamAPI，它为处理集合（如List、Set等）提供了一种更简洁、声明式的方式。Stream流的设计目标是支持对数据集合的高效操作，尤其是能够进行链式操作、并行处理等，极大地提升了代码的可读性和可维护性。本文将介绍JavaStream流的基础概念、常用操作以及如何利用Stream进行集合数据处理。1.什么是Stream流Stream是Java8引入的一个新的类，它
  • 深度学习框架PyTorch——从入门到精通（5）构建神经网络 Fansv587 Torch框架学习深度学习pytorch神经网络经验分享
    构建神经网络获取训练设备定义类模型层nn.Flattennn.Linearnn.ReLUnn.Sequentialnn.Softmax模型参数补充说明argmax神经网络是由一些层或者模块组成的，这些层和模块会对数据进行各种操作。在PyTorch里，torch.nn这个命名空间提供了你搭建自己神经网络所需要的所有基础组件。PyTorch里的每一个模块都是nn.Module类的子类。一个神经网络本身
  • 当 Selenium 的 click() /send_keys()等方法失效时：JavaScript 在 UI 自动化测试中的神奇用法 做测试的小薄 测试高阶seleniumjavascriptui自动化测试
    引言在使用Selenium进行WebUI自动化测试时，我们通常依赖Selenium提供的原生方法（如click()、send_keys()等）来操作页面元素。然而，在某些复杂场景下，这些方法可能会失效。例如：元素被遮挡或隐藏。页面加载延迟导致元素无法正常交互。某些特殊的动态行为无法通过Selenium原生方法触发。这时，JavaScript就成为了我们的“救星”。通过driver.execute_
  • java Illegal overloaded getter method with ambiguous type for propert的解决 zwllxs javajdk
    好久不来iteye,今天又来看看，哈哈,今天碰到在编码时，反射中会抛出 Illegal overloaded getter method with ambiguous type for propert这么个东东，从字面意思看，是反射在获取getter时迷惑了，然后回想起java在boolean值在生成getter时，分别有is和getter，也许我们的反射对象中就有is开头的方法迷惑了jdk，
  • IT人应当知道的10个行业小内幕 beijingjava 工作互联网
    10. 虽然IT业的薪酬比其他很多行业要好，但有公司因此视你为其“佣人”。 　　尽管IT人士的薪水没有互联网泡沫之前要好，但和其他行业人士比较，IT人的薪资还算好点。在接下的几十年中，科技在商业和社会发展中所占分量会一直增加，所以我们完全有理由相信，IT专业人才的需求量也不会减少。 　　然而，正因为IT人士的薪水普遍较高，所以有些公司认为给了你这么多钱，就把你看成是公司的“佣人”，拥有你的支配
  • java 实现自定义链表 CrazyMizzz java数据结构
    1.链表结构   链表是链式的结构 2.链表的组成    链表是由头节点，中间节点和尾节点组成    节点是由两个部分组成：       1.数据域       2.引用域 3.链表的实现 &nbs
  • web项目发布到服务器后图片过一会儿消失 麦田的设计者 struts2上传图片永久保存
      作为一名学习了android和j2ee的程序员，我们必须要意识到，客服端和服务器端的交互是很有必要的，比如你用eclipse写了一个web工程，并且发布到了服务器（tomcat）上，这时你在webapps目录下看到了你发布的web工程，你可以打开电脑的浏览器输入http://localhost:8080/工程/路径访问里面的资源。但是，有时你会突然的发现之前用struts2上传的图片
  • CodeIgniter框架Cart类 name 不能设置中文的解决方法 IT独行者 CodeIgniterCart框架　
    今天试用了一下CodeIgniter的Cart类时遇到了个小问题，发现当name的值为中文时，就写入不了session。在这里特别提醒一下。 在CI手册里也有说明，如下： $data = array( 'id' => 'sku_123ABC', 'qty' => 1, '
  • linux回收站 _wy_ linux回收站
    今天一不小心在ubuntu下把一个文件移动到了回收站，我并不想删，手误了。我急忙到Nautilus下的回收站中准备恢复它，但是里面居然什么都没有。     后来我发现这是由于我删文件的地方不在HOME所在的分区，而是在另一个独立的Linux分区下，这是我专门用于开发的分区。而我删除的东东在分区根目录下的.Trash-1000/file目录下，相关的删除信息（删除时间和文件所在
  • jquery回到页面顶端 知了ing htmljquerycss
    html代码： <h1 id="anchor">页面标题</h1> <div id="container">页面内容</div> <p><a href="#anchor" class="topLink">回到顶端</a><
  • B树、B-树、B+树、B*树 矮蛋蛋 B树
    原文地址： http://www.cnblogs.com/oldhorse/archive/2009/11/16/1604009.html B树        即二叉搜索树：        1.所有非叶子结点至多拥有两个儿子（Left和Right）； &nb
  • 数据库连接池 alafqq 数据库连接池
    http://www.cnblogs.com/xdp-gacl/p/4002804.html @Anthor:孤傲苍狼 数据库连接池 用MySQLv5版本的数据库驱动没有问题，使用MySQLv6和Oracle的数据库驱动时候报如下错误： java.lang.ClassCastException: $Proxy0 cannot be cast to java.sql.Connec
  • java泛型 百合不是茶 java泛型
    泛型 在Java SE 1.5之前，没有泛型的情况的下，通过对类型Object的引用来实现参数的“任意化”，任意化的缺点就是要实行强制转换，这种强制转换可能会带来不安全的隐患   泛型的特点：消除强制转换 确保类型安全 向后兼容   简单泛型的定义：      泛型：就是在类中将其模糊化，在创建对象的时候再具体定义 class fan
  • javascript闭包[两个小测试例子] bijian1013 JavaScriptJavaScript
    一.程序一 <script> var name = "The Window"; var Object_a = { 　　name : "My Object", 　　getNameFunc : function(){ var that = this; 　　　　return function(){ 　　　　
  • 探索JUnit4扩展：假设机制（Assumption） bijian1013 javaAssumptionJUnit单元测试
    一.假设机制（Assumption）概述        理想情况下，写测试用例的开发人员可以明确的知道所有导致他们所写的测试用例不通过的地方，但是有的时候，这些导致测试用例不通过的地方并不是很容易的被发现，可能隐藏得很深，从而导致开发人员在写测试用例时很难预测到这些因素，而且往往这些因素并不是开发人员当初设计测试用例时真正目的，
  • 【Gson四】范型POJO的反序列化 bit1129 POJO
    在下面这个例子中，POJO(Data类)是一个范型类，在Tests中，指定范型类为PieceData，POJO初始化完成后，通过 String str = new Gson().toJson(data); 得到范型化的POJO序列化得到的JSON串，然后将这个JSON串反序列化为POJO   import com.google.gson.Gson; import java.
  • 【Spark八十五】Spark Streaming分析结果落地到MySQL bit1129 Stream
    几点总结： 1. DStream.foreachRDD是一个Output Operation，类似于RDD的action，会触发Job的提交。DStream.foreachRDD是数据落地很常用的方法 2. 获取MySQL Connection的操作应该放在foreachRDD的参数（是一个RDD[T]=>Unit的函数类型)，这样，当foreachRDD方法在每个Worker上执行时，
  • NGINX + LUA实现复杂的控制 ronin47 nginx lua
    安装lua_nginx_module 模块 lua_nginx_module 可以一步步的安装，也可以直接用淘宝的OpenResty Centos和debian的安装就简单了。。 这里说下freebsd的安装： fetch http://www.lua.org/ftp/lua-5.1.4.tar.gz tar zxvf lua-5.1.4.tar.gz cd lua-5.1.4 ma
  • java-递归判断数组是否升序 bylijinnan java
    public class IsAccendListRecursive { /*递归判断数组是否升序 * if a Integer array is ascending,return true * use recursion */ public static void main(String[] args){ IsAccendListRecursiv
  • Netty源码学习-DefaultChannelPipeline2 bylijinnan javanetty
    Netty3的API http://docs.jboss.org/netty/3.2/api/org/jboss/netty/channel/ChannelPipeline.html 里面提到ChannelPipeline的一个“pitfall”： 如果ChannelPipeline只有一个handler（假设为handlerA）且希望用另一handler（假设为handlerB） 来
  • Java工具之JPS chinrui java
    JPS使用     熟悉Linux的朋友们都知道，Linux下有一个常用的命令叫做ps（Process Status)，是用来查看Linux环境下进程信息的。同样的，在Java Virtual Machine里面也提供了类似的工具供广大Java开发人员使用，它就是jps（Java Process Status)，它可以用来
  • window.print分页打印 ctrain window
    function init() { var tt = document.getElementById("tt"); var childNodes = tt.childNodes[0].childNodes; var level = 0; for (var i = 0; i < childNodes.length; i++) {
  • 安装hadoop时 执行jps命令Error occurred during initialization of VM daizj jdkhadoopjps
    在安装hadoop时，执行JPS出现下面错误   [slave16][email protected]:/tmp/hsperfdata_hdfs# jps Error occurred during initialization of VM java.lang.Error: Properties init: Could not determine current working
  • PHP开发大型项目的一点经验 dcj3sjt126com PHP重构
    一、变量 最好是把所有的变量存储在一个数组中，这样在程序的开发中可以带来很多的方便，特别是当程序很大的时候。变量的命名就当适合自己的习惯，不管是用拼音还是英语，至少应当有一定的意义，以便适合记忆。变量的命名尽量规范化，不要与PHP中的关键字相冲突。 二、函数 PHP自带了很多函数，这给我们程序的编写带来了很多的方便。当然，在大型程序中我们往往自己要定义许多个函数，几十
  • android笔记之--向网络发送GET/POST请求参数 dcj3sjt126com android
    使用GET方法发送请求 private static boolean sendGETRequest (String path, Map<String, String> params) throws Exception{ //发送地http://192.168.100.91:8080/videoServi
  • linux复习笔记 之bash shell (3) 通配符 eksliang linux 通配符linux通配符
    转载请出自出处： http://eksliang.iteye.com/blog/2104387 在bash的操作环境中有一个非常有用的功能，那就是通配符。 下面列出一些常用的通配符，如下表所示 符号 意义 * 万用字符，代表0个到无穷个任意字符 ? 万用字符，代表一定有一个任意字符 [] 代表一定有一个在中括号内的字符。例如：[abcd]代表一定有一个字符，可能是a、b、c
  • Android关于短信加密 gqdy365 android
    关于Android短信加密功能，我初步了解的如下（只在Android应用层试验）：     1、因为Android有短信收发接口，可以调用接口完成短信收发；         发送过程：APP（基于短信应用修改）接受用户输入号码、内容——>APP对短信内容加密——>调用短信发送方法Sm
  • asp.net在网站根目录下创建文件夹 hvt .netC#hovertreeasp.netWeb Forms
    假设要在asp.net网站的根目录下建立文件夹hovertree,C#代码如下： string m_keleyiFolderName = Server.MapPath("/hovertree"); if (Directory.Exists(m_keleyiFolderName)) { //文件夹已经存在 return; } else { try { D
  • 一个合格的程序员应该读过哪些书 justjavac 程序员书籍
    编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本， 你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是推荐数
  • 单实例实践 跑龙套_az 单例
       1、内部类 public class Singleton { private static class SingletonHolder { public static Singleton singleton = new Singleton(); } public Singleton getRes
  • PO VO BEAN 理解 q137681467 VODTOpo
    PO：      全称是 persistant object持久对象 最形象的理解就是一个PO就是数据库中的一条记录。 好处是可以把一条记录作为一个对象处理，可以方便的转为其它对象。     BO：     全称是 business object:业务对象 主要作用是把业务逻辑封装为一个对象。这个对
  • 战胜惰性，暗自努力 金笛子 努力
    偶然看到一句很贴近生活的话：“别人都在你看不到的地方暗自努力，在你看得到的地方，他们也和你一样显得吊儿郎当，和你一样会抱怨，而只有你自己相信这些都是真的，最后也只有你一人继续不思进取。”很多句子总在不经意中就会戳中一部分人的软肋，我想我们每个人的周围总是有那么些表现得“吊儿郎当”的存在，是否你就真的相信他们如此不思进取，而开始放松了对自己的要求随波逐流呢？ 我有个朋友是搞技术的，平时嘻嘻哈哈，以
  • NDK/JNI二维数组多维数组传递 wenzongliang 二维数组jniNDK
    多维数组和对象数组一样处理，例如二维数组里的每个元素还是一个数组 用jArray表示，直到数组变为一维的，且里面元素为基本类型，去获得一维数组指针。给大家提供个例子。已经测试通过。 Java_cn_wzl_FiveChessView_checkWin( JNIEnv* env,jobject thiz,jobjectArray qizidata) { jint i,j; int s
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他