AnswerLh
AnswerLh

分布式存储

目录

大数据技术

分布式存储原理

搭建集群的三种模式

伪分布式

完全分布式

高可用完全分布式

安全模式

各名词作用

NameNode

DataNode

SecondaryNameNode

zkfc

HDFS的读写流程

写的流程

读的流程

备份机制

权限

HDFS优缺点

大数据技术

  • 分布式存储
  • 分布式计算
  1. 分布式的批处理
    攒一段时间的数据，在未来的某一个时间来处理这批数据
  2. 分布式的流处理
    数据不需要攒，每产生一条数据，立马对这条数据进行处理，将结果推送前端页面存储到数据库中形成报表给老板
    eg:11.11天猫大屏幕    QQ实时在线分布情况
  3. 机器学习    包含深度学习（神经网络）
    机器学习是一门新兴技术，凡是预测类的工作需要用到机器学习

分布式存储原理

  • NameNode、 SecondaryNameNode、DataNode、block（最小存储单元）
  • 备份机制：解决数据安全
  • 权限
  • 安全模式
  • 读写流程

分布式存储_第1张图片

搭建集群的三种模式

 

伪分布式

主要用来测试环境

完全分布式

搭建教程

高可用完全分布式

搭建教程

安全模式

  1. 加载fsimage
  2. 如果edits内容不为空，则NameNode自己来合并
  3. 检查DataNode的健康情况
  4. 检查各个节点上的blcok块以及副本是否符合要求，如果不符合要求，指挥存储数据丢失的DN做备份。
  5. 如果DN挂掉，则指挥做备份

各名词作用

NameNode

掌控全局，管理DataNode以及元数据

管理元数据（存储在内存中）：

  • 文件的上传时间文件的上传时间
  • 权限
  • 文件属主
  • 上传文件的block数以及blockID
  • block的位置信息（由DataNode在集群启动时汇报，不会持久化）
  • DN的心跳信息
  • DN的位置信息

接受客户端的读写请求

收集DataNode汇报的block列表信息

NameNode保存的metedata信息包括：

  •  文件owership和permissions
  • 文件大小，时间
  • block列表：blockID
  • Block副本位置（由DataNode上报）


DataNode

  • 存储block模块
  • 接收客户端的读请求
  • 向active NN汇报心跳
  • 构建pipeline
  • 管理本机上的block元数据


SecondaryNameNode

NameNode元数据位于内存中，但是内存不稳定，所以将数据持久化到磁盘中

分布式存储_第2张图片
合并触发机制：

  • 超过3600毫秒
  • 如果edit文件超过64M
  • 合并流程

基于拉来的edits文件重演出产出元数据
将重演出的元数据合并到fsimage中
将合并后的fsimage推送给NN
将edits.new文件的后缀去掉
注意：并不是所有的元数据都会持久化：

除了block的位置信息，其他的元数据都互持久化（变动频率高变动大）
这样的话，当HDFS集群重启，namenode中的元数据就会有所缺失无法对外提供服务
解决：HDFS启动的时候，所有的DN都会向NN汇报当前节点的block信息


zkfc

监控各自的NameNode，将监控的情况汇报给ZK集群
接受zookeeper的选举结果，确认一下另外一个NN是否真的挂了，将自己监控的NameNode提升为active状态
journalnode

写数据的时候只要保证半数以上的节点成功就可以了
最终一致性/弱一致性
存储的是edits文件
备用的NameNode

监控journalnode中的数据变化，实时更新自己的内存元数据
将内存中的元数据持久化到fsimage中，推送到NameNode中。

HDFS的读写流程

写的流程

如果要上传一个大文件，client切割大文件，计算大文件block数，大文件地址/128M=block数量
client对NameNode汇报：
（1）当前大数据文件的block数
（2）当前大文件属于谁    权限
（3）上传时间
for(Block block:bocks(大文件切割出来的Block)){
client切割出来一个block
client请求block块的Id号以及地址
因为NameNode能够掌控全局，管理所有的DN,所以它将负载不高的DN地址返回给client
client拿到地址后找到DN去上传数据
DN将block存储完毕之后会向NameNode汇报当前的存储情况
}
client向DataNode写数据的详细流程

分布式存储_第3张图片

读的流程

备份机制

原理图

分布式存储_第4张图片

  1. 如果是集群外操作，第一个Block存储在负载不是很高的一台服务器上（默认128M dfs.blocksize,严格按照字节切割，如果存储的是中文，会出现乱码问题。）；如果集群内操作，在本机
  2. 第一个备份的block存储在与第一个block不同机架的随机一个服务器上
  3. 第2个备份的block存储在与第一个备份相同的机架的随机服务器上
  4. 其他备份随机存

权限

依据系统的用户系统 （）

HDFS优缺点

优点

分布式存储_第5张图片

缺点

分布式存储_第6张图片

思维导图

分布式存储_第7张图片

 

你可能感兴趣的:(hadoop生态圈)

  • Hadoop 基础原理 disgare 数据库hadoop大数据分布式
    Hadoop基础原理基本介绍Hadoop的必要性Hadoop核心组件Hadoop生态系统中的附加组件HDFSHDFS集群架构HDFS读写流程HDFS写流程HDFS读流程NameNode持久化机制MapReduce底层原理示例Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要解决海量数据的存储和计算问题，广义上Hadoop指的是Hadoop生态圈，包含HDFS、Hive、MapRe
  • Scala简介 醉游江湖 scala
    hadoop生态圈—>javaspark生态圈—>scala1.scala是面向对象的、面向函数的基于静态类型的编程语言。静态语言（强类型语言）静态语言是在编译时变量的数据类型即可确定的语言，多数静态类型语言要求在使用变量之前必须声明数据类型。例如：C++、Java、Delphi、C#,Scala等。scala编译后是字节码文件可以调用java源有的库动态语言（弱类型语言）动态语言是在运行时确定数
  • 大数据技术之Hadoop（一） pauls
    Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。Hadoop生态1.2Hadoop发展历史（了解）Hadoop发展历史1）Hadoop创始人DougCutting，为了实现与Google类似
  • Hadoop生态圈 陈超Terry的技术屋
    生态圈1.HBase的数据存储在HDFS里2.MapReduce可以计算HBase里的数据，也可以计算HDFS里的数据3.Hive是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop的HA通过Zookeeper来实现8.HU
  • 大数据Hadoop生态圈技术之浅析PageRank计算原理 A尚学堂Nancy老师
    一、什么是PageRank？——PageRank是Google提出的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。——是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的——PageRank实现了将链接价值概念作为排名因素。二、计算环境——Hadoop-2.5.2——四台主机——两台NN的HA——两台RM的HA——离线计算框架MapReduce三、计算原理（1）思考
  • Apache Hadoop VincentLeon
    ApacheHadoop_狭义上说，Hadoop指Apache一款java语言开发的开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算_广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈，包括大数据处理流程中的各个阶段的软件：HDFS：分布式文
  • Hadoop生态圈-组件介绍 苏尔伯特
    Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目前生态圈结构大致如图所示：image.png根据服务对象和层次分为：数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层。接下来对Hadoop生态圈中出现的相关组件做一
  • 浅析大数据的技术生态圈(Hadoop，hive，spark) Rysinal hadoop大数据hadoopspark生态圈
    大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。H
  • Impala：基于内存的MPP查询引擎 对许 Java大数据#Hadoop及生态圈#数据湖仓大数据
    Impala查询引擎1、Impala概述1.1、Impala简介1.2、Impala的特点1.3、Impala与Hive1、Impala概述1.1、Impala简介Impala是Cloudera公司主导研发的高性能、低延迟的交互式SQL查询引擎，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。Impala主要用于解决Hadoop生态圈无法支持交互式查询数据的痛点，
  • Hadoop基础知识 坐在风口上de猪 hadoop大数据分布式
    Hadoop基础知识1、Hadoop简介广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架）：解决海量数据计算2、Hadoop特性优点扩容能力（Scalable）：Hado
  • 大数据开发之Hadoop（完整版+练习） Key-Key hadoophdfsmapreduce分布式大数据
    第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。3、Hadoop通常是指一个更广泛的概念-Hadoop生态圈1.2Hadoop优势（4高）1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2、高扩展性：再集群
  • 大数据开发之Hadoop（入门） Key-Key 大数据hadoop分布式
    第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。3、Hadoop通常是指一个更广泛的概念-Hadoop生态圈1.2Hadoop优势（4高）1、高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。2、高扩展性：再集群
  • 架构设计：远程调用服务架构设计及zookeeper技术详解 Java圈子
    Hadoop是一个技术生态圈，zookeeper是hadoop生态圈里一个非常重要的技术。当我研究学习hadoop的相关技术时候，有两块知识曾经让我十分的困惑，一个是hbase，一个就是zookeeper。hbase的困惑源自于它在颠覆了我对数据库建模的理解，而zookeeper的困惑却是我无法理解它到底是干嘛的。远程调用服务的架构设计总述首先我们要再深入理解下为什么应用软件服务里需要一个远程调用
  • 大数据 哈斯勒
    image.pnghadoop主要解决海量数据的存储和海量数据的分析计算问题。广义来说，hadoop通常指一个更广泛的概念，hadoop生态圈：image.pngHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapRedu
  • kudu NoSQL数据库详解 wespten 数据库存储块存储文件存储对象存储分布式网络存储ui
    一、Hbase、Kudu和ClickHouse对比Hadoop生态圈中HDFS一直用来保存底层数据。Hbase作为一款Nosql也是Hadoop生态圈的核心组件，它海量的存储能力，优秀的随机读写能力，能够处理一些HDFS不足的地方。Clickhouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。能够使用SQL查询实时生成分析数据报告。它同样拥有优秀的数据存储能力。ApacheK
  • 2018-05-21 CrUelAnGElPG
    1.hadoop是什么广义就是hadoop生态圈，狭义就是单指hadoop2.hadoop三大组件是什么?分别做什么hdfs是存储数据的，yarn是管理调度作业的，mr是计算处理的3.hdfs在部署时，要配置信任关系，请问root和hadoop用户部署时，区别是什么root的权限高，可以不用管，普通用户需要修改autoxx4.hdfs三个进程是什么namenode,datanode,seconda
  • Hadoop大数据实战系列文章之HDFS文件系统 测试帮日记
    Hadoop附带了一个名为HDFS(Hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。本章内容：1)HDFS文件系统的特点，以及不适用的场景2)HDFS文件系统重点知识点：体系架构和数据读写流程3)关于操作HDFS文件系统的一些基本用户命令1.HDFS特点：HDFS专为解决大数据存储问题而产生的，其具备了以下特点：1)HDFS文件系统
  • 数据同步利器之seatunnel篇 以茉萱 大数据etl
    前言前面几篇文章分别介绍了hadoop生态圈的一些组件，但都是用来处理和接收消息的，虽然也具备同步数据的能力，但或多或少的都会涉及一些编程相关的知识，对于只是简单快速的数据同步需求来说，可能稍显麻烦，这时候就如果有一个数据同步的工具，只需修改下配置的模式，即可根据配置文件的不同来同步不同的数据，效率会提升很多，而且受众面会更广，不知道大家平时项目中都接触过哪些数据同步工具，我这边目前接触的比较多的
  • 架构设计：远程调用服务架构设计及zookeeper技术详解 Java圈子
    Hadoop是一个技术生态圈，zookeeper是hadoop生态圈里一个非常重要的技术。当我研究学习hadoop的相关技术时候，有两块知识曾经让我十分的困惑，一个是hbase，一个就是zookeeper。hbase的困惑源自于它在颠覆了我对数据库建模的理解，而zookeeper的困惑却是我无法理解它到底是干嘛的。远程调用服务的架构设计总述首先我们要再深入理解下为什么应用软件服务里需要一个远程调用
  • 【Hadoop面试】Hadoop面试题汇总附答案 话数Science 大数据Hadoop面试hadoop面试大数据
    题目介绍下HadoopHadoop的特点说下Hadoop生态圈组件及其作用Hadoop主要分哪几个部分?他们有什么作用?Hadoop1.x，2x，3.x的区别Hadoop集群工作时启动哪些进程?它们有什么作用?在集群计算的时候，什么是集群的主要瓶颈搭建Hadoop集群的xml文件有哪些?Hadoop的checkpoint流程Hadoop的默认块大小是多少?为什么要设置这么大?Block划分的原因H
  • kudu由来、架构、数据存储结构、注意事项 AllenGd KUDUkudu
    一、kudu背景介绍Kudu是Cloudera开源的新型列式存储系统，是ApacheHadoop生态圈的成员之一(incubating)，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。1.1一方面：在KUDU之前，大数据主要以两种方式存储；（1）静态数据：以HDFS引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。这类存储的局限性是数据无法进行随机的读写。（2）动
  • Hadoop 概述 撕得失败的标签 Hadoophadoop大数据分布式Hadoop生态圈
    文章目录Hadoop概述Hadoop是什么Hadoop主要发展历程Hadoop优势Hadoop组成Hadoop1.x、2.x、3.x区别HDFS概述YARN概述MapReduce架构概述HDFS、YARN、MapReduce三者关系Hadoop生态圈Hadoop概述Hadoop是什么Hadoop是一个由Apache基金会开发的开源分布式计算框架，旨在处理和分析海量数据。它提供了对大数据进行存储、处
  • 大数据Hadoop技术的发展历史与未来前景 人工智能和大数据时代 大数据Hadoop
    大数据概念火了又火，但是好多人对大数据的概念却一知半解，今天主要来细说下Hadoop：1.Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构2）主要解决，海量数据的存储和海量数据的分析问题。3）广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈2.Hadoop发展历史1）Lucene–DougCutting开创的开源软件，用java书写代码，
  • 2.Spark运行模式 想成为数据分析师的开发工程师 Spark框架spark大数据分布式
    1.Spark运行模式概述Local多用于本地测试，如在IDEA、PyCharm、VisualStudioCode中写程序测试等。StandaloneStandalone是Spark自带的一个资源调度框架，它支持完全分布式。YarnHadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。Windows模式云服务模式（运行在云平台上）Kubernetes(K8S)容器模式S
  • HDFS、MapReduce原理--学习笔记 祈愿lucky 大数据hdfsmapreduce学习
    1.Hadoop框架1.1框架与Hadoop架构简介（1）广义解释从广义上来说，随着大数据开发技术的快速发展与逐步成熟，在行业里，Hadoop可以泛指为：Hadoop生态圈。也就是说，Hadoop指的是大数据生态圈整体。（2）狭义解释从狭义上来说，Hadoop是指Hadoop这个开源框架，它的核心组件有：a）HDFS（分布式文件系统）：解决海量数据存储；b）MapReduce（分布式计算）：解决海
  • 05-Hadoop01之HDFS YuPangZa 大数据hdfshadoop大数据
    一、Hadoop介绍Hadoop分为三部分：Common、HDFS、Yarn、MapReduce(有点过时了)Hadoop生态圈：除了hadoop技术以外，还有hive、zookeeper、flume、sqoop、datax、azkaban等一系列技术。Hadoop是道格·卡丁本身他是Lucene的创始人。Lucene其实是一个jar包。检索现在主流的是Solr以及ES（ElasticSearch
  • 3️⃣Hadoop WovJf hadoop大数据分布式
    1.Hadoop1.1.Hadoop是什么？分布式系统基础架构。主要解决海量数据的存储和海量数据的分析计算问题。Hadoop生态圈。1.2.Hadoop优势高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。【对数据存储的可靠性（将数据多备份几份）】高扩展性：在集群间分配任务数据，可方便的扩展数千计的节点。【如果我机器的资源不够，可以买
  • hadoop安装网址 北辰Charih hadoop大数据
    Hadoop是什么1）Hadoop是一个有Apache基金会所开发的分布式系统基础架构。2）主要解决海量数据的存储和海量数据的分析计算问题。3）广义上来说，Hadoop通常是指一个更广泛的概念---Hadoop生态圈。Hadoop发行版本Hadoop发行的三个版本：Apache、Cloudera、Hortonworks。1）ApacheHadoop官网地址：http://hadoop.apache
  • hadoop生态圈-- 个人笔记学习05 HDFS优化 JamSlade Hadoophadoop笔记学习
    DFSClient和DN在一个节点——localreads，远程阅读Remotereads。处理方式是一样的DN读数据通过RPC(TCP协议）把数据给DFSClient。DN在中间会做中转，处理简单但是性能收影响（Localread的情况下，会希望绕过DN直接读取Data，这就是短路短路本地读取DFSClient自行打开文件读取数据，需要配置白名单定义可读取数据的User——安全漏洞，不建议使用两
  • hadoop介绍部署文档 王亭_666 运维数据库大数据hadoophdfsmapreduce运维大数据
    hadoop部署文档hadoop简介hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。hadoop发展历史1）Lucene框架是DougCutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了
  • Java常用排序算法/程序员必须掌握的8大排序算法 cugfy java
    分类： 1）插入排序（直接插入排序、希尔排序） 2）交换排序（冒泡排序、快速排序） 3）选择排序（直接选择排序、堆排序） 4）归并排序 5）分配排序（基数排序） 所需辅助空间最多：归并排序 所需辅助空间最少：堆排序 平均速度最快：快速排序 不稳定：快速排序，希尔排序，堆排序。 先来看看8种排序之间的关系：   1.直接插入排序 （1
  • 【Spark102】Spark存储模块BlockManager剖析 bit1129 manager
    Spark围绕着BlockManager构建了存储模块，包括RDD，Shuffle，Broadcast的存储都使用了BlockManager。而BlockManager在实现上是一个针对每个应用的Master/Executor结构，即Driver上BlockManager充当了Master角色，而各个Slave上(具体到应用范围，就是Executor)的BlockManager充当了Slave角色
  • linux 查看端口被占用情况详解 daizj linux端口占用netstatlsof
    经常在启动一个程序会碰到端口被占用，这里讲一下怎么查看端口是否被占用，及哪个程序占用，怎么Kill掉已占用端口的程序   1、lsof -i:port port为端口号   [root@slave /data/spark-1.4.0-bin-cdh4]# lsof -i:8080 COMMAND   PID USER   FD   TY
  • Hosts文件使用 周凡杨 hostslocahost
         一切都要从localhost说起，经常在tomcat容器起动后，访问页面时输入http://localhost:8088/index.jsp，大家都知道localhost代表本机地址，如果本机IP是10.10.134.21，那就相当于http://10.10.134.21:8088/index.jsp，有时候也会看到http: 127.0.0.1:
  • java excel工具 g21121 Java excel
    直接上代码，一看就懂，利用的是jxl： import java.io.File; import java.io.IOException; import jxl.Cell; import jxl.Sheet; import jxl.Workbook; import jxl.read.biff.BiffException; import jxl.write.Label; import
  • web报表工具finereport常用函数的用法总结（数组函数） 老A不折腾 finereportweb报表函数总结
    ADD2ARRAY ADDARRAY(array,insertArray, start):在数组第start个位置插入insertArray中的所有元素，再返回该数组。 示例： ADDARRAY([3,4, 1, 5, 7], [23, 43, 22], 3)返回[3, 4, 23, 43, 22, 1, 5, 7]. ADDARRAY([3,4, 1, 5, 7], "测试&q
  • 游戏服务器网络带宽负载计算 墙头上一根草 服务器
    家庭所安装的4M，8M宽带。其中M是指，Mbits/S 其中要提前说明的是： 8bits = 1Byte 即8位等于1字节。我们硬盘大小50G。意思是50*1024M字节，约为 50000多字节。但是网宽是以“位”为单位的，所以，8Mbits就是1M字节。是容积体积的单位。 8Mbits/s后面的S是秒。8Mbits/s意思是 每秒8M位，即每秒1M字节。 我是在计算我们网络流量时想到的
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans Spring 3 系列
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • 高性能mysql 之 选择存储引擎(一) annan211 mysqlInnoDBMySQL引擎存储引擎
    1 没有特殊情况，应尽可能使用InnoDB存储引擎。   原因：InnoDB 和 MYIsAM 是mysql 最常用、使用最普遍的存储引擎。其中InnoDB是最重要、最广泛的存储引擎。她   被设计用来处理大量的短期事务。短期事务大部分情况下是正常提交的，很少有回滚的情况。InnoDB的性能和自动崩溃   恢复特性使得她在非事务型存储的需求中也非常流行，除非有非常
  • UDP网络编程 百合不是茶 UDP编程局域网组播
      UDP是基于无连接的,不可靠的传输   与TCP/IP相反       UDP实现私聊,发送方式客户端,接受方式服务器 package netUDP_sc; import java.net.DatagramPacket; import java.net.DatagramSocket; import java.net.Ine
  • JQuery对象的val()方法执行结果分析 bijian1013 JavaScriptjsjquery
            JavaScript中，如果id对应的标签不存在（同理JAVA中，如果对象不存在），则调用它的方法会报错或抛异常。在实际开发中，发现JQuery在id对应的标签不存在时，调其val()方法不会报错，结果是undefined。        
  • http请求测试实例（采用json-lib解析） bijian1013 jsonhttp
            由于fastjson只支持JDK1.5版本，因些对于JDK1.4的项目，可以采用json-lib来解析JSON数据。如下是http请求的另外一种写法，仅供参考。 package com; import java.util.HashMap; import java.util.Map; import
  • 【RPC框架Hessian四】Hessian与Spring集成 bit1129 hessian
    在【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中介绍了基于Hessian的RPC服务的实现步骤，在那里使用Hessian提供的API完成基于Hessian的RPC服务开发和客户端调用，本文使用Spring对Hessian的集成来实现Hessian的RPC调用。   定义模型、接口和服务器端代码 |---Model    &nb
  • 【Mahout三】基于Mahout CBayes算法的20newsgroup流程分析 bit1129 Mahout
    1.Mahout环境搭建  1.下载Mahout http://mirror.bit.edu.cn/apache/mahout/0.10.0/mahout-distribution-0.10.0.tar.gz    2.解压Mahout  3. 配置环境变量 vim /etc/profile export HADOOP_HOME=/home
  • nginx负载tomcat遇非80时的转发问题 ronin47
    　　nginx负载后端容器是tomcat（其它容器如WAS,JBOSS暂没发现这个问题）非８０端口，遇到跳转异常问题。解决的思路是：$host:port        详细如下： 　　 该问题是最先发现的，由于之前对nginx不是特别的熟悉所以该问题是个入门级别的： ? 1 2 3 4 5
  • java-17-在一个字符串中找到第一个只出现一次的字符 bylijinnan java
    public class FirstShowOnlyOnceElement { /**Q17.在一个字符串中找到第一个只出现一次的字符。如输入abaccdeff，则输出b * 1.int[] count:count[i]表示i对应字符出现的次数 * 2.将26个英文字母映射：a-z <--> 0-25 * 3.假设全部字母都是小写 */ pu
  • mongoDB 复制集 开窍的石头 mongodb
    mongo的复制集就像mysql的主从数据库，当你往其中的主复制集(primary)写数据的时候，副复制集(secondary)会自动同步主复制集(Primary)的数据,当主复制集挂掉以后其中的一个副复制集会自动成为主复制集。提供服务器的可用性。和防止当机问题             mo
  • [宇宙与天文]宇宙时代的经济学 comsci 经济
        宇宙尺度的交通工具一般都体型巨大，造价高昂。。。。。      在宇宙中进行航行，近程采用反作用力类型的发动机，需要消耗少量矿石燃料，中远程航行要采用量子或者聚变反应堆发动机，进行超空间跳跃，要消耗大量高纯度水晶体能源      以目前地球上国家的经济发展水平来讲，
  • Git忽略文件 Cwind git
         有很多文件不必使用git管理。例如Eclipse或其他IDE生成的项目文件，编译生成的各种目标或临时文件等。使用git status时，会在Untracked files里面看到这些文件列表，在一次需要添加的文件比较多时（使用git add . / git add -u），会把这些所有的未跟踪文件添加进索引。 ==== ==== ==== 一些牢骚
  • MySQL连接数据库的必须配置 dashuaifu mysql连接数据库配置
    MySQL连接数据库的必须配置   1.driverClass：com.mysql.jdbc.Driver   2.jdbcUrl：jdbc:mysql://localhost:3306/dbname   3.user：username   4.password：password   其中1是驱动名；2是url，这里的‘dbna
  • 一生要养成的60个习惯 dcj3sjt126com 习惯
    一生要养成的60个习惯 第1篇 让你更受大家欢迎的习惯 1 守时，不准时赴约,让别人等,会失去很多机会。 如何做到： ①该起床时就起床， ②养成任何事情都提前15分钟的习惯。 ③带本可以随时阅读的书，如果早了就拿出来读读。 ④有条理，生活没条理最容易耽误时间。 ⑤提前计划：将重要和不重要的事情岔开。 ⑥今天就准备好明天要穿的衣服。 ⑦按时睡觉，这会让按时起床更容易。 2 注重
  • [介绍]Yii 是什么 dcj3sjt126com PHPyii2
    Yii 是一个高性能，基于组件的 PHP 框架，用于快速开发现代 Web 应用程序。名字 Yii （读作 易）在中文里有“极致简单与不断演变”两重含义，也可看作 Yes It Is! 的缩写。 Yii 最适合做什么？ Yii 是一个通用的 Web 编程框架，即可以用于开发各种用 PHP 构建的 Web 应用。因为基于组件的框架结构和设计精巧的缓存支持，它特别适合开发大型应
  • Linux SSH常用总结 eksliang linux sshSSHD
    转载请出自出处：http://eksliang.iteye.com/blog/2186931 一、连接到远程主机   格式： ssh name@remoteserver 例如： ssh [email protected]   二、连接到远程主机指定的端口   格式： ssh name@remoteserver -p 22 例如： ssh i
  • 快速上传头像到服务端工具类FaceUtil gundumw100 android
    快速迭代用 import java.io.DataOutputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOExceptio
  • jQuery入门之怎么使用 ini JavaScripthtmljqueryWebcss
    jQuery的强大我何问起（个人主页：hovertree.com）就不用多说了，那么怎么使用jQuery呢？   首先，下载jquery。下载地址：http://hovertree.com/hvtart/bjae/b8627323101a4994.htm，一个是压缩版本，一个是未压缩版本，如果在开发测试阶段，可以使用未压缩版本，实际应用一般使用压缩版本(min)。然后就在页面上引用。
  • 带filter的hbase查询优化 kane_xie 查询优化hbaseRandomRowFilter
    问题描述 hbase scan数据缓慢，server端出现LeaseException。hbase写入缓慢。   问题原因 直接原因是： hbase client端每次和regionserver交互的时候，都会在服务器端生成一个Lease,Lease的有效期由参数hbase.regionserver.lease.period确定。如果hbase scan需
  • java设计模式-单例模式 men4661273 java单例枚举反射IOC
             单例模式1，饿汉模式 //饿汉式单例类.在类初始化时，已经自行实例化 public class Singleton1 { //私有的默认构造函数 private Singleton1() {} //已经自行实例化 private static final Singleton1 singl
  • mongodb 查询某一天所有信息的3种方法，根据日期查询 qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    // mongodb的查询真让人难以琢磨，就查询单天信息，都需要花费一番功夫才行。 // 第一种方式： coll.aggregate([ {$project:{sendDate: {$substr: ['$sendTime', 0, 10]}, sendTime: 1, content:1}}, {$match:{sendDate: '2015-
  • 二维数组转换成JSON tangqi609567707 java二维数组json
    原文出处：http://blog.csdn.net/springsen/article/details/7833596 public class Demo {     public static void main(String[] args) {        String[][] blogL
  • erlang supervisor wudixiaotie erlang
    定义supervisor时，如果是监控celuesimple_one_for_one则删除children的时候就用supervisor:terminate_child (SupModuleName, ChildPid)，如果shutdown策略选择的是brutal_kill，那么supervisor会调用exit(ChildPid, kill)，这样的话如果Child的behavior是gen_
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他