木迪_2a4e
木迪_2a4e

HDFS的优缺点、写流架构、访问方式、可靠性策略新特性

HDFS优点

高容错性

数据自动保存多个副本

副本丢失后，自动恢复

适合批处理

移动计算而非数据

数据位置暴露给计算框架

适合大数据处理

GB、TB、甚至PB级数据

百万规模以上的文件数量

10K+节点规模

流式文件访问

一次性写入，多次读取

保证数据一致性

可构建在廉价机器上

通过多副本提高可靠性

提供了容错和恢复机制

HDFS缺点，不适合以下操作方式：

低延迟数据访问

比如毫秒级

低延迟与高吞吐率

小文件存取

占用NameNode大量内存

寻道时间超过读取时间

并发写入、文件随机修改

一个文件只能有一个写者

仅支持append

HDFS不适合存储小文件

元信息存储在NameNode内存中

一个节点的内存是有限的

存取大量小文件消耗大量的寻道时间

类比拷贝大量小文件与拷贝同等大小的一个大文件

NameNode存储block数目是有限的

一个block元信息消耗大约150 byte内存

存储1亿个block，大约需要20GB内存

如果一个文件大小为10K，则1亿个文件大小仅为1TB（但要消耗掉NameNode 20GB内存）



Active Namenode：主Master（只有一个）

管理HDFS的名称空间

管理数据块映射信息

配置副本策略

处理客户端读写请求

Standby Namenode：NameNode的热备；

定期合并fsimage和fsedits，推送给NameNode；

当Active NameNode出现故障时，快速切换为新的 Active NameNode。

Datanode：Slave（有多个）

存储实际的数据块

执行数据块读/写

Client：文件切分

与NameNode交互，获取文件位置信息；

与DataNode交互，读取或者写入数据；

管理HDFS；

访问HDFS。

HDFS数据块（block）

文件被切分成固定大小的数据块

默认数据块大小为128MB，可配置

若文件大小不到128MB，则单独存成一个block

为何数据块如此之大

数据传输时间超过寻道时间（高吞吐率）

一个文件存储方式

按大小被切分成若干个block，存储到不同节点上

默认情况下每个block有三个副本

你可能感兴趣的:(HDFS的优缺点、写流架构、访问方式、可靠性策略新特性)

  • Deep Global Registration 代码环境配置(rtx3090+python3.8+cuda11.1+pytorch1.7+MinkowskiEngine0.5.1) JPy646 pytorch深度学习神经网络
    前言踩过的坑：因为rtx3090最低算力是8.6，似乎不支持过低版本的cuda。试过pytorch1.7.0+cuda11.0，但会报错，由于cuda11.0支持的最高算力达不到rtx最低的要求。但配置pytorch1.8时DGR的代码运行时会报错。对于没有这个烦恼的还是推荐安装python3.6+cuda10.2+pytorch1.6+MinkowskiEngine0.4.3,这个配置无需改动代
  • 从 Alpha 到 Final：Python 各阶段版本到底该怎么用？ 三金C_C Pythonpython版本生命周期
    主流的Python是由PythonSoftwareFoundation（PSF，Python软件基金会）主导的：PSF是一个非营利组织负责维护Python官方语言规范、标准库、社区基础设施它主导的实现版本是我们日常使用的：CPythonPython的版本阶段（版本周期）。这些阶段是官方正式定义的，适用于每一个Python主版本（比如3.12、3.13、3.14…）Python版本的四大阶段Pyth
  • AI 大模型重塑软件开发流程的四点观察：跃迁/重构/变革/挑战 敖行客 Allthinker Thinker说人工智能大模型
    作为软件开发的从业者，笔者深刻感受到AI大模型对开发流程的颠覆性影响。从最初的代码补全工具到如今能够自主完成复杂任务的智能协作者，AI的角色转变正推动软件开发范式发生系统性变革。基于实际开发经验与行业案例，从四个维度，浅显讲述一下AI大模型重塑软件开发流程的观察。观察一：编码能力突破——从“助手”到“协作者”的技术跃迁核心变化：AI从“补全代码片段”进化为“自主构建完整系统”过去，AI在开发中的角
  • RTX50系显卡+CUDA+torch+python对应关系
    前言本人的显卡是RTX5070，使用时发现它对CUDA、torch和python版本有要求，试图按照老项目的依赖文件进行安装发现安不了，因此记录一下（截至2025年6月）。提示：以下是本篇文章正文内容，下面案例可供参考一、RTX50系显卡只能使用CUDA12.8二、目前只支持torch2.7.0和2.7.11.去pytorch官网的https://download.pytorch.org/whl/
  • go channel用法 三金C_C gogolangchannel
    介绍channel在Go中是一种专门用来在goroutine之间传递数据的类型安全的管道。你可以把它理解成：多个goroutine之间的**“传话筒”**，谁往通道里塞东西，另一个goroutine就能接收到。Go语言采用CSP（CommunicatingSequentialProcesses）模型，也就是鼓励：“不要通过共享内存来通信，而要通过通信来共享内存”也就是通过channel来传递数据，
  • 揭开 MCP 的神秘面纱：标准化 AI 上下文管理的未来(上) 愤怒的可乐 大模型自然语言处理人工智能python开发语言
    引言最近MCP大火，本文尝试揭开它神秘的面纱。文章较长，分为上下两篇。架构MCP协议遵循客户端-主机-服务器架构，其中一个主机应用运行多个客户端实例，每个客户端实例维护了和服务器建立的独立的连接。Host：希望通过MCP访问数据的程序，比如一个聊天应用程序。Client：与服务器保持1:1连接(会话)的客户端，Host通过这个Client连接不同的Server提供的功能。Server：通过MCP公
  • 强化学习贝尔曼方程推导 愤怒的可乐 强化学习人工智能概率论机器学习算法
    引言强化学习中贝尔曼方程的重要性就不说了，本文利用高中生都能看懂的数学知识推导贝尔曼方程。回报折扣回报GtG_tGt的定义为：Gt=Rt+1+γRt+2+γ2Rt+3+⋯=∑k=0∞γkRt+k+1(1)G_t=R_{t+1}+\gammaR_{t+2}+\gamma^2R_{t+3}+\cdots=\sum_{k=0}^\infty\gamma^kR_{t+k+1}\tag1Gt=Rt+1+γR
  • Llama改进之——RoPE旋转位置编码 愤怒的可乐 NLP项目实战#LLaMARoPE旋转位置编码
    引言旋转位置编码(RotaryPositionEmbedding,RoPE)将绝对相对位置依赖纳入自注意力机制中，以增强Transformer架构的性能。目前很火的大模型LLaMA、QWen等都应用了旋转位置编码。之前在[论文笔记]ROFORMER中对旋转位置编码的原始论文进行了解析，重点推导了旋转位置编码的公式，本文侧重实现，同时尽量简化数学上的推理，详细推理可见最后的参考文章。复数与极坐标复数
  • Llama改进之——分组查询注意力 愤怒的可乐 #NLP项目实战自然语言处理llama深度学习人工智能分组查询注意力旋转位置编码
    引言今天介绍LLAMA2模型引入的关于注意力的改进——分组查询注意力(Grouped-queryattention,GQA)1。Transformer中的多头注意力在解码阶段来说是一个性能瓶颈。多查询注意力2通过共享单个key和value头，同时不减少query头来提升性能。多查询注意力可能导致质量下降和训练不稳定，因此常用的是分组查询注意力。然后我们结合上篇文章3探讨的旋转位置编码，将选择位置编
  • Llama改进之——均方根层归一化RMSNorm 愤怒的可乐 NLP项目实战#llama
    引言在学习完GPT2之后，从本文开始进入Llama模型系列。本文介绍Llama模型的改进之RMSNorm(均方根层归一化)。它是由RootMeanSquareLayerNormalization论文提出来的，可以参阅其论文笔记1。LayerNorm层归一化(LayerNorm)对Transformer等模型来说非常重要，它可以帮助稳定训练并提升模型收敛性。LayerNorm针对一个样本所有特征计算
  • Llama改进之——SwiGLU激活函数 愤怒的可乐 #自然语言处理NLP项目实战llama
    引言今天介绍LLAMA模型引入的关于激活函数的改进——SwiGLU1，该激活函数取得了不错的效果，得到了广泛地应用。SwiGLU是GLU的一种变体，其中包含了GLU和Swish激活函数。GLUGLU(GatedLinearUnits,门控线性单元)2引入了两个不同的线性层，其中一个首先经过sigmoid函数，其结果将和另一个线性层的输出进行逐元素相乘作为最终的输出：GLU(x,
  • 从0实现llama3 讨厌编程但喜欢LLM的学院派 人工智能python开发语言深度学习机器学习pytorch
    分享一下从0实现llama的过程流程如下：word-->embeddinglayer-->n*decoderlayer-->finallinearlayer-->output分词器在embedding之前，需要进行分词，将句子分成单词。llama3采用了基于BPE算法的分词器。这个链接实现了一个非常简洁的BPE分词器简易分词器实现BPE分词器（选看）1)训练tokenizer词汇表并合并给定文本，
  • ATmega16微控制器编程与应用实践 love彤彤
    本文还有配套的精品资源，点击获取简介：ATmega16是一个基于AVR架构的8位微控制器，广泛用于嵌入式系统控制应用。本文将详细介绍如何在ATmega16上实现1602液晶显示、独立键盘操作、数码管扫描、蜂鸣器控制和流水灯设计等常用功能。通过这些功能的实践项目，读者可以掌握C语言在嵌入式系统开发中的应用，包括I/O口编程、定时器设置、中断处理和串行通信等关键技术。1.ATmega16微控制器简介A
  • 强化学习RLHF详解 贝塔西塔 强化学习大模型人工智能深度学习机器学习算法语言模型
    RLHF（ReinforcementLearningfromHumanFeedback）模型详解一、背景1.传统强化学习的局限性传统的强化学习（ReinforcementLearning,RL）依赖于预定义的奖励函数（RewardFunction），但在复杂任务（如自然语言生成、机器人控制）中，设计精确的奖励函数极为困难。例如：模糊目标：生成“高质量文本”难以量化，无法用简单的指标（如BLEU、R
  • 强人工智能是否会诞生于现在的AI之中 一花·一叶 人工智能语言模型
    为什么我认为当前AI方法无法实现真正的人工智能？随着大模型的发展日新月异，越来越多的人开始相信我们正在接近通用人工智能（AGI）。然而，作为一名人工智能领域的算法工程师，我反而越来越确信：现有的技术路径——以Transformer为核心的深度神经网络，可能已经达到了它的能力上限。我们或许正站在一个新时代的门槛上：真正的强人工智能将不会诞生于现有的范式中，而需要一条全新的算法路径。Transform
  • C++中的前置声明 mj348940862 C++c++数据结构开发语言
    一般来说，当你某个文件中，需要用到某个类或者结构体的指针，但是却不能直接包含那个类或者结构体的声明文件时，可以用前置声明解决。前置声明是指对类、函数、模板或者结构体进行声明，仅仅是声明，不包含相关具体的定义。在很多场合我们可以用前置声明来代替#include语句。类的前置声明只是告诉编译器这是一个类型，但无法告知类型的大小，成员等具体内容。在未提供完整的类之前，不能定义该类的对象，也不能在内联成员
  • 手把手从零打造 Llama3：解锁下一代预训练模型 会飞的Anthony 信息系统人工智能AIGC自然语言处理人工智能llama3AIGC
    引言Llama3相较于Llama2，不仅在模型架构上做了显著优化，尤其是全局查询注意力机制（GQA）的引入，使得模型在大规模数据处理上表现更加出色。同时，Llama3采用了与GPT一致的tiktoken分词器，大幅提升了分词效率。本篇文章将带你从头构建Llama3预训练流程，深入了解其关键细节和实现方式，让你掌握这一下一代模型的核心技术。1.启动训练脚本在这一步中，我们将实现Llama3的预训练框
  • 从零实现Llama3：深入解析Transformer架构与实现细节 祁婉菲Flora
    从零实现Llama3：深入解析Transformer架构与实现细节llama3-from-scratchllama3一次实现一个矩阵乘法。项目地址:https://gitcode.com/gh_mirrors/ll/llama3-from-scratch引言本文将深入探讨如何从零开始实现Llama3语言模型。我们将从最基本的张量操作开始，逐步构建完整的Transformer架构。通过这个过程，读者
  • PyTorch-Llama: 从零开始实现LLaMA 2模型教程 乔昕连
    PyTorch-Llama:从零开始实现LLaMA2模型教程pytorch-llamaLLaMA2implementedfromscratchinPyTorch项目地址:https://gitcode.com/gh_mirrors/py/pytorch-llama1.项目介绍PyTorch-Llama是一个在PyTorch平台上完全从零开始实现的LLaMA2模型仓库。该模型是一个强大的自回归语言模
  • Redis缓存击穿、缓存穿透、缓存雪崩(定义、产生原因、解决方案--代码示例) 卜锦元 redis数据库数据优化缓存redis数据库
    前言Redis缓存作为高性能的数据访问层，在实际开发中经常面临三大经典问题：缓存击穿、缓存穿透、缓存雪崩。本文将从它们各自的定义、产生的原因、实际开发过程中的解决方案出发，为大家详细描述相关的信息，并附有相关的go代码示例（嗯…最近go写的比较多，大家也可以用其它语言带入，原理都是一样的）一、缓存穿透（CachePenetration）❓是什么？客户端频繁请求数据库中根本不存在的Key，缓存不命中
  • Redis主从复制详解 卜锦元 redis高可用性数据库redis数据库linux缓存
    前言本文对于redis主从复制相关知识进行详细的解释，主要从主从复制的原理、配置方式、数据流转过程、重要概念与机制、常见问题与解决方案、典型使用场景、局限性与处理方案等方面出发，帮助我们更好的理解Redis的主从复制知识。一、Redis主从复制原理（Replication）主从复制是指一个Redis主节点（Master）将数据同步到一个或多个从节点（Slave/Replica），从节点一般以只读方
  • 音视频会议服务搭建(设计方案)-01 卜锦元 音视频webrtcgolang流媒体websocket音视频
    前言最近在做音视频会议系统服务搭建的工作任务，因为内容过多，我会逐篇分享相关的设计方案、开发思路、编程语言、使用的组件集合等等。如果你也有大型音视频会议系统搭建架构的需求，希望这些可以对你有所帮助。EchoMeet音视频会议系统架构设计项目概述EchoMeet是基于WebRTC技术的企业级音视频会议解决方案，采用三层音视频架构和Go+Node.js双后端微服务设计，实现了高并发、低延迟、可扩展的视
  • 抗辐照芯片在核电厂火灾探测器中的应用优势与性能解析 国科安芯 科普网络人工智能运维自动化
    一、引言核电厂作为能源供应的关键设施，其安全性备受关注。火灾是威胁核电厂安全运行的重要风险因素之一。在核电厂的特殊环境下，火灾探测器肩负着及时发现火情、保障核电厂安全运行的重任。然而，核电厂存在高能辐射等复杂环境因素，这对火灾探测器中的芯片性能提出了极为严苛的要求。传统芯片在辐射环境下易出现性能退化、功能异常等问题，导致火灾探测器无法准确工作。因此，研发和应用抗辐照芯片成为解决这一问题的关键。抗辐
  • Boost.Asio 的 TCP 通信教程 FHKHH 网络编程tcp/ip网络协议网络
    一、引言本教程将详细介绍如何使用Boost.Asio库实现一个简单的TCP通信示例，包括服务器端和客户端的代码编写、编译以及运行流程。同时，我们会对通信过程中的各个关键步骤进行详细讲解，帮助读者理解TCP通信在Boost.Asio中的实现方式。后续如果需要扩展功能，例如并发处理多个客户端连接或使用异步通信等，可以在此基础上进行修改。二、准备工作确保系统中已安装Boost库。确保编译器（如g++）能
  • Boost.Asio 同步读写操作详解
    Boost.Asio同步读写操作详解Boost.Asio是一个高效的C++网络和底层I/O库，提供了多种API用于同步和异步数据传输。本文将详细介绍同步操作及其具体实现，包括write_some、send、write、read_some、receive、read和read_until等。1.同步写：write_some功能:将指定数量的字节写入到套接字。如果发送缓冲区已满，则只写入一部分数据并返回
  • c++中类的前置声明 2301_80355452 c++java开发语言
    前置声明（forwarddeclaration）和包含头文件（includeheaderfile）是C/C++程序设计中经常遇到的两个基础概念。它们都和“让编译器知道有哪些类型、函数”等信息相关，但本质和作用是完全不同的。下面我会详细、通俗地讲解二者的区别，以及什么情况下选用哪一种。1.前置声明是什么？前置声明（forwarddeclaration）就是提前告诉编译器“小样，后面我会实现/定义一个
  • 音视频会议服务搭建(设计方案-两种集成方案对比)-03 卜锦元 流媒体websocket音视频webrtcgolang音视频gonode.jswebrtcc++redismysql
    前言在开始计划之前，查阅了不少资料。一种方案是Go层做信令业务，nodejs层来管理和mediasoup的底层交互，通过客户端去调用Go层；第二种方案是客户端直接调用nodejs层来跟mediasoup去交互；最终，当然不出意料的选择了项目复杂的构建方案，为性能去考虑。EchoMeet架构方案对比分析1.两种架构方案概览方案A：Go+Node.js双系统架构（当前方案）前端Vue3+mediaso
  • 如何训练一个 Reward Model：RLHF 的核心组件详解 茫茫人海一粒沙 深度学习人工智能强化学习
    RewardModel（奖励模型）是RLHF的核心，决定了模型“觉得人类偏好什么”的依据。本文将系统介绍如何从零开始训练一个rewardmodel，包括数据准备、模型结构、损失函数、训练方法与注意事项。什么是RewardModel？RewardModel（RM）是一个评分器：它输入一个文本（通常是prompt+模型回答），输出一个实数分值（reward），表示这个回答的“人类偏好程度”。它不是分类
  • pytorch小记（二十六）：全面解读 PyTorch 的 `torch.matmul`
    pytorch小记（二十六）：全面解读PyTorch的`torch.matmul`PyTorch中的`torch.matmul`详解与使用指南一、什么是`torch.matmul`二、基本用法示例1.向量点积（1-D×1-D）2.二维矩阵乘法（2-D×2-D）3.批量矩阵乘法（≥3-D）4.向量与矩阵混合三、与`mm`、`bmm`的区别四、性能与数值稳定性五、典型应用场景六、注意事项七、总结在深度
  • pytorch小记（二十七）：深入理解 PyTorch 中的 `.contiguous()`：内存布局与数据不变性
    pytorch小记（二十七）：深入理解PyTorch中的`.contiguous`：内存布局与数据不变性深入理解PyTorch中的`.contiguous()`：内存布局与数据不变性一、张量连续性（contiguity）概念二、`.contiguous()`的作用三、`.contiguous()`是否改变数值？四、与`.clone()`的区别五、常见使用场景六、总结深入理解PyTorch中的.co
  • java杨辉三角 3213213333332132 java基础
    package com.algorithm; /** * @Description 杨辉三角 * @author FuJianyong * 2015-1-22上午10:10:59 */ public class YangHui { public static void main(String[] args) { //初始化二维数组长度 int[][] y
  • 《大话重构》之大布局的辛酸历史 白糖_ 重构
    《大话重构》中提到“大布局你伤不起”，如果企图重构一个陈旧的大型系统是有非常大的风险，重构不是想象中那么简单。我目前所在公司正好对产品做了一次“大布局重构”，下面我就分享这个“大布局”项目经验给大家。   背景         公司专注于企业级管理产品软件，企业有大中小之分，在2000年初公司用JSP/Servlet开发了一套针对中
  • 电驴链接在线视频播放源码 dubinwei 源码电驴播放器视频ed2k
    本项目是个搜索电驴（ed2k）链接的应用,借助于磁力视频播放器（官网： http://loveandroid.duapp.com/ 开放平台），可以实现在线播放视频，也可以用迅雷或者其他下载工具下载。 项目源码： http://git.oschina.net/svo/Emule,动态更新。也可从附件中下载。 项目源码依赖于两个库项目，库项目一链接： http://git.oschina.
  • Javascript中函数的toString()方法 周凡杨 JavaScriptjstoStringfunctionobject
    简述     The toString() method returns a string representing the source code of the function.     简译之，Javascript的toString()方法返回一个代表函数源代码的字符串。 句法     function.
  • struts处理自定义异常 g21121 struts
    很多时候我们会用到自定义异常来表示特定的错误情况，自定义异常比较简单，只要分清是运行时异常还是非运行时异常即可，运行时异常不需要捕获，继承自RuntimeException，是由容器自己抛出，例如空指针异常。 非运行时异常继承自Exception，在抛出后需要捕获，例如文件未找到异常。 此处我们用的是非运行时异常，首先定义一个异常LoginException: /** * 类描述：登录相
  • Linux中find常见用法示例 510888780 linux
    Linux中find常见用法示例 ·find   path   -option   [   -print ]   [ -exec   -ok   command ]   {} \; find命令的参数；
  • SpringMVC的各种参数绑定方式 Harry642 springMVC绑定表单
    1. 基本数据类型(以int为例，其他类似)： Controller代码： @RequestMapping("saysth.do") public void test(int count) { } 表单代码： <form action="saysth.do" method="post&q
  • Java 获取Oracle ROWID aijuans javaoracle
    A ROWID is an identification tag unique for each row of an Oracle Database table. The ROWID can be thought of as a virtual column, containing the ID for each row. The oracle.sql.ROWID class i
  • java获取方法的参数名 antlove javajdkparametermethodreflect
    reflect.ClassInformationUtil.java package reflect; import javassist.ClassPool; import javassist.CtClass; import javassist.CtMethod; import javassist.Modifier; import javassist.bytecode.CodeAtt
  • JAVA正则表达式匹配 查找 替换 提取操作 百合不是茶 java正则表达式替换提取查找
    正则表达式的查找;主要是用到String类中的split();       String str;      str.split();方法中传入按照什么规则截取,返回一个String数组   常见的截取规则: str.split("\\.")按照.来截取 str.
  • Java中equals()与hashCode()方法详解 bijian1013 javasetequals()hashCode()
    一.equals()方法详解     equals()方法在object类中定义如下：  public boolean equals(Object obj) { return (this == obj); }    很明显是对两个对象的地址值进行的比较（即比较引用是否相同）。但是我们知道，String 、Math、I
  • 精通Oracle10编程SQL(4)使用SQL语句 bijian1013 oracle数据库plsql
    --工资级别表 create table SALGRADE ( GRADE NUMBER(10), LOSAL NUMBER(10,2), HISAL NUMBER(10,2) ) insert into SALGRADE values(1,0,100); insert into SALGRADE values(2,100,200); inser
  • 【Nginx二】Nginx作为静态文件HTTP服务器 bit1129 HTTP服务器
     Nginx作为静态文件HTTP服务器 在本地系统中创建/data/www目录，存放html文件(包括index.html) 创建/data/images目录，存放imags图片 在主配置文件中添加http指令   http { server { listen 80; server_name
  • kafka获得最新partition offset blackproof kafkapartitionoffset最新
    kafka获得partition下标，需要用到kafka的simpleconsumer   import java.util.ArrayList; import java.util.Collections; import java.util.Date; import java.util.HashMap; import java.util.List; import java.
  • centos 7安装docker两种方式 ronin47
          第一种是采用yum 方式              yum install -y docker           
  • java-60-在O(1)时间删除链表结点 bylijinnan java
    public class DeleteNode_O1_Time { /** * Q 60 在O(1)时间删除链表结点 * 给定链表的头指针和一个结点指针(!!)，在O(1)时间删除该结点 * * Assume the list is: * head->...->nodeToDelete->mNode->nNode->..
  • nginx利用proxy_cache来缓存文件 cfyme cache
    user  zhangy users; worker_processes 10; error_log  /var/vlogs/nginx_error.log  crit; pid        /var/vlogs/nginx.pid; #Specifies the value for ma
  • [JWFD开源工作流]JWFD嵌入式语法分析器负号的使用问题 comsci 嵌入式
        假如我们需要用JWFD的语法分析模块定义一个带负号的方程式，直接在方程式之前添加负号是不正确的，而必须这样做：     string str01 = "a=3.14;b=2.71;c=0;c-((a*a)+(b*b))"     定义一个0整数c,然后用这个整数c去
  • 如何集成支付宝官方文档 dai_lm android
    官方文档下载地址 https://b.alipay.com/order/productDetail.htm?productId=2012120700377310&tabId=4#ps-tabinfo-hash 集成的必要条件 1. 需要有自己的Server接收支付宝的消息 2. 需要先制作app，然后提交支付宝审核，通过后才能集成 调试的时候估计会真的扣款，请注意
  • 应该在什么时候使用Hadoop datamachine hadoop
    原帖地址：http://blog.chinaunix.net/uid-301743-id-3925358.html 存档，某些观点与我不谋而合，过度技术化不可取，且hadoop并非万能。 --------------------------------------------万能的分割线-------------------------------- 有人问我，“你在大数据和Hado
  • 在GridView中对于有外键的字段使用关联模型进行搜索和排序 dcj3sjt126com yii
    在GridView中使用关联模型进行搜索和排序 首先我们有两个模型它们直接有关联: class Author extends CActiveRecord { ... } class Post extends CActiveRecord { ... function relations() { return array( '
  • 使用NSString 的格式化大全 dcj3sjt126com Objective-C
    格式定义The format specifiers supported by the NSString formatting methods and CFString formatting functions follow the IEEE printf specification; the specifiers are summarized in Table 1. Note that you c
  • 使用activeX插件对象object滚动有重影 蕃薯耀 activeX插件滚动有重影
      使用activeX插件对象object滚动有重影   <object style="width:0;" id="abc" classid="CLSID:D3E3970F-2927-9680-BBB4-5D0889909DF6" codebase="activex/OAX339.CAB#
  • SpringMVC4零配置 hanqunfeng springmvc4
    基于Servlet3.0规范和SpringMVC4注解式配置方式，实现零xml配置，弄了个小demo，供交流讨论。     项目说明如下： 1.db.sql是项目中用到的表，数据库使用的是oracle11g 2.该项目使用mvn进行管理，私服为自搭建nexus,项目只用到一个第三方 jar，就是oracle的驱动； 3.默认项目为零配置启动，如果需要更改启动方式，请
  • 《开源框架那点事儿16》：缓存相关代码的演变 j2eetop 开源框架
    问题引入 上次我参与某个大型项目的优化工作，由于系统要求有比较高的TPS，因此就免不了要使用缓冲。 该项目中用的缓冲比较多，有MemCache，有Redis，有的还需要提供二级缓冲，也就是说应用服务器这层也可以设置一些缓冲。 当然去看相关实现代代码的时候，大致是下面的样子。 [java] view plain copy print ? public vo
  • AngularJS浅析 kvhur JavaScript
    概念 AngularJS is a structural framework for dynamic web apps. 了解更多详情请见原文链接：http://www.gbtags.com/gb/share/5726.htm Directive 扩展html，给html添加声明语句，以便实现自己的需求。对于页面中html元素以ng为前缀的属性名称，ng是angular的命名空间
  • 架构师之jdk的bug排查(一)---------------split的点号陷阱 nannan408 split
    1.前言.    jdk1.6的lang包的split方法是有bug的,它不能有效识别A.b.c这种类型,导致截取长度始终是0.而对于其他字符,则无此问题.不知道官方有没有修复这个bug. 2.代码 String[] paths = "object.object2.prop11".split("'"); System.ou
  • 如何对10亿数据量级的mongoDB作高效的全表扫描 quentinXXZ mongodb
      本文链接:  http://quentinXXZ.iteye.com/blog/2149440 一、正常情况下，不应该有这种需求 首先，大家应该有个概念，标题中的这个问题，在大多情况下是一个伪命题，不应该被提出来。要知道，对于一般较大数据量的数据库，全表查询，这种操作一般情况下是不应该出现的，在做正常查询的时候，如果是范围查询，你至少应该要加上limit。 说一下，
  • C语言算法之水仙花数 qiufeihu c算法
    /** * 水仙花数 */ #include <stdio.h> #define N 10 int main() { int x,y,z; for(x=1;x<=N;x++) for(y=0;y<=N;y++) for(z=0;z<=N;z++) if(x*100+y*10+z == x*x*x
  • JSP指令 wyzuomumu jsp
    jsp指令的一般语法格式： <%@ 指令名 属性 =”值 ” %> 常用的三种指令： page,include,taglib page指令语法形式： <%@ page 属性 1=”值 1” 属性 2=”值 2”%> include指令语法形式： <%@include file=”relative url”%> (jsp可以通过 include
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他