- BART&BERT
Ambition_LAO
深度学习
BART和BERT都是基于Transformer架构的预训练语言模型。模型架构:BERT(BidirectionalEncoderRepresentationsfromTransformers)主要是一个编码器(Encoder)模型,它使用了Transformer的编码器部分来处理输入的文本,并生成文本的表示。BERT特别擅长理解语言的上下文,因为它在预训练阶段使用了掩码语言模型(MLM)任务,即
- python的request请求401_Python模拟HTTPS请求返回HTTP 401 unauthorized错误
weixin_39599372
Python模拟HTTPS请求返回HTTP401unauthorized错误开始是使用的httplib模块,代码如下:header={"Content-type":"application/json","Accept":"*/*"}params={‘source‘:‘en‘,‘target‘:‘es‘,‘text‘:match.group(1)}data=urllib.urlencode(para
- python使用MD5
18.程序员
哈希算法算法
一、要使用Python进行MD5加密,可以使用Python标准库中的hashlib模块。二、案例importhashlibstring="Hello,World!"#要进行加密的字符串hash_object=hashlib.md5(string.encode())#将字符串编码并进行MD5加密hash_hex=hash_object.hexdigest()#获取加密后的十六进制字符串print(h
- 使用ffmpeg将pcm格式音频转化为mp3格式音频
布丁小站
ffmpegpcm音视频
voidAudioCode::ENcode(AVCodecContext*cdc_ctx,AVFrame*frame,AVPacket*pkt){intret=0;/*sendtheframeforencoding*/ret=avcodec_send_frame(cdc_ctx,frame);if(ret=0){ret=avcodec_receive_packet(cdc_ctx,pkt);if(
- iOS使用SDWebview加载图片失败?
AnderQZ
今天调试遇到一个很无奈的问题,就是出现了image无法加载出来。最后才发现是图片使用了中文命名,真TM的坑!SDWebimage没办法识别中文,必须要encode才行!
- vue axios跨域访问相关问题 | axios默认发送‘application/x-www-form-urlencoded‘格式数据 | Content-Type is not allowed b
就是爱吃肉ro
#Vue&uni-appaxiosajaxcors跨域vuex-www-form-url
文章目录概述报错1Content-TypeisnotallowedbyAccess-Control-Allow-Headersinpreflightrespon报错2返回状态码500好久没更博客了,最近一直搞框架搞项目,好多问题也都没有记录下来…好吧,那从今天起来,继续开始保持记录的好习惯,先写一下在axios上踩下了这么多坑.概述通过以下两个报错,来介绍解决使用axios来进行网络请求中的遇到的
- python--排错--AttributeError: 'str' object has no attribute 'decode',关于python3的字符串
我不是庸医
python排错记录
AttributeError:'str'objecthasnoattribute'decode'一般是因为str的类型本身不是bytes,所以不能解码两个概念:普通str:可理解的语义字节流str(bytes)(0101010101,可视化显示)两个语法Encode:把普通字符串转为机器可识别的bytesDecode:把bytes转为字符串两个差异Python3的str默认不是bytes,所以不能
- VUE在线预览word、pdf、excel等文档
菜鸟程序猿、
vue.jspdf前端
http://www.pfile.com.cn/api/profile/onlinePreview?url=(需要在线查看的文档地址)vue代码window.open('http://www.pfile.com.cn/api/profile/onlinePreview?url='+encodeURIComponent(“需要在线查看的文档地址”));文档参考:http://www.pfile.co
- 【Tools】大模型中的BERT概念
音乐学家方大刚
工具bert人工智能深度学习
摇来摇去摇碎点点的金黄伸手牵来一片梦的霞光南方的小巷推开多情的门窗年轻和我们歌唱摇来摇去摇着温柔的阳光轻轻托起一件梦的衣裳古老的都市每天都改变模样方芳《摇太阳》BERT(BidirectionalEncoderRepresentationsfromTransformers)是一种基于Transformer的预训练语言模型,由Google于2018年发布。BERT的目标是通过大规模无监督预训练学习来
- Transformer模型:WordEmbedding实现
Galaxy.404
Transformertransformer深度学习人工智能embedding
前言最近在学Transformer,学了理论的部分之后就开始学代码的实现,这里是跟着b站的up主的视频记的笔记,视频链接:19、Transformer模型Encoder原理精讲及其PyTorch逐行实现_哔哩哔哩_bilibili正文首先导入所需要的包:importtorchimportnumpyasnpimporttorch.nnasnnimporttorch.nn.functionalasF关
- 【算法】leetcode394. 字符串解码(辅助栈法)
岚清子
leetcodepythonleetcodepython字符串辅助栈
问题来源leetcode394.字符串解码394.字符串解码给定一个经过编码的字符串,返回它解码后的字符串。编码规则为:k[encoded_string],表示其中方括号内部的encoded_string正好重复k次。注意k保证为正整数。你可以认为输入字符串总是有效的;输入字符串中没有额外的空格,且输入的方括号总是符合格式要求的。此外,你可以认为原始数据不包含数字,所有的数字只表示重复的次数k,例
- python怎么解码成字符串_python字符串怎么解码?
weixin_39619478
python怎么解码成字符串
python字符串解码的方法:python中可以使用decode()方法对字符串进行解码。python中可以使用encode()方法将字符串转换为bytes类型,此过程称为“编码”。decode()方法用于将bytes类型的二进制数据转换为str类型,这个过程也称为“解码”。decode()方法的语法格式如下:bytes.decode([encoding="utf-8"][,errors="str
- 加载pkl文件,Python报错AttributeError: Can‘t get attribute ‘DeepFM‘ on <module ‘__main__‘ from...>
Zerol_Yan
Python基础python
背景模型同学发过来的pkl格式的模型,在系统中加载的时候,报错AttributeError:module'__main__'hasnoattribute'LabelEncoderExt',尝试了很多种方式,最后终于解决了这个问题,记录一下,以后遇到类似的可以做参考。项目代码及结构app.pyfrominitimportappimportjsonfromflaskimportrequest@app.
- auto encoder
war3gu
深度学习
Deepauto-encoder与受限玻尔兹曼机有点像,都可以进行信息的压缩,都可以用作pre-trainning.区别在于受限玻尔兹曼机是无向图模型,而Deepauto-encoder是一种神经网络,中间特别窄的bottleneck的数据作为压缩的codeencoder与decoder的参数可以相互独立,也可以互为逆数字图片auto-encoder,越是deep的auto-encoder,压缩出
- 自动编码器 - Autoencoder
hellozhxy
深度学习人工智能机器学习
文章目录一、自编码器(Autoencoder)简单模型介绍二、神经网络自编码模型三、神经网络自编码器三大特点四、自编码器(Autoencoder)搭建五、几种常见编码器1.堆栈自动编码器2.欠完备自编码器3.正则自编码器4.噪自编码器(denoisingautoencoder,DAE)参考链接一、自编码器(Autoencoder)简单模型介绍暂且不谈神经网络、深度学习等,仅仅是自编码器的话,其原理
- Autoencoder
chuange6363
人工智能python
自编码器Autoencoder稀疏自编码器SparseAutoencoder降噪自编码器DenoisingAutoencoder堆叠自编码器StackedAutoencoder本博客是从梁斌博士的博客上面复制过来的,本人利用Tensorflow重新实现了博客中的代码深度学习有一个重要的概念叫autoencoder,这是个什么东西呢,本文通过一个例子来普及这个术语。简单来说autoencoder是一
- python公众号文章_python采集微信公众号文章
Coming May
python公众号文章
本文实例为大家分享了python采集微信公众号文章的具体代码,供大家参考,具体内容如下在python一个子目录里存2个文件,分别是:采集公众号文章.py和config.py。代码如下:1.采集公众号文章.pyfromurllib.parseimporturlencodeimportpymongoimportrequestsfromlxml.etreeimportXMLSyntaxErrorfrom
- 【python实用性】文件系统基本讲解及用法: “增删改查“
黄小莫
python
文章目录一.增:创建文件二.删:删除文件三.改:修改文件四.查:查看文件系统一.增:创建文件创建脚本文件(例如:.txt、.js、.json、.py等)使用withopen(file=‘’,mode=‘w’,encode=‘’)方法进行mode=‘w’/mode=‘a’:表示在文件不存在的时候,会自动创建新文件encode:常用的格式是UTF-8格式importjsonwithopen('test
- Python用PIL将PNG图像合成gif时如果背景为透明时图像出现重影的解决办法
orange_wrj
pythonPIL
最近在用PIL合成PNG图像为GIF时,因为需要透明背景,所以就用putpixel的方法替换背景为透明,但是在合成GIF时,图像出现了重影,在网上查找了GIF的相关资料:GIF相关资料其中有对GIF帧数处理的说明,需要在GIF图像的header中设置disposal的处置方法然后我们可以查看PIL库中关于GIF的定义文件GifImagePlugin.pydisposal=int(im.encode
- python MultipartEncoder request 报错 Required request part ‘file‘ is not present
只想做打工人
学习vue.js
pythonMultipartEncoderrequest报错Requiredrequestpart‘file’isnotpresent今天在处理一个python做post请求的小工具,是要post一个文件,由于’Content-Type’:‘multipart/form-data’,代码类似这个样子multipart_encoder=MultipartEncoder(fields={"file"
- python的正则匹配
CharlieBrownn
python
defFilterTranslate(source):source.encode()temp=sourcexx=u"([\s\u30a0-\u30ff\u3040-\u309f\u4e00-\u9fa5\u3000-\u303f\ufb00-\ufffd\u0030-\u0039\u0041-\u005a\u0061-\u007a]+)"#日文片假名日文片假名中文标点符号数字大写字母小写patte
- ClickHouse 二进制特征值怎么转化为字符串
树下水月
clickhouse
要将二进制特征值转化为字符串,可以使用以下方法:1.使用base64编码base64是一种将二进制数据编码为ASCII字符串的方法。在ClickHouse中,可以使用函数base64Encode()来将二进制特征值转化为base64编码的字符串。例如:SELECTbase64Encode(feature)FROMmy_table;2.使用hex编码hex是一种将二进制数据转化为十六进制字符串的方法
- http请求特殊字符转码
一阵可爱风
Java使用URLEncoder.encode和URLDecoder.decode编解码(utf-8)中文及特殊字符1、URLEncoder.encode和URLDecoder.decodeURL只能使用英文字母、阿拉伯数字和某些标点符号,不能使用其他文字和符号,即只有字母和数字[0-9a-zA-Z]、一些特殊符号$-_.+!*'()[不包括双引号]、以及某些保留字(空格转换为+),才可以不经过编
- Transformer+目标检测,这一篇入门就够了
BIT可达鸭
▶深度学习-计算机视觉transformer深度学习目标检测计算机视觉自然语言处理
VisionTransformerforObjectDetection本文作者:Encoder-Decoder简介:Encoder-Decoder的缺陷:Attention机制:Self-Attention机制:Multi-HeadAttention:Transformer结构:图像分类之ViT:图像分类之PyramidViT:目标检测之DETR:目标检测之DeformableDETR:本文作者:
- java base64加密和解密
勇敢的小提莫
javajvmspring
importjava.nio.charset.StandardCharsets;importjava.util.Base64;publicclassBase64Util{finalstaticBase64.Encoderencoder=Base64.getEncoder();finalstaticBase64.Decoderdecoder=Base64.getDecoder();publicsta
- 小程序web-view页面部分手机打开空白问题
jing_bao
初写小程序,记录下开发过程中遇到的部分手机打开web-view页面空白,以及web-view页面分享空白页的问题,以及解决方法。出现场景:当web-view加载的页面中存在中文字符时,会出现此问题。原因:部分ios手机打开web-view页面,并没有进行encodeURI编码;在使用encodeURI编码后,页面可打开,但进行微信小程序分享时,会再自行encode一次,导致部分ios解码不成功,分
- 解决UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1:
weixin_33928467
python数据库
2019独角兽企业重金招聘Python工程师标准>>>字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。Decode的作用是将其他编码的字符串转换成unicode编码,如str1.decode('gb2312'),表示将gb2
- SpringCloud集成ELK
echola_mendes
ELKspringcloudelkjava
1、添加依赖net.logstash.logbacklogstash-logback-encoder6.12、在logback-spring.xml中添加配置信息(logback-spring.xml在文末)192.168.2.203:4560............192.168.2.203:4560对应搭建的Logstash地址Logback日志打印由于SpringBoot项目在引用了sprn
- 【深入理解计算机系统】 三:布尔逻辑与组合电路
Geeksongs
javascriptvuejqueryjavaspringboot
4.1.BooleanExpressionsToday’sdigitalcircuitsarebuiltsothattheycanperformveryfastoperationsoverdatathatisencodedinbinary.TheunderlyingoperationsarepartofwhatisknownasBooleanAlgebra.Thisalgebraconsistso
- python 加密解密
weixin_34194359
python开发工具
1.使用base64s1=base64.encodestring('helloworld')s2=base64.decodestring(s1)prints1,s2结果aGVsbG8gd29ybGQ=helloworldBase64编码,64指A-Z、a-z、0-9、+和/这64个字符,还有“=”号不属于编码字符,而是填充字符。为什么发明这么个编码呢,这个编码的原理很简单,“破解”也很容易,原因是
- 算法 单链的创建与删除
换个号韩国红果果
c算法
先创建结构体
struct student {
int data;
//int tag;//标记这是第几个
struct student *next;
};
// addone 用于将一个数插入已从小到大排好序的链中
struct student *addone(struct student *h,int x){
if(h==NULL) //??????
- 《大型网站系统与Java中间件实践》第2章读后感
白糖_
java中间件
断断续续花了两天时间试读了《大型网站系统与Java中间件实践》的第2章,这章总述了从一个小型单机构建的网站发展到大型网站的演化过程---整个过程会遇到很多困难,但每一个屏障都会有解决方案,最终就是依靠这些个解决方案汇聚到一起组成了一个健壮稳定高效的大型系统。
看完整章内容,
- zeus持久层spring事务单元测试
deng520159
javaDAOspringjdbc
今天把zeus事务单元测试放出来,让大家指出他的毛病,
1.ZeusTransactionTest.java 单元测试
package com.dengliang.zeus.webdemo.test;
import java.util.ArrayList;
import java.util.List;
import org.junit.Test;
import
- Rss 订阅 开发
周凡杨
htmlxml订阅rss规范
RSS是 Really Simple Syndication的缩写(对rss2.0而言,是这三个词的缩写,对rss1.0而言则是RDF Site Summary的缩写,1.0与2.0走的是两个体系)。
RSS
- 分页查询实现
g21121
分页查询
在查询列表时我们常常会用到分页,分页的好处就是减少数据交换,每次查询一定数量减少数据库压力等等。
按实现形式分前台分页和服务器分页:
前台分页就是一次查询出所有记录,在页面中用js进行虚拟分页,这种形式在数据量较小时优势比较明显,一次加载就不必再访问服务器了,但当数据量较大时会对页面造成压力,传输速度也会大幅下降。
服务器分页就是每次请求相同数量记录,按一定规则排序,每次取一定序号直接的数据
- spring jms异步消息处理
510888780
jms
spring JMS对于异步消息处理基本上只需配置下就能进行高效的处理。其核心就是消息侦听器容器,常用的类就是DefaultMessageListenerContainer。该容器可配置侦听器的并发数量,以及配合MessageListenerAdapter使用消息驱动POJO进行消息处理。且消息驱动POJO是放入TaskExecutor中进行处理,进一步提高性能,减少侦听器的阻塞。具体配置如下:
- highCharts柱状图
布衣凌宇
hightCharts柱图
第一步:导入 exporting.js,grid.js,highcharts.js;第二步:写controller
@Controller@RequestMapping(value="${adminPath}/statistick")public class StatistickController { private UserServi
- 我的spring学习笔记2-IoC(反向控制 依赖注入)
aijuans
springmvcSpring 教程spring3 教程Spring 入门
IoC(反向控制 依赖注入)这是Spring提出来了,这也是Spring一大特色。这里我不用多说,我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC,下面我将介绍不用Spring的IoC。
IoC不是框架,她是java的技术,如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明:
如:程序中有 Mysql.calss 、Oracle.class 、SqlSe
- TLS java简单实现
antlove
javasslkeystoretlssecure
1. SSLServer.java
package ssl;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.ServerSocket;
import java.net.Socket;
import java.security.KeyStore;
import
- Zip解压压缩文件
百合不是茶
Zip格式解压Zip流的使用文件解压
ZIP文件的解压缩实质上就是从输入流中读取数据。Java.util.zip包提供了类ZipInputStream来读取ZIP文件,下面的代码段创建了一个输入流来读取ZIP格式的文件;
ZipInputStream in = new ZipInputStream(new FileInputStream(zipFileName));
&n
- underscore.js 学习(一)
bijian1013
JavaScriptunderscore
工作中需要用到underscore.js,发现这是一个包括了很多基本功能函数的js库,里面有很多实用的函数。而且它没有扩展 javascript的原生对象。主要涉及对Collection、Object、Array、Function的操作。 学
- java jvm常用命令工具——jstatd命令(Java Statistics Monitoring Daemon)
bijian1013
javajvmjstatd
1.介绍
jstatd是一个基于RMI(Remove Method Invocation)的服务程序,它用于监控基于HotSpot的JVM中资源的创建及销毁,并且提供了一个远程接口允许远程的监控工具连接到本地的JVM执行命令。
jstatd是基于RMI的,所以在运行jstatd的服务
- 【Spring框架三】Spring常用注解之Transactional
bit1129
transactional
Spring可以通过注解@Transactional来为业务逻辑层的方法(调用DAO完成持久化动作)添加事务能力,如下是@Transactional注解的定义:
/*
* Copyright 2002-2010 the original author or authors.
*
* Licensed under the Apache License, Version
- 我(程序员)的前进方向
bitray
程序员
作为一个普通的程序员,我一直游走在java语言中,java也确实让我有了很多的体会.不过随着学习的深入,java语言的新技术产生的越来越多,从最初期的javase,我逐渐开始转变到ssh,ssi,这种主流的码农,.过了几天为了解决新问题,webservice的大旗也被我祭出来了,又过了些日子jms架构的activemq也开始必须学习了.再后来开始了一系列技术学习,osgi,restful.....
- nginx lua开发经验总结
ronin47
使用nginx lua已经两三个月了,项目接开发完毕了,这几天准备上线并且跟高德地图对接。回顾下来lua在项目中占得必中还是比较大的,跟PHP的占比差不多持平了,因此在开发中遇到一些问题备忘一下 1:content_by_lua中代码容量有限制,一般不要写太多代码,正常编写代码一般在100行左右(具体容量没有细心测哈哈,在4kb左右),如果超出了则重启nginx的时候会报 too long pa
- java-66-用递归颠倒一个栈。例如输入栈{1,2,3,4,5},1在栈顶。颠倒之后的栈为{5,4,3,2,1},5处在栈顶
bylijinnan
java
import java.util.Stack;
public class ReverseStackRecursive {
/**
* Q 66.颠倒栈。
* 题目:用递归颠倒一个栈。例如输入栈{1,2,3,4,5},1在栈顶。
* 颠倒之后的栈为{5,4,3,2,1},5处在栈顶。
*1. Pop the top element
*2. Revers
- 正确理解Linux内存占用过高的问题
cfyme
linux
Linux开机后,使用top命令查看,4G物理内存发现已使用的多大3.2G,占用率高达80%以上:
Mem: 3889836k total, 3341868k used, 547968k free, 286044k buffers
Swap: 6127608k total,&nb
- [JWFD开源工作流]当前流程引擎设计的一个急需解决的问题
comsci
工作流
当我们的流程引擎进入IRC阶段的时候,当循环反馈模型出现之后,每次循环都会导致一大堆节点内存数据残留在系统内存中,循环的次数越多,这些残留数据将导致系统内存溢出,并使得引擎崩溃。。。。。。
而解决办法就是利用汇编语言或者其它系统编程语言,在引擎运行时,把这些残留数据清除掉。
- 自定义类的equals函数
dai_lm
equals
仅作笔记使用
public class VectorQueue {
private final Vector<VectorItem> queue;
private class VectorItem {
private final Object item;
private final int quantity;
public VectorI
- Linux下安装R语言
datageek
R语言 linux
命令如下:sudo gedit /etc/apt/sources.list1、deb http://mirrors.ustc.edu.cn/CRAN/bin/linux/ubuntu/ precise/ 2、deb http://dk.archive.ubuntu.com/ubuntu hardy universesudo apt-key adv --keyserver ke
- 如何修改mysql 并发数(连接数)最大值
dcj3sjt126com
mysql
MySQL的连接数最大值跟MySQL没关系,主要看系统和业务逻辑了
方法一:进入MYSQL安装目录 打开MYSQL配置文件 my.ini 或 my.cnf查找 max_connections=100 修改为 max_connections=1000 服务里重起MYSQL即可
方法二:MySQL的最大连接数默认是100客户端登录:mysql -uusername -ppass
- 单一功能原则
dcj3sjt126com
面向对象的程序设计软件设计编程原则
单一功能原则[
编辑]
SOLID 原则
单一功能原则
开闭原则
Liskov代换原则
接口隔离原则
依赖反转原则
查
论
编
在面向对象编程领域中,单一功能原则(Single responsibility principle)规定每个类都应该有
- POJO、VO和JavaBean区别和联系
fanmingxing
VOPOJOjavabean
POJO和JavaBean是我们常见的两个关键字,一般容易混淆,POJO全称是Plain Ordinary Java Object / Plain Old Java Object,中文可以翻译成:普通Java类,具有一部分getter/setter方法的那种类就可以称作POJO,但是JavaBean则比POJO复杂很多,JavaBean是一种组件技术,就好像你做了一个扳子,而这个扳子会在很多地方被
- SpringSecurity3.X--LDAP:AD配置
hanqunfeng
SpringSecurity
前面介绍过基于本地数据库验证的方式,参考http://hanqunfeng.iteye.com/blog/1155226,这里说一下如何修改为使用AD进行身份验证【只对用户名和密码进行验证,权限依旧存储在本地数据库中】。
将配置文件中的如下部分删除:
<!-- 认证管理器,使用自定义的UserDetailsService,并对密码采用md5加密-->
- mac mysql 修改密码
IXHONG
mysql
$ sudo /usr/local/mysql/bin/mysqld_safe –user=root & //启动MySQL(也可以通过偏好设置面板来启动)$ sudo /usr/local/mysql/bin/mysqladmin -uroot password yourpassword //设置MySQL密码(注意,这是第一次MySQL密码为空的时候的设置命令,如果是修改密码,还需在-
- 设计模式--抽象工厂模式
kerryg
设计模式
抽象工厂模式:
工厂模式有一个问题就是,类的创建依赖于工厂类,也就是说,如果想要拓展程序,必须对工厂类进行修改,这违背了闭包原则。我们采用抽象工厂模式,创建多个工厂类,这样一旦需要增加新的功能,直接增加新的工厂类就可以了,不需要修改之前的代码。
总结:这个模式的好处就是,如果想增加一个功能,就需要做一个实现类,
- 评"高中女生军训期跳楼”
nannan408
首先,先抛出我的观点,各位看官少点砖头。那就是,中国的差异化教育必须做起来。
孔圣人有云:有教无类。不同类型的人,都应该有对应的教育方法。目前中国的一体化教育,不知道已经扼杀了多少创造性人才。我们出不了爱迪生,出不了爱因斯坦,很大原因,是我们的培养思路错了,我们是第一要“顺从”。如果不顺从,我们的学校,就会用各种方法,罚站,罚写作业,各种罚。军
- scala如何读取和写入文件内容?
qindongliang1922
javajvmscala
直接看如下代码:
package file
import java.io.RandomAccessFile
import java.nio.charset.Charset
import scala.io.Source
import scala.reflect.io.{File, Path}
/**
* Created by qindongliang on 2015/
- C语言算法之百元买百鸡
qiufeihu
c算法
中国古代数学家张丘建在他的《算经》中提出了一个著名的“百钱买百鸡问题”,鸡翁一,值钱五,鸡母一,值钱三,鸡雏三,值钱一,百钱买百鸡,问翁,母,雏各几何?
代码如下:
#include <stdio.h>
int main()
{
int cock,hen,chick; /*定义变量为基本整型*/
for(coc
- Hadoop集群安全性:Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode
wyz2009107220
NameNode
正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。
1. Secondary NameNode
原理:Secondary NN会定期的从NN中读取editlog,与自己存储的Image进行合并形成新的metadata image
优点:Hadoop较早的版本都自带,