- 深度学习速通系列:LoRA微调是什么
Ven%
深度学习速通系列人工智能深度学习python机器学习nlp
LoRA微调(Low-RankAdaptation)是一种用于大型预训练语言模型(LLM)的高效微调技术。它的核心思想是在不改变预训练模型权重的前提下,通过在模型的Transformer层中引入可训练的低秩矩阵来实现模型的微调。这种方法可以显著减少训练参数的数量,从而降低对计算资源的需求。LoRA微调的原理:LoRA微调方法建议冻结预训练模型的权重,并在每个Transformer块中注入可训练的低
- 大模型LLM面试常见算法题-包括Attention和Transformer常见面试题
剑圣土豆
算法面试大模型学习自然语言处理transformer算法nlp自然语言处理面试深度学习人工智能
大模型:位置编码有哪些?介绍LoRA与QLoRARAG和微调的区别是什么?哪些因素会导致LLM的偏见?什么是思维链(CoT)提示?Tokenizer的实现方法及原理解释一下大模型的涌现能力?解释langchainAgent的概念langchain有哪些替代方案?RLHF完整训练过程是什么?为什么RLHF的效果这么好?RLHF使用的训练数据是什么样的?RAG和微调的区别是什么?有了解过什么是稀疏微调
- [Lora][微调] Qwen-VL/Qwen-VL-chat微调问题
翔迅AI
python
@[Lora][微调]Qwen-VL/Qwen-VL-chat微调问题关于Qwen-VL在lora过程中出现的问题总结。模型预训练错误一“erfinv_cuda”notimplementedfor‘BFloat16’RuntimeError:"erfinv_cuda"notimplementedfor'BFloat16'参考github中issue253给出的意见,修改Qwen-VL-Chat/v
- 2023-07-12
大法师的输出
模型:xxmix9realistic_v30LoRA:,,,室内、起居室、咖啡杯等构建环境氛围效果图1(SFW:2),HDR,UHD,8K,bestquality,masterpiece,Highlydetailed,Studiolighting,ultra-finepainting,sharpfocus,physically-basedrendering,extremedetaildescrip
- 【神经网络系列(高级)】神经网络Grokking现象的电路效率公式——揭秘学习飞跃的秘密【通俗理解】
神经美学_茂森
神经网络人工智能算法神经网络学习人工智能
【通俗理解】神经网络Grokking现象的电路效率公式论文地址:https://arxiv.org/abs/2309.02390参考链接:[1]https://x.com/VikrantVarma_/status/1699823229307699305[2]https://pair.withgoogle.com/explorables/grokking/关键词提炼#Grokking现象#神经网络#
- 记录-小程序720°VR(跳转H5页面实现)
久违的小技巧
小程序小程序vrjavascript
全景浏览提前准备1拍照支架/照片合成软件(KolorAutopanoGiga4.0)或者全景相机2pannellum(pannellum是一个轻量级、免费和开源的Web全景查看器。它使用HTML5、CSS3、JavaScript和WebGL构建,没有插件。)3H5页面引入pannellum.js/css文件,swiper/jquery文件(因为需要在全景图底部显示可切换图片,与dom操作/ajax
- 大模型推理框架 RTP-LLM 架构解析
阿里技术
架构LLM推理阿里巴巴RPT
RTP-LLM是阿里巴巴智能引擎团队推出的大模型推理框架,支持了包括淘宝、天猫、闲鱼、菜鸟、高德、饿了么、AE、Lazada等多个业务的大模型推理场景。RTP-LLM与当前广泛使用的多种主流模型兼容,使用高性能的CUDAkernel,包括PagedAttention、FlashAttention、FlashDecoding等,支持多模态、LoRA、P-Tuning、以及WeightOnly动态量化
- flux 文生图大模型 自有数据集 lora微调训练案例
loong_XL
深度学习fluxaigcsd文生图多模态
参考:https://github.com/ostris/ai-toolkit目前Flux出现了3个训练工具SimpleTunerhttps://github.com/bghira/SimpleTunerX-LABS的https://github.com/XLabs-AI/x-fluxai-toolkithttps://github.com/ostris/ai-toolkit待支持:https:/
- 【WPF动画】
TIF星空
WPF分享wpf经验分享c#
关于WPF中System.Windows.Media.Animation命名空间下常用动画类的简要介绍、使用方法和适用场景的表格使用场景解释:示例代码1示例代码2:使用`Storyboard`组合多个动画代码解释应用场景动画类描述使用示例适用场景DoubleAnimation用于为double类型的属性(如Width,Height等)创建动画。xml控件大小的变化、透明度的渐变等。ColorAni
- Flutter Theme Tailor Annotation使用指南:自定义主题注解
明似水
flutterflutterandroid
FlutterThemeTailorAnnotation使用指南:自定义主题注解简介theme_tailor_annotation是一个Dart注解包,它与ThemeTailor代码生成器配合使用,用于帮助开发者自定义Flutter应用的主题。ThemeTailor允许开发者通过注解来定义主题相关的属性,然后自动生成相应的主题代码。主要功能注解定义:使用注解来定义主题的属性和值。代码生成:自动生成
- Flora女王的感恩日记
Flora女王
2019.07.31Flora女王的感恩日记感恩我的宇宙哥哥每天都把我照顾的那么好,谢谢,谢谢,谢谢!感恩今天去医院做身体检查医院里的人不是很多我可以顺利完成,谢谢,谢谢,谢谢!感恩今天去医院拿很久以前的一份报告工作人员为我去翻查记录,谢谢,谢谢,谢谢!感恩我的钱宝宝服务于我,现在我可以细细的感受自己要买的每一件物品是否是自己真是所需,谢谢,谢谢,谢谢!感恩今天与公子欢分享我的奇迹时感受到了她的那
- 开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100(十二)
开源技术探险家
开源模型-实际应用落地#深度学习语言模型自然语言处理
一、前言本篇文章将在v100单卡服务器上,使用ms-swift去高效微调QWen2系列模型,通过阅读本文,您将能够更好地掌握这些关键技术,理解其中的关键技术要点,并应用于自己的项目中。二、术语介绍2.1.LoRA微调LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。是一种有效的自适应策略,它不会引入额外的推理延迟,并在保持模型质量的同时显着减少下游任务的可训练参数数量
- 2023-07-02
大法师的输出
大模型:breakdomainrealistic_R2333LoRA:,效果图(SFW:2),HDR,UHD,8K,bestquality,masterpiece,Highlydetailed,Studiolighting,ultra-finepainting,sharpfocus,physically-basedrendering,extremedetaildescription,Profess
- 学习 Rust:I/O Ring
老父亲的能量嘎嘣脆
rust学习后端开发语言职场和发展
Areyoudisappointedwithselect,poll,epollorAIO?TryoutthebestI/OpromiseintheLinuxlandscape.您对select、poll、epoll或AIO感到失望吗?尝试Linux环境中最佳的I/O承诺。LinuxhasarichhistoryinmanagingI/Ooperations.Somemechanisms,likes
- 2022-2023学年英语周报九年级第10期答案及试题(初三第十期)
gaokaos
阅读理解:CastleRock,Colorado,isintheFrontRange进入查看:2022-2023学年英语周报九年级第10期答案及试题(初三第十期)CastleRock,Colorado,isintheFrontRangebetweenDenverandColoradoSprings.Thetownwasfirstsettledinthe1870sandnamedfortherock
- 数据科学生命周期的7个步骤–在业务中应用AI
听忆.
人工智能
数据科学生命周期的7个步骤–在业务中应用AI1.问题定义(BusinessUnderstanding)2.数据收集(DataCollection)3.数据准备(DataPreparation)4.数据探索(ExploratoryDataAnalysis,EDA)5.模型构建(Modeling)6.模型评估(Evaluation)7.模型部署与维护(DeploymentandMaintenance)
- NB-IoT,LoRA,WIFI,蓝牙,Zigbee,MQTT,CoAP之间的关系
hanchufeng2020
物联网
概览(从上往下)应用层协议:MQTT、CoAP...网络层、传输协议:IPv4、IPv6、TCP、6LoWPAN、RPL物理层、数据链路层协议:近距离通信:Dash、NFC、Bluetooth、RFID、IRdA...远距离蜂窝通信:GSM(2G)、WCDMA(3G)、LTE(3.9G)、TD-LTE(4G)、NB-IOT...远距离非蜂窝通信:ZigBee、WiFi、Z-Wave、wHART、L
- 大模型18:微调大模型方法PEFT(LoRA等) — 训练 “ChatGLM2“ 项目
bluewelkin
大模型
微调大模型的方法之一是PEFT(Parameter-EfficientFine-Tuning),其中包括LoRA(Low-RankAdaptation)等技术。PEFT方法能够在不显著增加计算资源消耗的情况下,微调大模型,从而适应特定任务。这种方法特别适用于像“ChatGLM2”这样的预训练大模型。什么是PEFT(Parameter-EfficientFine-Tuning)?PEFT是一种优化微
- 大模型微调方法总结:LoRA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning
百度_开发者中心
prompt人工智能大模型
随着深度学习技术的不断发展,大型预训练模型已成为许多任务的重要工具。然而,微调(finetuning)这些大模型以适应特定任务是一个复杂且计算密集型的过程。本文将重点介绍五种不同的微调方法:LoRA、Adapter、Prefix-tuning、P-tuning和Prompt-tuning,并对它们进行总结。LoRA(LearnedRepresentationsforFinetuning)LoRA是
- 大模型微调技术(Adapter-Tuning、Prefix-Tuning、Prompt-Tuning(P-Tuning)、P-Tuning v2、LoRA)_adapter微调 p tuning
Cc不爱吃洋葱
prompt
2022年11月30日,ChatGPT发布至今,国内外不断涌现出了不少大模型,呈现“百模大战”的景象,比如ChatGLM-6B、LLAMA、Alpaca等模型及在此模型基础上进一步开发的特定领域的大模型。今年3月15日,GPT-4发布后,也出现了一些多模态的大模型,比如百度的文心一言、讯飞星火认知大模型等等。要想训练一个针对特定领域的大模型,如果采用全量参数微调(FullParameterFutu
- 欺诈文本分类微调(六):Lora单卡训练
沉下心来学鲁班
微调分类人工智能机器学习语言模型微调
1.引言前面欺诈文本分类微调(四):构造训练/测试数据集已经构造出了数据集,更之前的欺诈文本分类微调(一):基座模型选型选好了基座模型,这篇文章将基于构造出的数据集和选定的模型进行欺诈文本分类的微调训练。关于微调方法,我们将使用比较普遍的Lora:在模型中注入低秩矩阵的方式。关于训练器,使用transformers库中提供的Trainer类。2.数据准备2.1加载数据导入要使用的基础包。impor
- 智慧路灯杆会用到哪些通信方式
ianvtenr
智慧城市智慧路灯杆物联网
智慧路灯杆系统的通信方式通常包括有线通信和无线通信。有线通信可采用光纤、网线、电力线载波等方式,且一般以光纤和网线为主,电力线载波为备选;无线通信可采用NB-IoT、3G/4G/5G、LoRa、ZigBee等方式。一、智慧路灯杆有线通信方式:主要是让边缘端的杆载设备链接到智慧灯杆网关,亦可让网关通过光纤链接到云平台系统。1、光纤通信:支持对接包括杆载WiFiAP、手拉手环形组网等应用。2、网线:网
- Mastering Convolutional Neural Networks: A Comprehensive Practical Exploration
Bio大恐龙
人工智能深度学习数据可视化机器学习
ConvolutionalNeuralNetworks(CNNs)haverevolutionizedthefieldofcomputervisionandimagerecognition,enablinggroundbreakingadvancementsinvariousdomains.Thesepowerfuldeeplearningmodelshaveproventheirprowessi
- oracle使用正则表达式REGEXP_SUBSTR提取XML里面的内容
qq_39255840
oracle正则表达式xml
使用extract(XMLTYPE(XML),‘xphat’).getstringval()提取XML,长度过长存在报错ORA-06502:PL/SQL:数字或值错误:characterstringbuffertoosmallORA-06512:在“SYS.XMLTYPE”,line169并且存在速度较慢等问题。正则提取XML,由于这边的XML文本中Name标签,接着的标签即为Value的值,故这
- 大模型训练——PEFT与LORA介绍
MarkHD
人工智能深度学习机器学习
大模型训练中的PEFT(Parameter-EfficientFine-Tuning)与LoRA(Low-RankAdaptation)是两种重要的技术,它们在大型预训练模型的应用中发挥着重要作用。首先,让我们来了解一下PEFT。PEFT是一种参数高效的微调技术,由Huggingface发布。这种方法的核心思想是仅微调少量(额外)模型参数,同时冻结预训练LLM的大部分参数。这样做的好处是大大降低了
- 各种商家 parlor
无梦为安Ph
1.释义:abusinessthatprovidesastatedtypeofpersonalserviceorsellsastatedproduct店铺,商家2.搭配:aXparloranice-cream/funeral/tatooparlor(冰淇淋店/殡仪馆/纹身工作室)afast-food/burger/pizzajoint(快餐店/汉堡店/比萨饼店)abowlingalley(保龄球馆
- 论语学习(五十七)
远洋船长
Hercoquettish(婀娜多姿的;妖艳的;卖弄风情的)smiles,howdimplingtheyare;herbeautifuleyes,howbeamingtheyarehowfairestisshe,whoissimpleandplain.“Inpainting“answeredConfucius,“Ornamentationandcolorareofsecondaryimportan
- 寒假养成计划——Day4
BrilliantWilliam
假期养成计划Codeforcesc++算法acm竞赛
A题题目链接Thereisagridwithnrowsandmcolumns.Somecellsarecoloredblack,andtherestofthecellsarecoloredwhite.Inoneoperation,youcanselectsomeblackcellanddoexactlyoneofthefollowing:colorallcellsinitsrowblack,orc
- 【AIGC】Stable Diffusion之模型微调工具
AIGCExplore
AIGCAIGCstablediffusion
推荐一款好用的模型微调工具,cybertronfurnace是一个lora训练整合包,提供训练lora模型的工具集或环境。集成环境包括必要的依赖项和配置文件、预训练脚本,支持人物、二次元、画风、自定义lora的训练,以简化用户训练lora模型的流程。支持图片预处理、图片的标签编辑,查看训练进度等功能。TensorBoard是TensorFlow提供的一个用于可视化训练过程和模型性能的工具。它可以帮
- 书生浦语-模型微调
SatVision炼金士
NLPpython语言模型人工智能
大语言模型微调指令微调的流程LoRA(旁路分支微调)Xtuner微调框架微调训练作业微调作业需要多训练几个epoch,这里训练了16个epoch
- apache ftpserver-CentOS config
gengzg
apache
<server xmlns="http://mina.apache.org/ftpserver/spring/v1"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="
http://mina.apache.o
- 优化MySQL数据库性能的八种方法
AILIKES
sqlmysql
1、选取最适用的字段属性 MySQL可以很好的支持大数据量的存取,但是一般说来,数据库中的表越小,在它上面执行的查询也就会越快。因此,在创建表的时候,为了获得更好的 性能,我们可以将表中字段的宽度设得尽可能小。例如,在定义邮政编码这个字段时,如果将其设置为CHAR(255),显然给数据库增加了不必要的空间,甚至使用VARCHAR这种类型也是多余的,因为CHAR(6)就可以很
- JeeSite 企业信息化快速开发平台
Kai_Ge
JeeSite
JeeSite 企业信息化快速开发平台
平台简介
JeeSite是基于多个优秀的开源项目,高度整合封装而成的高效,高性能,强安全性的开源Java EE快速开发平台。
JeeSite本身是以Spring Framework为核心容器,Spring MVC为模型视图控制器,MyBatis为数据访问层, Apache Shiro为权限授权层,Ehcahe对常用数据进行缓存,Activit为工作流
- 通过Spring Mail Api发送邮件
120153216
邮件main
原文地址:http://www.open-open.com/lib/view/open1346857871615.html
使用Java Mail API来发送邮件也很容易实现,但是最近公司一个同事封装的邮件API实在让我无法接受,于是便打算改用Spring Mail API来发送邮件,顺便记录下这篇文章。 【Spring Mail API】
Spring Mail API都在org.spri
- Pysvn 程序员使用指南
2002wmj
SVN
源文件:http://ju.outofmemory.cn/entry/35762
这是一篇关于pysvn模块的指南.
完整和详细的API请参考 http://pysvn.tigris.org/docs/pysvn_prog_ref.html.
pysvn是操作Subversion版本控制的Python接口模块. 这个API接口可以管理一个工作副本, 查询档案库, 和同步两个.
该
- 在SQLSERVER中查找被阻塞和正在被阻塞的SQL
357029540
SQL Server
SELECT R.session_id AS BlockedSessionID ,
S.session_id AS BlockingSessionID ,
Q1.text AS Block
- Intent 常用的用法备忘
7454103
.netandroidGoogleBlogF#
Intent
应该算是Android中特有的东西。你可以在Intent中指定程序 要执行的动作(比如:view,edit,dial),以及程序执行到该动作时所需要的资料 。都指定好后,只要调用startActivity(),Android系统 会自动寻找最符合你指定要求的应用 程序,并执行该程序。
下面列出几种Intent 的用法
显示网页:
- Spring定时器时间配置
adminjun
spring时间配置定时器
红圈中的值由6个数字组成,中间用空格分隔。第一个数字表示定时任务执行时间的秒,第二个数字表示分钟,第三个数字表示小时,后面三个数字表示日,月,年,< xmlnamespace prefix ="o" ns ="urn:schemas-microsoft-com:office:office" />
测试的时候,由于是每天定时执行,所以后面三个数
- POJ 2421 Constructing Roads 最小生成树
aijuans
最小生成树
来源:http://poj.org/problem?id=2421
题意:还是给你n个点,然后求最小生成树。特殊之处在于有一些点之间已经连上了边。
思路:对于已经有边的点,特殊标记一下,加边的时候把这些边的权值赋值为0即可。这样就可以既保证这些边一定存在,又保证了所求的结果正确。
代码:
#include <iostream>
#include <cstdio>
- 重构笔记——提取方法(Extract Method)
ayaoxinchao
java重构提炼函数局部变量提取方法
提取方法(Extract Method)是最常用的重构手法之一。当看到一个方法过长或者方法很难让人理解其意图的时候,这时候就可以用提取方法这种重构手法。
下面是我学习这个重构手法的笔记:
提取方法看起来好像仅仅是将被提取方法中的一段代码,放到目标方法中。其实,当方法足够复杂的时候,提取方法也会变得复杂。当然,如果提取方法这种重构手法无法进行时,就可能需要选择其他
- 为UILabel添加点击事件
bewithme
UILabel
默认情况下UILabel是不支持点击事件的,网上查了查居然没有一个是完整的答案,现在我提供一个完整的代码。
UILabel *l = [[UILabel alloc] initWithFrame:CGRectMake(60, 0, listV.frame.size.width - 60, listV.frame.size.height)]
- NoSQL数据库之Redis数据库管理(PHP-REDIS实例)
bijian1013
redis数据库NoSQL
一.redis.php
<?php
//实例化
$redis = new Redis();
//连接服务器
$redis->connect("localhost");
//授权
$redis->auth("lamplijie");
//相关操
- SecureCRT使用备注
bingyingao
secureCRT每页行数
SecureCRT日志和卷屏行数设置
一、使用securecrt时,设置自动日志记录功能。
1、在C:\Program Files\SecureCRT\下新建一个文件夹(也就是你的CRT可执行文件的路径),命名为Logs;
2、点击Options -> Global Options -> Default Session -> Edite Default Sett
- 【Scala九】Scala核心三:泛型
bit1129
scala
泛型类
package spark.examples.scala.generics
class GenericClass[K, V](val k: K, val v: V) {
def print() {
println(k + "," + v)
}
}
object GenericClass {
def main(args: Arr
- 素数与音乐
bookjovi
素数数学haskell
由于一直在看haskell,不可避免的接触到了很多数学知识,其中数论最多,如素数,斐波那契数列等,很多在学生时代无法理解的数学现在似乎也能领悟到那么一点。
闲暇之余,从图书馆找了<<The music of primes>>和<<世界数学通史>>读了几遍。其中素数的音乐这本书与软件界熟知的&l
- Java-Collections Framework学习与总结-IdentityHashMap
BrokenDreams
Collections
这篇总结一下java.util.IdentityHashMap。从类名上可以猜到,这个类本质应该还是一个散列表,只是前面有Identity修饰,是一种特殊的HashMap。
简单的说,IdentityHashMap和HashM
- 读《研磨设计模式》-代码笔记-享元模式-Flyweight
bylijinnan
java设计模式
声明: 本文只为方便我个人查阅和理解,详细的分析以及源代码请移步 原作者的博客http://chjavach.iteye.com/
import java.util.ArrayList;
import java.util.Collection;
import java.util.HashMap;
import java.util.List;
import java
- PS人像润饰&调色教程集锦
cherishLC
PS
1、仿制图章沿轮廓润饰——柔化图像,凸显轮廓
http://www.howzhi.com/course/retouching/
新建一个透明图层,使用仿制图章不断Alt+鼠标左键选点,设置透明度为21%,大小为修饰区域的1/3左右(比如胳膊宽度的1/3),再沿纹理方向(比如胳膊方向)进行修饰。
所有修饰完成后,对该润饰图层添加噪声,噪声大小应该和
- 更新多个字段的UPDATE语句
crabdave
update
更新多个字段的UPDATE语句
update tableA a
set (a.v1, a.v2, a.v3, a.v4) = --使用括号确定更新的字段范围
- hive实例讲解实现in和not in子句
daizj
hivenot inin
本文转自:http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2842855.html
当前hive不支持 in或not in 中包含查询子句的语法,所以只能通过left join实现。
假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户,字段只有一个uid),这两个表都包含
- 一道24点的10+种非人类解法(2,3,10,10)
dsjt
算法
这是人类算24点的方法?!!!
事件缘由:今天晚上突然看到一条24点状态,当时惊为天人,这NM叫人啊?以下是那条状态
朱明西 : 24点,算2 3 10 10,我LX炮狗等面对四张牌痛不欲生,结果跑跑同学扫了一眼说,算出来了,2的10次方减10的3次方。。我草这是人类的算24点啊。。
然后么。。。我就在深夜很得瑟的问室友求室友算
刚出完题,文哥的暴走之旅开始了
5秒后
- 关于YII的菜单插件 CMenu和面包末breadcrumbs路径管理插件的一些使用问题
dcj3sjt126com
yiiframework
在使用 YIi的路径管理工具时,发现了一个问题。 <?php  
- 对象与关系之间的矛盾:“阻抗失配”效应[转]
come_for_dream
对象
概述
“阻抗失配”这一词组通常用来描述面向对象应用向传统的关系数据库(RDBMS)存放数据时所遇到的数据表述不一致问题。C++程序员已经被这个问题困扰了好多年,而现在的Java程序员和其它面向对象开发人员也对这个问题深感头痛。
“阻抗失配”产生的原因是因为对象模型与关系模型之间缺乏固有的亲合力。“阻抗失配”所带来的问题包括:类的层次关系必须绑定为关系模式(将对象
- 学习编程那点事
gcq511120594
编程互联网
一年前的夏天,我还在纠结要不要改行,要不要去学php?能学到真本事吗?改行能成功吗?太多的问题,我终于不顾一切,下定决心,辞去了工作,来到传说中的帝都。老师给的乘车方式还算有效,很顺利的就到了学校,赶巧了,正好学校搬到了新校区。先安顿了下来,过了个轻松的周末,第一次到帝都,逛逛吧!
接下来的周一,是我噩梦的开始,学习内容对我这个零基础的人来说,除了勉强完成老师布置的作业外,我已经没有时间和精力去
- Reverse Linked List II
hcx2013
list
Reverse a linked list from position m to n. Do it in-place and in one-pass.
For example:Given 1->2->3->4->5->NULL, m = 2 and n = 4,
return 
- Spring4.1新特性——页面自动化测试框架Spring MVC Test HtmlUnit简介
jinnianshilongnian
spring 4.1
目录
Spring4.1新特性——综述
Spring4.1新特性——Spring核心部分及其他
Spring4.1新特性——Spring缓存框架增强
Spring4.1新特性——异步调用和事件机制的异常处理
Spring4.1新特性——数据库集成测试脚本初始化
Spring4.1新特性——Spring MVC增强
Spring4.1新特性——页面自动化测试框架Spring MVC T
- Hadoop集群工具distcp
liyonghui160com
1. 环境描述
两个集群:rock 和 stone
rock无kerberos权限认证,stone有要求认证。
1. 从rock复制到stone,采用hdfs
Hadoop distcp -i hdfs://rock-nn:8020/user/cxz/input hdfs://stone-nn:8020/user/cxz/运行在rock端,即源端问题:报版本
- 一个备份MySQL数据库的简单Shell脚本
pda158
mysql脚本
主脚本(用于备份mysql数据库): 该Shell脚本可以自动备份
数据库。只要复制粘贴本脚本到文本编辑器中,输入数据库用户名、密码以及数据库名即可。我备份数据库使用的是mysqlump 命令。后面会对每行脚本命令进行说明。
1. 分别建立目录“backup”和“oldbackup” #mkdir /backup #mkdir /oldbackup
- 300个涵盖IT各方面的免费资源(中)——设计与编码篇
shoothao
IT资源图标库图片库色彩板字体
A. 免费的设计资源
Freebbble:来自于Dribbble的免费的高质量作品。
Dribbble:Dribbble上“免费”的搜索结果——这是巨大的宝藏。
Graphic Burger:每个像素点都做得很细的绝佳的设计资源。
Pixel Buddha:免费和优质资源的专业社区。
Premium Pixels:为那些有创意的人提供免费的素材。
- thrift总结 - 跨语言服务开发
uule
thrift
官网
官网JAVA例子
thrift入门介绍
IBM-Apache Thrift - 可伸缩的跨语言服务开发框架
Thrift入门及Java实例演示
thrift的使用介绍
RPC
POM:
<dependency>
<groupId>org.apache.thrift</groupId>