ant打包hadoop包,上传,并执行ant.xml配置

<?xml version="1.0" encoding="UTF-8"?>
<!--project 用于定义一个ant工程,其中的三项name、default、basedir缺一不可。 作用分别为:定义工程名、制定默认执行的任务、以及工程基础的路径型(它是计算其它路径的基础,一般情况下使用.即在java工程根目录即可) -->
<project name="log" default="compile" basedir=".">
	<!--描述,个人觉得就是一提示作用,没什么实际用途 -->
	<description>use jar test</description>
	<!--定义源文件路径,其中的value换成location也行,使用value的时候,${src}得到的就是src这个值,如果使用location,得到的是src这个目录的绝对路径 -->
	<property name="src" value="src" />
	<property name="classes" value="bin/classes" />
	<property name="path.build.classes" value="${classes}" />
	<property name="main.class" value="com.dzqd.hadoop.daemon.job.log.detail.LogDetailCommon" />
	
	

	
	<property name="hbaselib" value="E:/soft/hadoop/hbase-0.99.0/lib" />

	<property name="host" value="master" /> 
	<property name="jarpath" value="/home/master/testjar" /> 
    <property name="address" value="${host}:${jarpath}" />  
    <property name="user" value="master" />  
    <property name="password" value="123" />  


		<!--单独一个jar包,不在lib以及lib2目录下,使用一个单独的property定义,以便引用
	<property name="lib0" value="${jsonlib}${jsonjar}" />-->

	<!--构造打包时Class-Path需要的路径 -->
	<!--pathconvert用于对目录进行组合 property即这个组合的名字,pathsep作用是各个文件之间的分隔符,
		如果不写,在windows平台默认是分号。但时在MANIFEST.MF这个文件中,各个jar包之间要用空格区分,
		因此。这里就写成空格了
	-->
	<pathconvert property="lib1" pathsep=" ">
		<!--mapper,对路径组合方式进行控制-->
		<mapper>
			<!--chainedmapper 作用是联合多个mapper-->
			<chainedmapper>
				<!--过滤文件,将路径去掉,只保留文件名-->
				<flattenmapper />
				<!--过滤+转换器,将所有的文件名前面都加上一个lib,我们知道lib目录下面有jar包,
					lib/*的作用其实是将jar包名与路径进行组合形成如:lib/google.jar这样的相对路径
				 -->
				<globmapper from="*" to="${hbaselib}/*" />
			</chainedmapper>
		</mapper>
		<!--按照mapper定义的格式组合lib目录下面的所有jar文件,形成诸如lib/jar1.jar lib/jar2.jar的字符串-->
		<fileset dir="${hbaselib}">
			<include name="*.jar" />
		</fileset>
	</pathconvert>


	<!--同lib,此处不再解释-->
	<pathconvert property="lib2" pathsep=" ">
		<mapper>
			<chainedmapper>
				<flattenmapper />
				<globmapper from="*" to="lib/*" />
			</chainedmapper>
		</mapper>
		<fileset dir="lib">
			<include name="*.jar" />
		</fileset>
	</pathconvert>


	<!--组合各个路径,构成MANIFEST.MF文件中Class-Path所需的字符串-->
	<property name="libs" value="${lib1} ${lib2}" />

	<!--打印一下刚才构造好的字符串,看看是否符合要求
	<echo>libs   ${libs}</echo>-->

	<!-- 构造打包时Class-Path需要的路径 结束-->

	<!--创建任务init,负责初始化一些条件-->
	<target name="init">
		<!-- 创建存放编译后的class的目录
			mkdir可以创建多级目录 
		-->
		<mkdir dir="${classes}" />
	</target>

	<!--创建编译任务,名字是compile,depends指定了comiple任务依赖init任务-->
	<target name="compile" depends="init" description="comile target">
		<!--javac,编译,对应java中的javac命令。
		其中srcdir定义源文件路径 destdir定义编译后文件路径,
		includeantruntime作用是指定编译任务是否包含ant的classpath,可有可无,不影响编译,
		但不写可能会出现警告,为了眼不见心不烦,加上吧-->
		<javac srcdir="${src}" destdir="${classes}" includeantruntime="true">
			<!-- classpath 定义编译需要的claspath -->
			<classpath>
				<fileset dir="${hbaselib}">
					<include name="*.jar" />
				</fileset>
				<fileset dir="lib">
					<include name="*.jar" />
				</fileset>				
			</classpath>
		</javac>
	</target>



	<!-- 创建时间戳 -->
	<tstamp />

	<!--定义jarfilename,准备进行打包操作。其中ant.project.name是ant默认的一个变量,值为最上面定义的project的name 
		${DSTAMP}为日期,格式为20111123;${TSTAMP}为时间,格式为2256,表示22点56分。 -->
	<property name="jarfilename" value="${ant.project.name}-${DSTAMP}.jar" />
	
	
	<!--打包开始,名字为jar,依赖任务为compile -->
	<target name="local-jar" depends="compile" description="make jar file">
	      <echo message="将class打包,输出到${classes}" />
        <!-- 配置文件拷贝 -->  
        <copy todir="${path.build.classes}">  
           <fileset dir="${src}">  
				<include name="**/*.xml" />  
				<include name="**/log4j.properties" />
				<exclude name="**/ant.xml" /> 
          </fileset>  
       </copy> 
	    <!-- <mkdir dir="${dist.dir}" / -->
		<!--jar操作,jarfile指定jar包存放路径,basedir为编译后的class的目录 -->
		<jar jarfile="${jarfilename}" basedir="${classes}">
		    <!-- 打包要打进的第三方包,解压打进去的方式 -->
			<zipfileset includes="**/*.*" src="lib/hbase-daemon-1.0.0-SNAPSHOT.jar" />
			<zipfileset includes="**/*.*" src="lib/json-simple-1.1.jar" />
			<!--为jar包指定manifest,当然,如果jar包不需要打成runnable的形式,manifest可以不要 -->
			<manifest>
				<!--指定main-class -->
				<attribute name="Main-Class"
					value="${main.class}" />
				<!--指定Class-Path -->
				<attribute name="Class-Path" value="${libs}">
				</attribute>
			</manifest>
		</jar>
	</target>
	

	<!-- 第三方包单独放在lib目录下的方法(hadoop jar执行打包方法) -->
	<target name="hadoop-jar" depends="compile" description="Create binary distribution">
		<!-- 首先,我们把所有的第三方jar都复制到build/lib目录中 -->
		<copy todir="${path.build.classes}/lib">
			<fileset dir="lib">
				<include name="**/*.jar" />
				<!-- 因为hadoop-*-core.jar在hadoop系统中已经有了,我们就不对其打包了 -->
				<exclude name="**/hadoop-*-core.jar" />
			</fileset>
		</copy>	 
        <!-- 配置文件拷贝 -->  
        <copy todir="${path.build.classes}">  
           <fileset dir="${src}">  
				<include name="**/*.xml" />  
				<include name="**/log4j.properties" />
				<exclude name="**/ant.xml" /> 
          </fileset>  
       </copy>		
		<!-- 列出所有jar文件的名字,并生成一个有效的classpath字符串,放在hadoop-jar.classpath中 -->
		<pathconvert property="hadoop-jar.classpath" pathsep=" ">
			<regexpmapper from="^(.*)/lib/(.*\.jar)$" to="lib/\2" />
			<path>
				<fileset dir="${path.build.classes}/lib">
					<include name="**/*.jar" />
				</fileset>
			</path>
		</pathconvert>

		<!-- 生成一个Manifest文件,包含刚生成的classpath字符串和这个jar的默认运行类 -->
		<manifest file="MANIFEST.MF">
			<!--<attribute name="Class-Path" value="${hadoop-jar.classpath}" /> -->
			<attribute name="Main-Class" value="${main.class}" />
		</manifest>

		<!-- 把刚才生成的Manifest文件、程序的类文件和所有依赖的第三方jar都打包在一个jar中 -->
		<jar basedir="${path.build.classes}" manifest="MANIFEST.MF"
			jarfile="${jarfilename}">
		
			<include name="**/*.class" />
			<include name="**/*.jar" />
			
			<!-- 配置文件拷贝 -->  
			<include name="*.xml" />  
			<include name="log4j.properties" />
			<exclude name="ant.xml" />
		</jar>

		<!-- 删除manifest文件 -->
		<delete dir="${path.build.classes}/lib" />
		<delete file="MANIFEST.MF" />

	</target>
	
	
	<!-- 第三方包单独放在lib目录下的方法(hbase main-class执行打包方法) -->
	<!--
	export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:your-jar.jar
	hbase your-mainClass /input /output tableName 
	-->
	<target name="hbase-jar" depends="compile" description="Create binary distribution">
			<!-- 生成一个Manifest文件,包含刚生成的classpath字符串和这个jar的默认运行类 -->
			<manifest file="MANIFEST.MF">
				<attribute name="Main-Class" value="${main.class}" />
			</manifest>
	        <!-- 配置文件拷贝 -->  
	        <copy todir="${path.build.classes}">  
	           <fileset dir="${src}">  
					<include name="**/*.xml" />  
					<include name="**/log4j.properties" />
					<exclude name="**/ant.xml" /> 
	          </fileset>  
	       </copy>  
			<!-- 把刚才生成的Manifest文件、程序的类文件和所有依赖的第三方jar都打包在一个jar中 -->
			<jar basedir="${path.build.classes}" manifest="MANIFEST.MF"
				jarfile="${jarfilename}">
				<include name="**/*.class" />
			    <!-- 打包要打进的第三方包,解压打进去的方式 -->
				<zipfileset includes="**/*.*" src="lib/hbase-daemon-1.0.0-SNAPSHOT.jar" />
				<zipfileset includes="**/*.*" src="lib/json-simple-1.1.jar" />
				<!-- 配置文件拷贝 -->  
				<include name="**/*.xml" />  
				<include name="**/log4j.properties" />
				<exclude name="**/ant.xml" />
			</jar>

			<!-- 删除manifest文件 -->
			<delete file="MANIFEST.MF" />

		</target>


	<!--运行一下jar包,试试看效果 -->
	<target name="local-run" depends="local-jar">
		<!--其实这里就是运行jar命令,注意fork一定加上,不然不起作用 -->
		<java jar="${jarfilename}" fork="true">
		</java>
	</target>


	<!-- 清理 -->
	<target name="clean">
		<!-- 可以以递归的方式删除目录 -->
		<delete dir="${classes}" />
		<delete dir="." includes="${jarfilename}" />
	</target>
	  
  
	 <target name="upload" description="上传">  
        <echo message="将jar上传服务器" />  
        <scp file="${jarfilename}" todir="${user}:${password}@${address}"    
            trust="true" verbose="true"/>  
        <echo message="上传完毕" />  
    </target>  
	<target name="jar-upload" depends="hbase-jar" description="上传">  
       <echo message="将jar上传服务器" />  
       <scp file="${jarfilename}" todir="${user}:${password}@${address}"    
           trust="true" verbose="true"/>  
       <echo message="上传完毕" />  
   </target> 
	
	<target name="ssh-run" description="执行job">  
	      <sshexec host="${host}" username="${user}"  password="${passwrod}"  
	         trust="true" command="export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:${jarpath}/${jarfilename}/;hbase ${main.class}"/>  
	</target>

</project>

 

你可能感兴趣的:(hadoop)