不能说のsecret 7
一段混沌时期过去了，有些无奈，有些疯狂，有些欢喜，有些迷失，总之，它是过去了。
之前的一段时间给新来的博士老师查资料，关于列车联网的，什么CTCS3，ETCS，CTC，TDCS，TDMS，TDCS，RSM-R等一系列新名词，还好也算努力的去做然后交工了，如果有这方面需要的，可以提供一些资料（只保证近期不会删除）。
最近在看了老师给的一些资料，主要是hadoop权威指南，对这个平台，包括HDFS和MapReduce有了一些浅显的理解，我知道开始都是比较困难的，慢慢的坚持吧。俗话说好记忆不如烂笔头，看的同时也记录了一些比较重要又不是很容易理解的知识点，防止过后就忘（虽然这样保质期也不长，o(︶︿︶)o 唉）。
说好的hadoop平台被一拖再拖，实在是有点心有愧疚，前天在实验室3台电脑组成的集群上编写了第一个可以被认为是mapreduce程序的小应用，在网上下载了一个云层天气数据集，120个文件作为输入，通过程序查看单个站点十几年的天气变化情况，几分钟处理了几亿条数据还是令我这小菜鸟蛮吃惊的，程序虽然比较简单，类似与wordcount，不过麻雀虽小，五脏还是不少的，至少练习了MapReduce程序的开发过程，这个应该算是比较基础的了，继续熟悉才能深入吧。
附上这个简单实现：
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
/**
* 记录同一观测站的天气状况出现的次数
* key=年月+天气状况 value=次数
* Ppt precipitation ww= 50-75,77,79,80-99 .
D drizzle 50-59 .
R rain 60-69 .
S snow 70-75,77,79 .
Ts thunderstorm,shower 80-99 .
* @author ubuntu
* 2012.8.11
*/
public class WeatherCount {
public static class WeatherCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
protected void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
String line = value.toString();//读取一行
String time = line.substring(0,4);//年月
int station = Integer.parseInt(line.substring(19,24).trim());//站台
if(station==71906){
String ww = line.substring(25,27);//天气指标
int weatherIndex = 0;//天气指数
String weather = null;
if(!ww.equals("-1")){//-1代表数据丢失
weatherIndex = Integer.parseInt(ww.trim());
if(weatherIndex>=50&&weatherIndex<=59)
weather = "drizzle";
else if(weatherIndex>=60&&weatherIndex<=69)
weather = "rain";
else if((weatherIndex>=70&&weatherIndex<=75)||weatherIndex==77||weatherIndex==79)
weather = "snow";
else if(weatherIndex>=80&&weatherIndex<=99)
weather = "thunderstorm";
if(weather!=null){
context.write(new Text(time+weather), one);
}
}
}
}
}
public static class WeatherCountReducer extends Reducer<Text, IntWritable, Text, IntWritable>{
protected void reduce(Text key, Iterable<IntWritable> values,
Context context)
throws IOException, InterruptedException {
int sum = 0;
for(IntWritable value : values){
sum += value.get();
}
context.write(key, new IntWritable(sum));
}
}
public static void main(String[] args) throws Exception{
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
if(otherArgs.length!=2){
System.err.println("Usage:WeatherCount <input path> <output path>");
System.exit(-1);
}
Job job = new Job(conf,"weather count");
job.setJarByClass(WeatherCount.class);
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
job.setMapperClass(WeatherCountMapper.class);
job.setCombinerClass(WeatherCountReducer.class);
job.setReducerClass(WeatherCountReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
System.exit(job.waitForCompletion(true)?0:1);
}
}
今天把系科系统（CxServer）给搭上了，虽然是好久之前老师让改的，但是还是觉得这个系统比较难懂，用wt库加C++编写的网站，实在让我头大，加上不是很熟悉的Linux服务器……不过，由于第一次部署这个系统时比较用心，克服了许多困难，上论坛，搜网页，解决了很多问题，（包括程序自己的！），这次搭的时候还算比较顺利，下午放到了学校的服务器上，加了url转发，外网算是可以登录了，对于这个创新基金管理系统，如果遇到了搭建问题，也可以一起讨论。
至于感情，我想，我是觉得好寂寞了……前两天打球时遇到了她，话说人家现在过的很好，我真是屌丝，就不能也信守承诺，过自己的生活么！？有句话说的好，想要忘记就要“不要见，不要贱”。
人生总是要遇到无可知的路途，暂时的迷失不要紧，大方向不能丢，时常让自己快乐，疯狂，忘我，青春就是用来还债的。
决定去健身了，hold不住了。如果你是宅，请记得有个好身体。