fansy1990

Mahout源码分析之DistributedLanczosSolver（1）--实战

Mahout版本：0.7，hadoop版本：1.0.4，jdk：1.7.0_25 64bit。

本篇开始系列svd，即降维。这个在mahout中可以直接运行MAHOUT_HOME/mahout/svd -h 即可看到该算法的调用参数，或者在官网相应页面也可以看到，本次实战使用的svd的调用参数如下：

package mahout.fansy.svd;

import org.apache.mahout.math.hadoop.decomposer.DistributedLanczosSolver;

public class RunSvd {

	/**
	 * 调用svd算法
	 * @throws Exception 
	 */
	public static void main(String[] args) throws Exception {
		String[] arg=new String[]{"-jt","ubuntu:9001","-fs","ubuntu:9000",
				"-i","hdfs://ubuntu:9000/svd/input/wind",
				"-o","hdfs://ubuntu:9000/svd/output",
				"-nr","178","-nc","14",
				"-r","3",
				"-sym","square",
				"--cleansvd","true",
				"--tempDir","hdfs://ubuntu:9000/svd/temp"
		};
		DistributedLanczosSolver.main(arg);
	}

}

在运行这个算法之前，需要转换输入数据，比如使用下面的输入数据：

可以使用下面的代码把上面的文件转换为序列文件，同时value的格式为VectorWritable类型：

package mahout.fansy.utils.svd;

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.mahout.common.HadoopUtil;
import org.apache.mahout.math.RandomAccessSparseVector;
import org.apache.mahout.math.Vector;
import org.apache.mahout.math.VectorWritable;

public class ReadAndWriteSeq {

	/*
	 * 私有化 构造函数，只能使用方法调用
	 */
	private ReadAndWriteSeq(){}
	
	/**
	 * 读取文本数据，写入HDFS文件系统格式为<Writable,VectorWritable>
	 * @param input 输入文本文件
	 * @param output 输出HDFS文件（seq格式）
	 * @param jobtracker 使用的jobtracker地址
	 * @param regex  使用的解析类，用于解析文本文件
	 * @return 任务是否成功
	 * @throws IOException
	 */
	public static boolean readAndWriteSeq(String input,String output,String jobtracker) throws IOException{
		boolean flag=true;
		
		Configuration conf=new Configuration();
		conf.set("mapred.job.tracker", jobtracker);
		
		FileSystem fsIn = FileSystem.get(URI.create(input), conf);
		FileSystem fsOut = FileSystem.get(URI.create(output), conf);
		HadoopUtil.delete(conf, new Path(output));
	    Path pathIn = new Path(input);
	    Path pathOut = new Path(output);
	    
	    SequenceFile.Writer writer = null;
	    FSDataInputStream in = fsIn.open(pathIn);
	    IntWritable key=new IntWritable(0);
	    VectorWritable value=new VectorWritable();
	    try {
	      writer = SequenceFile.createWriter(fsOut, conf, pathOut,
	              key.getClass(), value.getClass());
	      String line=null;
	      int length=0;
	      int row=1;
	      while ((line=in.readLine())!=null) {
	    	  String[] vs=line.split(",");
	    	  length=vs.length;
	    	  Vector vector=new RandomAccessSparseVector(length);
	    	  for(int i=0;i<length;i++){
	    		  vector.set(i, Double.parseDouble(vs[i]));
	    	  }
	    	  value.set(vector);
	    	  key.set(row++);
	    	  writer.append(key, value);
	      }
	    } catch(IOException e){
	    	flag=false;
	    }finally {
	       IOUtils.closeStream(writer);
	       in.close();
	    }
		return flag;
	}
}

运行后的在HDFS中一共有三个输出，其中一个是temp的，即临时的，还有两个一个是 rawEigenvectors，如下：

一个是：cleanEigenvectors（最后的输出）：

终端的显示信息如下：

SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/D:/workspase/mahout/lib/mahout-examples-0.7-job.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/D:/workspase/mahout/lib/slf4j-log4j12-1.4.3.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
13/10/28 00:14:13 WARN fs.FileSystem: "ubuntu:9000" is a deprecated filesystem name. Use "hdfs://ubuntu:9000/" instead.
13/10/28 00:14:13 INFO common.AbstractJob: Command line arguments: {--cleansvd=[true], --endPhase=[2147483647], --inMemory=[false], --input=[hdfs://ubuntu:9000/svd/input/wind], --maxError=[0.05], --minEigenvalue=[0.0], --numCols=[14], --numRows=[178], --output=[hdfs://ubuntu:9000/svd/output], --rank=[3], --startPhase=[0], --symmetric=[square], --tempDir=[hdfs://ubuntu:9000/svd/temp]}
13/10/28 00:15:43 INFO lanczos.LanczosSolver: Finding 3 singular vectors of matrix with 178 rows, via Lanczos
13/10/28 00:15:45 INFO mapred.FileInputFormat: Total input paths to process : 1
13/10/28 00:15:49 INFO mapred.JobClient: Running job: job_201310220012_0023
13/10/28 00:15:50 INFO mapred.JobClient:  map 0% reduce 0%
13/10/28 00:18:40 INFO mapred.JobClient:  map 100% reduce 0%
13/10/28 00:19:11 INFO mapred.JobClient:  map 100% reduce 100%
13/10/28 00:19:16 INFO mapred.JobClient: Job complete: job_201310220012_0023
13/10/28 00:19:16 INFO mapred.JobClient: Counters: 30
13/10/28 00:19:16 INFO mapred.JobClient:   Job Counters 
13/10/28 00:19:16 INFO mapred.JobClient:     Launched reduce tasks=1
13/10/28 00:19:16 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=241868
13/10/28 00:19:16 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/10/28 00:19:16 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/10/28 00:19:16 INFO mapred.JobClient:     Launched map tasks=2
13/10/28 00:19:16 INFO mapred.JobClient:     Data-local map tasks=2
13/10/28 00:19:16 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=28198
13/10/28 00:19:16 INFO mapred.JobClient:   File Input Format Counters 
13/10/28 00:19:16 INFO mapred.JobClient:     Bytes Read=23216
13/10/28 00:19:16 INFO mapred.JobClient:   File Output Format Counters 
13/10/28 00:19:16 INFO mapred.JobClient:     Bytes Written=220
13/10/28 00:19:16 INFO mapred.JobClient:   FileSystemCounters
13/10/28 00:19:16 INFO mapred.JobClient:     FILE_BYTES_READ=238
13/10/28 00:19:16 INFO mapred.JobClient:     HDFS_BYTES_READ=23967
13/10/28 00:19:16 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=70111
13/10/28 00:19:16 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=220
13/10/28 00:19:16 INFO mapred.JobClient:   Map-Reduce Framework
13/10/28 00:19:16 INFO mapred.JobClient:     Map output materialized bytes=244
13/10/28 00:19:16 INFO mapred.JobClient:     Map input records=178
13/10/28 00:19:16 INFO mapred.JobClient:     Reduce shuffle bytes=244
13/10/28 00:19:16 INFO mapred.JobClient:     Spilled Records=4
13/10/28 00:19:16 INFO mapred.JobClient:     Map output bytes=228
13/10/28 00:19:16 INFO mapred.JobClient:     Total committed heap usage (bytes)=246685696
13/10/28 00:19:16 INFO mapred.JobClient:     CPU time spent (ms)=53940
13/10/28 00:19:16 INFO mapred.JobClient:     Map input bytes=21094
13/10/28 00:19:16 INFO mapred.JobClient:     SPLIT_RAW_BYTES=172
13/10/28 00:19:16 INFO mapred.JobClient:     Combine input records=2
13/10/28 00:19:16 INFO mapred.JobClient:     Reduce input records=2
13/10/28 00:19:16 INFO mapred.JobClient:     Reduce input groups=1
13/10/28 00:19:16 INFO mapred.JobClient:     Combine output records=2
13/10/28 00:19:16 INFO mapred.JobClient:     Physical memory (bytes) snapshot=414433280
13/10/28 00:19:16 INFO mapred.JobClient:     Reduce output records=1
13/10/28 00:19:16 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2934288384
13/10/28 00:19:16 INFO mapred.JobClient:     Map output records=2
13/10/28 00:19:16 INFO lanczos.LanczosSolver: 1 passes through the corpus so far...
13/10/28 00:19:17 INFO mapred.FileInputFormat: Total input paths to process : 1
13/10/28 00:19:18 INFO mapred.JobClient: Running job: job_201310220012_0024
13/10/28 00:19:19 INFO mapred.JobClient:  map 0% reduce 0%
13/10/28 00:20:06 INFO mapred.JobClient:  map 100% reduce 0%
13/10/28 00:20:25 INFO mapred.JobClient:  map 100% reduce 100%
13/10/28 00:20:30 INFO mapred.JobClient: Job complete: job_201310220012_0024
13/10/28 00:20:30 INFO mapred.JobClient: Counters: 30
13/10/28 00:20:30 INFO mapred.JobClient:   Job Counters 
13/10/28 00:20:30 INFO mapred.JobClient:     Launched reduce tasks=1
13/10/28 00:20:30 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=79120
13/10/28 00:20:30 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/10/28 00:20:30 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/10/28 00:20:30 INFO mapred.JobClient:     Launched map tasks=2
13/10/28 00:20:30 INFO mapred.JobClient:     Data-local map tasks=2
13/10/28 00:20:30 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=15191
13/10/28 00:20:30 INFO mapred.JobClient:   File Input Format Counters 
13/10/28 00:20:30 INFO mapred.JobClient:     Bytes Read=23216
13/10/28 00:20:30 INFO mapred.JobClient:   File Output Format Counters 
13/10/28 00:20:30 INFO mapred.JobClient:     Bytes Written=220
13/10/28 00:20:30 INFO mapred.JobClient:   FileSystemCounters
13/10/28 00:20:30 INFO mapred.JobClient:     FILE_BYTES_READ=238
13/10/28 00:20:30 INFO mapred.JobClient:     HDFS_BYTES_READ=23967
13/10/28 00:20:30 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=70105
13/10/28 00:20:30 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=220
13/10/28 00:20:30 INFO mapred.JobClient:   Map-Reduce Framework
13/10/28 00:20:30 INFO mapred.JobClient:     Map output materialized bytes=244
13/10/28 00:20:30 INFO mapred.JobClient:     Map input records=178
13/10/28 00:20:30 INFO mapred.JobClient:     Reduce shuffle bytes=244
13/10/28 00:20:30 INFO mapred.JobClient:     Spilled Records=4
13/10/28 00:20:30 INFO mapred.JobClient:     Map output bytes=228
13/10/28 00:20:30 INFO mapred.JobClient:     Total committed heap usage (bytes)=246685696
13/10/28 00:20:30 INFO mapred.JobClient:     CPU time spent (ms)=18830
13/10/28 00:20:30 INFO mapred.JobClient:     Map input bytes=21094
13/10/28 00:20:30 INFO mapred.JobClient:     SPLIT_RAW_BYTES=172
13/10/28 00:20:30 INFO mapred.JobClient:     Combine input records=2
13/10/28 00:20:30 INFO mapred.JobClient:     Reduce input records=2
13/10/28 00:20:30 INFO mapred.JobClient:     Reduce input groups=1
13/10/28 00:20:30 INFO mapred.JobClient:     Combine output records=2
13/10/28 00:20:30 INFO mapred.JobClient:     Physical memory (bytes) snapshot=406294528
13/10/28 00:20:30 INFO mapred.JobClient:     Reduce output records=1
13/10/28 00:20:30 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2934288384
13/10/28 00:20:30 INFO mapred.JobClient:     Map output records=2
13/10/28 00:20:30 INFO lanczos.LanczosSolver: 2 passes through the corpus so far...
13/10/28 00:20:30 INFO lanczos.LanczosSolver: Lanczos iteration complete - now to diagonalize the tri-diagonal auxiliary matrix.
13/10/28 00:20:30 INFO lanczos.LanczosSolver: Eigenvector 0 found with eigenvalue 0.0
13/10/28 00:20:30 INFO lanczos.LanczosSolver: Eigenvector 1 found with eigenvalue 190.66366814935847
13/10/28 00:20:30 INFO lanczos.LanczosSolver: Eigenvector 2 found with eigenvalue 10886.664434372891
13/10/28 00:20:30 INFO lanczos.LanczosSolver: LanczosSolver finished.
13/10/28 00:20:30 INFO decomposer.DistributedLanczosSolver: Persisting 3 eigenVectors and eigenValues to: hdfs://ubuntu:9000/svd/output/rawEigenvectors
13/10/28 00:20:31 INFO mapred.FileInputFormat: Total input paths to process : 1
13/10/28 00:20:31 INFO mapred.JobClient: Running job: job_201310220012_0025
13/10/28 00:20:32 INFO mapred.JobClient:  map 0% reduce 0%
13/10/28 00:21:06 INFO mapred.JobClient:  map 50% reduce 0%
13/10/28 00:21:12 INFO mapred.JobClient:  map 100% reduce 0%
13/10/28 00:21:30 INFO mapred.JobClient:  map 100% reduce 100%
13/10/28 00:21:35 INFO mapred.JobClient: Job complete: job_201310220012_0025
13/10/28 00:21:35 INFO mapred.JobClient: Counters: 30
13/10/28 00:21:35 INFO mapred.JobClient:   Job Counters 
13/10/28 00:21:35 INFO mapred.JobClient:     Launched reduce tasks=1
13/10/28 00:21:35 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=61438
13/10/28 00:21:35 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/10/28 00:21:35 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/10/28 00:21:35 INFO mapred.JobClient:     Launched map tasks=2
13/10/28 00:21:35 INFO mapred.JobClient:     Data-local map tasks=2
13/10/28 00:21:35 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=17342
13/10/28 00:21:35 INFO mapred.JobClient:   File Input Format Counters 
13/10/28 00:21:35 INFO mapred.JobClient:     Bytes Read=23216
13/10/28 00:21:35 INFO mapred.JobClient:   File Output Format Counters 
13/10/28 00:21:35 INFO mapred.JobClient:     Bytes Written=220
13/10/28 00:21:35 INFO mapred.JobClient:   FileSystemCounters
13/10/28 00:21:35 INFO mapred.JobClient:     FILE_BYTES_READ=238
13/10/28 00:21:35 INFO mapred.JobClient:     HDFS_BYTES_READ=24061
13/10/28 00:21:35 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=70108
13/10/28 00:21:35 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=220
13/10/28 00:21:35 INFO mapred.JobClient:   Map-Reduce Framework
13/10/28 00:21:35 INFO mapred.JobClient:     Map output materialized bytes=244
13/10/28 00:21:35 INFO mapred.JobClient:     Map input records=178
13/10/28 00:21:35 INFO mapred.JobClient:     Reduce shuffle bytes=244
13/10/28 00:21:35 INFO mapred.JobClient:     Spilled Records=4
13/10/28 00:21:35 INFO mapred.JobClient:     Map output bytes=228
13/10/28 00:21:35 INFO mapred.JobClient:     Total committed heap usage (bytes)=291512320
13/10/28 00:21:35 INFO mapred.JobClient:     CPU time spent (ms)=13100
13/10/28 00:21:35 INFO mapred.JobClient:     Map input bytes=21094
13/10/28 00:21:35 INFO mapred.JobClient:     SPLIT_RAW_BYTES=172
13/10/28 00:21:35 INFO mapred.JobClient:     Combine input records=2
13/10/28 00:21:35 INFO mapred.JobClient:     Reduce input records=2
13/10/28 00:21:35 INFO mapred.JobClient:     Reduce input groups=1
13/10/28 00:21:35 INFO mapred.JobClient:     Combine output records=2
13/10/28 00:21:35 INFO mapred.JobClient:     Physical memory (bytes) snapshot=417210368
13/10/28 00:21:35 INFO mapred.JobClient:     Reduce output records=1
13/10/28 00:21:35 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2934288384
13/10/28 00:21:35 INFO mapred.JobClient:     Map output records=2
13/10/28 00:21:36 INFO mapred.FileInputFormat: Total input paths to process : 1
13/10/28 00:21:36 INFO mapred.JobClient: Running job: job_201310220012_0026
13/10/28 00:21:37 INFO mapred.JobClient:  map 0% reduce 0%
13/10/28 00:22:11 INFO mapred.JobClient:  map 100% reduce 0%
13/10/28 00:22:29 INFO mapred.JobClient:  map 100% reduce 100%
13/10/28 00:22:34 INFO mapred.JobClient: Job complete: job_201310220012_0026
13/10/28 00:22:34 INFO mapred.JobClient: Counters: 30
13/10/28 00:22:34 INFO mapred.JobClient:   Job Counters 
13/10/28 00:22:34 INFO mapred.JobClient:     Launched reduce tasks=1
13/10/28 00:22:34 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=46990
13/10/28 00:22:34 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/10/28 00:22:34 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/10/28 00:22:34 INFO mapred.JobClient:     Launched map tasks=2
13/10/28 00:22:34 INFO mapred.JobClient:     Data-local map tasks=2
13/10/28 00:22:34 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=15142
13/10/28 00:22:34 INFO mapred.JobClient:   File Input Format Counters 
13/10/28 00:22:34 INFO mapred.JobClient:     Bytes Read=23216
13/10/28 00:22:34 INFO mapred.JobClient:   File Output Format Counters 
13/10/28 00:22:34 INFO mapred.JobClient:     Bytes Written=220
13/10/28 00:22:34 INFO mapred.JobClient:   FileSystemCounters
13/10/28 00:22:34 INFO mapred.JobClient:     FILE_BYTES_READ=238
13/10/28 00:22:34 INFO mapred.JobClient:     HDFS_BYTES_READ=24061
13/10/28 00:22:34 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=70105
13/10/28 00:22:34 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=220
13/10/28 00:22:34 INFO mapred.JobClient:   Map-Reduce Framework
13/10/28 00:22:34 INFO mapred.JobClient:     Map output materialized bytes=244
13/10/28 00:22:34 INFO mapred.JobClient:     Map input records=178
13/10/28 00:22:34 INFO mapred.JobClient:     Reduce shuffle bytes=244
13/10/28 00:22:34 INFO mapred.JobClient:     Spilled Records=4
13/10/28 00:22:34 INFO mapred.JobClient:     Map output bytes=228
13/10/28 00:22:34 INFO mapred.JobClient:     Total committed heap usage (bytes)=336338944
13/10/28 00:22:34 INFO mapred.JobClient:     CPU time spent (ms)=4670
13/10/28 00:22:34 INFO mapred.JobClient:     Map input bytes=21094
13/10/28 00:22:34 INFO mapred.JobClient:     SPLIT_RAW_BYTES=172
13/10/28 00:22:34 INFO mapred.JobClient:     Combine input records=2
13/10/28 00:22:34 INFO mapred.JobClient:     Reduce input records=2
13/10/28 00:22:34 INFO mapred.JobClient:     Reduce input groups=1
13/10/28 00:22:34 INFO mapred.JobClient:     Combine output records=2
13/10/28 00:22:34 INFO mapred.JobClient:     Physical memory (bytes) snapshot=426409984
13/10/28 00:22:34 INFO mapred.JobClient:     Reduce output records=1
13/10/28 00:22:34 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2934288384
13/10/28 00:22:34 INFO mapred.JobClient:     Map output records=2
13/10/28 00:22:34 INFO mapred.FileInputFormat: Total input paths to process : 1
13/10/28 00:22:35 INFO mapred.JobClient: Running job: job_201310220012_0027
13/10/28 00:22:36 INFO mapred.JobClient:  map 0% reduce 0%
13/10/28 00:22:54 INFO mapred.JobClient:  map 100% reduce 0%
13/10/28 00:23:03 INFO mapred.JobClient:  map 100% reduce 33%
13/10/28 00:23:09 INFO mapred.JobClient:  map 100% reduce 100%
13/10/28 00:23:14 INFO mapred.JobClient: Job complete: job_201310220012_0027
13/10/28 00:23:14 INFO mapred.JobClient: Counters: 30
13/10/28 00:23:14 INFO mapred.JobClient:   Job Counters 
13/10/28 00:23:14 INFO mapred.JobClient:     Launched reduce tasks=1
13/10/28 00:23:14 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=25276
13/10/28 00:23:14 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/10/28 00:23:14 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/10/28 00:23:14 INFO mapred.JobClient:     Launched map tasks=2
13/10/28 00:23:14 INFO mapred.JobClient:     Data-local map tasks=2
13/10/28 00:23:14 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=14956
13/10/28 00:23:14 INFO mapred.JobClient:   File Input Format Counters 
13/10/28 00:23:14 INFO mapred.JobClient:     Bytes Read=23216
13/10/28 00:23:14 INFO mapred.JobClient:   File Output Format Counters 
13/10/28 00:23:14 INFO mapred.JobClient:     Bytes Written=220
13/10/28 00:23:14 INFO mapred.JobClient:   FileSystemCounters
13/10/28 00:23:14 INFO mapred.JobClient:     FILE_BYTES_READ=238
13/10/28 00:23:14 INFO mapred.JobClient:     HDFS_BYTES_READ=24031
13/10/28 00:23:14 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=70105
13/10/28 00:23:14 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=220
13/10/28 00:23:14 INFO mapred.JobClient:   Map-Reduce Framework
13/10/28 00:23:14 INFO mapred.JobClient:     Map output materialized bytes=244
13/10/28 00:23:14 INFO mapred.JobClient:     Map input records=178
13/10/28 00:23:14 INFO mapred.JobClient:     Reduce shuffle bytes=244
13/10/28 00:23:14 INFO mapred.JobClient:     Spilled Records=4
13/10/28 00:23:14 INFO mapred.JobClient:     Map output bytes=228
13/10/28 00:23:14 INFO mapred.JobClient:     Total committed heap usage (bytes)=336338944
13/10/28 00:23:14 INFO mapred.JobClient:     CPU time spent (ms)=2680
13/10/28 00:23:14 INFO mapred.JobClient:     Map input bytes=21094
13/10/28 00:23:14 INFO mapred.JobClient:     SPLIT_RAW_BYTES=172
13/10/28 00:23:14 INFO mapred.JobClient:     Combine input records=2
13/10/28 00:23:14 INFO mapred.JobClient:     Reduce input records=2
13/10/28 00:23:14 INFO mapred.JobClient:     Reduce input groups=1
13/10/28 00:23:14 INFO mapred.JobClient:     Combine output records=2
13/10/28 00:23:14 INFO mapred.JobClient:     Physical memory (bytes) snapshot=423587840
13/10/28 00:23:14 INFO mapred.JobClient:     Reduce output records=1
13/10/28 00:23:14 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2934288384
13/10/28 00:23:14 INFO mapred.JobClient:     Map output records=2

具体明天再分析吧

分享，成长，快乐

转载请注明blog地址：http://blog.csdn.net/fansy1990

《度五行》生活报报甲午62：不通痛苦，太通也痛苦，要健康快乐，需要通体舒畅。 YangduSam2021
220809壬寅戊申甲午，《度.生活五行》:天干土克水，水生木，木克土。地支寅申冲，寅午合。20220809，周二，兴大上海六班2512天，西交大2013上海班3212天，后TA15332天，度生活619天，今天拜访了一家有趣且当红产业的新创公司AK。AK一开始从事深海新能源储存与供电设备的研发生产制造，2年前开始做移动与家庭储能设备的研发生产制造。觉得有趣是因为这是笔者认知里用科技做降维打击的公
机器学习流形数据降维：UMAP 降维算法小嗷犬 Python 机器学习 #数据分析及可视化机器学习算法人工智能
✅作者简介：人工智能专业本科在读，喜欢计算机与编程，写博客记录自己的学习历程。个人主页：小嗷犬的个人主页个人网站：小嗷犬的技术小站个人信条：为天地立心，为生民立命，为往圣继绝学，为万世开太平。本文目录UMAP简介理论基础特点与优势应用场景在Python中使用UMAP安装umap-learn库使用UMAP可视化手写数字数据集UMAP简介UMAP（UniformManifoldApproximatio
用了这么多年的PCA可视化竟然是错的！！！生信宝典
本文启发于上周开的单细胞转录组课程，本次课程由资深单细胞算法研究者戴老师主讲，深入浅出，各部分分析原理从理论到应用层面解释透彻，最新流程，最新代码，绝对值得学习。课程尚未结束，我就迫不及待向一位未能安排出时间参加此课程的老友及时安利了视频课。言归正传，介绍培训课程的一张幻灯片：很多PCA可视化结果都是不合适的。PCA或PCoA是常用的降维工具，之前有几篇文章介绍PCA的原理和可视化。一文看懂PCA
【机器学习】必会降维算法之：奇异值分解（SVD） Carl_奕然机器学习算法人工智能
奇异值分解（SVD）1、引言2、奇异值分解（SVD）2.1定义2.2应用场景2.3核心原理2.4算法公式2.5代码示例3、总结1、引言一转眼，小屌丝：鱼哥，就要到每年最开心的节日了：六一儿童节。小鱼：你有啥想法？小屌丝：想法没有，玩的地方倒是想小鱼：拉倒吧，我可不去小屌丝：确定？小鱼：看情况。小屌丝：嘿嘿，难得过节日，我们也得放松一下小鱼：正有此意。2、奇异值分解（SVD）2.1定义奇异值分解（S
363. 矩形区域不超过 K 的最大数值和（C语言实现） Buaaer(>ω<) 算法学习-Leetcode 动态规划算法二分查找
文章目录363.矩形区域不超过K的最大数值和题干声明方法1-暴力枚举+简单dp方法2-暴力枚举+二维数组前缀和方法3-固定边界搜索方法4-固定边界搜索+dp优化方法5-固定边界搜索+前缀和+二分查找363.矩形区域不超过K的最大数值和本题涉及内容：一/二维前缀和问题、降维问题、暴力枚举问题、dp问题、二分查找问题题干给你一个m∗nm*nm∗n的矩阵matrixmatrixmatrix和一个整数kk
线性判别分析 (Linear Discriminant Analysis, LDA) ALGORITHM LOL 人工智能机器学习算法
线性判别分析(LinearDiscriminantAnalysis,LDA)通俗易懂算法线性判别分析（LinearDiscriminantAnalysis，LDA）是一种用于分类和降维的技术。其主要目的是找到一个线性变换，将数据投影到一个低维空间，使得在这个新空间中，不同类别的数据能够更好地分离。线性判别分析的核心思想LDA的基本思路是最大化类间方差（between-classvariance）与
机器学习实战笔记5——线性判别分析绍少阿机器学习笔记可视化机器学习 python 人工智能
任务安排1、机器学习导论8、核方法2、KNN及其实现9、稀疏表示3、K-means聚类10、高斯混合模型4、主成分分析11、嵌入学习5、线性判别分析12、强化学习6、贝叶斯方法13、PageRank7、逻辑回归14、深度学习线性判别分析（LDA）Ⅰ核心思想对于同样一件事，站在不同的角度，我们往往会有不同的看法，而降维思想，亦是如此。同上节课一样，我们还是学习降维的算法，只是提供了一种新的角度，由上
保研比赛利器：用AI比赛助手降维打击数学建模好家伙VCC 杂谈杂谈数学建模人工智能
数学建模作为一个热门但又具有挑战性的赛道，在保研、学分加分、简历增色等方面具有独特优势。近年来，随着AI技术的发展，特别是像GPT-4模型的应用，数学建模的比赛变得不再那么“艰深”。通过利用AI比赛助手，不仅可以大大提升团队效率，还能有效提高比赛获奖几率。本文将详细介绍如何通过AI比赛助手完成数学建模比赛，并结合实例展示其强大功能。一、AI比赛助手的引入1.什么是AI比赛助手？AI比赛助手是一种集
亦菲喊你来学机器学习（20） --PCA数据降维方世恩机器学习人工智能深度学习 python 算法 sklearn
文章目录PCA数据降维一、降维二、优缺点三、参数四、实例应用1.读取文件2.分离特征和目标变量3.使用PCA进行降维4.打印特征所占百分比和具体比例5.PCA降维后的数据6.划分数据集7.训练逻辑回归模型8.评估模型性能总结PCA数据降维主成分分析（PrincipalComponentAnalysis,PCA）是一种常用的数据降维技术，它可以在保留数据集中最重要的特征的同时，减少数据的维度。PCA
r语言做绘制精美pcoa图_R语言高级绘图 — ggplot2 weixin_39560002 r语言做绘制精美pcoa图
2)PCA的作图PCA主成分分析，可以将高维数据进行降维处理。我们的OTU表格就是典型的高维数据，可以对其进行降维处理得到主成分PC1和PC2，然后将所有样品都分解到这两个成分方向，进行散点绘图，可以直观的看出样品间的差异。首先需要一系列的统计处理，然后用ggplot2进行绘图，过程如下：#加载需要的三个包(需要先下载，再加载)>library(ade4)>library(ggplot2)>lib
Java中的数据降维技术：如何实现PCA和t-SNE 省赚客app开发者 java python 人工智能
Java中的数据降维技术：如何实现PCA和t-SNE大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！在这篇文章中，我们将探讨如何在Java中实现数据降维技术，特别是主成分分析（PCA）和t-SNE。这两种技术在数据预处理和可视化中非常重要，它们帮助我们将高维数据转换为低维数据，保留数据的主要特征。主成分分析（PCA）主成分分析（PCA）是一种线性降维技术，用于将数据从
工信教考 | AI智能体应用工程师（模拟试题）人工智能-猫猫人工智能开源自然语言处理语言模型架构
关于AI智能体工程师的模拟试题，下面根据AI智能体工程师所需掌握的知识和技能，设计一些模拟题型的示例。这些题目旨在考察应试者在人工智能、机器学习、深度学习、算法设计、系统开发等方面的能力。一、选择题无监督学习常用于哪些任务？（单选）A.回归分析B.聚类分析C.分类预测D.序列预测答案：B解析：无监督学习常用于聚类、降维、异常检测等任务，如市场分割、数据可视化等。以下哪种激活函数常用于分类问题的输出
3D 场景模拟 2D 碰撞玩法的方案长脖鹿Johnny 数学算法 3d 游戏游戏引擎算法几何学
目录方法概述顶点到平面的垂直投影求解最小降维OBB主成分分析（PCA）协方差矩阵求矩阵特征值Jacobi方法OBB拉伸方法对于类似《密特罗德生存恐惧》和《暗影火炬城》这样3D场景，但玩法还是2D卷轴动作平台跳跃（类银河恶魔城）的游戏，如果想要让碰撞检测更符合视觉直觉，需要采用3D碰撞体来模拟2D碰撞。本文将介绍一种实现方案。方法概述为了简化碰撞计算，原碰撞体（如武器的碰撞）只使用长方体（OBB）和
2024 数学建模国赛 C 题模型及算法（无废话版）不染53 数学建模数学建模算法 python
目录写在开始需要掌握的数学模型/算法评价体系/评价类问题时间序列处理数据降维聚类问题（无监督）分类问题（有监督）集成学习（Bagging/Boosting）回归问题关联分析统计学方法/统计模型智能优化算法需要掌握的Python专业库需要掌握的软件/工具写在开始本人获2023年数学建模国赛C题国家级一等奖，备赛期间专攻C题。本文总结了在备赛期间总结的模型和算法，足以应对90%国赛C题中涉及到的问题。
看demo学算法之自编码器小琳ai 算法
大家好，这里是小琳AI课堂！今天我们来聊聊自编码器。AE自编码器，全称为Autoencoder，是一种数据压缩算法，它能够通过学习输入数据的有效表示（编码）来重建输入数据（解码）。自编码器通常被用于无监督学习任务，尤其是在降维、特征学习、数据去噪等领域。下面，我将从四个不同的角度来详细解释AE自编码器。1.技术细节自编码器由两部分组成：编码器（encoder）和解码器（decoder）。编码器负责
6月第11编我是何何子吖
我最终还是爱上了董宇辉的直播间，然后发现自己更应该多读点书了，小时候词不达意，长大以后是言不由衷，老师转型带货，都说是降维打，没有声嘶力歇的抢单限购，有的只是古今中外的历史穿越，浩瀚星辰、人间烟火，岁月静好。离群索居者，不是神明，便是野兽，但是我贪心，我贪恋这人间的烟火气。所以我决定留下来，于时间无涯的荒漠里，正好遇见你，轻声地说一句，哦，原来你也在这里。生活里我们该有的样子，健健康康，快快乐乐，
【Python机器学习】NLP词频背后的含义——隐性语义分析 zhangbin_237 Python机器学习 python 机器学习自然语言处理人工智能开发语言
隐性语义分析基于最古老和最常用的降维技术——奇异值分解（SVD）。SVD将一个矩阵分解成3个方阵，其中一个是对角矩阵。SVD的一个应用是求逆矩阵。一个矩阵可以分解成3个最简单的方阵，然后对这些方阵求转置后再把它们相乘，就得到了原始矩阵的逆矩阵。它为我们提供了一个对大型复杂矩阵求逆的捷径。SVD适用于桁架结构的应力和应变分析等机械工程问题，它对电气工程中的电路分析也很有用，它甚至在数据科学中被用于基
【深度学习】embedding的简单理解旅途中的宽~ 深度学习笔记深度学习 embedding
文章目录一、简单理解二、其他通俗理解一、简单理解特征嵌入，将数据转换（降维）为固定大小的特征表示（矢量），以便于处理和计算（如求距离）。例如，针对用于说话者识别的语音信号训练的模型可以允许您将语音片段转换为数字向量，使得来自相同说话者的另一片段与原始向量具有小的距离（例如，欧几里德距离）。embedding的主要目的是对（稀疏）特征进行降维，它降维的方式可以类比为一个全连接层（没有激活函数），通过
Python实现等距映射（ISOMAP）降维算法闲人编程 python python 算法开发语言 ISOMAP 降维
目录Python实现等距映射（ISOMAP）降维算法的博客引言ISOMAP算法原理ISOMAP的优势与局限Python实现ISOMAP算法1.创建ISOMAP类2.在瑞士卷数据集上应用ISOMAP3.结果分析总结运行结果Python实现等距映射（ISOMAP）降维算法的博客引言在高维数据处理中，降维是一种常用的技术，它通过减少数据的维度来降低计算复杂度，同时保留数据的主要特征。在许多情况下，数据可
斗胆谈一谈大学对成长的思考上篇无道无名
为了有一个提纲的作用，我还是做一个简单的导图。嗯确实是简单。我不知道一般人上大学的时候是怎么想的，我也忘了我当日是怎么想的。所以，我们就直接进入主题吧。谈一谈我的想法。认知升维的能力我们之前看《三体》的时候，知道有一个notion叫做降维打击。它指的是攻击目标本身所处的空间维度使其降低，让目标无法在低维度空间中生存从而毁灭目标。而当它引入社会商业领域时，则代表某一方对有着全方位的碾压，所拥有技术或
深度学习100问7-向量降维的算法有那些不断持续学习ing 深度学习机器学习人工智能
一、主成分分析（PCA）PCA就像你整理一堆考试成绩单。假如成绩单上有好多科目成绩，这就像一个高维向量。但有些科目成绩关系很紧密，比如数学好的同学一般物理也不错，化学也还行。那PCA就会找这些成绩单里最主要的特点，把关系近的科目合成几个新的“大科目”。这样就把原来很多科目的高维向量变成几个“大科目”的低维向量啦。二、奇异值分解（SVD）SVD呢，就好比你有一本很厚的书。书的每一页上的字可以看成一个
向量数据库入坑：传统文本检索方式的降维打击，使用 Faiss 实现向量语义检索 soulteary 为了不折腾而去折腾的那些事 faiss 向量检索语义检索文本检索搜索引擎
在上一篇文章《聊聊来自元宇宙大厂Meta的相似度检索技术Faiss》中，我们有聊到如何快速入门向量检索技术，借助MetaAI（FacebookResearch）出品的faiss实现“最基础的文本内容相似度检索工具”，初步接触到了“语义检索”这种对于传统文本检索方式具备“降维打击”的新兴技术手段。有朋友在聊天中提到，希望能够聊点更具体的，比如基于向量技术实现的语义检索到底比传统文本检索强多少，以及是
【机器学习】初学者经典案例（随记）听忆. 机器学习人工智能数据挖掘深度学习语言模型
边走、边悟迟早会好一、概念机器学习是一种利用数据来改进模型性能的计算方法，属于人工智能的一个分支。它旨在让计算机系统通过经验自动改进，而不需要明确编程。类型监督学习：使用带标签的数据进行训练，包括分类（如垃圾邮件检测）和回归（如房价预测）。无监督学习：使用不带标签的数据进行训练，包括聚类（如客户细分）和降维（如主成分分析）。强化学习：通过与环境的交互学习策略，以最大化累积奖励（如AlphaGo）。
【机器学习】特征提取特征降维 de-feedback 机器学习人工智能
特征工程特征工程是将原始数据转化为可以用于机器学习的数字特征，比如字典的特征提取，文档的特征提取等。字典特征提取把字典的每个唯一的键作为数据集特征的一个维度，有这个维度的就为1，没有就是0。其他相同的键，该维度的值就是其键值。这样的操作把字典样本的每一条数据转化为了矩阵，但是矩阵中含有大量的0（因为数据中的键和值有很多不同），所以称之为稀疏矩阵为了保存数据的高效，一般使用三元组表存储。保存非零数据
主成分分析（PCA）附Python实现不染53 数学建模数学建模 python 算法
主成分分析矩阵分解特征值和特征向量特征值分解奇异值分解主成分分析（PCA）Python实现主成分分析方法（PrincipalComponentAnalysis，PCA）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，将多个变量压缩为少数几个综合指标（称为主成分），是一种使用最广泛的数据降维算法。此外，由于主成分分析独特的性质，压缩之后的主成分之间线性无关，因此
【机器学习】特征工程的基本概念以及LASSO回归和主成分分析优化方法 Lossya 机器学习回归人工智能算法特征工程
引言特征工程是机器学习中的一个关键步骤，它涉及到从原始数据中提取和构造新的特征，以提高模型的性能和预测能力LASSO（LeastAbsoluteShrinkageandSelectionOperator）回归是一种用于回归分析的线性模型，它通过引入L1正则化（Lasso正则化）来简化模型并减少过拟合的风险主成分分析（PrincipalComponentAnalysis，PCA）是一种常用的降维技术
Scikit-learn：用于数据挖掘和数据分析的简单而有效的工具，建立在 NumPy, SciPy 和 Matplotlib 上。 Jr_l #数据科学数据挖掘 scikit-learn 数据分析
引言Scikit-learn是一个基于Python的机器学习库，旨在为数据挖掘和数据分析提供简单而有效的工具。它建立在强大的科学计算库之上，包括NumPy、SciPy和Matplotlib，提供了丰富的机器学习算法和工具，如分类、回归、聚类、降维、模型选择和数据预处理等。Scikit-learn的API设计简洁，使用方便，且拥有高效的实现，因此在学术研究和工业界中得到了广泛应用。无论是数据科学家还
鸟枪换炮，利用python3对球员做大数据降维(因子分析得分)，为C罗找到合格僚机刘悦的技术博客
原文转载自「刘悦的技术博客」https://v3u.cn/a_id_176众所周知，尤文图斯需要一座欧冠奖杯，C罗也还想再拿一座欧冠奖杯，为自己的荣誉簙上锦上添花。意甲霸主在意甲虽然风生水起，予取予求，但是在今年欧冠1/8决赛赛场上，被法甲球队里昂所淘汰，痛定思痛，球队解雇了主教练萨里，签约名宿皮尔洛，但是要想在欧冠赛场上夺冠，这还不够，球队还需要什么？没错，需要一名强力中锋，在正印中锋伊瓜因难堪
阅读与写作野草狂奔
我们写作的过程就是输入，处理，输出。没有高质量的输入就不会有高质量的输出。写作是为了沟通而不是表达。不管你写的是什么？沟通是第一位的，表达是第二位的。写作与理财可以是并在一块相辅相成的。升维学习降维打击。种瓜得瓜种豆得豆。想要得到的更多就一定要付出的更多。
基于极限树特征递归消除和LightGBM的异常检测模型宋罗世家技术屋信息资源管理与发展专栏算法 python
摘要入侵检测数据维数大、数据样本不均衡、数据集分散性大的问题严重影响分类性能,为了解决该问题,文章提出基于极限随机树的特征递归消除（ExtraTrees-RecursiveFeatureElimination,ET-RFE）和LightGBM（LGBM）的入侵检测方法。首先对网络数据进行独热编码重构,在数据级层面均衡少量样本的攻击类别;其次,使用基于ET-RFE对流量特征进行降维处理,寻找含有信息
Algorithm 香水浓 java Algorithm
冒泡排序 public static void sort(Integer[] param) { for (int i = param.length - 1; i > 0; i--) { for (int j = 0; j < i; j++) { int current = param[j]; int next = param[j + 1];
mongoDB 复杂查询表达式开窍的石头 mongodb
1:count Pg: db.user.find().count(); 统计多少条数据 2:不等于$ne Pg: db.user.find({_id:{$ne:3}},{name:1,sex:1,_id:0}); 查询id不等于3的数据。 3：大于$gt $gte(大于等于) &n
Jboss Java heap space异常解决方法, jboss OutOfMemoryError : PermGen space 0624chenhong jvm jboss
转自 http://blog.csdn.net/zou274/article/details/5552630 解决办法： window->preferences->java->installed jres->edit jre 把default vm arguments 的参数设为-Xms64m -Xmx512m ----------------
文件上传下载解析相对路径不懂事的小屁孩文件上传
有点坑吧，弄这么一个简单的东西弄了一天多，身边还有大神指导着，网上各种百度着。下面总结一下遇到的问题：文件上传，在页面上传的时候，不要想着去操作绝对路径，浏览器会对客户端的信息进行保护，避免用户信息收到攻击。在上传图片，或者文件时，使用form表单来操作。前台通过form表单传输一个流到后台，而不是ajax传递参数到后台，代码如下: <form action=&
怎么实现qq空间批量点赞换个号韩国红果果 qq
纯粹为了好玩！！逻辑很简单 1 打开浏览器console；输入以下代码。先上添加赞的代码 var tools={}; //添加所有赞 function init(){ document.body.scrollTop=10000; setTimeout(function(){document.body.scrollTop=0;},2000);//加
判断是否为中文灵静志远中文
方法一： public class Zhidao { public static void main(String args[]) { String s = "sdf灭礌 kjl d{';\fdsjlk是"; int n=0; for(int i=0; i<s.length(); i++) { n = (int)s.charAt(i); if((
一个电话面试后总结 a-john 面试
今天，接了一个电话面试，对于还是初学者的我来说，紧张了半天。面试的问题分了层次，对于一类问题，由简到难。自己觉得回答不好的地方作了一下总结：在谈到集合类的时候，举几个常用的集合类，想都没想，直接说了list,map。然后对list和map分别举几个类型： list方面：ArrayList,LinkedList。在谈到他们的区别时，愣住了
MSSQL中Escape转义的使用 aijuans MSSQL
IF OBJECT_ID('tempdb..#ABC') is not null drop table tempdb..#ABC create table #ABC ( PATHNAME NVARCHAR(50) ) insert into #ABC SELECT N'/ABCDEFGHI' UNION ALL SELECT N'/ABCDGAFGASASSDFA' UNION ALL
一个简单的存储过程 asialee mysql 存储过程构造数据批量插入
今天要批量的生成一批测试数据，其中中间有部分数据是变化的，本来想写个程序来生成的，后来想到存储过程就可以搞定，所以随手写了一个，记录在此： DELIMITER $$ DROP PROCEDURE IF EXISTS inse
annot convert from HomeFragment_1 to Fragment 百合不是茶 android 导包错误
创建了几个类继承Fragment, 需要将创建的类存储在ArrayList<Fragment>中; 出现不能将new 出来的对象放到队列中,原因很简单; 创建类时引入包是:import android.app.Fragment; 创建队列和对象时使用的包是:import android.support.v4.ap
Weblogic10两种修改端口的方法 bijian1013 weblogic 端口号配置管理 config.xml
一.进入控制台进行修改 1.进入控制台: http://127.0.0.1:7001/console 2.展开左边树菜单域结构->环境->服务器-->点击AdminServer(管理) &
mysql 操作指令征客丶 mysql
一、连接mysql 进入 mysql 的安装目录； $ bin/mysql -p [host IP 如果是登录本地的mysql 可以不写 -p 直接 -u] -u [userName] -p 输入密码，回车，接连；二、权限操作［如果你很了解mysql数据库后，你可以直接去修改系统表，然后用 mysql> flush privileges; 指令让权限生效］ 1、赋权 mys
【Hive一】Hive入门 bit1129 hive
Hive安装与配置 Hive的运行需要依赖于Hadoop，因此需要首先安装Hadoop2.5.2，并且Hive的启动前需要首先启动Hadoop。 Hive安装和配置的步骤 1. 从如下地址下载Hive0.14.0 http://mirror.bit.edu.cn/apache/hive/ 2.解压hive，在系统变
ajax 三种提交请求的方法 BlueSkator Ajax jqery
1、ajax 提交请求 $.ajax({ type:"post", url : "${ctx}/front/Hotel/getAllHotelByAjax.do", dataType : "json", success : function(result) { try { for(v
mongodb开发环境下的搭建入门 braveCS 运维
linux下安装mongodb 1）官网下载mongodb-linux-x86_64-rhel62-3.0.4.gz 2）linux 解压 gzip -d mongodb-linux-x86_64-rhel62-3.0.4.gz; mv mongodb-linux-x86_64-rhel62-3.0.4 mongodb-linux-x86_64-rhel62-
编程之美-最短摘要的生成 bylijinnan java 数据结构算法编程之美
import java.util.HashMap; import java.util.Map; import java.util.Map.Entry; public class ShortestAbstract { /** * 编程之美最短摘要的生成 * 扫描过程始终保持一个[pBegin,pEnd]的range,初始化确保[pBegin,pEnd]的ran
json数据解析及typeof chengxuyuancsdn js typeof json解析
// json格式 var people='{"authors": [{"firstName": "AAA","lastName": "BBB"},' +' {"firstName": "CCC&
流程系统设计的层次和目标 comsci 设计模式数据结构 sql 框架脚本
流程系统设计的层次和目标
RMAN List和report 命令 daizj oracle list report rman
LIST 命令使用RMAN LIST 命令显示有关资料档案库中记录的备份集、代理副本和映像副本的信息。使用此命令可列出： • RMAN 资料档案库中状态不是AVAILABLE 的备份和副本 • 可用的且可以用于还原操作的数据文件备份和副本 • 备份集和副本，其中包含指定数据文件列表或指定表空间的备份 • 包含指定名称或范围的所有归档日志备份的备份集和副本 • 由标记、完成时间、可
二叉树:红黑树 dieslrae 二叉树
红黑树是一种自平衡的二叉树,它的查找,插入,删除操作时间复杂度皆为O(logN),不会出现普通二叉搜索树在最差情况时时间复杂度会变为O(N)的问题. 红黑树必须遵循红黑规则,规则如下 1、每个节点不是红就是黑。 2、根总是黑的 &
C语言homework3，7个小题目的代码 dcj3sjt126com c
1、打印100以内的所有奇数。 # include <stdio.h> int main(void) { int i; for (i=1; i<=100; i++) { if (i%2 != 0) printf("%d ", i); } return 0; } 2、从键盘上输入10个整数，
自定义按钮, 图片在上, 文字在下, 居中显示 dcj3sjt126com 自定义
#import <UIKit/UIKit.h> @interface MyButton : UIButton -(void)setFrame:(CGRect)frame ImageName:(NSString*)imageName Target:(id)target Action:(SEL)action Title:(NSString*)title Font:(CGFloa
MySQL查询语句练习题，测试足够用了 flyvszhb sql mysql
http://blog.sina.com.cn/s/blog_767d65530101861c.html 1.创建student和score表 CREATE TABLE student ( id INT(10) NOT NULL UNIQUE PRIMARY KEY , name VARCHAR
转：MyBatis Generator 详解 happyqing mybatis
MyBatis Generator 详解 http://blog.csdn.net/isea533/article/details/42102297 MyBatis Generator详解 http://git.oschina.net/free/Mybatis_Utils/blob/master/MybatisGeneator/MybatisGeneator.
让程序员少走弯路的14个忠告 jingjing0907 工作计划学习
无论是谁，在刚进入某个领域之时，有再大的雄心壮志也敌不过眼前的迷茫：不知道应该怎么做，不知道应该做什么。下面是一名软件开发人员所学到的经验，希望能对大家有所帮助 1.不要害怕在工作中学习。只要有电脑，就可以通过电子阅读器阅读报纸和大多数书籍。如果你只是做好自己的本职工作以及分配的任务，那是学不到很多东西的。如果你盲目地要求更多的工作，也是不可能提升自己的。放
nginx和NetScaler区别流浪鱼 nginx
NetScaler是一个完整的包含操作系统和应用交付功能的产品，Nginx并不包含操作系统，在处理连接方面，需要依赖于操作系统，所以在并发连接数方面和防DoS攻击方面，Nginx不具备优势。 2.易用性方面差别也比较大。Nginx对管理员的水平要求比较高，参数比较多，不确定性给运营带来隐患。在NetScaler常见的配置如健康检查，HA等，在Nginx上的配置的实现相对复杂。 3.策略灵活度方
第11章动画效果（下） onestopweb 动画
index.html <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/
FAQ - SAP BW BO roadmap blueoxygen BO BW
http://www.sdn.sap.com/irj/boc/business-objects-for-sap-faq Besides, I care that how to integrate tightly. By the way, for BW consultants, please just focus on Query Designer which i
关于java堆内存溢出的几种情况 tomcat_oracle java jvm jdk thread
【情况一】：　　 java.lang.OutOfMemoryError: Java heap space：这种是java堆内存不够，一个原因是真不够，另一个原因是程序中有死循环；　　如果是java堆内存不够的话，可以通过调整JVM下面的配置来解决：　　<jvm-arg>-Xms3062m</jvm-arg> 　　<jvm-arg>-Xmx
Manifest.permission_group权限组阿尔萨斯 Permission
结构继承关系 public static final class Manifest.permission_group extends Object java.lang.Object android. Manifest.permission_group 常量 ACCOUNTS 直接通过统计管理器访问管理的统计 COST_MONEY可以用来让用户花钱但不需要通过与他们直接牵涉的权限 D

Mahout源码分析之DistributedLanczosSolver（1）--实战

你可能感兴趣的:(Mahout,降维)