KeepLearningBigData

Spark生态之Alluxio学习24--分别读取HDFS和Alluxio的数据进行line count比较分析

更多代码请见：https://github.com/xubo245/SparkLearning

Spark生态之Alluxio学习版本：alluxio-1.3.0（tachyon），spark-1.5.2,hadoop-2.6.0

1.解释

测量alluxio和hdfs哪个速度快

2.代码：

2.1 hdfs

        for i in 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
        do
                echo 'time:'$i
                sh test.sh 10G  hdfs://Master:9000/xubo/project/SparkSW/input/'D9Line.fasta' hdfs://Master:9000/xubo/project/alluxio/output/TimeCount
        done

2.2 aluxio

for i in 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
    do
            echo 'time:'$i
            sh test.sh 10G  alluxio://Master:19998/xubo/project/SparkSW/input/'D9Line.fasta' hdfs://Master:9000/xubo/project/alluxio/output/TimeCount
    done

2.3 test.sh

mem=$1
input=$2

#/home/zgg/lib/spark-1.0.1-bin-hadoop2/bin/spark-submit \
  spark-submit \
  --class alluxio.TimeCount \
  --master spark://219.219.220.149:7077 \
  --executor-memory $mem \
  SparkSW.jar $input $3

3.结果：

关于这篇博客中alluxio没有什么性能提升，我的理解是：D9大概是8G，一开始数据是在HDFS，第一次运行时需要把很多的block写到内存，需要消耗不少的时间，而直接从HDFS没有这一消耗，所以时间会少。到了运行20次之后，由于cache，两者时间都有减少。此时alluxio已经出现了快于HDFS的情况，应该是运行时大部分数据都是从内存读取。但是仍然有些运行没有快于HDFS，猜测是由于spark再次运行时分配的task不一样，会有有些节点alluxio之前没有把数据写到内存，导致需要写到memory，这个会耗时。所以会出现慢于HDFS。当时没有详细的分析，之后也有些实验，通过ganglia监控可以看出来，使用alluxio的newwork会不段减小，收敛，但还是会有波动，而且对于大文件持续时间很长。另外可能还跟读取时buffer机制有关，没有详细的分析过。

3.1 HDFS

hadoop@Master:~/disk2/xubo/project/alluxio/timeCount$ ./run1D9hdfs.sh 
time:1
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:34.178s
time:2                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:23.82s
time:3                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:18.884s
time:4                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:19.471s
time:5                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:14.446s
time:6                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.18s
16/11/17 17:45:25 ERROR LiveListenerBus: SparkListenerBus has already stopped! Dropping event SparkListenerExecutorMetricsUpdate(6,WrappedArray())
time:7
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.474s
time:8                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:13.26s
time:9                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.699s
time:10                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.991s
time:11                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.977s
time:12                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.933s
time:13                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.322s
time:14                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.735s
time:15                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.489s
time:16                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.832s
time:17                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.883s
time:18
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.917s
time:19                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.032s
time:20                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.208s
time:21                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.089s
time:22                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.055s
time:23                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.839s
time:24                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.651s
time:25                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.999s
time:26                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.73s
time:27                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.621s
time:28                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.672s
time:29                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.65s
time:30                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.054s
hadoop@Master:~/disk2/xubo/project/alluxio/timeCount$ ./run1D9hdfs.sh           
time:1
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.726s
time:2                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.86s
time:3
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.724s
time:4                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.393s
time:5                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.963s
time:6                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.96s
time:7                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.866s
time:8                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.52s
time:9                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.084s
time:10                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.081s
time:11                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.56s
time:12                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.043s
time:13
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.598s
time:14                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.569s
time:15                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.594s
time:16                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.674s
time:17                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.713s
time:18                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.733s
time:19                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.691s
time:20                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.816s
time:21                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.64s
time:22                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.841s
time:23                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.537s
time:24                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.629s
time:25
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.702s
time:26                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:11.089s
time:27                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.99s
time:28                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.672s
time:29                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.597s
time:30                                                                         
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:10.612s
hadoop@Master:~/disk2/xubo/project/alluxio/timeCount$ ./run1D9hdfs.sh           
time:1
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:13.733s
time:2                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.415s
time:3                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.306s
time:4                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.588s
time:5                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.306s
time:6                                                                          
input:hdfs://Master:9000/xubo/project/SparkSW/input/D9Line.fasta        count:20076024  countTime:12.848s
[Stage 1:==========================================>              (12 + 4) / 16]^CException in thread "main" org.apache.spark.SparkException: Job cancelled because SparkContext was shut down

3.2 alluxio-1.3.0

hadoop@Master:~/disk2/xubo/project/alluxio/timeCount$ ./run1D9.sh 
time:1
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:202.784s
time:2
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:124.612s
time:3
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:66.245s
time:4                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:63.52s
time:5                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:29.778s
time:6                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:75.229s
time:7                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:50.952s
time:8                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:41.106s
time:9                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:39.525s
time:10                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:39.792s
time:11                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:17.647s
time:12                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.726s
time:13                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:39.813s
time:14                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:40.184s
time:15                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.303s
time:16                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:30.322s
time:17                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:21.089s
time:18                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:20.824s
time:19                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:16.833s
time:20                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:31.777s
time:21                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.146s
time:22                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:16.895s
time:23                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.393s
time:24
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.626s
time:25                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.516s
time:26                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.707s
time:27                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:17.168s
time:28                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:39.63s
time:29
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.63s
time:30                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:20.168s
hadoop@Master:~/disk2/xubo/project/alluxio/timeCount$ ./run1D9.sh               
time:1
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:17.111s
time:2                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.414s
time:3                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:17.674s
time:4                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.614s
time:5                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.574s
time:6                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.633s
time:7                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.124s
time:8                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:8.262s
time:9                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.193s
time:10                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.095s
time:11                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:20.203s
time:12                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.528s
time:13                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:9.224s
time:14                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.559s
time:15                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.397s
time:16                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.286s
time:17                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:40.486s
time:18                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:16.913s
time:19                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:16.914s
time:20                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.536s
time:21                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.72s
time:22                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.176s
time:23                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:39.896s
time:24                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.339s
time:25                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.388s
time:26                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.289s
time:27                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.886s
time:28                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.935s
time:29                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.754s
time:30                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.431s
hadoop@Master:~/disk2/xubo/project/alluxio/timeCount$ ./run1D9.sh               
time:1
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:16.877s
time:2                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.576s
time:3                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.556s
time:4                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:31.889s
time:5                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:8.711s
time:6                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.514s
time:7                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.962s
time:8                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:20.938s
time:9                                                                          
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:30.465s
time:10                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.108s
time:11                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.865s
time:12                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.47s
time:13
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:17.94s
time:14                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.688s
time:15                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:31.033s
time:16                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:17.846s
time:17                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.637s
time:18                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:30.046s
time:19                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.653s
time:20                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.897s
time:21                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.641s
time:22                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.49s
time:23                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:28.21s
time:24                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.12s
time:25                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.996s
time:26                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:18.852s
time:27                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:19.955s
time:28
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:29.634s
time:29                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.581s
time:30                                                                         
input:alluxio://Master:19998/xubo/project/SparkSW/input/D9Line.fasta    count:20076024  countTime:7.489s

参考

【1】https://github.com/Alluxio/alluxio
【2】http://www.alluxio.org/
【3】http://spark.apache.org/docs/1.5.2/programming-guide.html
【4】https://github.com/xubo245/SparkLearning

Alluxio命令使用参考 liuzx32
$bin/alluxiofslsUsage:alluxiofs[genericoptions][cat][checkConsistency[-r]][checksum][chgrp[-R]][chmod[-R]][chown[-R][:]][copyFromLocal][copyToLocal][count][cp[-R]][createLineage[...]][deleteLineage][d
实录分享 | 央企大数据平台架构发展趋势与应用场景的介绍 Alluxio 大数据
分享嘉宾：孟子涵-中国华能集团信息中心平台架构师2021年华能就与Alluxio建立了合作，共同写了整个华能统一纳管的架构方案。这个方案我认为是现在我们在央企里边比较核心的一套体系，能让全集团所有我们认为重要的数字化资源实现真正的统一集中，让存储、计算、数据、应用、技术能力，能够在全集团范围内最大化的流动起来，让大家最大化使用这些资源。活动详情https://link.zhihu.com/?tar
了解分布式缓存系统 Alluxio witheredwood java 分布式缓存
文章目录分布式是什么？？缓存是什么？？Alluxio基础概念Alluxio基础组成从技术上来讲，Alluxio是一个数据编排技术（数据编排，大概类似于一个平台，这个平台是用来管理数据的，主要是管理，对象是数据），它相当于一个数据层，在应用层和存储层之间加了一层，为上下两层搭建了桥梁，将数据移到离应用更近的地方，从而更容易访问数据。数据驱动型应用是什么样的应用？数据驱动：以数据为基础，将数据组织成信
Alluxio中国行（一）开源分布式存储系统Alluxio的历史、现状和未来言则yanze 开源 Alluxio 分布式存储系统
七月底八月初在南京、上海和北京三地，Alluxio项目创立者李浩源以及部分核心开发者举办了一系列Meetup活动。活动现场介绍了Alluxio项目的新增功能，Alluxio生态系统展望，以及探讨了Alluxio在未来的发展路线。同时还分享了Alluxio在百度、去哪儿网的实践案例，与广大开发者及用户积极交流，碰撞思想。Alluxio，前称Tachyon，源自UCBerkeleyAMPLab，是一个
Alluxio完成C轮5000万美元融资，新设中国区总部力拓国内市场 CSDN云计算机器学习人工智能大数据 big data 人工智能 Alluxio 数据分析分布式存储
编辑|宋慧出品|CSDN云计算头图|付费下载于ICphoto11月17日，全球开源的云原生数据编排软件开发商Alluxio宣布完成5000万美元C轮融资，该轮融资由新投资方高瓴创投领投，战略投资方和原股东a16z,SevenSeasPartners，火山石投资跟投。Alluxio已新设中国区总部，将大力开拓国内市场业务。同时Alluxio今天也发布了数据编排平台2.7版本，通过并行数据加载、数据预
Alluxio：2022年大数据五大趋势，多云下数据湖兴起，AI成为主流 CSDN云计算大数据云计算人工智能 big data 数据挖掘 Alluxio 混合云
Alluxio创始人兼CEO预测2022年大数据发展五大趋势：混合云和多云、人工智能和深度学习、服务、数据共享和新的数据湖存储格式成为关注重点。编辑|宋慧出品|CSDN云计算近日，全球首创的开源云原生数据编排软件开发商Alluxio创始人兼CEO李浩源博士针对云、人工智能、深度学习和数据分析在即将到来的2022年的发展趋势进行了预测。更多的组织机构将推进数据变革战略，将多样化的工作负载运行在广泛的
华纳云：怎么通过Apache Hudi和Alluxio建设高性能数据湖华纳云IDC服务商 apache
ApacheHudi(HadoopUpsertsDeletesandIncrementals)和Alluxio都是用于构建高性能数据湖的强大工具，它们可以在存储和处理大规模数据时提供更好的性能和灵活性。以下是通过ApacheHudi和Alluxio建设高性能数据湖的一般步骤：1.安装和配置ApacheHudi：安装Hadoop生态系统：ApacheHudi通常与Hadoop生态系统一起使用。确保你
Dropwizard-metric的使用想做一个offer收割机大数据相关 java java 大数据学习
背景近期在开发中用到了dropwizard-metric作为监控metric的埋点框架，由于是分布式的系统，前期曾经对比过hadoop-metric的实现和dropwizard-metric的实现，因为开发的项目后续会和hadoop的项目有一定的上下游关系，所以考虑排除掉hadoop的引用，防止后续出现循环依赖等问题。所以深度的调研了dropwizard-metric的使用，发现alluxio,o
大数据技术合集（持续更新） amuseme_lu BigData 大数据
0.大数据技术演变史（来自通信院）1.起源：Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS、Lustre2.2分布式缓冲文件系统：Alluxio、JuiceFS2.3对象存储：OZone、SeaweedFS、MinIO3.数据库技术3.1列式数据库：HBase、Cassan
Presto+Alluxio数据平台实战数新网络大数据 Presto+Alluxio
数新网络，让每个人享受数据的价值https://xie.infoq.cn/link?target=https%3A%2F%2Fwww.datacyber.com%2F一、Presto&Alluxio简介PrestoPresto是由Facebook开发的开源大数据分布式高性能SQL查询引擎。起初，Facebook使用Hive来进行交互式查询分析，但Hive是基于MapReduce为批处理而设计的，延
数据时代的新引擎：数据治理与开发，揭秘数据领域的黄金机遇！程序边界数据治理
文章目录一、数据时代的需求二、数据治理与开发三、案例分析四、黄金机遇《数据要素安全流通》《Python数据挖掘：入门、进阶与实用案例分析》《数据保护：工作负载的可恢复性》《DataMesh权威指南》《分布式统一大数据虚拟文件系统Alluxio原理、技术与实践》《云原生数据中台：架构、方法论与实践》《腾讯大数据构建之道》《运维数据治理:构筑智能运维的基石》《智能数据分析：入门、实战与平台构建》《电商
Alluxio概览 Alluxio Alluxio 数据编排人工智能
1.什么是AlluxioAlluxio是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁,将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。这还使得应用程序能够通过一个公共接口连接到许多存储系统。Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。在大数据生态系统中，Alluxio位于数据驱动框架或
国家数据局正式揭牌，数据专业融合型人才迎来发展良机辭七七七七的闲谈云原生容器 python
作者简介：辭七七，目前大二，正在学习C/C++，Java，Python等作者主页：七七的个人主页文章收录专栏：七七的闲谈欢迎大家点赞收藏⭐加关注哦！国家数据局正式揭牌，数据专业融合型人才迎来发展良机1《数据要素安全流通》2《Python数据挖掘：入门、进阶与实用案例分析》3《数据保护：工作负载的可恢复性》4《DataMesh权威指南》5《分布式统一大数据虚拟文件系统Alluxio原理、技术与实践》
国家数据局正式揭牌，数据专业融合型人才迎来发展良机【文末送书五本】以山河作礼。活动文章大数据数据挖掘
国家数据局正式揭牌，数据专业融合型人才迎来发展良机国家数据局正式揭牌，数据专业融合型人才迎来发展良机摘要书籍简介数据要素安全流通Python数据挖掘：入门、进阶与实用案例分析数据保护：工作负载的可恢复性DataMesh权威指南分布式统一大数据虚拟文件系统Alluxio原理、技术与实践云原生数据中台：架构、方法论与实践腾讯大数据构建之道运维数据治理：构筑智能运维的基石智能数据分析：入门、实战与平台构
Linux环境变量出错导致命令不可用气运2020 技术与问题 linux vim 运维
Linux环境变量出错导致命令不可用在修改系统的环境变量后，出现错误，系统的常规命令vimls等都不可用[[email protected]]#vim/etc/profile-bash:vim:commandnotfound解决办法：[[email protected]]#exportPATH=/usr/local/sbin:/usr/local/bin:/
国家数据局正式揭牌，数据专业融合型人才迎来发展良机想你依然心痛 #赠书活动数据安全分布式云原生运维系统实战
文章目录每日一句正能量摘要《数据要素安全流通》《Python数据挖掘：入门、进阶与实用案例分析》《数据保护：工作负载的可恢复性》《DataMesh权威指南》《分布式统一大数据虚拟文件系统Alluxio原理、技术与实践》《云原生数据中台：架构、方法论与实践》《腾讯大数据构建之道》《运维数据治理:构筑智能运维的基石》《智能数据分析：入门、实战与平台构建》《电商存储系统实战：架构设计与海量数据处理》赠书
Alluxio 简单使用 w1992wishes
一、AlluxioHA下载tar包，这里选择了2.0版本，下载后解压到cdh01ssh免密配置：cpconf/alluxio-site.properties.templateconf/alluxio-site.properties#主节点，使用ip的形式，每个主节点配置自己的ip，worker节点不配置alluxio.master.hostname=192.168.12.38#配置日志文件目录al
Alluxio AI 全新产品发布：无缝对接低成本对象存储 AI 训练解决方案 Alluxio 语言模型大模型模型训练机器学习大数据人工智能 AI
（2023年10月19日，北京）Alluxio作为一家承载各类数据驱动型工作负载的数据平台公司，现推出全新的AlluxioEnterpriseAI高性能数据平台,旨在满足人工智能(AI)和机器学习(ML)负载对于企业数据基础设施不断增长的需求。AlluxioEnterpriseAI平台可综合优化企业AI和分析基础设施的性能、数据可访问性、可扩展性和成本效益，助力生成式AI、计算机视觉、自然语言处理
实录分享 | Alluxio 在网易大数据的应用与优化 Alluxio 大数据网易 impala hadoop 对象存储 Alluxio transparent URI
欢迎来到【微直播间】，2min纵览大咖观点本次分享主要包括四个方面：背景介绍；对象存储场景优化；Impala引擎适配；通用功能增强。一、背景介绍网易有数大数据基础平台NDH：NDH是网易对标ClouderaCDH的一个内部实现，是网易内部广泛使用的一个基础平台。分布式大数据查询引擎Impala：NDH底层的OLAP引擎是Impala,Impala是MPP的架构，有着强悍的查询性能。在网易的使用场景
大模型赛道如何实现华丽的弯道超车陈童学哦陈童学的日记 Alluxio 大模型 ai
欢迎来到本文个人简介：陈童学哦，目前学习C/C++、算法、Python、Java等方向，一个正在慢慢前行的普通人。系列专栏：陈童学的日记其他专栏：C++STL，感兴趣的小伙伴可以看看。希望各位→点赞+收藏⭐️+留言⛱️万物从心起，心动则万物动‍♂️前言：Alluxio作为一款强大的分布式统一大数据虚拟文件系统，已经在众多领域展现出了其卓越的应用价值，并且为AI/ML训练赋能提供了一个全新的解决方案
【Alluxio】加锁大概流程叹了口丶气 Alluxio实战 Alluxio 大数据
FileSystemMaster是Alluxio文件系统master服务的接口，里面定义了针对文件系统的各种操作。例如：getFileInfo、delete、exists、createFile、listStatus、setAcl等等。alluxio.master.file.DefaultFileSystemMaster是上面FileSystemMaster接口的实现类。对上面定义的文件系统操作进行
【送书活动】大模型赛道如何实现华丽的弯道超车岁岁种桃花儿送书专栏人工智能
导读Alluxio作为一款强大的分布式统一大数据虚拟文件系统，已经在众多领域展现出了其卓越的应用价值，并且为AI/ML训练赋能提供了一个全新的解决方案。在人工智能（AI）和机器学习（ML）领域，数据驱动的决策和模型训练已成为现代应用和研究的核心。伴随大模型技术迅猛发展，模型训练所需数据的规模不断扩大，数据的处理、存储和传输都面临着巨大的挑战，传统的存储和处理方式已经无法满足实时性和性能需求。同时，
大模型赛道如何实现华丽的弯道超车【赠书活动｜第十期《分布式统一大数据虚拟文件系统 Alluxio原理、技术与实践》】鹤冲天Pro 博主活动前沿技术分布式大数据
文章目录01具备对海量小文件的频繁数据访问的I/O效率02提高GPU利用率，降低成本并提高投资回报率03支持各种存储系统的原生接口04支持单云、混合云和多云部署01通过数据抽象化统一数据孤岛02通过分布式缓存实现数据本地性03优化整个工作流的数据共享04通过并行执行数据预加载、缓存和训练来编排数据工作流直播预告直播主题直播时间直播观看方式抽奖方式在人工智能（AI）和机器学习（ML）领域，数据驱动的
【程序猿包邮送书：第四期】《分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践》爱书不爱输的程序猿分布式大数据
欢迎来到爱书不爱输的程序猿的博客,本博客致力于知识分享，与更多的人进行学习交流爱书不爱输的程序猿：送书第三期点击直达福利前言一、分布式文件系统元数据的常见类型1.1文件（inode）元数据1.2数据块（block）元数据1.3MountTable1.4Worker元数据二、分布式文件系统元数据的存储模式2.1元数据存储在堆上（HEAP模式）2.2元数据存储在堆外（ROCKS模式）2.3堆外存储的内
揭秘分布式文件系统大规模元数据管理机制——以Alluxio文件系统为例辭七七七七的闲谈运维网络云原生分布式数据库管理员
作者简介：辭七七，目前大，正在学习C/C++，Java，Python等作者主页：七七的个人主页文章收录专栏：七七的闲谈欢迎大家点赞收藏⭐加关注哦！揭秘分布式文件系统大规模元数据管理机制1.分布式文件系统元数据的常见类型1.1文件（inode）元数据1.2数据块（block）元数据1.3MountTable1.4Worker元数据2.分布式文件系统元数据的存储模式2.1元数据存储在堆上（HEAP模式
【送书活动】揭秘分布式文件系统大规模元数据管理机制——以Alluxio文件系统为例雪碧有白泡泡粉丝福利活动大数据 python
前言「作者主页」：雪碧有白泡泡「个人网站」：雪碧的个人网站「推荐专栏」：★java一站式服务★★React从入门到精通★★前端炫酷代码分享★★从0到英雄，vue成神之路★★uniapp-从构建到提升★★从0到英雄，vue成神之路★★解决算法，一个专栏就够了★★架构咱们从0说★★数据流通的精妙之道★★后端进阶之路★文章目录前言送书福利01分布式文件系统元数据的常见类型文件（inode）元数据数据块（
【山河送书第九期】：揭秘分布式文件系统大规模元数据管理机制——以Alluxio文件系统为例以山河作礼。活动文章 python 分布式
揭秘分布式文件系统大规模元数据管理机制——以Alluxio文件系统为例01分布式文件系统元数据的常见类型文件（inode）元数据数据块（block）元数据MountTableWorker元数据02分布式文件系统元数据的存储模式2.1元数据存储在堆上（HEAP模式）2.2元数据存储在堆外（ROCKS模式）2.3堆外存储的内存和磁盘占用2.4对堆外存储的缓存加速和调优2.5在HEAP和ROCKS模式间
揭秘分布式文件系统大规模元数据管理机制——以Alluxio文件系统为例 Designer 小郑 Flag &经验分享分布式云原生元数据大数据文件系统数据管理
作者主页：Designer小郑作者简介：3年JAVA全栈开发经验，专注JAVA技术、系统定制、远程指导，致力于企业数字化转型，CSDN博客专家，蓝桥云课认证讲师。目录一、前言二、什么是分布式文件系统三、分布式文件系统元数据的常见类型3.1文件（inode）元数据3.2数据块（block）元数据3.3MountTable3.4Worker元数据四、分布式文件系统元数据的存储模式4.1元数据存储在堆上
【猿灰灰赠书活动 - 04期】- 【分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践】猿灰灰 Cooperate 分布式大数据
‍本文专栏：赠书活动专栏（为大家争取的福利，免费送书）‍本文简述：博文为大家争取福利，与机械工业出版社合作进行送书活动‍图书：《分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践》‍有任何问题，都可以私聊我，文章最后有vx名片。感谢支持！知道的越多，不知道的越多！！！不能停下学习的脚步当今，我们的世界已经进入一个数据时代。随着互联网、物联网、5G、大数据、人工智能、自动驾驶、元宇宙等信
听Alluxio小姐姐讲述：Alluxio云上K8S部署如何加速深度学习训练 Alluxio Alluxio技术与实践深度学习 pytorch tensorflow k8s
Alluxio云上K8S部署如何加速深度学习训练在2021AlluxioDayV中，Alluxio核心研发工程师邱璐，为我们带来[Alluxio云上K8S部署如何加速深度学习训练]的分享邱璐毕业于乔治华盛顿大学数据科学专业，有多年开源社区贡献经验，2018年加入Alluxio团队，主要负责Alluxio与公有云场景的结合，分布式系统选举机制，日志管理，监控系统，机器学习场景下的数据供给研究开发。·
多线程编程之存钱与取钱周凡杨 java thread 多线程存钱取钱
生活费问题是这样的：学生每月都需要生活费，家长一次预存一段时间的生活费，家长和学生使用统一的一个帐号，在学生每次取帐号中一部分钱，直到帐号中没钱时通知家长存钱，而家长看到帐户还有钱则不存钱，直到帐户没钱时才存钱。问题分析：首先问题中有三个实体，学生、家长、银行账户，所以设计程序时就要设计三个类。其中银行账户只有一个，学生和家长操作的是同一个银行账户，学生的行为是
java中数组与List相互转换的方法征客丶 JavaScript java jsonp
1.List转换成为数组。（这里的List是实体是ArrayList) 　　调用ArrayList的toArray方法。　　toArray 　　public T[] toArray(T[] a)返回一个按照正确的顺序包含此列表中所有元素的数组；返回数组的运行时类型就是指定数组的运行时类型。如果列表能放入指定的数组，则返回放入此列表元素的数组。否则，将根据指定数组的运行时类型和此列表的大小分
Shell 流程控制 daizj 流程控制 if else while case shell
Shell 流程控制和Java、PHP等语言不一样，sh的流程控制不可为空，如(以下为PHP流程控制写法)： <?php if(isset($_GET["q"])){ search(q);}else{// 不做任何事情} 在sh/bash里可不能这么写，如果else分支没有语句执行，就不要写这个else，就像这样 if else if if 语句语
Linux服务器新手操作之二周凡杨 Linux 简单操作
1.利用关键字搜寻Man Pages man -k keyword 其中-k 是选项，keyword是要搜寻的关键字如果现在想使用whoami命令，但是只记住了前3个字符who，就可以使用 man -k who来搜寻关键字who的man命令 [haself@HA5-DZ26 ~]$ man -k
socket聊天室之服务器搭建朱辉辉33 socket
因为我们做的是聊天室，所以会有多个客户端，每个客户端我们用一个线程去实现，通过搭建一个服务器来实现从每个客户端来读取信息和发送信息。我们先写客户端的线程。 public class ChatSocket extends Thread{ Socket socket; public ChatSocket(Socket socket){ this.sock
利用finereport建设保险公司决策分析系统的思路和方法老A不折腾 finereport 金融保险分析系统报表系统项目开发
决策分析系统呈现的是数据页面，也就是俗称的报表，报表与报表间、数据与数据间都按照一定的逻辑设定，是业务人员查看、分析数据的平台，更是辅助领导们运营决策的平台。底层数据决定上层分析，所以建设决策分析系统一般包括数据层处理（数据仓库建设）。项目背景介绍通常，保险公司信息化程度很高，基本上都有业务处理系统（像集团业务处理系统、老业务处理系统、个人代理人系统等）、数据服务系统（通过
始终要页面在ifream的最顶层林鹤霄
index.jsp中有ifream，但是session消失后要让login.jsp始终显示到ifream的最顶层。。。始终没搞定，后来反复琢磨之后，得到了解决办法，在这儿给大家分享下。。 index.jsp--->主要是加了颜色的那一句 <html> <iframe name="top" ></iframe> <ifram
MySQL binlog恢复数据 aigo mysql
1，先确保my.ini已经配置了binlog： # binlog log_bin = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.log log_bin_index = D:/mysql-5.6.21-winx64/log/binlog/mysql-bin.index log_error = D:/mysql-5.6.21-win
OCX打成CBA包并实现自动安装与自动升级 alxw4616 ocx cab
近来手上有个项目,需要使用ocx控件 (ocx是什么? http://baike.baidu.com/view/393671.htm) 在生产过程中我遇到了如下问题. 1. 如何让 ocx 自动安装? a) 如何签名? b) 如何打包? c) 如何安装到指定目录? 2.
Hashmap队列和PriorityQueue队列的应用百合不是茶 Hashmap队列 PriorityQueue队列
HashMap队列已经是学过了的,但是最近在用的时候不是很熟悉,刚刚重新看以一次, HashMap是K,v键 ,值 put()添加元素 //下面试HashMap去掉重复的 package com.hashMapandPriorityQueue; import java.util.H
JDK1.5 returnvalue实例 bijian1013 java thread java多线程 returnvalue
Callable接口：返回结果并且可能抛出异常的任务。实现者定义了一个不带任何参数的叫做 call 的方法。 Callable 接口类似于 Runnable，两者都是为那些其实例可能被另一个线程执行的类设计的。但是 Runnable 不会返回结果，并且无法抛出经过检查的异常。 ExecutorService接口方
angularjs指令中动态编译的方法(适用于有异步请求的情况) 内嵌指令无效 bijian1013 JavaScript AngularJS
在directive的link中有一个$http请求，当请求完成后根据返回的值动态做element.append('......');这个操作，能显示没问题，可问题是我动态组的HTML里面有ng-click，发现显示出来的内容根本不执行ng-click绑定的方法！
【Java范型二】Java范型详解之extend限定范型参数的类型 bit1129 extend
在第一篇中，定义范型类时，使用如下的方式： public class Generics<M, S, N> { //M,S,N是范型参数 } 这种方式定义的范型类有两个基本的问题： 1. 范型参数定义的实例字段，如private M m = null;由于M的类型在运行时才能确定，那么我们在类的方法中，无法使用m，这跟定义pri
【HBase十三】HBase知识点总结 bit1129 hbase
1. 数据从MemStore flush到磁盘的触发条件有哪些？ a.显式调用flush，比如flush 'mytable' b.MemStore中的数据容量超过flush的指定容量，hbase.hregion.memstore.flush.size,默认值是64M 2. Region的构成是怎么样？ 1个Region由若干个Store组成
服务器被DDOS攻击防御的SHELL脚本 ronin47
mkdir /root/bin vi /root/bin/dropip.sh #!/bin/bash/bin/netstat -na|grep ESTABLISHED|awk ‘{print $5}’|awk -F:‘{print $1}’|sort|uniq -c|sort -rn|head -10|grep -v -E ’192.168|127.0′|awk ‘{if($2!=null&a
java程序员生存手册-craps 游戏-一个简单的游戏 bylijinnan java
import java.util.Random; public class CrapsGame { /** * *一个简单的赌*博游戏，游戏规则如下： *玩家掷两个骰子，点数为1到6，如果第一次点数和为7或11，则玩家胜， *如果点数和为2、3或12，则玩家输， *如果和为其它点数，则记录第一次的点数和，然后继续掷骰，直至点数和等于第一次掷出的点
TOMCAT启动提示NB: JAVA_HOME should point to a JDK not a JRE解决开窍的石头 JAVA_HOME
当tomcat是解压的时候，用eclipse启动正常，点击startup.bat的时候启动报错; 报错如下： The JAVA_HOME environment variable is not defined correctly This environment variable is needed to run this program NB: JAVA_HOME shou
[操作系统内核]操作系统与互联网 comsci 操作系统
我首先申明：我这里所说的问题并不是针对哪个厂商的，仅仅是描述我对操作系统技术的一些看法操作系统是一种与硬件层关系非常密切的系统软件，按理说，这种系统软件应该是由设计CPU和硬件板卡的厂商开发的，和软件公司没有直接的关系，也就是说，操作系统应该由做硬件的厂商来设计和开发
富文本框ckeditor_4.4.7 文本框的简单使用支持IE11 cuityang 富文本框
<html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <title>知识库内容编辑</tit
Property null not found darrenzhu datagrid Flex Advanced propery null
When you got error message like "Property null not found ***", try to fix it by the following way: 1)if you are using AdvancedDatagrid, make sure you only update the data in the data prov
MySQl数据库字符串替换函数使用 dcj3sjt126com mysql 函数替换
需求：需要将数据表中一个字段的值里面的所有的 . 替换成 _ 原来的数据是 site.title site.keywords .... 替换后要为 site_title site_keywords 使用的SQL语句如下： updat
mac上终端起动MySQL的方法 dcj3sjt126com mysql mac
首先去官网下载: http://www.mysql.com/downloads/ 我下载了5.6.11的dmg然后安装,安装完成之后..如果要用终端去玩SQL.那么一开始要输入很长的:/usr/local/mysql/bin/mysql 这不方便啊,好想像windows下的cmd里面一样输入mysql -uroot -p1这样...上网查了下..可以实现滴. 打开终端,输入: 1
Gson使用一（Gson） eksliang json gson
转载请出自出处：http://eksliang.iteye.com/blog/2175401 一.概述从结构上看Json，所有的数据（data）最终都可以分解成三种类型：第一种类型是标量（scalar），也就是一个单独的字符串（string）或数字（numbers），比如"ickes"这个字符串。第二种类型是序列（sequence），又叫做数组（array）
android点滴4 gundumw100 android
Android 47个小知识 http://www.open-open.com/lib/view/open1422676091314.html Android实用代码七段（一） http://www.cnblogs.com/over140/archive/2012/09/26/2611999.html http://www.cnblogs.com/over140/arch
JavaWeb之JSP基本语法 ihuning javaweb
目录 JSP模版元素 JSP表达式 JSP脚本片断 EL表达式 JSP注释特殊字符序列的转义处理如何查找JSP页面中的错误 JSP模版元素 JSP页面中的静态HTML内容称之为JSP模版元素，在静态的HTML内容之中可以嵌套JSP
App Extension编程指南（iOS8/OS X v10.10）中文版啸笑天 ext
当iOS 8.0和OS X v10.10发布后，一个全新的概念出现在我们眼前，那就是应用扩展。顾名思义，应用扩展允许开发者扩展应用的自定义功能和内容，能够让用户在使用其他app时使用该项功能。你可以开发一个应用扩展来执行某些特定的任务，用户使用该扩展后就可以在多个上下文环境中执行该任务。比如说，你提供了一个能让用户把内容分
SQLServer实现无限级树结构 macroli oracle sql SQL Server
表结构如下：数据库id path titlesort 排序 1 0 首页 0 2 0,1 新闻 1 3 0,2 JAVA 2 4 0,3 JSP 3 5 0,2,3 业界动态 2 6 0,2,3 国内新闻 1 创建一个存储过程来实现，如果要在页面上使用可以设置一个返回变量将至传过去 create procedure test as begin decla
Css居中div，Css居中img，Css居中文本，Css垂直居中div qiaolevip 众观千象学习永无止境每天进步一点点 css
/**********Css居中Div**********/ div.center { width: 100px; margin: 0 auto; } /**********Css居中img**********/ img.center { display: block; margin-left: auto; margin-right: auto; }
Oracle 常用操作(实用) 吃猫的鱼 oracle
SQL>select text from all_source where owner=user and name=upper('&plsql_name'); SQL>select * from user_ind_columns where index_name=upper('&index_name'); 将表记录恢复到指定时间段以前
iOS中使用RSA对数据进行加密解密 witcheryne ios rsa iPhone objective c
RSA算法是一种非对称加密算法,常被用于加密数据传输.如果配合上数字摘要算法, 也可以用于文件签名. 本文将讨论如何在iOS中使用RSA传输加密数据. 本文环境 mac os openssl-1.0.1j, openssl需要使用1.x版本, 推荐使用[homebrew](http://brew.sh/)安装. Java 8 RSA基本原理 RS