spark启动流程
sbin/start-all.sh -> start-master.sh -> start-slaves.sh
sbin/start-master.sh -> 先读取变量 sbin/spark-daemon.sh start org.apache.spark.deploy.master.Master 1 --ip $SPARK_MASTER_IP --port $SPARK_MASTER_PORT --webui-port $SPARK_MASTER_WEBUI_PORT
sbin/spark-daemon.sh -> /bin/spark-class $command "$@"
/bin/spark-class -> exec "$RUNNER" -cp "$CLASSPATH" $JAVA_OPTS "$@"
spark提交任务过程
bin/spark-submit --class cn.itcast.spark.WordCount --master spark://node-1.itcast.cn:7077 --executor-memory 2g --total-executor-cores 4
exec "$SPARK_HOME"/bin/spark-class org.apache.spark.deploy.SparkSubmit -> exec "$RUNNER" -cp "$CLASSPATH" $JAVA_OPTS "$@"
重点看spark-class org.apache.spark.deploy.SparkSubmit ->submit -> doRunMain (args->class cn.itcast.spark.WordCount …)
class.forname 在自己进程里反射
--> Class.forName通过反射调用自定义类的main方法（只有一个进程）
sparkcontext运行在sparksubmit（driver）进程中，然后与master建立连接，以后要rpc通信
创建DAGScheduler->TaskScheduler
new sparkconext-> 执行主构造器->
1.调用createSparkEnv创建sparkEnv (里面有一个重要的对象create actor system 单例，之后创建actor，driver与executor进行心跳通信（仅仅是心跳），executor发)
2.create task scheduler->根据提交的任务url进行匹配-> taskschedulerimpl->sparkdeployschedulerbackend(里面有两个actor，client actor，driver actor)
3create dagscheduler（以后用来切分dag）
4start task scheduler (task scheduler impl)
首先调用sparkdeployschedulerbackend 的start方法(首先调用父类的start方法，来创建DriverActor,（Executor 主动连接driver）；之后准备一些参数封装在一个对象中(application description)，然后发给master：其中这个参数org.apache.spark.executor. coarseGrainedschedulerbackend重要，以后executor的实现类（有不同的提交方式）;创建app client（传入(application description参数），再调用appClient.start(),在start方法中创建了一个client actor，向master注册(registerWithMaster, 循环所有master地址，发消息，standby无返回内容，拿到master引用，然后发注册请求，所有的参数都封装在application description中)；master类中，RegisterApplication(description),接收到client actor中的，把信息放在内存，再持久化，向clientactor发送注册成功消息，调用schedule方法（重要），master开始调度资源，其实就是把任务启动到那些worker上，其中有两种调度方式，一种是尽量打散，一种是尽量集中。master发送消息（case class），让worker启动executor，再向client actor发送消息，告诉它已经向worker发送了启动executor的消息
worker发送给executor的消息是case class launchExecutor（masterurl，executorid，cores,memory,appid,appdescription)
worker中有一个executorRunner方法，将上面的参数都放入其中，然后启动executor，这样executor也就是corseGrained这个类有了worker url和driver actor(client actor发给master再发给worker再发给executor）和worker与driver进行通信。
executorRunner会在worker上注册，因为一个application在一个worker上可能有多个executor。Map(executorid->executorRunner).再调用executorRunner的start方法启动executor子进程。然后worker给master发消息，告诉他executor已经启动
在executorrunne r的start方法中，先创建一个线程对象，然后通过一个线程来启动一个java子进程，原因是这样不阻塞创建子进程的时候，要不创建进程起子进程会等很久
调用线程对象的start方法回调用线程对象的run方法进而调用fetchandrunexecutor，在这里面启动corsegrained子进程，并创建stdout和stderr日志文件，之后executor给worker发消息，告诉它启动成功
在executor中，也就是coarseGrainedschedulerbackend中，创建actorsystem，与driver建立连接（有两个地方）
在prestart方法中：（与driver建立连接，这个actor是接收driver 发过来任务的），executor向driver发送消息，进行注册;然后driveractor会向executor发送消息，告诉executor注册成功，然后在coarseGrainedschedulerbackend 创建new Executor实例，用来执行业务逻辑
coarseGrainedschedulerbackend中的makeoffers方法的作用是：查看是否有任务需要提交（driveractor－>executor）重要
Executor的主构造器中，初始化线程池
val threadPool = Utils.newdaemonCachedThreadPool
executor向driveractor发送心跳
executor中有一个launchTask,其中new taskRunner,将这个taskRunner丢到线程池threadPool中
有一个task从driver actor发过来，task是个对象，需要序列化，executor接收到task，需要反序列化，task想要被执行，需要task实现runnable方法（或者搞一个类，这个类实现runnable方法，然后把 task丢到这个类里面 ，包一下，再把这个类丢到线程池）
e.g.
package thread.test;
import java.io.Serializable;
import java.util.Date;
public class Task implements Runnable, Serializable {
private static final long serialVersionUID = 1L;
@Override
public void run() {
System.out.println(new Date());
}
}
package thread.test;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.ObjectInputStream;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
public class DesTask {
public static void main(String[] args) throws FileNotFoundException, IOException, ClassNotFoundException, InterruptedException {
ObjectInputStream ois = new ObjectInputStream(new FileInputStream("/Users/d/Desktop/tasks"));
ExecutorService pool = Executors.newCachedThreadPool();
Task t = (Task) ois.readObject();
pool.execute(t);
ois.close();
Thread.sleep(2000);
pool.shutdown();
}
}
package thread.test;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.ObjectOutputStream;
public class SerTask {
public static void main(String[] args) throws FileNotFoundException, IOException {
Task a = new Task();
ObjectOutputStream oos = new ObjectOutputStream(new FileOutputStream("/Users/d/Desktop/tasks"));//装饰模式
oos.writeObject(a);
oos.close();
}
}
可以打印出时间 Mon Jun 26 00:47:54 CST 2017
继承关系 ：schedulerbackend<－coarseGrainedschedulerbackend(driver actor)<-sparkdeployschedulerbackend(client actor)
什么时候会调用master中的schedule方法？ 有新的worker加入或删除，有application提交或删除