WaterWheel补充步骤

基本信息

假定两个节点
master:
172.31.0.51(内网) ec2-54-169-200-228(外网)

ssh -i ~/Desktop/waterwheel-test-key-pair-gdut.pem [email protected]

slave:
172.31.8.7(内网) ec2-13-229-103-186(外网)

ssh -i ~/Desktop/waterwheel-test-key-pair-gdut.pem [email protected]

附加步骤:

  • 打包源码发送之前,因为运行的为cluster model,所以topology中的pom.xml要把的注释去掉

  • 发送源码topology和web UI:
    mvn package -DskipTests整个项目,把topology/target的topology-1.0-SNAPSHOT.jar改名为waterwheel-topology.jar,web/target的webapp.war改名为waterwheel.war,把两者通过scp发送到master,

scp -i ~/Desktop/waterwheel-test-key-pair-gdut.pem -r /Users/billlin/Downloads/Waterwheel-master/topology/target/waterwheel-topology.jar -r /Users/billlin/Downloads/Waterwheel-master/web/target/waterwheel.war [email protected]:~

(-i 密匙,-r 递归复制整个目录,两个一起发)
(记得加目的地址如 :~,可以直接发送到用户mm/ss下)

  • 同理,发送script到master和slave:
scp -i ~/Desktop/waterwheel-test-key-pair-gdut.pem -r /Users/billlin/Downloads/Waterwheel-master/scripts [email protected]:~
  • 在wget前,先下载安装wget:
    sudo yum install wget -y

  • 安装jdk后,source ~/.bashrc来刷新path,echo $JAVA_HOME 查看是否成功

  • 每个步骤的MASTER_IP都是输入master的内网IP(外网可能会因为防火墙等原因报错)

  • 如果web无法通过外网登录
    sudo iptables -F 关闭两台机器的防火墙

  • 最后,部署成功后,插入数据:
    进入 apache-storm-1.1.0/bin 执行

./storm jar ~/scripts/waterwheel-topology.jar indexinopology/topology/kingbase/KingBaseTopology -m ingest -r 10000 --ingest-server-ip 172.31.0.51

(两台机器都可能作为spout)

如果打开网页报错时,可能会是QueryCoordinator在其他ip上导致,将Tomcat部署到其他节点上
或者重新提交topology

旧数据:
172.31.14.142(内网)(54-251-130-130)
172.31.10.190(内网) (52-77-251-131)

你可能感兴趣的:(WaterWheel补充步骤)