spark的standalone模式部署.txt

1.安装配置JDK
2.安装配置Spark，修改Spark配置文件(两个配置文件spark-env.sh和slaves)
vim spark-env.sh
#指定JAVA_HOME位置
export JAVA_HOME=/usr/java/jdk1.7.0_45
#指定spark老大Master的IP
export SPARK_MASTER_IP=spark1.itcast.cn
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077
#指定可用的CPU内核数量(默认:所有可用)
export SPARK_WORKER_CORES=2
#作业可使用的内存容量，默认格式为1000m或者2g(默认:所有RAM去掉给操作系统用的1GB)
export SPARK_WORKER_MEMORY=2g


3.在slaves文件中加入所有Work的地址
node3
node4
node5

4.(可选)配置两个Spark Master实现高可靠(首先要配置zookeeper集群，在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS)
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.80.10:2181 -Dspark.deploy.zookeeper.dir=/spark"
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=2g









export JAVA_HOME=/usr/local/jdk1.7.0_45
export SPARK_MASTER_IP=node-1.itcast.cn
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=2
export SPARK_WORKER_MEMORY=1g