Spark 是一个通用的大数据处理引擎。对于初学者来说，local mode 是入门学习和快速验证最直接的方式。

它不需要集群资源，单机就能运行。对于想先上手体验Spark 3.5的朋友，这篇教程会一步步带你完成本地模式的安装与配置。

整个过程以可操作为主，适合练习和演示使用。

下载

先说清楚什么是local模式：它本质上就是本地模式。

这种模式不需要任何其他节点资源，在单机环境下就能执行Spark代码。

非常适合练习和演示用途。

上传解压

使用PortX将文件上传至/opt目录。

进入/opt目录，创建module目录。

然后将压缩包解压到/opt/module下。

进入module目录后，顺手把目录名改得清爽一点。

配置jdk

启动Spark之前，必须先装好JDK。

先把JDK文件上传到服务器。

解压

执行解压命令：

tar zxvf jdk-8u271-linux-x64.tar.gz

配置环境变量

使用root用户来配置环境变量。

先切换到root家目录。

保存后，以root用户执行source .profile使更改生效。

然后验证一下Ja va版本是否正常。

启动查看

进入Spark的解压目录，这里命名为spark-local。

执行bin/spark-shell启动Spark。

看到如下日志输出，就说明启动成功了。

启动成功后，可以通过浏览器访问WebUI监控页面：

http://ip:4040

交互操作

有两种方式与Spark进行交互：

• 命令行交互
• 提交作业

下面分别演示。

命令行

进入Spark目录下的data文件夹，创建一个test.txt文件。

执行vi test.txt编辑内容。

然后进入spark-standalone/bin目录，执行./spark-shell启动命令行。

输入以下代码，进行经典的WordCount测试：

sc.textFile("../data/test.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

退出命令行可以按Ctrl+C。

或者输入:quit后回车。

提交应用

在实际生产或批量数据处理中，一般不会手动敲命令。

更常见的做法是编写好Spark程序，再通过spark-submit指令提交给集群去计算。

这里用Spark自带的Pi计算示例来演示提交方式：

bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master local[2]
./examples/jars/spark-examples_2.12-3.5.5.jar

备注：路径等信息参考下图，所有示例代码都位于Spark目录下的对应位置。