喵星之旅-调皮的大象-Spark-Local模式

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

安装使用

上传并解压Spark安装包

1
2
3

tar -zxvf spark-3.1.3-bin-hadoop3.2.tgz -C /opt/bunny/
cd /opt/bunny
mv spark-3.1.3-bin-hadoop3.2 spark-local

读取多个输入文件，统计每个单词出现的总次数。

准备文件 /opt/bunny/spark-local/input
在input下创建2个文件1.txt和2.txt，并输入以下内容。
hello bunny
hello spark

启动spark-shell

1
2
3

cd /opt/bunny/spark-local
bin/spark-shell

登录h102:4040，查看程序运行情况（注意：spark-shell窗口关闭掉，则h102:4040页面关闭）

运行WordCount程序

1	scala>sc.textFile("/opt/bunny/spark-local/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect