位置:首页 > Scala > 大数据RDD编程实验教程与实训指南

大数据RDD编程实验教程与实训指南

时间:2026-08-20  |  作者:白桃企划师  |  阅读:0

1. 启动Spark

前往目录/usr/local/spark/sbin下,通过以下命令启动Spark服务

./start-all.sh

image.png

进入目录/usr/local/spark/bin下,启动spark-shell

./spark-shell

image.png

2. 计算Tom同学的总成绩平均分

2.1 读取数据文件

在此,我将chapter5-data.txt这个文件置于/home/hadoop目录之中

image.png

2.2 解析数据

image.png

2.3 过滤出Tom的成绩数据

image.png

2.4 计算Tom的成绩总和、成绩平均值

  1. 取出tom的每科成绩转换为数组

  1. 计算总和及科目总数

image.png

image.png

  1. 计算平均值

3. 计算每名同学的选修课程数

3.1 解析数据

image.png

3.2 提取每名同学和他们选修的课程

image.png

3.3 计算每名同学的选修课程门数

image.png

3.4 打印结果

image.png

《夸克》非常好用的免费AI浏览器

下载APP查看

免责声明:文中图文均来自网络,如有侵权请联系删除,心愿游戏发布此文仅为传递信息,不代表心愿游戏认同其观点或证实其描述。

相关文章

更多

精选合集

更多

大家都在玩

热门话题

大家都在看

更多