Spark集群:环境搭建之Scala安装指南

wptr33 2024-12-20 19:02 16 浏览

前篇文章介绍了Spark计算框架相较于MapReduce框架的种种优势，接下来我们一起安装、配置Spark集群环境，方便后期继续学习研究。Spark项目是由Scala语言编写的，因此需提前配置Scala环境才能运行Spark程序。

1、Scala版本选择与下载

我们安装spark2.1.2版本与之对应的环境要求可以在spark官网可以得到。如下图所示：

从上图可一看到安装Spark2.1.2我们需要安装scala2.11.x版，在scala官网可以找到与之对应的是2.11.12。scala运行对java虚拟机也是有要求的，从下图可以看到2.11.12要求java1.8的环境。大家还记得我们虚拟机中安装的java版本吗？

我们可以使用命令查看一下，如下图所示：你们安装的就是1.8(最后一位小版本号之间差异不大，一般可以忽略)。所以我们只需下载scala2.11.12即可。

下载scala2.11.12.tgz的方法：可以在官网选择下图所示的文件下载

2、安装scala

首先通过WinSCP将下载的scala压缩文件上传至master用户主目录下Downloads目录下，使用命令 tar –zxvf scala2.11.12.tgz 解压scala2.11.12.tgz至用户主目录下，解压后的文件夹名为scala-2.11.12

将解压后的文件夹名由scala-2.11.12改为scala，可使用下图所示操作命令

3、配置scala环境变量

编辑用户主目录下的.bashrc文件，命令如下图所示

在文件末尾添加如下内容

保存并退出，重新导入配置文件.bashrc然后终端中使用命令scala -version查看scala安装配置是否成功。操作过程如下图所示：

在master节点操作成功后为了简便可以将scala文件目录和./.bashrc复制到slave1、slave2。复制文件到其他节点使用scp命令：

scp -r ./scala hduser@slave1:~/

scp ./.bashrc hduser@slave1:~/

scp -r ./scala hduser@slave2:~/

scp ./.bashrc hduser@slave2:~/

通过以上命令slave1和slave2节点上都有scala及其配置文件了。我们可以通过重新导入配置文件查看每个节点是否安装成功，操作如下面两图所示：

到这里集群中scala环境就配置好了，下篇文章介绍spark的安装。

spark安装

上一篇：Home Assitant出海如何配置，看这一篇就够了
下一篇：详解 jupyter notebook 集成 spark 环境安装

Spark集群:环境搭建之Scala安装指南

1、Scala版本选择与下载

2、安装scala

3、配置scala环境变量

相关推荐

C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)

因果推断Matching方式实现代码因果推断模型

git pull命令使用实例 git pull--rebase

面试官:git pull是哪两个指令的组合?

git 执行pull错误如何撤销 git pull fail

git pull 和git fetch 命令分别有什么作用?二者有什么区别?

git fetch 和git pull 的异同 git中fetch和pull的区别

git pull 之后本地代码被覆盖解决方案

还可以这样玩?Git基本原理及各种骚操作，涨知识了

git命令之pull git.pull

Spark集群:环境搭建之Scala安装指南

1、Scala版本选择与下载

2、安装scala

3、配置scala环境变量

相关推荐

C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)

因果推断Matching方式实现代码 因果推断模型

git pull命令使用实例 git pull--rebase

面试官:git pull是哪两个指令的组合?

git 执行pull错误如何撤销 git pull fail

git pull 和git fetch 命令分别有什么作用?二者有什么区别?

git fetch 和git pull 的异同 git中fetch和pull的区别

git pull 之后本地代码被覆盖 解决方案

还可以这样玩?Git基本原理及各种骚操作，涨知识了

git命令之pull git.pull

因果推断Matching方式实现代码因果推断模型

git pull 之后本地代码被覆盖解决方案