谷歌推出Cloud Dataproc，缩短集群启动时间

wptr33 2024-12-20 19:04 22 浏览

本周三谷歌为Hadoop和Spark推出了Cloud Dataproc服务的beta版本，这项服务旨在帮助用户快速创建和关闭Hadoop和Spark集群，因为很多企业用户发现对Hadoop和Spark的安装和使用比想象的困难很多，尤其是当两者一起使用时。

谷歌声称使用Cloud Dataproc每一个集群操作至多只需要90秒，这对于企业用户来说是很有吸引力的，因为企业可以花更多时间在真正有价值的数据分析上面而不用花太多心思在集群的各种操作。

传统方式每次对Spark和Hadoop集群的启动扩容或关闭等操作需要五至三十分钟不等的时间，因此谷歌宣称Cloud Dataproc相比本地部署或是其他云服务提供商都占有优势。

价格方面是每个CPU每小时一分，可以精确到分钟而不是惯例的四舍五入到小时，不过Cloud Dataproc有起步价十分钟。此外谷歌还提供了抢占式虚拟机，虽然价格比普通虚拟机低70%，但最多可以使用24小时而且可能随时被关闭。抢占式虚拟机主要适用于容错性强的应用，比如用在批处理任务上，抢占式虚拟机被关闭时批处理任务只是速度变慢而不会完全停止除非你所有的实例都是抢占式虚拟机。

Cloud Dataproc可以与谷歌云平台的其他服务如BigQuery、Cloud Storage、Cloud BigTable、Cloud Logging和Cloud Monitoring等进行无缝集成，它的出现使谷歌的云平台生态更加完善。

用户可以使用多种方式来管理集群如Web界面、Cloud SDK、RESTful API和SSH而不需要专业人士或者专门软件的帮助。

现在beta版本的Cloud Dataproc针对的是Spark 1.5和Hadoop 2.7.1不过谷歌称会根据Spark和Hadoop的版本进行动态更新。

原文地址：With Cloud Dataproc, Google promises a Hadoop or Spark cluster in 90 seconds（译者/Xukun 校检/朱正贵、李子健责编/仲浩）

spark安装

上一篇：2019美骑之选:山地车整车盘点(上)
下一篇：Windows上也能用Swift编程了，官方编译安装包已上线

谷歌推出Cloud Dataproc，缩短集群启动时间

相关推荐

C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)

因果推断Matching方式实现代码因果推断模型

git pull命令使用实例 git pull--rebase

git pull 和git fetch 命令分别有什么作用?二者有什么区别?

面试官:git pull是哪两个指令的组合?

git 执行pull错误如何撤销 git pull fail

git fetch 和git pull 的异同 git中fetch和pull的区别

git pull 之后本地代码被覆盖解决方案

还可以这样玩?Git基本原理及各种骚操作，涨知识了

git命令之pull git.pull

谷歌推出Cloud Dataproc，缩短集群启动时间

相关推荐

C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)

因果推断Matching方式实现代码 因果推断模型

git pull命令使用实例 git pull--rebase

git pull 和git fetch 命令分别有什么作用?二者有什么区别?

面试官:git pull是哪两个指令的组合?

git 执行pull错误如何撤销 git pull fail

git fetch 和git pull 的异同 git中fetch和pull的区别

git pull 之后本地代码被覆盖 解决方案

还可以这样玩?Git基本原理及各种骚操作，涨知识了

git命令之pull git.pull

因果推断Matching方式实现代码因果推断模型

git pull 之后本地代码被覆盖解决方案