谷歌推出Cloud Dataproc，缩短集群启动时间
wptr33 2024-12-20 19:04 34 浏览
本周三谷歌为Hadoop和Spark推出了Cloud Dataproc服务的beta版本，这项服务旨在帮助用户快速创建和关闭Hadoop和Spark集群，因为很多企业用户发现对Hadoop和Spark的安装和使用比想象的困难很多，尤其是当两者一起使用时。
谷歌声称使用Cloud Dataproc每一个集群操作至多只需要90秒，这对于企业用户来说是很有吸引力的，因为企业可以花更多时间在真正有价值的数据分析上面而不用花太多心思在集群的各种操作。
传统方式每次对Spark和Hadoop集群的启动扩容或关闭等操作需要五至三十分钟不等的时间，因此谷歌宣称Cloud Dataproc相比本地部署或是其他云服务提供商都占有优势。
价格方面是每个CPU每小时一分，可以精确到分钟而不是惯例的四舍五入到小时，不过Cloud Dataproc有起步价十分钟。此外谷歌还提供了抢占式虚拟机，虽然价格比普通虚拟机低70%，但最多可以使用24小时而且可能随时被关闭。抢占式虚拟机主要适用于容错性强的应用，比如用在批处理任务上，抢占式虚拟机被关闭时批处理任务只是速度变慢而不会完全停止除非你所有的实例都是抢占式虚拟机。
Cloud Dataproc可以与谷歌云平台的其他服务如BigQuery、Cloud Storage、Cloud BigTable、Cloud Logging和Cloud Monitoring等进行无缝集成，它的出现使谷歌的云平台生态更加完善。
用户可以使用多种方式来管理集群如Web界面、Cloud SDK、RESTful API和SSH而不需要专业人士或者专门软件的帮助。
现在beta版本的Cloud Dataproc针对的是Spark 1.5和Hadoop 2.7.1不过谷歌称会根据Spark和Hadoop的版本进行动态更新。
原文地址：With Cloud Dataproc, Google promises a Hadoop or Spark cluster in 90 seconds（译者/Xukun 校检/朱正贵、李子健 责编/仲浩）
相关推荐
- 什么是Java中的继承?如何实现继承?
-
什么是继承？...
- Java 继承与多态:从基础到实战的深度解析
-
在面向对象编程（OOP）的三大支柱中，继承与多态是构建灵活、可复用代码的核心。无论是日常开发还是框架设计，这两个概念都扮演着至关重要的角色。本文将从基础概念出发，结合实例与图解，带你彻底搞懂Java...
- Java基础教程:Java继承概述_java的继承
-
继承概述假如我们要定义如下类：学生类，老师类和工人类，分析如下。学生类属性：姓名，年龄行为：吃饭，睡觉老师类属性：姓名，年龄，薪水行为：吃饭，睡觉，教书班主任属性：姓名，年龄，薪水行为：吃饭，睡觉，管...
- java4个技巧:从继承和覆盖，到最终的类和方法
-
日复一日，我们编写的大多数Java只使用了该语言全套功能的一小部分。我们实例化的每个流以及我们在实例变量前面加上的每个@Autowired注解都足以完成我们的大部分目标。然而，有些时候，我们必须求助于...
- java:举例说明继承的概念_java继承的理解
-
在现实生活中，继承一般指的是子女继承父辈的财产。在程序中，继承描述的是事物之间的所属关系，通过继承可以使多种事物之间形成一种关系体系。例如猫和狗都属于动物，程序中便可以描述为猫和狗继承自动物，同理，...
- 从零开始构建一款开源的 Vibe Coding 产品 Week1Day4:业界调研之 Agent 横向对比
-
前情回顾前面两天我们重点调研了了一下Cursor的原理和Cursor中一个关键的工具edit_file的实现，但是其他CodingAgent也需要稍微摸一下底，看看有没有优秀之处，下...
- 学会这几个插件，让你的Notepad++使用起来更丝滑
-
搞程序开发的小伙伴相信对Notepad++都不会陌生，是一个占用空间少、打开启动快的文件编辑器，很多程序员喜欢使用Notepad++进行纯文本编辑或者脚本开发，但是Notepad++的功能绝不止于此，...
- 将 node_modules 目录放入 Git 仓库的优点
-
推荐一篇文章Whyyoushouldcheck-inyournodedependencies[1]...
- 再度加码AI编程，腾讯发布AI CLI并宣布CodeBuddy IDE开启公测
-
“再熬一年，90%的程序员可能再也用不着写for循环。”凌晨两点半，王工还在公司敲键盘。他手里那份需求文档写了足足六页，产品经理反复改了三次。放在过去，光数据库建表、接口对接、单元测试就得写两三天。现...
- git 如何查看stash的内容_git查看ssh key
-
1.查看Stash列表首先，使用gitstashlist查看所有已保存的stash：...
- 6万星+ Git命令懒人必备!lazygit 终端UI神器，效率翻倍超顺手!
-
项目概览lazygit是一个基于终端的Git命令可视化工具，通过简易的TUI（文本用户界面）提升Git操作效率。开发者无需记忆复杂命令，即可完成分支管理、提交、合并等操作。...
- 《Gemini CLI 实战系列》(一)Gemini CLI 入门:AI 上命令行的第一步
-
谷歌的Gemini模型最近热度很高，而它的...
- deepin IDE新版发布:支持玲珑构建、增强AI智能化
-
IT之家8月7日消息，深度操作系统官方公众号昨日（8月6日）发布博文，更新推出新版deepin集成开发环境（IDE），重点支持玲珑构建。支持玲珑构建deepinIDE在本次重磅更...
- 狂揽82.7k的star，这款开源可视化神器，轻松创建流程图和图表
-
再不用Mermaid，你的技术文档可能已经在悄悄“腐烂”——图表版本对不上、同事改完没同步、评审会上被一句“这图哪来的”问得哑口无言。这不是危言耸听。GitHub2025年开发者报告显示，63%的新仓...
- 《Gemini CLI 实战系列》(五)打造专属命令行工具箱
-
在前几篇文章中，我们介绍了GeminiCLI的基础用法、效率提升、文件处理和与外部工具结合。今天我们进入第五篇...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
程序员的开源月刊《HelloGitHub》第 71 期
-
详细介绍一下Redis的Watch机制，可以利用Watch机制来做什么?
-
如何将AI助手接入微信（打开ai手机助手）
-
假如有100W个用户抢一张票，除了负载均衡办法，怎么支持高并发?
-
SparkSQL——DataFrame的创建与使用
-
Java面试必考问题:什么是乐观锁与悲观锁
-
redission YYDS spring boot redission 使用
-
一文带你了解Redis与Memcached? redis与memcached的区别
-
如何利用Redis进行事务处理呢? 如何利用redis进行事务处理呢英文
-
- 最近发表
-
- 什么是Java中的继承?如何实现继承?
- Java 继承与多态:从基础到实战的深度解析
- Java基础教程:Java继承概述_java的继承
- java4个技巧:从继承和覆盖，到最终的类和方法
- java:举例说明继承的概念_java继承的理解
- 从零开始构建一款开源的 Vibe Coding 产品 Week1Day4:业界调研之 Agent 横向对比
- 学会这几个插件，让你的Notepad++使用起来更丝滑
- 将 node_modules 目录放入 Git 仓库的优点
- 再度加码AI编程，腾讯发布AI CLI并宣布CodeBuddy IDE开启公测
- git 如何查看stash的内容_git查看ssh key
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)