百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

Google开源C/C++版MapReduce框架

wptr33 2025-02-08 13:06 27 浏览

据 GigaOM消息,Google 上周宣布,将自己用 C++ 开发的 MapReduce 框架MapReduce for C(MR4C)开源,此举可给 Hadoop 社区带来福音,因为这样用户就可以在自己的 Hadoop 环境中运行原生的 C 及 C++ 代码了。

Hadoop 是许多大数据应用的基础,它是由 Apache 基金会所开发的分布式系统基础架构,主要由分布式文件系统 HDFS 和计算框架 MapReduce 组成。由于原先的 MapReduce 是用 Java 编写的,与 C++ 相比,在性能上要略逊一筹,因此,许多处理大规模数据集的软件公司都开发了自己的专有系统来在 MapReduce 框架之内执行其原生代码。Facebook 的 HipHop(将 PHP 转换为 C++)以及 MemSQL 执行前将 SQL 转为 C++ 代码也都是出于同样的性能考虑。

MR4C 原先由卫星影像公司 Skybox Imaging 开发,目的是为了优化其地理空间数据及计算机视觉代码库。MR4C 围绕着几个简单概念开发而成,其目标是将 MapReduce 的重要细节抽象化,允许用户专注于开发有价值的算法。去年 6 月,Google 收购了 Skybox。半年之后的现在,又将 MR4C 开源出来。这对于没有能力开发专有系统或者对 Java 不感冒的开发者来说无疑是一个福音。

当然,MR4C 的受欢迎程度仍有待观察。因为在数据处理方面,Apache Spark 是一个速度比 Mapreduce 更快的框架,它支持 Scala、Python 和 Java(但不支持 C/C++),已经引起了开发社区极大的兴趣。

相关推荐

1.大白话 Spring_大白话对应的是什么话

此文是学习spring源码一些体会,记录下来,哪里有不对的地方,希望批评指正!1.Spring是什么Spring是一款开源的轻量级Java开发框架,旨在提高开发人员的开发效率以及系统的可维护性。...

MyBatis3.5.11-从入门到高阶_mybatis快速入门

一.课程介绍MyBatis概述...

Spring_spring festival

Spring初始化流程,容器初始化,主要流程在AbstractApplicationContext.refresh()1.容器预先准备-...

关于Spring的69个面试问答--终极列表

这篇文章总结了一些关于Spring框架的重要问题,这些问题都是你在面试或笔试过程中可能会被问到的。下次你再也不用担心你的面试了,JavaCodeGeeks这就帮你解答。大多数你可能被问到的问题都列...

49个Spring经典面试题总结(附带答案)

点关注,不迷路!课程资料,关注私信【555】获取,还可领取更多Java面试题资料一、一般问题1.不同版本的SpringFramework有哪些主要功能?2.什么是SpringFram...

MySQL 开发规范_mysql使用规范

一、数据库命名规范所有数据对象名称必须小写:db_user禁止使用MySQL保留关键字,若是则引用``...

Spring框架入门_spring框架入门案例

一.spring是什么?Spring是分层...

JDBC hibernate 和 ibatis 的区别

JDBC、Hibernate和MyBatis(前身是iBatis)都是Java中常见的数据库访问技术,它们各有优缺点,适用于不同的场景。下面是它们的一些区别:JDBC是Java连接...

万变不离其宗,spring常考知识点总结

万变不离其宗,只要理解透了spring常考知识点,那么面试时的问题就好回答了。1.什么是Spring?...

大促数据库压力激增,如何一眼定位 SQL 执行来源?

作者:京东科技王奕龙你是否曾经遇到过这样的情况:在大促活动期间,用户访问量骤增,数据库的压力陡然加大,导致响应变慢甚至服务中断?更让人头疼的是,当你试图快速定位问题所在时,却发现难以确定究竟是哪个业...

SSM三大框架整合详细教程_简单介绍一下ssm框架

SSM三大框架整合详细教程(SPRING+SPRINGMVC+MYBATIS)使用SSM(Spring、SpringMVC和Mybatis)已经有三个多月了,项目在技术上已经没有什么难...

MyBatis有哪些核心对象?_mybatis核心接口包括

Mybatis基本要素MyBatis有三个基本要素:...

ibatis 核心原理解析_ibs架构

最近查找一个生产问题的原因,需要深入研究ibatis框架的源码。虽然最后证明问题的原因与ibatis无关,但是这个过程加深了对ibatis框架原理的理解。这篇文章主要就来讲讲ibatis...

python常用得内置函数解析——list()函数

ython中最常用的内置函数之一list()。1.函数定义list()函数用于创建一个新的列表对象。...

面试干货——某度Python面试题,转发收藏

目录1、Python是如何进行内存管理的?2、什么是lambda函数?它有什么好处?...