使用IDEA搭建Spark源码阅读环境 idea搭建spark开发环境

闲话一句...

我不壕，不能带你飞，但我有大疆“晓”Spark

那是我们第一次去上海。前一天早上我突然接到老大的通知，第二天要去上海出差，参加个什么发布会，然后因为又临近周末，老大说可以多呆两天，见识见识大上海的风光，比如美女什么的。在这时候我想起《上海滩》里冯程...

四十四、SparkSQL整合Hive (Spark on Hive)

SparkSQL设计的目的是让用户可以在Spark上面使用SQL语法处理结构数据，它支持丰富的数据源，可以是RDD,也可以是外部的数据源(文件文件、json、csv、parquet、hive、hba...

Spark3.x的Cache能不能让我在2022好好睡觉

前言一转眼已经是2022年1月9日了，跨年的节点会发生很多系统性的大事，对于普通人来讲就是跨过一个新的公元年2021->2022,对于生产系统来说，尤其是离线系统，需要发生年结，虽然期望平稳度过...

Windows上也能用Swift编程了，官方编译安装包已上线

萧箫发自凹非寺量子位报道|公众号QbitAI最近，Swift发行了5.3版本，这意味着它可以直接在Windows10上使用了。...

谷歌推出Cloud Dataproc，缩短集群启动时间

本周三谷歌为Hadoop和Spark推出了CloudDataproc服务的beta版本，这项服务旨在帮助用户快速创建和关闭Hadoop和Spark集群，因为很多企业用户发现对Hadoop和Spark...

2019美骑之选:山地车整车盘点(上)

转眼就到了2019年的年底，想必各位小伙伴们的上司们都开始让各位做年终报告了吧。反正卑微的笔者我在学校里是有好几篇要写。话说回来各大厂商也该为2019年交出份“年终总结”了，这一年各大厂商都在暗自较劲...

安装CDH6.3 安装cdh6.2.0

?文档编写目的Cloudera在2019年7月31日，对外宣布正式发布ClouderaEnterprise6.3，相关介绍可以参考Fayson之前的文章《...

ubuntu第二讲:常用软件推荐与安装

续上文《ubuntu第一讲：系统安装及初体验》，今天讲ubuntu系统下常用软件推荐与安装。ubuntu系统下安装软件的方法有很多，常见的方法有通过官方应用商店、PPA安装源、下载deb安装包、使用命...

Spark开源REST服务——Apache Livy(Spark 客户端)

一、概述...