深入理解Spark:核心思想与源码分析
上QQ阅读APP看书,第一时间看更新

第1章 环境准备

凡事豫则立,不豫则废;言前定,则不跲;事前定,则不困。

——《礼记·中庸》

本章导读

在深入了解一个系统的原理、实现细节之前,应当先准备好它的源码编译环境、运行环境。如果能在实际环境安装和运行Spark,显然能够提升读者对于Spark的一些感受,对系统能有个大体的印象,有经验的技术人员甚至能够猜出一些Spark采用的编程模型、部署模式等。当你通过一些途径知道了系统的原理之后,难道不会问问自己:“这是怎么做到的?”如果只是游走于系统使用、原理了解的层面,是永远不可能真正理解整个系统的。很多IDE本身带有调试的功能,每当你阅读源码,陷入重围时,调试能让我们更加理解运行期的系统。如果没有调试功能,不敢想象阅读源码会怎样困难。

本章的主要目的是帮助读者构建源码学习环境,主要包括以下内容:

·在Windows环境下搭建源码阅读环境;

·在Linux环境下搭建基本的执行环境;

·Spark的基本使用,如spark-shell。