
上QQ阅读APP看书,第一时间看更新
1.4 学习Hadoop需要具备的知识基础
学习Hadoop,需要具备以下知识。
1. 必备Java语言基础知识
Hadoop是由Java编写的,虽然能支持多语言编程,但Java是母语,MapReduce用Java来写也最地道。此外,Hadoop产品对用户都不同程度地留下了二次开发的接口,可以满足用户自定义开发的功能需求。所以扎实的Java语言功底必不可少。
2. 必备Linux基础知识
目前,基于Linux平台搭建Hadoop,是非常规范且流行的模式。所以,需要了解Linux下的常用操作。主要需要掌握的知识点如下。
(1)熟练操作Linux常用命令:配置、操作文档时需要用到。
(2)网络配置:分布式平台间通信需要用到。
(3)熟悉用户及权限管理操作:平台中节点间数据访问权限配置需要用到。
(4)熟悉软件包及系统命令管理:软件包安装与部署时需要用到。
(5)简单Shell编程:文件操作、查询等需要用到。
3. 有必要了解虚拟机基本应用知识
虽然一个节点搭建Hadoop也能进行编程的学习,但为了更好地了解Hadoop应用,至少需要3个节点进行分布式搭建。3个节点机可以以实体机搭建,这样不涉及虚拟化知识的应用,但很少人能拥有这样的实验环境,而且携带、维护都不方便。通常的做法是将3个节点以虚拟机的形式搭建在自己的笔记本中或者实验机中,以方便学习。同时,企业基本上都是以虚拟机的形式来搭建与管理Hadoop平台。因此,掌握基本的虚拟化应用知识非常重要,至少要掌握如下知识点。
(1)建立虚拟机。
(2)虚拟机下Linux操作系统的安装与复制安装。
(3)虚拟机网络配置与访问。