Ubuntu下eclipse开发hadoop应用程序环境配置

2015-3-26

参考：

http://blog.csdn.net/xiaotom5/article/details/8080595

http://www.cnblogs.com/linjiqin/p/3147902.html

------------------------------------------------

环境：

ubuntu 14.10

vmware10.0

Hadoop 2.6.0

Jdk1.7

------------------------------------------------

1、下载eclipse

http://www.eclipse.org/downloads/?osType=linux

eclipse-java-luna-SR2-linux-gtk-x86_64.tar.gz 

2、下载最新版本的hadoop插件

hadoop-eclipse-plugin-2.6.0.jar

将将hadoop-eclipse-plugin-2.6.0.jar复制到eclipse/plugins目录下，重启eclipse。

（1）、在左边的 project explorer 上头会有一个 DFS locations的标志
（2）、在 windows -> preferences里面会多一个hadoop map/reduce的选项，选中这个选项，然后右边，把下载的hadoop根目录选中

如果能看到以上两点说明安装成功了。

3、在Eclipse中指定Hadoop的安装目录
选择“Window”菜单下的“Preference”，然后弹出一个窗体，在窗体的左侧中找到“Hadoop Map/Reduce”选项，点击此选项，选择Hadoop的安装目录。结果如下图：

4、切换“Map/Reduce”工作目录
有两种方法：
1)、选择“Window”菜单下选择“Open Perspective–>Other”，弹出一个窗体，从中选择“Map/Reduce”选项即可进行切换。

2)、在Eclipse软件的右上角，从中选择“Map/Reduce”，然后点击“OK”即可确定。

切换到“Map/Reduce”工作目录下的界面如下图所示。

配置DFS Locations
建立与Hadoop集群的连接，在Eclipse软件下面的“Map/Reduce Locations”进行右击，弹出一个选项，选择“New Hadoop Location ”，然后弹出一个窗体。

注意上图中的红色标注的地方，是需要我们关注的地方。
Location Name：可以任意填，标识一个“Map/Reduce Location”

Map/Reduce Master 这个框里
Host：就是jobtracker 所在的集群机器，这里写localhost
Hort：就是jobtracker 的port，这里写的是9101
这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port  
DFS Master 这个框里
Host：就是namenode所在的集群机器，这里写localhost
Port：就是namenode的port，这里写9100
这两个参数就是core-site.xml里面fs.default.name里面的ip和port
（Use M/R master host，这个复选框如果选上，就默认和Map/Reduce Master这个框里的host一样，如果不选择，就可以自己定义输入，这里jobtracker 和namenode在一个机器上，所以是一样的，就勾选上）

接着点击“Advanced parameters”从中找到“hadoop.tmp.dir”，修改成为我们Hadoop集群中设置的地址，我们的Hadoop集群是“/home/hadoop/hadoop-datastore/”，这个参数在“core-site.xml”进行了配置。

再从中找到“fs.default.name”，修改成为我们Hadoop集群中设置的地址，我们的Hadoop集群是“hdfs://localhost:54310”，这个参数在“core-site.xml”进行了配置。

点击“finish”之后，会发现Eclipse软件下面的“Map/Reduce Locations”出现一条信息， 就是我们刚才建立的“Map/Reduce Location ”。

第五步：查看HDFS文件系统
查看HDFS文件系统，点击Eclipse软件左侧的“DFS Locations”下面的“localhost”，就会展示出HDFS上的文件结构(记得要先启动hadoop，不然看不到效果)。

到此为止，我们的Hadoop Eclipse开发环境已经配置完毕。