Ubuntu安装eclipse,编写mapreduce,免编译hadoop-eclipse插件

原地址:http://blog.csdn.net/coolcgp/article/details/43448135,做一些更改和补充

第一,Ubuntu软件中心安装eclipse

 

第二,将hadoop-eclipse-plugin-1.2.1.jar复制到eclipse安装目录下的插件目录/usr/lib/eclipse/plugins下(如果不知道eclipse的安装目录,终端输入whereis eclipse查找. )如果默认安装,直接输入下一条命令:

sudo cp hadoop-eclipse-plugin-1.2.1.jar /usr/lib/eclipse/plugins

补充:hadoop-eclipse-plugin-1.2.1.jar使用编译好的,

下载地址:http://download.csdn.net/detail/poisonchry/7412615

 

第三,启动eclipse,打开Map/Reduce视图

1.选择Window-->Preference

2.选择Hadoop Map/Reduce

3.输入hadoop的安装路径

 

 

第四,通过eclipse管理HDFS

1.Window-->Show View -->Other -->MapReduce Tools 中打开Map/Reduce Locations

2.在Map/Reduce视图下,右键新建-->New Hadoop Location

(在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name,如myubuntu,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如: )

技术分享

3.管理HDFS

 

首先打开MapReduce视图

Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。技术分享

配置完后退出。点击DFS Locations-->myubuntu如果能显示文件夹(2)说明配置正确,如果显示"拒绝连接",请检查你的配置(我的配置完成之后只看到了一个文件夹tmp,不知道是什么原因)。 
技术分享 

 

技术分享

第五,新建MapReduce项目

技术分享

第六,输入HDFS上的输入文件夹和输出文件夹(中间有空格)

技术分享

 

注意输入输出地址,是服务器格式化hdfs文件系统中的input和output文件夹,

我的输入和输出地址为hdfs://192.168.83.51:9000/user/hadoop/input hdfs://192.168.83.51:9000/user/hadoop/output2

注意实现要通过 hadoop fs -mkdir input,hadoop fs -mkdir output2定义该文件夹

 

 

第七,点击右下角“run”

注:同一个MapReduce程序,要测试几遍,要删除“目标文件夹”,不然运行程序时,会重新建立目标文件夹,产生结果文件夹已生成的错误。删除output之后(以上文的例子为例),再运行即可。

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。