windows下Eclipse安装hadoop1.1.2插件连接hadoop集群-白红宇

windows下Eclipse安装hadoop1.1.2插件连接hadoop集群

阅读量：4138 次

发布时间：2019-05-25

本文共 977 字，大约阅读时间需要 3 分钟。

1、下载Eclipse解压。

2、把hadoop-eclipse-plugin-1.1.2.jar放到eclipse的plugs目录下。

我的hadoop集群用的版本：hadoop1.1.2

hadoop0.20以后的版本的安装目录下contrib/没有eclipse的hadoop-*-eclipse-plugin.jar插件，需要自己用ant编译。

源文件在：hadoop-x.y.z/src/contrib/eclipse-plugin 下，注意：需要下载源目录的包，如查下载的是bin的压缩包，里面是没有eclipse插件的源文件的。

3、打开Eclipse

window-- Preferences 出现Hadoop Map/Reduce

配置Hadoop installation directory:

注意：我的宿主机windows上并没有安装hadoop， hadoop安装在VM中的centos中

在windows下建了一个目录F:/myHadoop 把centos hadoop安装根目录下的jar包拷过来。

4、新建工程：Map/Reduce Project

配置hadoop location:

5、刷新DFS Locations 列出HDFS服务器上的上的目录：

6、问题：

在Eclipse上可以列出hadoop集群上的目录，但不能创建文件，上传文件：

原因：windows下Eclipse安装了hadoop插件，默认使用的是windows当前用户去操作hadoop，而我的hadoop集群当前的用户是grid

而Eclipse中hadoop locations 的高级参数配置，是不能修改这个用户的：

解决方法：

在windows用户和组的管理中，把当前用户修改成hadoop组grid用户。

但我的机器系统是win7家庭版，打不开用户和组管理：

不能已，用另一种方案：

windows上新建一个grid用户，然后再打开Eclipse，创建工程，进行以上的配置DFS Loactioins

发现这时，在Eclipse中可以列出目录，新建文件夹，上传文件了。

( 或者修改hadoop集群上文件夹的权限，如：bin/hadoop fs -chmod 777 ./in, 下图第2个文件是修改hadoop集群文件平权限后上传的)

转载地址：http://bwlvi.baihongyu.com/

你可能感兴趣的文章