hdfs的javaAPI使用

佚名 6年前 (2019-04-18) 随笔 805人围观抢沙发百度已收录

参考博客：https://www.cnblogs.com/Eddyer/p/6641778.html

1.需求

SRE实战互联网时代守护先锋，助力企业售后服务体系运筹帷幄！一键直达领取阿里云限量特价优惠。

使用hdfs的javaAPI访问hdfs系统。

2.环境配置

(1)hadoop为本地模式

(2)pom文件代码如下

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
        </dependency>
</dependencies>

maven依赖项

3.使用hdfs的javaAPI操作hdfs的代码

（1）初始化环境

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Before; import org.junit.Test; import java.io.FileInputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; public class hadoopJavaApiDemo { FileSystem fs = null; @Before public void init() throws IOException, URISyntaxException, InterruptedException { Configuration configuration = new Configuration(); //设置文件系统为hdfs //获取文件系统的客户端实例对象 //注意：运行程序是要执行用户名为hadoop,否则会出现没写权限的情况
        fs = FileSystem.get(new URI("hdfs://127.0.0.1:9900"),configuration,"hadoop"); } 　　//...

(2)上传文件

@Test public void testUpload() throws IOException { fs.copyFromLocalFile(new Path("file://[本地文件的路径，例如/a/b.txt]"),new Path("[hdfs文件系统的路径，例如/]")); fs.close(); }

(3)下载文件

@Test public void testDownLoad() throws IOException { fs.copyToLocalFile(new Path("[hdfs上的文件路径，例如/testData]"),new Path("[本地文件路径，例如/home/a.txt]")); fs.close(); }

(4)创建文件夹

@Test //创建新的文件夹
    public void testMakeDir() throws Exception { boolean mkdirs = fs.mkdirs(new Path("/x/y/z")); System.out.println(mkdirs); }

(5)删除文件夹

@Test public void testDelete() throws Exception{ //第二个参数为true是递归删除
        boolean delete = fs.delete(new Path("/x"), true); System.out.println(delete); }

4.注意事项

(1)hdfs各种端口的含义（就因为将127.0.0.1:9900写为127.0.0.1:50070，debug了好久。。）

　　9900是fileSystem的端口号（默认是9000，这里我自定义为9900）

　　50070是namenode主节点的端口号

　　50090是namenode的secondarynamenode的端口号

(2)file://是一个传输协议
　　比如可以通过在浏览器中输入路径file:///a/b/c.txt访问本地文件

5.github链接

https://github.com/gulu2016/STBigData