逆寒手游活动资讯网

[-setfacl [-R] [{-b|-k} {-m|-x } ]|[--set ]]

[-setrep [-R] [-w] ...]

[-stat [format] ...]

[-tail [-f] ]

[-test -[defsz] ]

[-text [-ignoreCrc] ...]

[-touchz ...]

[-usage [cmd ...]]

4.3 HDFS直接操作

1）-ls: 显示目录信息

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -ls /

2）-mkdir：在HDFS上创建目录

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -mkdir -p /sanguo/shuguo

3）-cat：显示文件内容

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo/kongming.txt

4）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

指令中的a、b、c分别表示一个数字，其中a对应文件所有者权限，b对应文件所有者所在组权限，c对应其他身份权限。

对于a、b、c各自来讲，它们都是0~7的数字，对应r、w、x三个二进制位按序组成的二进制数，举个例子，如果是只可读，对应的二进制数就是“100”，也就是4；如果是可读可写不可执行，那么对应二进制数为“110”，也就是6。

666表示所有用户可读可写。

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo/kongming.txt

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -chown hadoop:hadoop /sanguo/shuguo/kongming.txt

5）-cp ：从HDFS的一个路径拷贝到HDFS的另一个路径

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

6）-mv：在HDFS目录中移动文件

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -mv /zhuge.txt /sanguo/shuguo/

7）-tail：显示一个文件的末尾1kb的数据

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -tail /sanguo/shuguo/kongming.txt

8）-rm：删除文件或文件夹

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -rm /user/hadoop/test/jinlian2.txt

9）-rmdir：删除空目录

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -mkdir /test

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -rmdir /test

10）-du统计文件夹的大小信息

-h按照适合阅读的形式人性化显示文件大小

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -du -h /user/hadoop/test

1.3 K /user/hadoop/test/README.txt

1.4 K /user/hadoop/test/zaiyiqi.txt

-s 查看指定文件夹大小信息

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -du -s -h /user/hadoop/test

2.7 K /user/hadoop/test

11）-setrep：设置HDFS中文件的副本数量

[hadoop@hadoop-001 hadoop-3.1.3]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

5. HDFS客户端操作

5.1 准备Windows关于Hadoop的开发环境

1）找到资料目录下的Windows依赖目录，打开：

​

选择Hadoop-3.1.0，拷贝到其他地方(比如d:)。

2）配置HADOOP_HOME环境变量。

​

3）配置Path环境变量

5.2 创建maven工程

4）创建一个Maven工程HdfsClientDemo，并导入相应的依赖坐标+日志添加

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

4.0.0

com.gec

HdfsClientDemo

1.0-SNAPSHOT

1.8

1.8

junit

junit

4.12

org.apache.logging.log4j

log4j-slf4j-impl

2.12.0

org.apache.hadoop

hadoop-client

3.1.3

org.apache.maven.plugins

maven-compiler-plugin

3.6.1

1.8

1.8

在项目的src/main/resources目录下，新建一个文件，命名为“log4j2.xml”，在文件中填入

pattern="[%p] [%d{yyyy-MM-dd HH:mm:ss}][%c{10}]%m%n" />

5.3 创建HdfsClient类

package com.peng.hdfs

public class HdfsClient{

@Test

public void testMkdirs() throws IOException, InterruptedException, URISyntaxException{

// 1 获取文件系统

Configuration configuration = new Configuration();

// 配置在集群上运行

// configuration.set("fs.defaultFS", "hdfs://hadoop102:9820");

// FileSystem fs = FileSystem.get(configuration);

FileSystem fs = FileSystem.get(new URI("hdfs://hadoop-001:9820"), configuration, "hadoop");

// 2 创建目录

fs.mkdirs(new Path("/1108/daxian/banzhang"));

// 3 关闭资源

fs.close();

}

}

5.4 运行时需要配置用户名称

运行时需要配置用户名称

客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从JVM中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=hadoop，hadoop为用户名称。

5.5 HDFS文件上传（测试参数优先级）

编写源代码

@Test

public void testCopyFromLocalFile() throws IOException, InterruptedException, URISyntaxException {

// 1 获取文件系统

Configuration configuration = new Configuration();

//configuration.set("dfs.replication", "2");

FileSystem fs = FileSystem.get(new URI("hdfs://hadoop-001:9820"), configuration, "hadoop");

// 2 上传文件

fs.copyFromLocalFile(new Path("D:/wc/wc.txt"), new Path("/wc.txt"));

// 3 关闭资源

fs.close();

System.out.println("over");

}

5.6 HDFS文件下载

编写源代码

@Test

public void testCopyToLocalFile() throws IOException, InterruptedException, URISyntaxException{

// 1 获取文件系统

Configuration configuration = new Configuration();

FileSystem fs = FileSystem.get(new URI("hdfs://hadoop-001:9820"), configuration, "hadoop");

// 2 执行下载操作

// boolean delSrc 指是否将原文件删除

// Path src 指要下载的文件路径

// Path dst 指将文件下载到的路径

// boolean useRawLocalFileSystem 是否开启文件校验

fs.copyToLocalFile(false, new Path("/wc.txt"), new Path("d:/wc/wc.txt"), true);

// 3 关闭资源

fs.close();

}

5.7 HDFS删除文件和目录

编写源代码

@Test

public void testDelete() throws IOException, InterruptedException, URISyntaxException{

// 1 获取文件系统

Configuration configuration = new Configuration();

FileSystem fs = FileSystem.get(new URI("hdfs://hadoop-001:9820"), configuration, "hadoop");

// 2 执行删除

fs.delete(new Path("/1108/"), true);

// 3 关闭资源

fs.close();

}

6. HDFS写数据流程

（1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。

（2）NameNode返回是否可以上传。

（3）客户端请求第一个 Block上传到哪几个DataNode服务器上。

（4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。

（5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。

（6）dn1、dn2、dn3逐级应答客户端。

（7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。

（8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。

7. HDFS读数据流程

（1）客户端通过DistributedFileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。

（2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。

（3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。

（4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。