常用链接

集群常用命令

        BASH
        
      
# 查看hdfs根目录的数据
hadoop fs -ls /
# 递归显示hdfs某目录下的所有数据
hadoop fs -ls -R /
# 创建文件夹到hdfs根目录，需要写根目录的正斜杠，可以自动创建多级目录
hadoop fs -mkdir /easul
# put可以从本地上传文件到hdfs（Hadoop Distribute File System)
hadoop fs -put easul.txt /easul
# 删除hdfs某目录下的文件
hadoop fs -rm /easul/easul.txt
# 递归删除hdfs某目录下所有文件
hadoop fs -rm -r /easul
# 移动hdfs某目录下的文件
hadoop fs -mv /easul/easul.txt /easul2
# 查看hdfs某文件
hadoop fs -cat /easul/easul.txt
# 查看hafs某文件或文件夹大小
hadoop fs -du /easul/easul.txt
# 复制文件到hdfs
hadoop fs -copyFromLocal easul.txt /easul
# 复制hdfs文件到本地
hadoop fs -copyToLocal /easul/easul.txt ./easul2.txt
# 上传多个文件到hdfs的空文件夹，如果没有该文件夹则自动创建
hadoop fs -appendToFile easul.txt easul2.txt /easul
# 修改hdfs文件权限
hadoop fs -chmod 777 /easul/easul.txt
# 在hdfs授予某文件夹给某用户和用户组
hadoop fs -chown hive:hive /easul
# hdfs统计文件夹的数量
# 文件数量，文件夹数量，总大小
hadoop fs -count /
# hdfs文件复制
hadoop fs -cp /easul/easul2.txt /easul2
# hdfs文件下载到本地
hadoop fs -get /easul/easul.txt ./test.txt
# hdfs创建空文件，文件夹需存在
hadoop fs -touchz /easul/test.txt
# hdfs的管理命令
hadoop dfsadmin 
# 查看文件内容
hdfs fs -text /logs/2022-03-17.1647529397318

hdfs几种操作区别

        BASH
        
      
# 该命令可以用于其他文件系统，不止hdfs
hadoop fs
# 专门针对hdfs文件系统
hadoop dfs
# 与上边相同，推荐使用这种，因为上边的hadoop dfs最后会转为该命令
hdfs dfs

yarn的简单介绍

yarn(Yet Another Resource Negotiator)，是hadoop集群的资源管理器