HDFS 휴지통

💡 HDFS는 사용자의 실수에 의한 파일 삭제를 방지하기 위해서 휴지통 기능을 제공한다.

휴지통 기능이 설정되면 HDFS에서 삭제한 파일은 바로 삭제되지 않고, 각 사용자의 홈디렉토리 아래 휴지통 디렉토리(/user/유저명/.Trash)로 이동된다. 이때 휴지통 아래의 파일은 복구 가능하다.

휴지통 디렉토리는 지정한 간격으로 체크포인트가 생성되고, 유효 기간이 만료되면 체크포인트를 삭제합니다. 삭제 되면 해당 블록을 해제하고, 사용자에게 반환한다.

설정

설정값 비고

fs.trash.interval	체크포인트를 삭제하는 시간 간격(분). 0이면 휴지통 기능을 끔.
fs.trash.checkpoint.interval	체크포인트를 확인하는 간격(분). fs.trash.interval과 같거나 작아야 함. 체크포인터가 실행될 때마다 체크포인트를 생성하고, 유효기간이 지난 체크포인트는 삭제.

휴지통 설정값

core-site.xml

<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>
<property>
    <name>fs.trash.checkpoint.interval</name>
    <value>120</value>
</property>

휴지통 명령

# 휴지통을 비움.
$ hadoop fs -expunge

# 휴지통을 이용하지 않고 삭제
$ hadoop fs -rm -skipTrash /user/data/file