読者です 読者をやめる 読者になる 読者になる

生物物理計算化学者の雛

主に科学に関する諸々を書き留めています。

HDFS保存ファイルのレプリカ数を変更する

Hadoop

Hadoop HDFS上ファイルのレプリケーション数の変更は hdfs dfs -setrep により行います。(バージョンによっては hadoop dfs -setrep)

# HDFS上ファイル /user/hoge.txt のレプリカ数を4に変更
hdfs dfs -setrep 4 /user/hoge.txt
# HDFS上ディレクトリ /user/hogeDir 以下全ファイルのレプリカ数を4に変更
hdfs dfs -setrep -R 4 /user/hogeDir

ちなみに、各データノードの容量使用率がばらついていて利用率を均等にしたい場合、いったんデータのレプリカ数を増やし、レプリケーション数増加終了後にレプリカ数を減らすことで、容量使用率のばらつきを減らすことができます。