You are here

Bagaimana cara submit content tambahan yang diperlukan oleh job MapReduce?

Bagaimana cara mensubmit file pendukung tambahan yang diperlukan oleh job, seperti jars, file statis, dll ?

Fitur distributed cache digunakan untuk mendistribusikan file berukuran besar yang read-only, yang diperlukan oleh job-job map-reduce, ke seluruh cluster. MR framework akan mengkopi file-file yang diperlukan dari sebuah URL (dapat berupa hdfs: atau http: ) ke slave node sebelum task dari job yang bersangkutan dieksekusi di node tersebut. File-file tersebut hanya dikopi sekali per job, sehingga tidak boleh dimodifikasi/diubah oleh aplikasi.
Untuk proses streaming, lihat lebih lanjut di HadoopStreaming wiki.
Sebaiknya jangan mengkopi file-file tersebut ke direktori lib. Perubahan pada direktori tersebut akan memerlukan restart Hadoop services.