You are here

Bagaimana konfigurasi MapReduce dapat membaca konfigurasi selain default?

Bagaimana supaya program MapReduce dapat membaca konfigurasi selain konfigurasi default ?

File properti konfigurasi ({core|mapred|hdfs}-site.xml) yang tersedia di berbagai direktori conf/ pada instalasi Hadoop perlu ditambahkan ke dalam CLASSPATH dari aplikasi Java yang dijalankan agar dapat terbaca dan diaplikasikan.

Cara lain untuk memastikan konfigurasi yang sudah dicustom tidak di-override oleh job manapun, adalah dengan mengeset properti tersebut menjadi final; misalnya:
mapreduce.task.io.sort.mb
400
true
Setting properti konfigurasi ke final adalah hal yang umum dilakukan oleh Administrator, sebagaimana disebutkan di Configuration API docs.

Alternatif lain yang lebih baik adalah memastikan service menggunakan konfigurasi cluster sesuai dengan request, di dalam code. Untuk mengetahui lebih lanjut, bisa dilihat di link berikut https://issues.apache.org/jira/browse/HADOOP-5670 .