You are here

Sampai berapa besar cluster Hadoop?

apakah cluster hadoop memiliki limit? kalo ya sampai seberapa besar cluster hadoop?

Hadoop sudah berhasil dijalankan di atas cluster sampai 4000 node. Kinerja sorting pada 900 nodes dilaporkan bagus (sorting data 9TB di atas 900 nodes memerlukan waktu sekitar 1.8 jam) dan kinerja tersebut dapat diperbaiki dengan konfigurasi non-default sebagai berikut:

  • dfs.block.size = 134217728
  • dfs.namenode.handler.count = 40
  • mapred.reduce.parallel.copies = 20
  • mapred.child.java.opts = -Xmx512m
  • fs.inmemory.size.mb = 200
  • io.sort.factor = 100
  • io.sort.mb = 200
  • io.file.buffer.size = 131072

Kinerja sorting di atas 1400 nodes dan 2000 nodes cukup bagus -sorting 14TB di atas 1400 node memerlukan waktu 2.2 jam, sorting 20TB di atas 2000 node memerlukan 2.5 jam. Beberapa perubahan dilakukan pada konfigurasi di atas, yaitu:

  • mapred.job.tracker.handler.count = 60
  • mapred.reduce.parallel.copies = 50
  • tasktracker.http.threads = 50
  • mapred.child.java.opts = -Xmx1024m