Distributed Storage & Paradigma MapReduce (Hadoop / HDFS)
Mengapa satu mesin tidak cukup, arsitektur HDFS (NameNode, DataNode, blok, replikasi), dan model komputasi MapReduce (Map, Shuffle & Sort, Reduce, Combiner, Partitioner) lewat WordCount dan agregasi log transaksi.
- 01Pilihan ganda
Prinsip utama Hadoop untuk mengurangi lalu lintas jaringan adalah …
- 02Pilihan ganda
Komponen HDFS yang menyimpan metadata (nama file, daftar blok, lokasi replika) adalah …
- 03Pilihan ganda
Urutan fase MapReduce yang benar adalah …
- 04Pilihan ganda
Fungsi mana yang tidak boleh langsung dipakai sebagai combiner?
- 05Pilihan ganda
Partitioner default
hash(key) mod Rmenjamin bahwa … - 06Pilihan ganda
Mengapa MapReduce lambat untuk algoritma iteratif seperti K-Means?
- 07Pilihan ganda
HDFS paling cocok untuk pola akses …
- 08Hitung
File log berukuran 1 GB (1024 MB) disimpan di HDFS dengan ukuran blok 128 MB. Berapa jumlah bloknya?
- 09Hitung
File 500 MB, blok 128 MB, replikasi 3. Berapa total salinan blok yang tersimpan di seluruh klaster?
- 10Hitung
Masih file 500 MB dengan replikasi 3: berapa MB kapasitas disk yang terpakai di klaster?
- 11Hitung
Satu disk membaca 200 MB/s. Berapa jam yang dibutuhkan untuk sekadar membaca 7,2 TB (= 7.200.000 MB) dengan satu disk?
- 12Hitung
WordCount pada dokumen
"data besar data mining data"dijalankan oleh satu mapper. Berapa pasangan (key, value) yang dikirim ke shuffle jika memakai combiner sum? - 13Uraian
Tuliskan pseudocode mapper dan reducer untuk menghitung produk terlaris (total qty) per bulan dari log
tanggal,kota,produk,jumlah,harga. Jelaskan key apa yang dipakai.