Lompat ke konten
nalar

In-Memory Computing dengan Apache Spark

Arsitektur Apache Spark (driver, executor, cluster manager), Resilient Distributed Datasets, transformasi lazy vs aksi, narrow vs wide dependency, DAG & stage, caching, serta Spark DataFrame dan Spark SQL dengan PySpark.

0 dari 13 dijawabSkor 0
  1. 01Pilihan ganda

    Alasan utama Spark jauh lebih cepat daripada MapReduce untuk algoritma iteratif adalah …

  2. 02Pilihan ganda

    Huruf R (Resilient) pada RDD berarti partisi yang hilang dipulihkan dengan cara …

  3. 03Pilihan ganda

    Manakah yang merupakan aksi (action)?

  4. 04Pilihan ganda

    Transformasi mana yang menyebabkan wide dependency (shuffle)?

  5. 05Pilihan ganda

    Mengapa reduceByKey(add) lebih disarankan daripada groupByKey().mapValues(sum)?

  6. 06Pilihan ganda

    Kapan sebaiknya memanggil cache()?

  7. 07Pilihan ganda

    Komponen yang mengoptimasi kueri Spark DataFrame/SQL (predicate pushdown, column pruning) adalah …

  8. 08Pilihan ganda

    Bahaya memanggil df.toPandas() pada DataFrame 500 GB adalah …

  9. 09Hitung

    sc.parallelize(range(10), 4) membagi data seperti array_split. Berapa elemen di partisi pertama?

  10. 10Hitung

    Pipeline: textFile → flatMap → map → reduceByKey → filter → sortByKey → collect. Berapa stage yang terbentuk? (Ingat: setiap wide dependency memotong stage.)

  11. 11Hitung

    Job memiliki 2 stage. Stage 1 membaca file dengan 8 partisi; setelah shuffle, stage 2 memiliki 4 partisi. Berapa total task?

  12. 12Hitung

    RDD [1,2,3,4,5,6] dengan 3 partisi. Dijalankan rdd.map(lambda x: x*x).filter(lambda x: x > 10).count() dua kali tanpa cache. Berapa kali total fungsi map dipanggil?

  13. 13Uraian

    Terjemahkan kueri pandas berikut ke PySpark DataFrame:

    (df[df.jumlah >= 3]
   .assign(pendapatan=df.jumlah * df.harga)
   .groupby("kota")["pendapatan"].sum()
   .sort_values(ascending=False).head(3))