Ujian Akhir Semester & Presentasi Proyek

Capaian Pembelajaran

Setelah minggu ini kamu bisa:

Menghubungkan seluruh materi semester dalam kerangka KDD.
Mengerjakan soal hitung manual dan koding terpadu dari Minggu 1–17.
Mempresentasikan dan mempertahankan (defense) proyek akhir secara meyakinkan.

1. Peta Besar Semester

                         ┌──────────── KDD ────────────┐
 Fase 1 (M1–3)  Fondasi: KDD, preprocessing, data warehouse & OLAP
 Fase 2 (M4–5)  Asosiasi: Apriori, FP-Growth, support/confidence/lift
 Fase 3 (M6–8)  Klasifikasi: Decision Tree, Naïve Bayes, KNN, evaluasi model
 Fase 4 (M10–11) Clustering: K-Means, PAM, hierarkis, DBSCAN, outlier
 Fase 5 (M12–14) Big data: HDFS, MapReduce, Spark RDD/DataFrame, MLlib
 Fase 6 (M15–17) Lanjut: stream, LSH, PageRank, Isolation Forest, Autoencoder, proyek

Pertanyaan bisnis	Tugas	Algoritma	Metrik
Apa yang dibeli bersama?	Asosiasi	Apriori, FP-Growth	support, confidence, lift
Siapa yang akan churn?	Klasifikasi	DT, NB, KNN, RF	precision, recall, F1, AUC
Ada segmen apa?	Clustering	K-Means, DBSCAN	SSE, silhouette
Mana yang tidak normal?	Anomali	IF, Autoencoder	precision/recall pada label terbatas
Siapa paling berpengaruh?	Graf	PageRank	skor PageRank
Data terlalu besar?	Komputasi terdistribusi	MapReduce, Spark	waktu, skalabilitas

2. Lembar Rumus

Preprocessing (M2)

Min-max: x' = (x − min)/(max − min)
Z-score: z = (x − μ)/σ
Outlier Tukey: di luar [Q1 − 1.5·IQR, Q3 + 1.5·IQR]

Asosiasi (M4–5)

support(X) = count(X)/N
confidence(A→B) = support(A∪B)/support(A)
lift(A→B) = confidence(A→B)/support(B) (> 1 = korelasi positif)
conviction(A→B) = (1 − support(B))/(1 − confidence(A→B))

Klasifikasi (M6–8)

Entropy(S) = −Σ p_i log₂ p_i
Gain(S, A) = Entropy(S) − Σ (|S_v|/|S|)·Entropy(S_v)
Gini(S) = 1 − Σ p_i²
Naïve Bayes: P(C|X) ∝ P(C)·Π P(x_j|C); Laplace: (n_xc + 1)/(n_c + k)
precision = TP/(TP+FP), recall = TP/(TP+FN), F1 = 2PR/(P+R), accuracy = (TP+TN)/total

Clustering (M10–11)

SSE = Σ_k Σ_{x∈C_k} ||x − μ_k||²
Silhouette: s(i) = (b − a)/max(a, b)
DBSCAN: core = ≥ MinPts tetangga dalam radius ε (termasuk diri sendiri)

Big data (M12–14)

Jumlah blok HDFS = ⌈ukuran/ukuran_blok⌉; penyimpanan = ukuran × replikasi
MapReduce: map(k1,v1) → list(k2,v2) → shuffle & sort → reduce(k2, list(v2)) → list(v3)
Spark: transformasi lazy (map, filter) vs aksi (count, collect)

Stream & graf (M15)

Decaying window: S_t = (1 − c)·S_{t−1} + x_t
Reservoir: elemen ke-i masuk dengan peluang k/(i+1)
Jaccard: |A∩B|/|A∪B|; LSH: P = 1 − (1 − s^r)^b
PageRank: r(j) = (1−d)/N + d·Σ_{i→j} r(i)/out(i)

Anomali (M16)

c(n) = 2H(n−1) − 2(n−1)/n, H(i) ≈ ln i + 0.5772
s(x, n) = 2^(−E[h(x)]/c(n))
Reconstruction error: MSE = (1/d) Σ (x_j − x̂_j)²

3. Kisi-kisi UAS

No	Kompetensi	Bentuk soal	Bobot
1	Menjelaskan siklus KDD & memilih tugas data mining untuk masalah bisnis	Esai studi kasus	10%
2	Menghitung support, confidence, lift dan menginterpretasikan aturan	Hitung manual	10%
3	Menghitung entropy/information gain, membangun cabang decision tree	Hitung manual	10%
4	Menghitung precision/recall/F1 dari confusion matrix & memilih metrik	Hitung + analisis	10%
5	Menjalankan 1 iterasi K-Means & menentukan core/border/noise DBSCAN	Hitung manual	15%
6	Menjelaskan HDFS, MapReduce, keunggulan Spark	Esai + hitung blok	15%
7	Stream (window, reservoir), MinHash/LSH, PageRank 1 iterasi	Hitung manual	15%
8	Isolation Forest, autoencoder, hybrid, cold-start PdM	Esai + hitung skor	15%

Tips:

Tulis rumus dulu, baru substitusi angka — nilai parsial diberikan untuk langkah yang benar.
Bulatkan di akhir, bukan di tengah perhitungan.
Untuk esai studi kasus: selalu kaitkan ke keputusan bisnis.

4. Contoh Soal Terpadu (dengan pembahasan singkat)

Soal. Minimarket punya 9 transaksi (dataset Han & Kamber: I1…I5). Hitung support, confidence, dan lift untuk {I1, I2} → {I5}.

count({I1, I2, I5}) = 2 → support = 2/9 = 0.222
count({I1, I2}) = 4 → confidence = 2/4 = 0.5
support({I5}) = 2/9 → lift = 0.5/0.222 = 2.25 → korelasi positif kuat; layak dijadikan bundling.

Soal. Dataset Play Tennis: Entropy(S) = 0.940. Gain(outlook) = 0.247, Gain(humidity) = 0.152, Gain(wind) = 0.048. Atribut akar? → outlook (gain terbesar).

Soal. File log 1 TB (1 048 576 MB), blok 128 MB, replikasi 3 → 8192 blok, penyimpanan 3 TB.

5. Presentasi & Defense Proyek

Struktur presentasi (10–12 menit)

Menit	Isi
0–1	Masalah bisnis & mengapa penting (angka kerugian/peluang)
1–3	Data: sumber, ukuran, masalah kualitas & penanganannya
3–6	Metodologi: pipeline, model yang dibandingkan, validasi
6–8	Hasil: tabel metrik (mean ± std), visual utama
8–10	Interpretasi & 3 rekomendasi bisnis
10–12	Keterbatasan, pekerjaan lanjutan, demo singkat

Checklist sebelum presentasi

Slide maksimal 12, satu pesan utama per slide.
Setiap grafik punya judul, label sumbu, dan kesimpulan satu kalimat.
Notebook bisa Restart & Run All tanpa error (siapkan juga hasil yang sudah dijalankan).
Bisa menjelaskan mengapa memilih algoritma & metrik tersebut.
Bisa menjelaskan cara mencegah data leakage.
Tahu kelemahan model sendiri dan rencana perbaikannya.
Setiap anggota memahami seluruh proyek (pertanyaan bisa diarahkan ke siapa saja).
Repositori & laporan sudah dikumpulkan.

Pertanyaan defense yang sering muncul

Mengapa memilih metrik F1, bukan akurasi?
Apa baseline-mu dan seberapa jauh model mengalahkannya?
Bagaimana jika data bertambah 1000× lipat? (→ Spark, MLlib, sampling)
Fitur mana paling berpengaruh dan apakah masuk akal secara bisnis?
Bagaimana model dipantau setelah di-deploy (drift, retraining)?

Ringkasan

Semua materi terhubung lewat siklus KDD: data → pola → pengetahuan → keputusan.
Kuasai lembar rumus dan latih hitung manual.
Proyek dinilai bukan hanya dari skor model, tetapi dari ketepatan metodologi dan nilai bisnisnya.

Bacaan

Han, Kamber & Pei — Data Mining: Concepts and Techniques (review Bab 1–12).
Leskovec, Rajaraman & Ullman — Mining of Massive Datasets (Bab 2–5).

Tugas Minggu Ini

Kerjakan lab.ipynb (simulasi UAS hitung manual + verifikasi kode).
Kerjakan kuis review UAS (di web, atau baca quiz.json).
Isi exercise.py tanpa membuka minggu lain, lalu cek: python check.py 18
Latih presentasi proyek dengan checklist di atas.