Evaluasi Tengah Semester (UTS): Rangkuman & Kisi-kisi

UTS mencakup Minggu 1–8: KDD & preprocessing, data warehouse/OLAP, aturan asosiasi, dan klasifikasi terarah beserta evaluasinya. Bentuk soal: pilihan ganda, hitung manual, dan analisis studi kasus bisnis.

Cara Belajar Minggu Ini

Baca rangkuman di bawah; tandai bagian yang belum paham dan buka lagi lesson.md minggu terkait.
Kerjakan kuis UTS (≥ 20 soal) tanpa melihat catatan, catat waktu (target ≤ 60 menit).
Kerjakan exercise.py (soal koding terpadu), lalu python check.py 9.
Ulangi lab.ipynb — mini proyek end-to-end dari data mentah sampai evaluasi.

Peta Konsep

KDD:  Selection → Preprocessing → Transformation → Data Mining → Evaluation
                     (M1–M2)        (M2–M3)            (M4–M7)       (M8)
Data Mining:
  ├── Deskriptif ── Asosiasi (Apriori, FP-Growth)            M4–M5
  └── Prediktif ─── Klasifikasi
                     ├── Decision Tree (ID3/C4.5/CART)       M6
                     ├── Naïve Bayes (probabilistik)         M7
                     └── KNN (berbasis jarak)                M7
Evaluasi: confusion matrix, P/R/F1, ROC-AUC, k-fold CV       M8

1. KDD & Tipe Data (Minggu 1)

Tahapan KDD dan aktivitas tiap tahap; 60–80% waktu ada di persiapan data.
OLTP (operasional, ternormalisasi, transaksi kecil) vs OLAP (historis, terintegrasi, agregat).
Tipe atribut: nominal, biner, ordinal, interval, rasio — dan statistik yang sah untuk tiap tipe.
Mean vs median; kuartil & IQR; aturan outlier Tukey [Q1 − 1.5·IQR, Q3 + 1.5·IQR].

2. Preprocessing (Minggu 2)

Masalah	Teknik
Nilai hilang	hapus baris/kolom, imputasi mean/median/modus, imputasi per grup, model (KNN imputer)
Noise/outlier	binning (smoothing by bin means), clipping IQR, regresi
Inkonsistensi	standarisasi teks (`strip`, `title`), kamus pemetaan
Skala berbeda	min-max `(x − min)/(max − min)`, z-score `(x − μ)/σ`
Dimensi tinggi	PCA (proyeksi ke komponen variansi terbesar), seleksi fitur
Numerik → kategori	diskretisasi equal-width / equal-frequency, binerisasi

Min-max ke rentang baru: x' = (x − min)/(max − min) · (new_max − new_min) + new_min.

3. Data Warehouse & OLAP (Minggu 3)

Tabel fakta (ukuran numerik: total, jumlah + foreign key) dan tabel dimensi (waktu, produk, toko).
Skema: star (dimensi denormalisasi), snowflake (dimensi dinormalisasi), fact constellation (beberapa fakta berbagi dimensi).
Operasi OLAP: roll-up (naik hierarki: kota → wilayah), drill-down (turun: bulan → hari), slice (pilih satu nilai satu dimensi), dice (subkubus beberapa dimensi), pivot (putar sumbu).
ETL: Extract → Transform → Load.

4. Aturan Asosiasi (Minggu 4–5)

support(A)      = jumlah transaksi memuat A / total transaksi
confidence(A→B) = support(A ∪ B) / support(A)
lift(A→B)       = confidence(A→B) / support(B)
conviction(A→B) = (1 − support(B)) / (1 − confidence(A→B))

Lift > 1 korelasi positif; = 1 independen; < 1 korelasi negatif.
Sifat Apriori (anti-monoton): jika itemset tidak sering, semua superset-nya juga tidak sering → pemangkasan kandidat.
FP-Growth: bangun FP-Tree (2 kali scan), tanpa membangkitkan kandidat → lebih cepat untuk data besar.

5. Decision Tree (Minggu 6)

Entropy(S)   = − Σ p_i log2 p_i
Gain(S, A)   = Entropy(S) − Σ (|S_v|/|S|) · Entropy(S_v)
SplitInfo(A) = − Σ (|S_v|/|S|) log2(|S_v|/|S|)
GainRatio    = Gain / SplitInfo                (C4.5)
Gini(S)      = 1 − Σ p_i²                      (CART)

Play Tennis: Entropy = 0.940; Gain(Outlook) = 0.247 (akar), Humidity 0.152, Wind 0.048, Temperature 0.029. Pruning (pre/post) mencegah overfitting.

6. Naïve Bayes & KNN (Minggu 7)

NB: argmax P(C) · Π P(xi | C); Laplace (count + 1)/(n_C + k); Gaussian NB untuk numerik.
KNN: jarak Euclidean/Manhattan, voting k tetangga, wajib normalisasi, k kecil overfit.

7. Evaluasi (Minggu 8)

Metrik	Rumus
Precision	TP/(TP+FP)
Recall	TP/(TP+FN)
Specificity	TN/(TN+FP)
F1	2PR/(P+R)
AUC	peluang skor positif acak > negatif acak

K-fold CV, stratified untuk data tidak seimbang, hindari data leakage (fit preprocessing hanya pada data latih).

Kisi-kisi UTS

No	Kompetensi	Bentuk	Bobot
1	Menjelaskan tahapan KDD & membedakan OLTP/OLAP	PG / esai singkat	10%
2	Mengidentifikasi tipe atribut & statistik deskriptif	PG / hitung	10%
3	Menerapkan teknik preprocessing (imputasi, normalisasi, binning)	hitung	15%
4	Merancang star schema & operasi OLAP	analisis	10%
5	Menghitung support, confidence, lift; menjalankan Apriori manual	hitung	20%
6	Menghitung entropy, information gain, Gini	hitung	15%
7	Prediksi Naïve Bayes / KNN manual	hitung	10%
8	Menghitung & memilih metrik evaluasi	hitung / studi kasus	10%

Tips Mengerjakan

Tulis rumus dulu, lalu substitusi angka — nilai parsial tetap didapat.
Bulatkan di akhir (simpan 4 desimal di tengah perhitungan).
log2(x) = ln(x) / ln(2); hafalkan log2(0.5) = −1, log2(0.25) = −2.
Pada studi kasus, selalu kaitkan metrik dengan biaya bisnis.

Tugas Minggu Ini

Kerjakan kuis UTS (di web, atau baca quiz.json).
Kerjakan lab.ipynb (mini proyek terpadu).
Isi exercise.py, lalu cek: python check.py 9