Data Mining dan Big Data
Menjembatani ekstraksi data komputasional dengan strategi bisnis: dari siklus KDD, pencarian pola asosiasi, klasifikasi, clustering, hingga komputasi terdistribusi (Hadoop/Spark), stream & graph mining, dan deteksi anomali.
Roadmap
18 modul dalam 6 fase. Ikuti berurutan, tiap fase membangun fase sebelumnya.
Fase 1
Foundations & Preprocessing
Siklus KDD, pembersihan data, data warehouse & OLAP
- Minggu 01
Pengantar KDD & Persiapan Lingkungan Analitik
Siklus Knowledge Discovery in Databases, OLTP vs OLAP, tipe atribut, statistik deskriptif, dan setup Python/Jupyter.
Materi, Kuis 12 soal, Latihan koding, Notebook
- Minggu 02
Data Cleaning & Preprocessing
Penanganan nilai hilang, noise/outlier, inkonsistensi, normalisasi, diskretisasi (binning), binerisasi, dan reduksi dimensi dengan PCA.
Materi, Kuis 14 soal, Latihan koding, Notebook
- Minggu 03
Data Warehousing, Skema Dimensi & Kubus OLAP
Tabel fakta dan dimensi, star schema, snowflake schema, fact constellation, proses ETL, serta operasi OLAP roll-up, drill-down, slice, dice, dan pivot.
Materi, Kuis 13 soal, Latihan koding, Notebook
Fase 2
Pattern Discovery & Association
Market basket analysis, Apriori, FP-Growth
- Minggu 04
Algoritma Apriori & Frequent Itemsets
Market basket analysis, itemset, support, confidence, prinsip Apriori (anti-monoton), pembentukan kandidat join & prune, serta closed dan maximal itemset.
Materi, Kuis 13 soal, Latihan koding, Notebook
- Minggu 05
FP-Growth & Evaluasi Aturan Asosiasi
Struktur FP-Tree, algoritma FP-Growth tanpa pembangkitan kandidat, pembentukan aturan asosiasi, serta metrik lift, leverage, dan conviction untuk menilai aturan.
Materi, Kuis 13 soal, Latihan koding, Notebook
Fase 3
Supervised Classification
Decision tree, Naïve Bayes, KNN, evaluasi model
- Minggu 06
Decision Tree Induction (Pohon Keputusan)
Konsep klasifikasi terarah, entropy, information gain (ID3), gain ratio (C4.5), Gini impurity (CART), split atribut numerik, overfitting dan pruning.
Materi, Kuis 13 soal, Latihan koding, Notebook
- Minggu 07
Probabilistic & Instance-Based Classifiers (Naïve Bayes & KNN)
Teorema Bayes, asumsi independensi Naïve Bayes (kategorikal, Gaussian, multinomial untuk teks), Laplace smoothing, serta klasifikasi berbasis jarak K-Nearest Neighbors.
Materi, Kuis 15 soal, Latihan koding, Notebook
- Minggu 08
Evaluasi Komprehensif Model & Proposal Proyek Akhir
Confusion matrix, accuracy, precision, recall, F1-score, kurva ROC & AUC, k-fold cross-validation, threshold tuning, serta panduan proposal proyek akhir.
Materi, Kuis 16 soal, Latihan koding, Notebook
- Minggu 09Ujian
Evaluasi Tengah Semester (UTS): Rangkuman & Kisi-kisi
Rangkuman Minggu 1–8 (KDD, preprocessing, data warehouse & OLAP, aturan asosiasi, decision tree, Naïve Bayes & KNN, evaluasi model) beserta kisi-kisi, rumus penting, dan strategi mengerjakan UTS.
Materi, Kuis 25 soal, Latihan koding, Notebook
Fase 4
Unsupervised Clustering
K-Means, hierarchical, DBSCAN, outlier
- Minggu 10
Partitioning & Hierarchical Clustering
Clustering tanpa label — K-Means (SSE), K-Medoids/PAM, Agglomerative Hierarchical Clustering (single, complete, average, Ward), Elbow Method, dan Silhouette Score untuk segmentasi pelanggan.
Materi, Kuis 16 soal, Latihan koding, Notebook
- Minggu 11
Density-Based Clustering (DBSCAN) & Outlier Detection Dasar
Keterbatasan K-Means pada data non-sferis, parameter eps dan MinPts, titik core/border/noise, pemilihan eps dengan k-distance, serta deteksi outlier dengan z-score dan LOF.
Materi, Kuis 12 soal, Latihan koding, Notebook
Fase 5
Distributed Big Data
HDFS, MapReduce, Apache Spark, MLlib
- Minggu 12
Distributed Storage & Paradigma MapReduce (Hadoop / HDFS)
Mengapa satu mesin tidak cukup, arsitektur HDFS (NameNode, DataNode, blok, replikasi), dan model komputasi MapReduce (Map, Shuffle & Sort, Reduce, Combiner, Partitioner) lewat WordCount dan agregasi log transaksi.
Materi, Kuis 13 soal, Latihan koding, Notebook
- Minggu 13
In-Memory Computing dengan Apache Spark
Arsitektur Apache Spark (driver, executor, cluster manager), Resilient Distributed Datasets, transformasi lazy vs aksi, narrow vs wide dependency, DAG & stage, caching, serta Spark DataFrame dan Spark SQL dengan PySpark.
Materi, Kuis 13 soal, Latihan koding, Notebook
- Minggu 14
Machine Learning Skala Besar (Spark MLlib) & Ekosistem Big Data
Bagaimana algoritma ML diparalelkan (data parallelism, agregasi gradien & statistik per partisi), API Pipeline Spark MLlib (Transformer, Estimator, VectorAssembler, StandardScaler, LogisticRegression, KMeans), evaluasi terdistribusi, serta tinjauan Hive, HBase, Kafka, dan Flink.
Materi, Kuis 13 soal, Latihan koding, Notebook
Fase 6
Stream, Graph & Anomaly
LSH, PageRank, Isolation Forest, Autoencoder
- Minggu 15
Stream & Graph Mining
Mengolah aliran data real-time dengan sliding/decaying window dan reservoir sampling, mencari dokumen mirip dengan MinHash & LSH, serta meranking simpul graf dengan PageRank.
Materi, Kuis 12 soal, Latihan koding, Notebook
- Minggu 16
Deteksi Anomali Tingkat Lanjut (Isolation Forest & Autoencoder)
Deteksi anomali tanpa label untuk predictive maintenance — Isolation Forest, Autoencoder dengan reconstruction error, penentuan ambang, dan arsitektur hybrid laten + Isolation Forest.
Materi, Kuis 12 soal, Latihan koding, Notebook
- Minggu 17Proyek
Final Lab, Evaluasi Proyek & Integrasi Sistem
Panduan menyelesaikan proyek akhir — pipeline end-to-end yang reproducible, validasi silang, interpretasi model, struktur repositori, template laporan, dan rubrik penilaian.
Materi, Kuis 12 soal, Latihan koding, Notebook
- Minggu 18Ujian
Ujian Akhir Semester & Presentasi Proyek
Rangkuman seluruh semester, lembar rumus, kisi-kisi UAS, simulasi soal terpadu, dan checklist presentasi/defense proyek akhir.
Materi, Kuis 25 soal, Latihan koding, Notebook