Скачать или смотреть Big Data Analytics: Analisis Klasifikasi Pesan Spam Menggunakan Apache Spark

Di era transformasi digital saat ini, volume pesan singkat (SMS) telah menyentuh angka miliaran setiap harinya. Namun, pertumbuhan ini diikuti dengan maraknya serangan spam, scam, hingga phishing. Masalah utamanya adalah:
1. Volume Masif: Data yang terlalu besar tidak mungkin lagi dipilah secara manual oleh tenaga manusia.
2. Kecepatan: Pesan masuk secara real-time, sehingga membutuhkan sistem deteksi yang instan.
3. Variasi Pola: Pola kata dalam pesan penipuan terus berubah untuk mengelabui filter tradisional.

Untuk menjawab tantangan tersebut, kami memanfaatkan ekosistem Apache Spark—teknologi Distributed Computing yang dirancang khusus untuk menangani beban data besar dengan kecepatan tinggi—untuk membangun model klasifikasi cerdas.
Apa yang kami lakukan? Melalui PySpark MLlib, kami menjalankan End-to-End Data Pipeline:
1. Cleansing: Menghapus data redundan dan null values agar model tidak bias.
2. Enrichment: Menghitung bobot fitur teks untuk memperkuat sinyal perbedaan antara pesan normal dan spam.
3. Predictive Analysis: Melatih algoritma Decision Tree untuk mengenali pola kata kunci penipuan secara otomatis.

Hasil Akhir: 📈 Hasilnya sangat memuaskan! Model kami mencapai akurasi 95.14%, membuktikan bahwa integrasi Big Data Analytics dan Machine Learning mampu menjadi garda terdepan dalam menyaring gangguan digital di skala besar.

Teknologi yang digunakan:
🐍 Python
⚡ Apache Spark
📊 PySpark MLlib
📒 Jupyter Notebook

Kelompok 3 (IK-2C):
1. Hanifah Yumna Zahira (3.34.24.2.11)
2. Ika Lutfiani Rizqi (3.34.24.2.12)

#datalearns247
#belajarbigdata
#ngulikbigdata