Скачать или смотреть Tugas Scraping Data BIG DATA Kelompok 15

Pencapaian Kerja:

Membangun Arsitektur Microservices yang Kompleks
Anda berhasil mendefinisikan dan menjalankan arsitektur multi-container menggunakan Docker Compose. Sistem ini terdiri dari lima layanan independen yang bekerja sama secara harmonis:

Collector: Pengumpul data.
MongoDB: Database utama.
Elasticsearch: Search engine.
Kibana: Alat visualisasi.
API: Pintu gerbang untuk akses data.

Mengimplementasikan Pengumpulan Data Otomatis
Berhasil membuat layanan collector yang tangguh, yang secara otomatis:
Berjalan secara periodik setiap 5 menit tanpa intervensi manual.
Mengambil data nyata (live data) dari dua jenis sumber yang berbeda:
API Publik (Hacker News).
Web Scraping dari situs berita dinamis (Viva.co.id).

Membangun Sistem Penyimpanan Data Canggih
Tidak hanya menyimpan data, tetapi juga membangun sistem penyimpanan yang skalabel dan cerdas:
Penyimpanan Ganda: Data secara simultan disimpan di MongoDB (untuk persistensi), diindeks di Elasticsearch (untuk pencarian), dan ditumpuk di file lokal (CSV/JSONL) untuk arsip.
Fondasi Sistem Terdistribusi: Berhasil mengonfigurasi MongoDB Replica Set, sebuah langkah krusial untuk menciptakan database yang memiliki ketersediaan tinggi (high availability) dan siap untuk di-scale.

Implementasi Search Engine: Berhasil mengintegrasikan Elasticsearch, mengubah database Anda menjadi mesin pencari cerdas yang mendukung pencarian teks penuh (full-text search) dan toleransi salah ketik (fuzziness).

Menyediakan Akses Data yang Fleksibel
Membuat data yang terkumpul menjadi berguna dengan membangun layanan API yang fungsional:
Membuat endpoint /search yang terhubung ke Elasticsearch untuk pencarian data secara real-time.
Membuat endpoint /export/csv untuk mengunduh snapshot seluruh data dari MongoDB dengan mudah.

Menyelesaikan Proses Debugging yang Kompleks
Berhasil mengatasi serangkaian tantangan teknis yang umum terjadi di lingkungan produksi, menunjukkan kemampuan problem-solving yang kuat:
Menyelesaikan masalah waktu tunggu (timing issues) dan konektivitas antar-container menggunakan healthcheck dan skrip wait-for-it.sh.
Men-debug masalah build context di Docker yang rumit.
Memperbaiki scraper yang rusak akibat perubahan struktur HTML situs web.
Menangani masalah kompatibilitas library dan syntax error di dalam container.