Detail Laporan TA : EKA SAPTA DWI HERDIE

EKA SAPTA DWI HERDIE (2019) ANALISIS KINERJA CLUSTER COMPUTER BERBASIS APACHE SPARK DALAM KOMPUTASI BIG DATA Skripsi, Teknik Informatika
Politeknik Negeri Indramayu.

Text LAPORAN BAB 1 ( Download )

Big data saat ini menjadi topik hangat di kalangan organisasi dan peneliti seluruh dunia karena diprediksi ukuran data mencapai 181 zettabytes pada tahun 2025. Dengan meningkatnya penggunaan, pengetahuan tentang manajemen dan pengoptimalan cluster computer untuk berbagai tujuan sangat penting. Konsep "Cluster Computer" muncul sebagai solusi yang menarik untuk memenuhi kebutuhan ini. Cluster computer adalah kumpulan beberapa computer yang berbeda yang bekerja sama sebagai satu sistem untuk melakukan tugas yang membutuhkan pemrosesan dan komputasi yang intensif. Apache Spark adalah salah satu framework opensource populer untuk memproses data dalam jumlah besar. Tujuan dalam penilitian ini yaitu membuat cluster computer lalu membandingkan waktu eksekusi dan performa dataset dengan horizontal scaling menggunakan Jupyter notebook. Cluster computer akan dibuat, dimana masing-masing setiap node akan menginstal Apache Spark dan menyimpan dataset, dengan aturan bahwa 1 node akan bertindak sebagai master dan 4 lainnya sebagai worker. Dataset yang sudah tersimpan dalam penyimpanan lokal node lalu diuji menggunakan horizontal scaling. Hasilnya, setelah dilakukan 10 pengujian menemukan bahwa terdapat perbedaan waktu eksekusi setiap pengujiannya. Dataset dengan tipe image 17.6% lebih cepat dengan 4 worker. Lalu untuk dataset tipe teks (CSV) seperti Meta Kaggle dengan menggunakan 4 worker 54% lebih cepat daripada waktu eksekusi 1 node, bahkan untuk dataset DataFrame SQL Spark waktu eksekusi yang diperlukan 1 master 4 worker 80% lebih cepat dibandinkan 1 node. Kata Kunci : Big Data, Apache Spark, Horizontal Scaling, Cluster Computer, Jupyter notebook, Waktu Eksekusi.