Eksplorasi Dampak Bayesian Optimization terhadap Performa Prediksi Cacat Perangkat Lunak

Penyetelan hyperparameter untuk model prediksi cacat perangkat lunak (SDP) dengan grid search atau random search cenderung tidak efisien. Studi ini menerapkan Bayesian Optimization pada model SVM, Random Forest, Gradient Boosting, dan Ensemble, lalu mengukur dampaknya terhadap akurasi dan waktu komputasi pada empat dataset publik NASA PROMISE.

Grid search dan random search untuk penyetelan hyperparameter model SDP memerlukan banyak percobaan tanpa memanfaatkan informasi dari percobaan sebelumnya, sehingga kurang efisien dan berpotensi tidak mencapai kombinasi hyperparameter terbaik.

Bayesian Optimization diterapkan untuk menyetel hyperparameter SVM, Random Forest, Gradient Boosting, dan model Ensemble, dibandingkan dengan versi tanpa optimasi, pada empat dataset PROMISE (CM1, KC1, KC2, PC1) dengan split data 70/30 dan penyeimbangan kelas menggunakan SMOTE.

Setiap model (dengan dan tanpa Bayesian Optimization) dilatih dan diuji pada keempat dataset, mengukur akurasi klasifikasi serta waktu komputasi sebelum dan sesudah optimasi.

Ensemble dengan optimasi mencapai akurasi tertinggi (~94%), diikuti Random Forest dengan optimasi (~92%); SVM memperoleh peningkatan akurasi terbesar dari optimasi. Namun optimasi juga meningkatkan waktu komputasi di semua model (mis. Gradient Boosting naik dari 4ms menjadi 6ms).

Menunjukkan bahwa Bayesian Optimization secara konsisten meningkatkan akurasi model prediksi cacat perangkat lunak, dengan trade-off berupa peningkatan waktu komputasi yang perlu dipertimbangkan sesuai kebutuhan aplikasi.

Evaluasi hanya menggunakan dataset NASA PROMISE, sehingga generalisasi hasil ke basis kode di luar konteks tersebut masih terbatas; peningkatan waktu komputasi akibat optimasi juga belum dievaluasi pada skala produksi.