Klasifikasi Audio Deepfake Berbasis Transfer Learning YAMNet dan Regresi Logistik

Abstract

Audio deepfake menjadi ancaman serius bagi keamanan publik karena dapat disalahgunakan untuk penipuan, manipulasi informasi, dan penyebaran disinformasi secara masif. Penelitian ini mengusulkan pendekatan klasifikasi yang mengintegrasikan YAMNet sebagai ekstraktor fitur berbasis transfer learning dengan model klasifikasi regresi logistik. YAMNet digunakan untuk mengekstraksi representasi fitur audio yang kaya dari sinyal suara, sedangkan regresi logistik berperan dalam memodelkan perbedaan antara sampel audio asli dan palsu. Dataset In-the-Wild digunakan dengan pembagian 70% data pelatihan (22.245 sampel) dan 30% data pengujian (9.534 sampel). Berdasarkan hasil pengujian, model regresi logistik mencapai akurasi 98.53%, presisi 0.9890, recall 0.9876, dan F1-score 0.9883 yang menunjukkan kinerja sangat baik dan seimbang dalam mengklasifikasikan kedua kelas tersebut. Selain itu, waktu inferensi yang sangat cepat, yaitu 0.0276 detik untuk satu kali prediksi terhadap seluruh data uji, menunjukkan efisiensi komputasi yang tinggi. Hasil ini menegaskan bahwa kombinasi YAMNet dan Regresi Logistik mampu menghasilkan sistem klasifikasi yang akurat, ringan, dan efisien, serta memiliki potensi tinggi untuk diterapkan dalam upaya mitigasi penyalahgunaan teknologi audio sintetis pada berbagai aspek keamanan digital.