Analisis Komparatif Model Abstractive Summarization dalam Pembentukan Struktur Hierarkis Dokumen pada Arsitektur RAPTOR

Abstract

Penelitian ini menganalisis performa tiga model abstractive summarization PEGASUS-X Large, Qwen2.5-7B-Instruct-AWQ, dan Gemini 2.5 Flash-Lite dalam pembentukan struktur hierarkis dokumen pada arsitektur RAPTOR. RAPTOR membangun pohon ringkasan multilevel melalui proses embedding, clustering, dan summarization secara berulang sampai dengan ditemukannya root node, sehingga kualitas model ringkasan sangat berpengaruh terhadap koherensi dan stabilitas struktur. Dataset QASPER digunakan sebagai sumber dokumen panjang berbasis bukti ilmiah, dengan batas ringkasan maksimum 150 token untuk menjaga konsistensi antar model. Evaluasi dilakukan pada beberapa aspek, seperti karakteristik struktural, keselarasan informasi parent–child, serta efisiensi kompresi. Hasil penelitian menunjukkan bahwa ketiga model mampu membentuk struktur stabil dengan kedalaman 2-3 level dan pola distribusi node yang serupa. Namun, kualitas ringkasan berbeda secara signifikan. PEGASUS-X Large memberikan hasil terbaik dengan skor ROUGE dan BERTScore tertinggi serta compression ratio paling rendah, menunjukkan keseimbangan optimal antara kompresi dan retensi informasi. Qwen2.5-7B memberikan performa menengah, sedangkan Gemini 2.5 Flash-Lite cenderung menghasilkan ringkasan yang lebih abstraktif. Secara keseluruhan, PEGASUS-X Large merupakan model paling efektif untuk digunakan sebagai komponen summarization pada arsitektur RAPTOR.