Peringkasan Teks Otomatis Abstraktif Menggunakan Transformer Pada Teks Bahasa Indonesia

Peringkasan teks abstraktif digunakan untuk menghasilkan ringkasan yang mirip dengan ringkasan buatan manusia. Untuk mencapai kemampuan tersebut, biasanya diterapkan arsitektur deep learning yang bersifat recurrent, seperti RNN, LSTM, dan GRU. Pada penelitian sebelumnya yang membahas peringkasan teks abstraktif dalam bahasa Indonesia, model recurrent banyak digunakan dan terdapat masalah pada kohesi dan tata bahasa dari ringkasan yang dihasilkan oleh model, sehingga hal ini bisa berdampak terhadap performa. Saat ini, terdapat arsitektur yang lebih baru bernama Transformer yang mengandalkan mekanisme attention secara keseluruhan. Karena sifatnya yang tidak recurrent, Transformer mengatasi masalah ketergantungan terhadap deretan hidden state yang terjadi pada model recurrent dan bisa mempertahankan informasi pada seluruh input sequence. Dengan demikian, pada penelitian ini, penulis menggunakan Transformer untuk mengevaluasi seberapa baik Transformer dalam melakukan peringkasan teks abstraktif dalam bahasa Indonesia. Pelatihan dilakukan menggunakan pre-trained model T5 dengan dataset Indosum yang berisi sekitar 19 ribu pasangan berita dan ringkasan. Skor evaluasi paling tinggi yang berhasil dicapai adalah ROUGE-1 sebesar 0.61 dan ROUGE-2 sebesar 0.51.