Peringkasan Teks Otomatis Abstraktif Menggunakan Transformer Pada Teks Bahasa Indonesia
Article Sidebar
Main Article Content
Abstract
Peringkasan teks abstraktif digunakan untuk menghasilkan ringkasan yang mirip dengan ringkasan buatan manusia. Untuk mencapai kemampuan tersebut, biasanya diterapkan arsitektur deep learning yang bersifat recurrent, seperti RNN, LSTM, dan GRU. Pada penelitian sebelumnya yang membahas peringkasan teks abstraktif dalam bahasa Indonesia, model recurrent banyak digunakan dan terdapat masalah pada kohesi dan tata bahasa dari ringkasan yang dihasilkan oleh model, sehingga hal ini bisa berdampak terhadap performa. Saat ini, terdapat arsitektur yang lebih baru bernama Transformer yang mengandalkan mekanisme attention secara keseluruhan. Karena sifatnya yang tidak recurrent, Transformer mengatasi masalah ketergantungan terhadap deretan hidden state yang terjadi pada model recurrent dan bisa mempertahankan informasi pada seluruh input sequence. Dengan demikian, pada penelitian ini, penulis menggunakan Transformer untuk mengevaluasi seberapa baik Transformer dalam melakukan peringkasan teks abstraktif dalam bahasa Indonesia. Pelatihan dilakukan menggunakan pre-trained model T5 dengan dataset Indosum yang berisi sekitar 19 ribu pasangan berita dan ringkasan. Skor evaluasi paling tinggi yang berhasil dicapai adalah ROUGE-1 sebesar 0.61 dan ROUGE-2 sebesar 0.51.
Article Details
Section
Penulis yang menerbitkan dengan jurnal ini setuju pada persyaratan berikut ini:
- Penulis menyimpan hak cipta dan memberikan jurnal hak penerbitan pertama, dengan pekerjaan 6 bulan setelah penerbitan secara simultan dengan lisensi di bawah: Creative Commons Attribution License yang memudahkan yang lain untuk berbagi karya dengan pengakuan penerbitan awal dan kepenulisan karya di jurnal ini.
- Penulis bisa memasukkan ke dalam penyusunan kontraktual tambahan terpisah untuk distribusi non-ekslusif versi kaya terbitan jurnal (contoh: mempostingnya ke repositori institusional atau menerbitkannya dalam sebuah buku), dengan pengakuan penerbitan awalnya di jurnal ini.
- Penulis diizinkan dan didorong untuk mem-posting karya mereka online (contoh: di repositori institusional atau di website mereka) sebelum dan selama proses penyerahan, karena dapat mengarahkan ke pertukaran produktif, seperti halnya sitiran yang lebih awal dan lebih hebat dari karya yang diterbitkan. (Lihat Efek Akses Terbuka).