Skripsi S1 · Informatika, Universitas Ahmad Dahlan
LaguQA
Seberapa jauh model bahasa mengenal lagu Indonesia?
Satu buku lagu cetak. 107 lagu ditranskripsi tangan ke notasi ABC 2.1, lalu dijadikan 1,200 soal pilihan ganda beserta kunci jawabannya. 13 model menjawabnya tanpa pernah dilatih pada bahan ini.
Penyusun Mohammad Farid HendiantoPembimbing Dr. Murinto, M.Kom.Tahun 2026
Tidak ada model yang mengungguli penebak yang tidak mengenal satu lagu pun
Ini bukan satu model lemah yang menarik turun rata-rata. Seluruh 13 model berada di bawah garis kendali, dan yang paling tinggi pun tertinggal 2.6 poin.
Benchmark
Yang sebenarnya diukur
Bahannya berupa teks dan atribut musik. Tidak ada berkas audio yang dipakai sebagai masukan, jadi tidak ada bagian yang menguji pendengaran.
Musik di Indonesia diajarkan dengan notasi angka, yaitu melodi yang ditulis sebagai angka 1 sampai 7 dengan titik dan garis untuk oktaf dan durasi. Semua lagu di buku itu ditranskripsi dari notasi angka ke ABC 2.1, format teks polos yang bisa dibaca langsung oleh model. Soalnya dibangkitkan dari transkripsi tersebut dan dari apa yang tercetak di halaman bukunya, sehingga setiap kunci jawaban dapat ditelusuri ke halaman tertentu.
Fakta cetak
Pencipta, asal daerah, nada dasar, birama, dan tempo, diambil dari yang tertulis di halaman. Kalau bukunya tidak menyebutkan, jawaban yang benar adalah bahwa bukunya memang tidak menyebutkan.
Lirik
Mengisi kata yang dirumpangkan pada satu baris, dan menyebut lagu asal sebuah baris lirik.
Notasi
Menyebut judul lagu dari potongan notasi angkanya, tanpa judul diberikan.
Penalaran atas notasi
Menghitung jumlah bar dan mencari nada tertinggi pada potongan yang ditampilkan di soal. Keduanya bisa dijawab dari potongan itu saja, jadi model yang belum pernah melihat lagunya tetap berpeluang benar.
Hasil
Tiga belas model, dan satu kendali yang mengungguli semuanya
Jawaban tidak dibaca dari huruf yang diketik model. Untuk tiap soal, teks kelima opsi dinilai dengan rerata log-peluang, dan opsi tertinggi dihitung sebagai jawabannya. Cara ini menghapus keuntungan yang didapat model karena patuh pada format keluaran.
Pilihan ganda, 1,200 soal
Akurasi tiap model. Garis emas menandai kendali, yaitu penebak yang hafal sebaran kunci jawaban dan tidak tahu apa pun tentang lagunya.
Buku ini didominasi birama 4/4 dan nada dasar Do = C. Penebak yang selalu menjawab nilai tersering karena itu sudah memperoleh sebagian besar soal metadata secara cuma-cuma, dan itulah sebabnya 32.1% menjadi garis pembanding, bukan angka nol. Model terbaik tanpa pelatihan, sahabatai-9b, mencapai 29.5%.
Dua kategori menjelaskan sebagian besar jaraknya. Pada soal yang meminta menyebut lagu dari potongan notasi, seluruh peserta bertahan di sekitar lantai tebakan acak 17.2%. Pada soal fakta cetak, kendalinya sendiri memperoleh 58.4%, dan tidak ada model tanpa pelatihan yang menyamainya.
Apakah benchmark ini menanggapi pengetahuan yang diklaim diukurnya?
Model dasar yang sama, sebelum dan sesudah pelatihan LoRA pada lagunya. Tiga seed dari satu konfigurasi ditampilkan untuk memperlihatkan sebarannya.
Pelatihan menggeser skor dari 24.1% menjadi antara 52.3% dan 61.0%. Benchmark yang tidak menanggapi seperti ini berarti mengukur sesuatu selain pengetahuan tentang isi bukunya.
Sebesar apa jarak yang boleh dibaca
Ketiga seed di atas tidak berbeda dalam hal apa pun kecuali seed acaknya: berkas latih yang sama menurut sha256, laju belajar yang sama, 2,622 langkah yang sama. Rentangnya 8.7 poin dengan simpangan baku 4.4. Jarak yang lebih kecil dari sekitar sembilan poin antara dua kali jalan tunggal tidak boleh dibaca sebagai perbedaan pengaturan. Aturan itu berlaku untuk halaman ini sebagaimana untuk tabel di naskahnya.
Di mana letak kesulitannya
Akurasi per kelompok soal. Kendali ditampilkan sebagai barisnya sendiri karena ia mengungguli model tanpa pelatihan pada fakta cetak dan tidak kalah di mana pun.
| Kelompok soal | Kendali | sahabatai-9b | gemma4-e2b [lr4e4] seed 1 |
|---|---|---|---|
| Keseluruhan | 32.1 | 29.5 | 61.0 |
| Fakta cetak | 58.4 | 25.3 | 71.2 |
| Tebak judul | 17.8 | 27.1 | 22.4 |
| Lirik | 24.0 | 25.6 | 40.1 |
| Notasi | 17.6 | 17.1 | 46.1 |
| Penalaran | 20.3 | 47.2 | 89.7 |
Data
Soalnya, dan notasi yang menjadi kuncinya
Setiap soal di bawah diambil dari berkas yang diterbitkan, lengkap dengan kuncinya. Pilih satu kategori untuk melihat contohnya.
Satu soal dari tiap kategori
Notasi, digambar dan dibunyikan
Not balok digambar dari berkas ABC yang sama dengan yang menjadi kunci soal notasi. Yang terdengar adalah bahan yang dinilai itu sendiri, dibunyikan lewat soundfont umum dan bukan hasil rekaman.
Notasi angka, seperti tercetak
Unduhan
Semuanya terbuka
Batasan
Yang tidak dikatakan angka-angka ini
28 dari 107 transkripsi belum lolos pemeriksaan kekekalan ketukan dan keselarasan lirik. Soal notasi hanya dibangkitkan dari 79 yang sudah lolos.
Birama 50 lagu tidak tercetak di bukunya dan disimpulkan dari notasinya. Tidak ada soal birama yang dibangun dari lagu-lagu itu, sebab kuncinya akan bergantung pada pembacaan yang sedang diuji.
Sumbernya satu buku. Model yang mengenal lagu Indonesia di luar buku itu tidak mendapat keuntungan di sini, dan skor pada LaguQA bukan skor atas musik Indonesia.
Model yang dirilis dilatih pada seluruh 107 lagu tanpa ada yang disisihkan. Model itu dibuat untuk menunjukkan bahwa benchmark-nya menanggapi pengetahuan, jadi tidak ada angka darinya yang boleh dibaca sebagai generalisasi ke lagu yang belum pernah dilihat.
Dua lagu berbeda di buku itu sama-sama berjudul Desaku, sehingga soal yang hanya menyebut judulnya akan bermakna ganda. Ada kolom terpisah yang membedakan keduanya.
Sitasi
Menyitasi karya ini
Menyitasi benchmark ini berarti menyitasi buku sumbernya juga. Kedua entrinya ada di bawah.
@misc{laguqa2026,
title = {LaguQA: A Benchmark for Indonesian National and Regional
Song Understanding in Large Language Models},
author = {Hendianto, Mohammad Farid},
year = {2026},
howpublished = {Informatics, Universitas Ahmad Dahlan},
url = {https://laguqa.github.io}
}
@book{pustakabaru2025,
author = {{Tim Pustaka Baru}},
title = {Koleksi Lengkap Lagu-Lagu Daerah dan Wajib Nasional},
publisher = {Pustaka Baru Press},
address = {Banguntapan, Bantul, Yogyakarta},
year = {2025},
isbn = {978-602-0874-22-7}
}