Pendekatan yang Skalabel untuk Mengurangi Bias Gender pada Google Translate
oleh Melvin Johnson, Senior Software Engineer, Google Research
Model machine learning (ML) untuk terjemahan bahasa dapat dipengaruhi bias sosial yang tercermin dalam data yang dipakai untuk melatihnya. Salah satu contohnya adalah bias gender, yang sering kali terlihat jelas saat menerjemahkan sesuatu dari sebuah bahasa yang spesifik-gender dan yang tidak. Sebagai contoh, secara historis, Google Terjemahan selalu menerjemahkan padanan bahasa Turki untuk “He/she is a doctor” (Dia seorang dokter) ke dalam bentuk maskulin, dan padanan bahasa Turki untuk “He/she is a nurse” (Dia seorang perawat) ke dalam bentuk feminin.
Sejalan dengan Prinsip AI Google yang menekankan pentingnya menghindari pembuatan atau penguatan bias yang tidak adil, pada Desember 2018 kami mengumumkan fitur terjemahan spesifik-gender di Google Terjemahan. Fitur ini memberikan opsi untuk menampilkan terjemahan dalam bentuk feminin dan maskulin saat menerjemahkan kueri dari bahasa sumber yang netral-gender. Untuk menghadirkan fitur ini, kami mengembangkan pendekatan tiga langkah, yang meliputi proses mendeteksi kueri yang bersifat netral-gender, kemudian menghasilkan terjemahan yang spesifik-gender, dan memeriksa keakuratannya. Pendekatan ini kami gunakan untuk memberikan terjemahan spesifik-gender pada frasa dan kalimat, sebagai contoh, dari bahasa Turki ke bahasa Inggris, dan kami kini telah memperluasnya untuk terjemahan dari bahasa Inggris ke Spanyol, yang merupakan pasangan bahasa paling populer di Google Terjemahan.
Namun, ketika pendekatan ini diterapkan ke lebih banyak bahasa, ternyata muncul sejumlah masalah terkait proses penskalaan. Khususnya, saat kami mencoba menghasilkan terjemahan maskulin dan feminin secara mandiri menggunakan sistem neural machine translation (NMT), tingkat recall yang dihasilkan sangatlah rendah, sehingga gagal menghasilkan terjemahan spesifik-gender untuk hingga 40% kueri yang memenuhi syarat. Hal itu terjadi karena kedua terjemahan yang dihasilkan seringkali tidak persis setara, kecuali untuk fenomena berkaitan dengan gender. Terlebih lagi, membuat pengklasifikasi guna mendeteksi netralitas gender untuk setiap bahasa sumber juga membutuhkan data yang sangat banyak.
Bersamaan dengan dirilisnya fitur terjemahan baru yang spesifik-gender dari bahasa Inggris ke Spanyol, kami mengumumkan pendekatan yang lebih baik yang menggunakan paradigma sangat berbeda untuk mengatasi bias gender, yakni dengan metode rewriting (penulisan ulang) atau post-editing (pasca-penyuntingan) terjemahan awal. Pendekatan ini lebih mudah diskalakan terutama saat menerjemahkan dari bahasa yang netral-gender ke bahasa Inggris karena tidak memerlukan pendeteksi netralitas gender.
Terjemahan spesifik-gender dengan metode berbasis penulisan ulang (rewriting)
Langkah pertama dalam metode rewriting adalah menghasilkan terjemahan awal. Terjemahan tersebut kemudian ditinjau untuk mengidentifikasi contoh-contoh ketika frasa sumber yang netral-gender menghasilkan terjemahan yang spesifik-gender. Jika berhasil teridentifikasi, kami menerapkan alat penulis ulang (rewriter) di tingkat kalimat untuk menghasilkan terjemahan alternatif berdasarkan gender. Terakhir, terjemahan awal dan terjemahan yang telah ditulis ulang akan ditinjau untuk memastikan bahwa keduanya hanya dibedakan oleh gender.
Proses membuat sebuah rewriter
Untuk membuat sebuah rewriter, kami perlu menghasilkan jutaan contoh pelatihan yang terdiri dari banyak pasangan frasa, yang masing-masing menyertakan terjemahan maskulin dan feminin. Karena data tersebut tidak mudah didapatkan, kami membuat kumpulan data baru untuk tujuan ini. Dimulai dengan kumpulan data monolingual yang besar, kami secara terprogram menghasilkan penulisan ulang kandidat dengan menukar kata ganti gender dari maskulin ke feminin, atau sebaliknya. Karena dapat muncul sejumlah kandidat yang valid, bergantung pada konteksnya - misalnya kata ganti feminin "her" dapat dipetakan ke "him" atau "his" dan kata ganti maskulin "his" dapat dipetakan ke "her" atau "hers" - diperlukan sebuah mekanisme untuk memilih kata ganti yang benar. Untuk memutus hubungan ini, kami dapat menggunakan pengurai sintaksis atau model bahasa. Namun, karena model penguraian sintaksis memerlukan pelatihan dengan kumpulan data yang diberi label di setiap bahasa, model ini kurang skalabel dibandingkan model bahasa yang dapat belajar tanpa perlu pengawasan. Jadi, kami memilih kandidat terbaik dengan model bahasa internal yang dilatih menggunakan jutaan kalimat bahasa Inggris.
Proses pembuatan data di atas menghasilkan data pelatihan yang beralih dari input maskulin ke output feminin dan sebaliknya. Kami menggabungkan data dari kedua arah ini dan melatih satu lapis model sequence-to-sequence yang berbasis transformer. Kami kemudian menambahkan variasi tanda baca dan huruf kapital dalam data pelatihan untuk meningkatkan ketahanan model. Pada akhirnya, model final kami dapat menghasilkan penulisan ulang (rewrite) maskulin atau feminin yang diminta dengan tingkat akurasi 99%.
Proses Evaluasi
Kami juga merancang sebuah metode evaluasi baru yang dinamakan pengurangan bias, yang mengukur pengurangan relatif bias antara sistem terjemahan baru dan sistem lama. Dalam metode ini, "bias" didefinisikan sebagai membuat pilihan gender dalam terjemahan yang sumbernya tidak menetapkan gender. Misalnya, jika sistem saat ini memiliki tingkat bias 90% dan sistem baru memiliki tingkat bias 45%, ini berarti menghasilkan pengurangan bias relatif sebesar 50%. Dengan menggunakan metrik ini, pendekatan baru berhasil mengurangi sebesar ≥90% untuk terjemahan, sebagai contoh, dari bahasa Hungaria, Finlandia, dan Persia ke bahasa Inggris. Pengurangan bias dari sistem lama, dari bahasa Turki ke Inggris, juga meningkat dari 60% menjadi 95% dengan pendekatan baru. Sistem kami memicu terjemahan spesifik-gender dengan presisi rata-rata 97% (yakni, setiap kali kami menampilkan terjemahan spesifik-gender, 97% kami selalu tepat).
Kami telah mencapai kemajuan yang signifikan sejak peluncuran awal dengan meningkatkan kualitas terjemahan spesifik-gender dan memperluasnya ke empat pasangan bahasa lainnya. Kami berkomitmen untuk terus mengatasi bias gender di Google Terjemahan dan berencana untuk memperluas metode ini ke terjemahan di tingkat dokumen juga.
Ucapan terima kasih
Penelitian ini tidak akan berhasil tanpa kerja keras banyak pihak, termasuk, tetapi tidak terbatas pada mereka yang namanya disebutkan di sini (sesuai urutan abjad dari nama belakang): Anja Austermann, Jennifer Choi, Hossein Emami, Rick Genter, Megan Hancock, Mikio Hirabayashi, Macduff Hughes, Tolga Kayadelen, Mira Keskinen, Michelle Linch, Klaus Macherey, Gergely Morvay, Tetsuji Nakagawa, Thom Nelson, Mengmeng Niu, Jennimaria Palomaki, Alex Rudnick, Apu Shah, Jason Smith, Romina Stella, Vilmos Urban, Colin Young, Angie Whitnah, Pendar Yousefi, Tao Yu.