Sementara sistem pembelajaran mesin modern bertindak dengan kemiripan kecerdasan buatan, kenyataannya mereka tidak “memahami” data apa pun yang mereka gunakan – yang pada gilirannya berarti mereka cenderung menyimpan bahkan barang-barang sepele selamanya. Peneliti Facebook telah mengusulkan kelupaan terstruktur sebagai cara bagi AI untuk sedikit membersihkan, meningkatkan kinerja mereka dan mendekati cara kerja pikiran manusia.
Para peneliti menggambarkan masalahnya dengan menjelaskan bagaimana manusia dan agen AI dapat mendekati masalah serupa.
Katakanlah ada 10 pintu dengan berbagai warna. Anda diminta untuk melewati yang kuning, Anda melakukannya dan kemudian beberapa menit kemudian lupa warna pintu lainnya – karena tidak pernah penting dua berwarna merah, satu kotak-kotak, dua kenari, dll., hanya itu mereka tidak kuning dan yang Anda pilih adalah. Otak Anda segera membuang informasi itu.
Tapi AI mungkin menyimpan warna dan lokasi dari sembilan pintu lainnya dalam ingatannya. Itu karena ia tidak memahami masalah atau datanya secara intuitif — jadi ia menyimpan semua informasi yang digunakannya untuk mengambil keputusan.
Ini bukan masalah ketika Anda berbicara tentang jumlah data yang relatif kecil, tetapi algoritme pembelajaran mesin, terutama selama pelatihan, kini secara rutin menangani jutaan titik data dan menyerap terabyte citra atau bahasa. Dan karena mereka dibuat untuk terus-menerus membandingkan data baru dengan pengetahuan yang diperoleh, gagal melupakan hal-hal yang tidak penting berarti mereka terhambat oleh referensi terus-menerus ke poin data yang tidak berguna atau ketinggalan zaman.
Solusi yang ditemukan oleh para peneliti Facebook pada dasarnya — dan tidakkah kita semua ingin memiliki kemampuan ini — untuk mengetahui sendiri berapa lama waktu yang dibutuhkan untuk mengingat sepotong data ketika mengevaluasinya untuk memulai.
Kredit Gambar: Facebook
“Setiap memori individu dikaitkan dengan perkiraan tanggal kedaluwarsa, dan skala memori bergantung pada tugasnya,” jelas Angela Fan, peneliti AI Facebook yang mengerjakan makalah Expire-Span. “Jumlah waktu penyimpanan memori bergantung pada kebutuhan tugas — bisa untuk beberapa langkah atau hingga tugas selesai.”
Jadi dalam hal pintu, warna pintu non-kuning sangat penting sampai Anda menemukan yang kuning. Pada saat itu aman untuk melupakan sisanya, meskipun tentu saja tergantung pada berapa banyak pintu lain yang perlu diperiksa, memori dapat disimpan untuk waktu yang berbeda-beda. (Contoh yang lebih realistis mungkin melupakan wajah yang bukan wajah yang dicari sistem, begitu sistem menemukannya.)
Menganalisis teks yang panjang, ingatan akan kata atau frasa tertentu mungkin penting hingga akhir kalimat, paragraf, atau lebih lama — tergantung pada apakah agen mencoba menentukan siapa yang berbicara, di bab mana kalimat itu berada, atau genre apa ceritanya adalah.
Ini meningkatkan kinerja karena pada akhirnya, hanya ada sedikit informasi untuk disortir oleh model. Karena sistem tidak mengetahui apakah pintu lain mungkin penting, informasi tersebut tetap siap sedia, meningkatkan ukuran dan menurunkan kecepatan model.
Fan mengatakan model yang dilatih menggunakan Expire-Span bekerja lebih baik dan lebih efisien, menggunakan lebih sedikit memori dan waktu komputasi. Itu penting selama pelatihan dan pengujian, yang dapat memakan waktu pemrosesan ribuan jam, yang berarti bahkan peningkatan kecil pun cukup besar, tetapi juga di tingkat pengguna akhir, di mana tugas yang sama membutuhkan lebih sedikit daya dan terjadi lebih cepat. Tiba-tiba melakukan operasi pada foto masuk akal untuk dilakukan secara langsung daripada setelah fakta.
Meskipun bisa melupakan dalam beberapa hal membawa proses AI lebih dekat ke kognisi manusia, itu masih jauh dari cara intuitif dan halus pikiran kita beroperasi. Tentu saja, dapat memilih apa yang harus diingat dan berapa lama merupakan keuntungan besar bagi kita yang parameternya dipilih secara acak.
