Bisakah data mengungkapkan lagu paling menyedihkan di dunia?

Ketika berusia 15 tahun, saya 'menemukan' The Smiths, band yang sudah lama identik dengan kesengsaraan.

Tapi gaya khas Morrissey lah yang menarik diri remaja saya. Vokalis The Smiths itu punya gaya yang sengsara — centil dicampur dengan humor Inggris Utara yang bolak balik antara mengasihani diri sendiri dan ironi.

Ditambah lagi suara gitar Johnny Marr yang rumit, berlapis-lapis dan megah.

Saya selalu menangis pada titik yang sama di setiap lagu: di akhir Hand in Glove, di perubahan nada sebelum chorus Girl Afraid, di The Queen is Dead saat "we can go for a walk where it's quiet and dry".

Saya masih tidak yakin mengapa efeknya begitu.

Dua dekade kemudian, Spotify telah membangun suatu algoritme yang bertujuan untuk mengukur jumlah kesedihan dalam sebuah track musik.

Layanan streaming itu telah mengumpulkan metadata 35 juta lagu dalam database yang dapat diakses melalui API web mereka, yang mencakup skor valensi untuk setiap lagu, dari 0 hingga 1.

"Lagu dengan suara valensi tinggi akan terdengar lebih positif (misalnya bahagia, ceria, euforia), sementara yang punya suara valensi rendah lebih negatif (misalnya sedih, depresi, marah)," menurut Spotify.

Ada skor serupa untuk parameter lain termasuk energi (bagaimana "cepat, keras dan berisik"nya) dan kemampuannya membuat pendengar ingin berjoget.

Data valensi ini bagaikan hadiah bagi blogger dan jurnalis dengan kemampuan mengolah data yang ingin mencicipi sisi gelap.

Data itu telah digunakan untuk mengembangkan 'indeks kemuraman' lagu-lagu Radiohead, mencari lagu Natal paling menyedihkan, untuk mencari tahu negara Eropa mana yang lebih memilih lagu sedih (Portugis) dan untuk menunjukkan bahwa pemenang Eurovision pun semakin muram.

(Sebuah studi akademis baru-baru ini, berdasarkan data Acousticbrainz, juga menunjukkan bahwa lagu populer Inggris telah jadi makin menyedihkan dalam 30 tahun terakhir.)

Tapi bagaimana bisa sebuah algoritme — yang tidak bisa merasakan apa-apa — membedakan antara lagu bahagia dan sedih?

"Ini adalah konsep yang awalnya menantang, bahwa Anda akan bisa mengukur kesedihan yang dibangkitkan oleh sebuah lagu", kata Charlie Thompson, ilmuwan data yang mengembangkan 'indeks kemuraman' Radiohead, yang menulis blog sebagai RCharlie.

Terinspirasi oleh pendekatannya, saya memutuskan untuk menguji sendiri data Spotify menggunakan beberapa lagu paling populer dalam setengah abad terakhir — hit nomor satu Billboard.

Pertama, saya mengumpulkan judul semua lagu yang ada di tangga lagu Billboard Hot 100 sejak dimulai pada bulan Juli 1958, berisi 1.080 lagu.

Lalu saya mencocokkannya dengan data Spotify. Hanya ada satu lagu yang tidak ada di Spotify: Over and Over oleh Dave Clark Five.

Jadi, apa lagu paling menyedihkan yang pernah ada di urutan pertama?

Tangga lagu paling menyedihkan

Sebelum saya mengungkapkan judulnya, mari kita pertimbangkan seperti apa lagu sedih itu. Mungkin musiknya kunci minor?

"Kunci mayor sering terkait dengan valensi positif, atau khususnya untuk keadaan emosional seperti kebahagiaan atau kekhidmatan, sedangkan minor sering dikaitkan dengan valensi negatif (kesedihan atau kemarahan)", kata Rui Pedro Paiva, Profesor Teknik Informatika di Universitas Coimbra, Portugal dan spesialis dalam pengenalan emosi musik.

Yang mengherankan, ini tidak terjadi di dalam daftar lagu nomor satu Billboard. Ada dua kali lebih banyak nada mayor daripada kunci minor, tapi tidak ada perbedaan dalam rata-rata valensi mereka.

Mungkin lagu sedih akan lambat atau kurang energi, seperti gerakan orang yang sedih?

Ini tampaknya yang terjadi dalam daftar nomor satu Billboard: trek valensi yang lebih rendah juga cenderung memiliki energi yang lebih rendah. Tetapi beberapa lagu memiliki valensi rendah tetapi energi tinggi — lagu kemarahan.

Jadi, definisi yang lebih baik dari lagu 'sedih' mungkin adalah lagu dengan suasana hati negatif dan kurang energi, untuk membedakannya dari lagu kemarahan.

Mari gunakan nilai valensi dan energi untuk mengetahui lagu yang paling menyedihkan.

Bagan ini pasti familiar bagi para psikolog musik, yang sering memvisualisasikan perasaan dalam hal valensi dan energi (atau 'gairah'), dan membagi mereka menjadi kuadran berdasarkan empat emosi dasar: kesedihan, kebahagiaan, kemarahan dan ketenangan.

Lagu-lagu sedih (valensi rendah, energi rendah) muncul di sudut kiri bawah grafik, lagu-lagu bahagia (valensi tinggi, energi tinggi) di kanan atas, lagu-lagu marah (valensi rendah, energi tinggi) di bagian kiri atas dan lagu-lagu tenang (valensi tinggi, energi rendah) di kanan bawah.

Secara keseluruhan, hit nomor satu cenderung cukup ceria — sudut bahagia dihuni oleh banyak lagu.

Yang paling bersemangat adalah Hey Ya!, Macarena (hey!) Dan Brown Sugar oleh The Rolling Stones.

Don't Worry, Be Happy adalah lagu paling tenang dan santai. Lagu Eminem Lose Yourself terkucil sendiri di kuadran yang marah.

Anda tidak melihatnya ditampilkan di bagan, tetapi lagu yang lebih bahagia cenderung lebih enak dipakai berjoget.

Dan lagu nomor satu yang paling bisa dipakai joget? Ice Ice Baby oleh Vanilla Ice, yang benar-benar bisa saya mengerti.

Namun mari kita lihat apa yang dianggap oleh algoritma Spotify sebagai lagu yang paling menyedihkan.

Berikut ini lima lagu nomer satu di Billboard yang paling menyedihkan 1958-2018, berdasarkan data valensi dan energi dari Spotify:

Lagu paling menyedihkan yang pernah ada di puncak tangga lagu sejak 1958, menurut data, adalah The First Time Ever I Saw Your Face oleh Roberta Flack.

Lagu ini mencapai nomor satu selama enam minggu pada tahun 1972. Ini bukan lagu sedih, tapi lagu cinta yang lembut dan penuh perasaan.

Three Times a Lady oleh Commodores juga merupakan balada cinta yang lambat dan Mr Custer adalah lagu komedi tentang seorang prajurit yang tidak ingin bertarung.

Dari lima lagu 'tersedih', hanya lagu Elvis dan Still, dan lagu Commodores lainnya, yang benar-benar dapat digambarkan sebagai lagu sedih.

Algoritme ini pasti mengarah pada sesuatu, tetapi tidak jago dalam menghadapi Lionel Richie.

Lirik jelas memiliki dampak besar pada suasana hati sebuah lagu.

Data Spotify nampaknya tidak memperhitungkannya, meskipun 'indeks kesuraman' Radiohead dan studi lainnya menemukan cara untuk mengukur kesedihan liris menggunakan analisis sentimen.

Jadi, data Spotify berdasarkan apa?

Mereka tidak merilis informasi apa pun tentang hal ini, jadi saya meminta Glenn McDonald, Alchemist Data perusahaan. (Ya, jabatan ini benar-benar ada.)

Dia adalah orang yang bertanggung jawab untuk Every Noise at Once, visualisasi semua genre musik tahun 1870 yang diklasifikasikan berdasarkan platform streaming, dari 'deep filthstep' hingga 'Belgian indie'.

Set data valensi dikembangkan menggunakan data pelatihan manusia, kemudian digabungkan dengan mesin.

Spotify menggunakan metadata lagu untuk membantu editor membuat daftar playlist berbasis suasana hati.

Beberapa playlist yang terkenal: Happy Pop Hits, Easy 00s, A Perfect Day. "Data bisa menemukan hal yang tidak bisa dikumpulkan manusia, tetapi manusia punya penilaian subyektif dan budaya yang tidak dapat dilakukan oleh mesin."

Saya bertanya kepadanya fitur audio mana yang dipakai algoritme untuk membedakan musik bahagia atau sedih, tetapi dia tidak (atau tidak dapat) mengungkapkan banyak: "Valensi adalah salah satu fitur mendasar kami, sehingga tidak dijelaskan ke orang lain".

Perusahaan saat ini sedang memperbaiki sistem klasifikasi emosi ini dengan meminta para penggunanya untuk menandai lagu dengan kata singkat yang menggambarkan suasana hati. (Saya mencoba ini, ternyata tidak mudah.)

Bukan hanya Spotify yang melakukan ini.

Gracenote's Mood 2.0 menggunakan jaringan saraf untuk mengklasifikasikan musik sesuai suasana hati mereka, dan hasilnya sangat spesifik: Give it Away oleh Red Hot Chili Peppers adalah 38% 'loud n'scrapp 'dan 2% 'alienated anxious groove'.

Pembelajaran mesin juga digunakan dalam pengenalan emosi musik secara akademis.

Dimulai dengan kumpulan lagu yang dikenali sebagai kualitas emosional tertentu, misalnya, daftar lagu sedih yang disusun menggunakan kata yang menggambarkan suasana hati yang dipilih oleh pendengar manusia, sehingga memungkinkan komputer untuk "secara otomatis mempelajari pemetaan antara klip musik dan perasaan yang digambarkannya", jelas Profesor Paiva.

Tetapi itu bukan tugas yang mudah. "Persepsi emosi dalam musik bersifat subyektif: orang yang berbeda mungkin merasakan emosi yang berbeda dalam lagu yang sama."

Rintangan mendasar lainnya adalah bahwa "bagaimana dan mengapa beberapa elemen musik memicu respons emosional tertentu pada pendengar, masih belum dipahami dengan jelas."

Ini mungkin menjelaskan kenapa saya bingung dengan perasaan yang muncul saat mendengar lagu The Smiths tadi.

'Sayang, mereka memainkan lagu kita'

Mesin sekarang dapat belajar, tetapi sejauh ini, mereka tidak memiliki pikiran manusia, pengetahuan budaya mendalam dan kemampuan kita untuk menempatkan apa yang kita dengar ke dalam konteks yang sangat spesifik.

Komputer juga tidak memiliki ingatan emosional, asosiasi otobiografi yang dapat mewarnai musik dengan makna dan kekayaan.

(Musik punya kecenderungan untuk selamanya mengingatkan kita pada emosi kuat yang kita rasakan pada suatu saat tertentu, yang dikenal oleh para psikolog musik sebagai teori 'Sayang, mereka memainkan lagu kita').

"Ketika mendengar sebuah lagu, Anda mungkin ingat di mana Anda berada ketika pertama kali mendengarnya, dan itu akan menentukan bagaimana Anda akan merasakan lagu itu di masa depan," kata ilmuwan data Charlie Thompson.

"Ketika mesin melihat sebuah lagu, dia hanya melihat gelombangnya, tanpa konsep waktu yang berarti," tambahnya.

Alchemist Data Spotify Glenn McDonald setuju. "Mesin tidak 'merasakan' musik dalam pengertian manusia. Manusia memiliki konteks, emosi, nostalgia, bahasa, mimpi, dan ketakutan. Ini seperti bertanya bagaimana pesawat pergi berjalan-jalan. Pesawat tidak jalan-jalan. Itu hanya alat yang digunakan manusia untuk melakukan hal-hal pada skala yang lebih besar."

Jadi ketika algoritme pembelajaran mesin mengklasifikasikan mood suatu lagu, apa yang dilakukannya?

Algoritme tidak dapat mencoba mengklasifikasikan emosi yang Anda rasakan ketika mendengarkan lagu, setidaknya belum.

Sebagai gantinya, "sistem Mer (pengenalan emosi musik) yang paling mutakhir difokuskan pada perasaan yang dirasakan," kata Paiva.

Artinya, emosi seseorang diidentifikasi atau 'dilihat' dalam sebuah lagu — lagu Eminem adalah marah; Disko tahun 70-an seksi dan menyenangkan; lagu yang lain sedih. (Ada juga jenis ketiga, emosi yang ditransmisikan, yaitu "emosi yang dimainkan oleh pemain atau komposer").

Perasaan dan emosi yang diterima bisa sangat berbeda, dan ambiguitas kata-kata yang kita gunakan untuk menggambarkannya dapat memperdaya mesin: "ketika seseorang menggunakan tag 'benci, artinya lagu tersebut tentang kebencian atau bahwa dia membenci lagu itu", kata Paiva.

Pada saat ini, sistem Mer terbaik baru sekitar 70% akurat dalam mengenali emosi statis dalam cuplikan musik 30 detik.

Artinya, jika Anda memberi algoritme itu 10 cuplikan lagu, tiga akan dilabeli dengan emosi yang salah.

Itu jauh dari sempurna, dan melabeli lagu dengan hanya satu hal membuatnya kehilangan banyak informasi tentang perubahan emosional yang terjadi sepanjang lagu.

Tetapi kinerja sistem Mer terus meningkat sepanjang waktu. Dalam waktu lima atau 10 tahun mereka akan jauh lebih baik.

Teknologi ini memiliki banyak kegunaan potensial, menurut Paiva, dari terapi musik hingga game dan iklan. "Sistem Mer dapat digunakan untuk menemukan lagu yang cocok dengan konteks emosional yang diinginkan untuk beberapa produk atau adegan, atau untuk menggunakan informasi audio untuk mengenali emosi dalam video."

"Kita ada pada saat yang sangat menarik," kata Nicola Dibben, Profesor Musik di Universitas Sheffield.

Data dari layanan streaming online seperti Spotify, Pandora, Tidal, dan YouTube menawarkan peluang menarik bagi para peneliti yang ingin mengetahui bagaimana karakteristik akustik musik menimbulkan emosi tertentu pada pendengar, katanya.

Dan lautan data yang dihasilkan oleh layanan tersebut berpotensi menjadi sumber berharga untuk menggali wawasan tentang "kebiasaan mendengarkan musik yang sebenarnya", yaitu, "apa yang orang-orang lakukan dengan musik pada saat tertentu", dari bernyanyi di kamar mandi atau menangis karena putus cinta.

Itu jika perusahaan-perusahaan berbagi data mereka dengan peneliti.

Mengintip jiwa

Ada sisi gelap dari data ini. Dalam pidato awal tahun ini, kepala ekonom Bank of England Andy Haldane mengutip sebuah studi di Claremont Graduate University yang menunjukkan ada hubungan antara sentimen lagu dan kepercayaan konsumen.

Para peneliti mengambil data sentimen musik dan lirik dari lagu-lagu di 100 tangga lagu teratas dari berbagai sumber, termasuk Spotify, untuk menunjukkan bahwa fluktuasi rata-rata suasana lagu dapat memprediksi berbagai indeks keuangan.

Selera orang-orang dalam mendengarkan musik bergeser seiring dengan pergerakan pasar.

Itu ide yang luar biasa, tetapi logikanya masuk akal: kita lebih cenderung mendengarkan lagu-lagu bahagia di masa-masa indah, dan lagu sedih di masa-masa sulit.

Dalam pidatonya, ekonom itu melanjutkan: "Mengapa berhenti di musik? Selera orang-orang pada buku, TV, dan radio juga dapat menjadi jendela tempat kita mengintip jiwa mereka."

Bahasa Haldane agak Orwellian. Apakah Anda mau memberikan akses ke jiwa Anda untuk serangkaian perusahaan streaming, penyiar, dan penerbit? Apakah Anda ingin mereka menjual data Anda ke pihak ketiga? Bagaimana jika jiwamu diretas?

Sangat mudah untuk mendramatisir secara berlebihan, tetapi ketersediaan data dalam jumlah besar yang dikumpulkan oleh musik dan situs streaming lainnya memang menimbulkan pertanyaan privasi.

Terutama ketika itu digabungkan dengan data pengguna lain seperti lokasi, atau digunakan untuk menjual produk kepada kita.

Pertanyaan-pertanyaan ini bisa menjadi lebih mendesak jika sistem Mer belajar menebak apa yang mungkin terjadi dalam pikiran pendengar individu, untuk mendeteksi emosi yang dirasakan, daripada hanya memberi label untuk setiap lagu.

"Tidak seperti vinil atau kaset, objek musik baru ini secara aktif mendengarkan kita juga," tulis Richard Purcell dan Richard Randall tentang layanan streaming.

Layanan streaming mengumpulkan data tentang kebiasaan kita mendengarkan, dan banyak yang berpendapat, mereka juga mengubah kebiasaan kita melalui algoritme rekomendasi.

Jendela ke jiwa Anda mungkin mengungkapkan lebih dari yang Anda pikirkan.

Penelitian psikologi musik menunjukkan selera musik berkorelasi dengan ciri-ciri kepribadian.

Jika Anda suka musik yang sedih, Anda mungkin akan lebih terbuka mengalami pengalaman baru dan lebih berempati, daripada seseorang yang lebih suka lagu keras.

Tetapi ada suatu paradoks: musik yang sedih umumnya menyenangkan untuk didengarkan.

Musik mendayu tidak membuat Anda sedih seperti bagaimana musik yang membahagiakan dapat menghibur Anda, atau musik piano yang menakutkan dalam film horor dapat membuat Anda takut.

Banyak teori tentang mengapa musik sedih memberi kita kesenangan yang paradoksal ini.

Apakah lagu-lagu sedih menyediakan katarsis, ruang yang aman untuk berkubang dalam kesengsaraan? Apakah mereka menawarkan semacam terapi, alasan untuk refleksi diri?

Kita belum tahu, tetapi kunci untuk memahami mengapa musik menggerakkan kita jelas lebih kompleks daripada hanya melabeli lagu dengan empat emosi dasar.

Mengurai jalinan perasaan emosional manusia adalah tantangan besar yang harus dipelajari mesin jika kita menginginkannya.

Mungkin orang-orang hanya menikmati perasaannya, menikmati dunia yang larut dalam musik, menikmati saat terhanyut dan berair mata.

Anda bisa membaca versi asli tulisan ini di BBC Culture dengan judul Can data reveal the saddest song ever.