Mendeteksi Pemberian Efek Audio

Summary

Efek Audio banyak digunakan pada pengolahan sinyal audio digital untuk keperluan dibidang musik. Teknologi ini digunakan untuk menambahkan efek tertentu pada sinyal audio atau memodifikasi sinyal audio. Efek audio yang akan kita bahas yaitu echo dan reverb.

Summary

Efek Audio banyak digunakan pada pengolahan sinyal audio digital untuk keperluan dibidang musik. Teknologi ini digunakan untuk menambahkan efek tertentu pada sinyal audio atau memodifikasi sinyal audio. Efek audio yang akan kita bahas yaitu echo dan reverb.

Description

Seorang musisi biasanya memberikan efek audio pada musik yang dibuatnya agar lebih enak didengar. Dalam musik yang saya dengar di rekaman  dari suatu band musik membuat saya ingin menemukan efek dan parameter yang tepat untuk mengetahui input audio dan memberi tahu saya efek mana yang digunakan dan bagaimana harus mengatur berbagai parameternya. Maka dari itu dilakukan Deteksi efek audio.

Saya akan mencoba memperkirakan 2 parameter berbeda secara bersamaan :

• Parameter  dari reverb effect (0,0-1,0)
• Parameter dari echo effect (0,0-1,0)

Datasets

Sampel musik yang digunakan memiliki jenis musik akustik gitar, mencakup berbagai gaya permainan (petik, petikan cepat, harmonik, petikan jari, dan lain-lain.). Untuk menguji sampel musik akan diambil klip dan menerapkan reverb dan echo dalam jumlah acak ke setiap klip.

Metode

Saat menerapkan deep learning ke audio, Spektrogram biasanya digunakan. Spektogram adalah representasi visual dari klip audio dengan waktu pada sumbu horizontal, frekuensi pada sumbu vertikal, dengan amplitudo yang diwakili oleh intensitas piksel. Dimana  menggunakan dua  convolutional neural networknal yang berbeda dalam upaya menyimpulkan pengaturan echo dan reverb menggunakan gambar spektogram.

Data Visualisasi

• Echo dan Reverb dari sampel klip

• Tampilan spectrogram dari klip diatas (original dan dengan efek suara)

Saat membandingkan aslinya dengan spektogram "max echo", kita dapat melihat penggandaan bentuk dalam visual "max echo". Pada visual "max reverb", kita bisa melihat bahwa visualnya terlihat sedikit berbeda. Dapat dilihat kombinasi dari efek ini dalam visual "max echo & reverb". Dengan melihat spektogram ini untuk memperkirakan pengaturan parameter. Dari sini dapat terlihat  manifestasi visual dari efek ini sangat baik.

• Tampilan 4 spektogram dengan berbagai tingkat echo dan tanpa reverb.

Diatas, kita dapat melihat bahwa penggandaan bentuk spektogram menjadi lebih menonjol saat kita meningkatkan gema. Sekali lagi, ini tampak terlihat bahwa tingkat echo dapat disimpulkan dari spectrogram.

• Tampilan 4 spektogram dengan berbagai tingkat reverb

Demikian pula, kita dapat melihat bahwa peningkatan saat kita menaikkan reverb.

Tampilan 3 versi berbeda dari spektrogram dengan max echo:

1. Sebuah spektogram yang telah diubah menjadi desibel dan dibentuk kembali
2. Spektogram mentah tanpa pembentukan ulang atau konversi ke desibel
3. spektogram dengan telah dibentuk ulang menjadi (256.256) tetapi tidak diubah menjadi desibel

Meskipun gambar pertama paling mudah dicerna secara visual untuk manusia, model machine learning biasanya bekerja lebih baik dengan spektrogram yang belum dikonversi ke desibel.

Dapat dilihat penggandaan bentuk pada gambar ke-3 yang menunjukkan bahwa informasi yang diperoleh dapat diidentifikasi.

Portofolio ini dibuat untuk memenuhi tugas mata kuliah Digital Signal Processing dan High Perfomance Computing