Wyszukiwanie informacji muzycznych

103000 - Wydział Elektroniki i Technik Informacyjnych

WIMU

1

Przedmiot „Wyszukiwanie Informacji Muzycznych” (Music Information Retrieval) skierowany jest do studentów, którzy chcą poznać techniki analizy i generowania muzyki za pomocą technik komputerowych. Music Information Retrieval (MIR) jest interdyscyplinarnym, dojrzałym, istotnym naukowo i komercyjnie polem badawczym, wykorzystującym szereg metod obliczeniowych i algorytmicznych - od klasycznych metod cyfrowego przetwarzania sygnałów, przez tradycyjne techniki sztucznej inteligencji aż po dominujące obecnie podejścia oparte o deep learning (głębokie uczenie maszynowe z wykorzystaniem sieci neuronowych).

Zajęcia projektowe związane z przedmiotem mają na celu implementację i wykorzystanie w praktyce poznanych algorytmów, a także przeprowadzenie eksperymentów z omawianej dziedziny lub budowę oprogramowania wspomagającego takie eksperymenty.

Celem przedmiotu jest zapoznanie się oraz nabycie praktycznych umiejętności z dziedziny Music Information Retrieval (MIR) - interdyscyplinarnego pola badawczego obejmującego generowanie, analizę i obróbkę treści muzycznych oraz budowę oprogramowania związanego tymi zagadnieniami.

Wykład:

Podstawy teorii muzyki z perspektywy słuchacza i inżyniera: budowa utworu, harmonia, rytm, gatunki muzyczne, instrumentacja, produkcja muzyki. Cyfrowe reprezentacje muzyki (formaty audio, formaty symboliczne: MIDI, ABC, MXML, tabulatury, cyfrowy zapis nutowy). Transformaty istotne z punktu widzenia MIR: STFT, CQT (i ich warianty). Cechy muzyki interesujące z punktu widzenia MIR: cechy widmowe, cechy oparte na analizie audio, spektrogramy, chromagramy, głębokie osadzenia neuronowe. Zbiory danych dostępne na potrzeby MIR. Klasyczne zagadnienia sztucznej inteligencji w MIR: klasyfikacja muzyki według różnych kryteriów (gatunek, emocje, instrumenty, epoka lub dekada powstania, styl artysty…), tagowanie muzyki, śledzenie rytmu, śledzenie melodii, śledzenie akordów, transfer stylu, transkrypcja. Współczesne zagadnienia sztucznej inteligencji w MIR: separacja źródeł (faktoryzacja macierzy, sieci neuronowe U-Net), automatyczne miksowanie, representation learning, synteza (w szczególności synteza różniczkowalna z wykorzystaniem sieci neuronowych). Generowanie muzyki za pomocą sztucznej inteligencji: modele Markowa, generatywne modele językowe (formaty symboliczne - automatyczna kompozycja), modele generujące surowe audio. Metody wielomodalne. Systemy rekomendujące muzykę, collaborative filtering, content-based filtering, modele sekwencyjne. Najnowsze osiągnięcia i bieżące problemy MIR (np. wykorzystanie sieci neuronowych typu transformer, modeli dyfuzyjnych, generowanie muzyki na podstawie jej opisu słownego, sterowalność i parametryzacja istniejących metod).

Projekt:

Praktyczne wykorzystanie technik przetwarzania i generowania muzyki. Praca z dziedzinowymi zbiorami danych. Prowadzenie interdyscyplinarnych eksperymentów naukowych, odtworzenie eksperymentów opisanych w literaturze, krytyczna analiza rezultatów. Uczenie modeli predykcyjnych i generatywnych na danych muzycznych. Budowa systemu rekomendacyjnego. Budowa oprogramowania użytkowego wspierającego eksperymenty MIR (np. annotation tools, wybór i edycja próbek generowanych przez modele, wizualizacja rezultatów, analiza treści). Biblioteki librosa, mirdata, mir_eval, MusPy, pretty_midi, music21, pedalboard, torchaudio, audiomentations, PyTorch, Tensorflow, scikit-learn, hmmlearn, spotlight, LightFM, implicit, surprise, Essentia. Modele OpenL3, VGGish, CLMR, FCN, CRNN, MusiCNN, PixelRNN, WaveNet, sieci prototypowe (few-shot i zero-shot learning), Jukebox (VQ-VAE), Spotify BasicPitch, modele oparte o architekturę GPT i BERT. Wtyczki VST (i inne). SonicVisualizer, Google Magenta Studio, sox.

Literatura i oprogramowanie:

1. Müller, Meinard. Fundamentals of music processing: Audio, analysis, algorithms, applications. Vol. 5. Cham: Springer, 2015.
2. Müller, Meinard, et al. "Signal processing for music analysis." IEEE Journal of selected topics in signal processing 5.6 (2011): 1088-1110.
3. Van den Oord, Aaron, Sander Dieleman, and Benjamin Schrauwen. "Deep content-based music recommendation." Advances in neural information processing systems 26 (2013).
4. Tzanetakis, George, and Perry Cook. "Musical genre classification of audio signals." IEEE Transactions on speech and audio processing 10.5 (2002): 293-302.
5. Schedl, Markus, Emilia Gómez, and Julián Urbano. "Music information retrieval: Recent developments and applications." Foundations and Trends® in Information Retrieval 8.2-3 (2014): 127-261.
6. Downie, J. Stephen. "Music information retrieval." Annual review of information science and technology 37.1 (2003): 295-340.
7. Modrzejewski, Mateusz et al. "Application of deep neural networks to music composition based on MIDI datasets and graphical representation." Artificial Intelligence and Soft Computing: 18th International Conference, ICAISC 2019, Zakopane, Poland, June 16–20, 2019, Proceedings, Part I 18. Springer International Publishing, 2019.
8. Modrzejewski, Mateusz et al. "Transfer Learning with Deep Neural Embeddings for Music Classification Tasks." Artificial Intelligence and Soft Computing: 21st International Conference, ICAISC 2022, Zakopane, Poland, June 19–23, 2022, Proceedings, Part I. Cham: Springer International Publishing, 2023.
9. Wybrane pozycje z konferencji ISMIR (International Society for Music Information Retrieval), ICASSP (International Conference on Acoustics, Speech and Signal Processing) i czasopism podawane na stronie przedmiotu