Politechnika Warszawska - Centralny System Uwierzytelniania
Strona główna

Wyszukiwanie informacji muzycznych

Informacje ogólne

Kod przedmiotu: 103A-INIMU-MSP-WIMU
Kod Erasmus / ISCED: (brak danych) / (brak danych)
Nazwa przedmiotu: Wyszukiwanie informacji muzycznych
Jednostka: Wydział Elektroniki i Technik Informacyjnych
Grupy: ( Analiza multimediów )-Informatyka w multimediach-mgr.-EITI
( Przedmioty techniczne )---EITI
( Przedmioty zaawansowane techniczne )--mgr.-EITI
( Zastosowania )-Sztuczna inteligencja-mgr.-EITI
Punkty ECTS i inne: 4.00 Podstawowe informacje o zasadach przyporządkowania punktów ECTS:
  • roczny wymiar godzinowy nakładu pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się dla danego etapu studiów wynosi 1500-1800 h, co odpowiada 60 ECTS;
  • tygodniowy wymiar godzinowy nakładu pracy studenta wynosi 45 h;
  • 1 punkt ECTS odpowiada 25-30 godzinom pracy studenta potrzebnej do osiągnięcia zakładanych efektów uczenia się;
  • tygodniowy nakład pracy studenta konieczny do osiągnięcia zakładanych efektów uczenia się pozwala uzyskać 1,5 ECTS;
  • nakład pracy potrzebny do zaliczenia przedmiotu, któremu przypisano 3 ECTS, stanowi 10% semestralnego obciążenia studenta.
Język prowadzenia: polski
Jednostka decyzyjna:

103000 - Wydział Elektroniki i Technik Informacyjnych

Kod wydziałowy:

WIMU

Numer wersji:

1

Skrócony opis:

Przedmiot „Wyszukiwanie Informacji Muzycznych” (Music Information Retrieval) skierowany jest do studentów, którzy chcą poznać techniki analizy i generowania muzyki za pomocą technik komputerowych. Music Information Retrieval (MIR) jest interdyscyplinarnym, dojrzałym, istotnym naukowo i komercyjnie polem badawczym, wykorzystującym szereg metod obliczeniowych i algorytmicznych - od klasycznych metod cyfrowego przetwarzania sygnałów, przez tradycyjne techniki sztucznej inteligencji aż po dominujące obecnie podejścia oparte o deep learning (głębokie uczenie maszynowe z wykorzystaniem sieci neuronowych).

Zajęcia projektowe związane z przedmiotem mają na celu implementację i wykorzystanie w praktyce poznanych algorytmów, a także przeprowadzenie eksperymentów z omawianej dziedziny lub budowę oprogramowania wspomagającego takie eksperymenty.

Pełny opis:

Celem przedmiotu jest zapoznanie się oraz nabycie praktycznych umiejętności z dziedziny Music Information Retrieval (MIR) - interdyscyplinarnego pola badawczego obejmującego generowanie, analizę i obróbkę treści muzycznych oraz budowę oprogramowania związanego tymi zagadnieniami.

Wykład:

Podstawy teorii muzyki z perspektywy słuchacza i inżyniera: budowa utworu, harmonia, rytm, gatunki muzyczne, instrumentacja, produkcja muzyki. Cyfrowe reprezentacje muzyki (formaty audio, formaty symboliczne: MIDI, ABC, MXML, tabulatury, cyfrowy zapis nutowy). Transformaty istotne z punktu widzenia MIR: STFT, CQT (i ich warianty). Cechy muzyki interesujące z punktu widzenia MIR: cechy widmowe, cechy oparte na analizie audio, spektrogramy, chromagramy, głębokie osadzenia neuronowe. Zbiory danych dostępne na potrzeby MIR. Klasyczne zagadnienia sztucznej inteligencji w MIR: klasyfikacja muzyki według różnych kryteriów (gatunek, emocje, instrumenty, epoka lub dekada powstania, styl artysty…), tagowanie muzyki, śledzenie rytmu, śledzenie melodii, śledzenie akordów, transfer stylu, transkrypcja. Współczesne zagadnienia sztucznej inteligencji w MIR: separacja źródeł (faktoryzacja macierzy, sieci neuronowe U-Net), automatyczne miksowanie, representation learning, synteza (w szczególności synteza różniczkowalna z wykorzystaniem sieci neuronowych). Generowanie muzyki za pomocą sztucznej inteligencji: modele Markowa, generatywne modele językowe (formaty symboliczne - automatyczna kompozycja), modele generujące surowe audio. Metody wielomodalne. Systemy rekomendujące muzykę, collaborative filtering, content-based filtering, modele sekwencyjne. Najnowsze osiągnięcia i bieżące problemy MIR (np. wykorzystanie sieci neuronowych typu transformer, modeli dyfuzyjnych, generowanie muzyki na podstawie jej opisu słownego, sterowalność i parametryzacja istniejących metod).

Projekt:

Praktyczne wykorzystanie technik przetwarzania i generowania muzyki. Praca z dziedzinowymi zbiorami danych. Prowadzenie interdyscyplinarnych eksperymentów naukowych, odtworzenie eksperymentów opisanych w literaturze, krytyczna analiza rezultatów. Uczenie modeli predykcyjnych i generatywnych na danych muzycznych. Budowa systemu rekomendacyjnego. Budowa oprogramowania użytkowego wspierającego eksperymenty MIR (np. annotation tools, wybór i edycja próbek generowanych przez modele, wizualizacja rezultatów, analiza treści). Biblioteki librosa, mirdata, mir_eval, MusPy, pretty_midi, music21, pedalboard, torchaudio, audiomentations, PyTorch, Tensorflow, scikit-learn, hmmlearn, spotlight, LightFM, implicit, surprise, Essentia. Modele OpenL3, VGGish, CLMR, FCN, CRNN, MusiCNN, PixelRNN, WaveNet, sieci prototypowe (few-shot i zero-shot learning), Jukebox (VQ-VAE), Spotify BasicPitch, modele oparte o architekturę GPT i BERT. Wtyczki VST (i inne). SonicVisualizer, Google Magenta Studio, sox.

Literatura:

Literatura i oprogramowanie:

  1. Müller, Meinard. Fundamentals of music processing: Audio, analysis, algorithms, applications. Vol. 5. Cham: Springer, 2015.
  2. Müller, Meinard, et al. "Signal processing for music analysis." IEEE Journal of selected topics in signal processing 5.6 (2011): 1088-1110.
  3. Van den Oord, Aaron, Sander Dieleman, and Benjamin Schrauwen. "Deep content-based music recommendation." Advances in neural information processing systems 26 (2013).
  4. Tzanetakis, George, and Perry Cook. "Musical genre classification of audio signals." IEEE Transactions on speech and audio processing 10.5 (2002): 293-302.
  5. Schedl, Markus, Emilia Gómez, and Julián Urbano. "Music information retrieval: Recent developments and applications." Foundations and Trends® in Information Retrieval 8.2-3 (2014): 127-261.
  6. Downie, J. Stephen. "Music information retrieval." Annual review of information science and technology 37.1 (2003): 295-340.
  7. Modrzejewski, Mateusz et al. "Application of deep neural networks to music composition based on MIDI datasets and graphical representation." Artificial Intelligence and Soft Computing: 18th International Conference, ICAISC 2019, Zakopane, Poland, June 16–20, 2019, Proceedings, Part I 18. Springer International Publishing, 2019.
  8. Modrzejewski, Mateusz et al. "Transfer Learning with Deep Neural Embeddings for Music Classification Tasks." Artificial Intelligence and Soft Computing: 21st International Conference, ICAISC 2022, Zakopane, Poland, June 19–23, 2022, Proceedings, Part I. Cham: Springer International Publishing, 2023.
  9. Wybrane pozycje z konferencji ISMIR (International Society for Music Information Retrieval), ICASSP (International Conference on Acoustics, Speech and Signal Processing) i czasopism podawane na stronie przedmiotu

Zajęcia w cyklu "rok akademicki 2023/2024 - sem. letni" (w trakcie)

Okres: 2024-02-19 - 2024-09-30
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Projekt, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Mateusz Modrzejewski
Prowadzący grup: Mateusz Modrzejewski
Lista studentów: (nie masz dostępu)
Zaliczenie: Ocena łączna
Jednostka realizująca:

103200 - Instytut Informatyki

Zajęcia w cyklu "rok akademicki 2023/2024 - sem. zimowy" (zakończony)

Okres: 2023-10-01 - 2024-02-18
Wybrany podział planu:
Przejdź do planu
Typ zajęć:
Projekt, 30 godzin, 30 miejsc więcej informacji
Wykład, 30 godzin, 30 miejsc więcej informacji
Koordynatorzy: Mateusz Modrzejewski
Prowadzący grup: Mateusz Modrzejewski
Lista studentów: (nie masz dostępu)
Zaliczenie: Ocena łączna
Jednostka realizująca:

103200 - Instytut Informatyki

Opisy przedmiotów w USOS i USOSweb są chronione prawem autorskim.
Właścicielem praw autorskich jest Politechnika Warszawska.
pl. Politechniki 1, 00-661 Warszawa tel: (22) 234 7211 https://pw.edu.pl kontakt deklaracja dostępności USOSweb 7.0.0.0-7 (2024-03-18)