- require "base64" ~ "\xEF\xBB\xBF" - def quellen opts - etc = opts.key? :etc - if etc - opts.delete :etc - etc = "\n" - else - etc = '' - "#{opts.map {|k, v| "#{k}" }.join "\n"}#{etc}" - def link link - "#{link}" - def import_data file - mime_type = IO.popen(["file", "--brief", "--mime-type", file], in: :close, err: :close) { |io| io.read.chomp } - content = Base64.urlsafe_encode64 File.read( file) - "data:#{mime_type};base64,#{content}" !!! 5 %html(lang='de') %head -#%meta(charset="utf-8") %title “Düsterkeit” in der Musik: Physikalische Entsprechungen und Vorhersagemodelle -#%link(rel="stylesheet" href="fonts/Roboto.css") -#%link(rel="stylesheet" href="fonts/RobotoSlab.css") -#%link(rel="stylesheet" href="fonts/PT_Mono.css") -#%link(rel="stylesheet" href="fonts/PT_Sans.css") -#%link(rel="stylesheet" href="fonts/Vollkorn.css") -#%link(rel="stylesheet" href="fonts/Asset.css") -#%link(rel="stylesheet" href="fonts/WithinDestruction.css") -#%link(rel="stylesheet" href="fonts/BlackDahlia.css") -#%link(rel="stylesheet" href="fonts/ThroughStruggleDEMO.css") -#%link(rel="stylesheet" href="fonts/TheDefiler.css") %link(rel="stylesheet" href="fonts/Cardo.css") %link(rel="stylesheet" href="fonts/Italianno.css") -#%link(rel="stylesheet" href="fonts/CinzelDecorative.css") %link(rel="stylesheet" href="style.css") %meta(name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=no") %body %header(style="") %figure.logos<> %img#uni-logo(src="files/Uni_Logo_2016_ausschnitt.gif") %img#tagungs-logo(style="float:right" src="files/daga-2018-logo.png") %div DAGA %br<> Technische Universität München %br<> 19. März 2018 %br<> \..22. März 2018 -#.grabstein .grabstein-was DAGA .grabstein-wo Technische Universität München .grabstein-von ✦ 19. März 2018 .grabstein-bis ✝ 22. März 2018 %img(style="height:7cm;float:right;margin-top:3.5cm" alt="Dunkle Nacht" src="files/Candle.png") %h1 Düsterkeit in der Musik: -#%br<> Physikalische Entsprechungen und Vorhersagemodelle %p#authors<> %span.author(data-mark="1")<> Isabella Czedik-Eysenberg %span.author(data-mark="1")<> Christoph Reuter %span.author(data-mark="2")<> Denis Knauf %p#institutions<> %span.institution(data-mark="1")<> Institut für Musikwissenschaft, Universität Wien %span.institution(data-mark="2")<> Informatik, Technische Universität Wien %main #column1 %section#hintergrund %h1 1. Hintergrund %p Von Dowlands Songs of Darkness bis hin zu Genres wie Gothic oder Doom Metal ist Düsterkeit eine Dimension von Musik, die sich auch abseits melan-
cholischer Texte im Klangbild niederschlagen kann. %p In musikalischen Adjektiv-Klassifikationen bildete der Begriff düster (dark) einen gemeinsamen Cluster mit Trauer-bezogenen Adjektiven (etwa gloomy, sad, depressing) #{quellen Hevner: 1936}. Jene Verknüpfung wurde auch in späteren Arbeiten zur automatisierten musikalischen Affektdetektion aufgegriffen #{quellen 'Li & Ogihara'=>2003}. Dies würde die Relevanz von Klangattributen, welche mit dem Ausdruck von Trauer assoziiert sind – etwa Moll-Tonarten oder auch tiefere Grundtonhöhen, geringe Melodiebewegungen und ein düsteres Timbre #{quellen Huron: 2008} – nahelegen. %p Von der Klangfarbenforschung ausgehend wird Helligkeit (messbar an der spektralen Verteilung eines Klanges) häufig als eine zentrale perzeptuelle Klangfarbendimension angesehen #{quellen 'Wedin & Goude'=>1972, Bismarck: 1974, Grey: 1975, 'Siddiq et al.'=>2014}. Dies wirft u.a. die Frage auf, ob es hierbei einen (umgekehrt proportionalen) Zusammenhang gibt, bzw. welche anderen zusätzlichen Faktoren zu einer klanglichen Düsterkeitsbewertung beitragen. %section#fragestellung %h1 2. Fragestellungen und Ziele %ol %li Wie lässt sich das Wahrnehmungskonzept klanglicher Düsterkeit anhand von Audiomerkmalen charakterisieren? %li Korreliert die empfundene klangliche Düsterkeit umgekehrt proportional mit klangfarblicher Helligkeit? %li Ziel ist die Erstellung eines Modells zur automatischen Vorhersage der wahrgenommenen Düsterkeit von Musikstücken. %section#methoden %h1 3. Methoden %p 150 Musikbeispiele aus 10 unterschiedlichen Subgenres der Bereiche Metal, Techno, Gothic und Pop wurden anhand von Hörerstatistiken der Internetplattform LastFM selektiert. Die Refrains dieser Stücke wurden 40 Versuchspersonen zur Bewertung dargeboten, um eine Ground Truth für die Wahrnehmung der Düsterkeit von Musikbeispielen zu erheben. Unter Einsatz von Essentia #{quellen 'Bogdanov et al.'=> 2013}, MIRtoolbox #{quellen 'Lartillot & Toiviainen'=> 2007}, Loudness Toolbox #{quellen Genesis: 2009} und TSM Toolbox #{quellen 'Driedger & Müller'=>2014} wurden 230 Signaleigenschaften über die spektrale Verteilung, zeitliche und dynamische Klangfaktoren gewonnen. Diese wurden mittels Machine Learning-Verfahren unter Kreuzvalidierung ausgewertet und kombiniert, um auf Basis der Hörversuchsdaten Vorhersagemodelle zu erstellen. %section#schlussfolgerungen -#(style="width:44.5%;display:inline-block;float:left") %h1 5. Diskussion/Schlussfolgerungen %p Es konnte anhand von Audiomerkmalen ein Modell zur Vorhersage einer Bewertung musikalischer Düsterkeit aufgestellt werden (Korrelation r = 0,80, p < 0,01). %p Eine Antiproportionalität mit klangfarblicher Helligkeit ließ sich mit gängigen Maßen hierfür nicht nachweisen. %p Eine Gleichsetzung mit traurig scheint nicht 1:1 möglich zu sein, sehr wohl finden sich aber starke Zusammenhänge (etwa Moll-Harmonik). %p Das Konzept soll in folgenden Untersuchungen genauer in Hinblick auf das Interrater-Agreement und den Zusammenhang zu anderen Wahrnehmungskonzepten betrachtet werden. #column2 %section#ergebnisse1(style="height:95.4em") %h1 4. Ergebnisse %figure.right(style="width:70%") %img(alt='Verwelkter Mohn' src='files/violin_genre_darkMean.svg') %p Es zeigt sich ein Bezug zwischen dem Genre und der durchschnittlichen Düsterkeitsbewertung der jeweiligen Stimuli. %figure.right(style="width:35%") %img(alt='Ernstes Indigo' src='files/scatter_spectral_centroid_essentia_darkness.svg') %p Eine Antiproportionalität zu klangfarblicher Helligkeit lässt sich (mit der vorliegenden Messmethode) nicht nachweisen. Es liegt im Gegenteil sogar eine leicht positive Korrelation vor – womöglich u.a. bedingt durch erhöhte dissonante Klanganteile im Hochfrequenzbereich (z.B. Schlagzeugvorkommen). Werden die perkussiven Signalanteile zuvor ausgefiltert, verringert sich dieser Effekt bereits deutlich. %figure.nobrtd(style="width:26em") :markdown Merkmal|r|p ---|---|--- Spectral Centroid|0,3340|< 0,0001 Hochfrequenzanteil (> 1500 Hz)|0,1526|0,0631 Spectral Centroid (harmonischer Teil)|0,2094|0,0101 Hochfrequenzanteil (harmonischer Teil)|0,1270|0,1215 {:.merkmale} %figcaption Korrelation der durchschnittlichen Düsterkeitsbewertung mit Maßen für klangfarbliche Helligkeit. %p Zwischen den 30 am düstersten bzw. am wenigsten düster bewerteten Klangbeispielen zeigen sich charakteristische Unterschiede in der spektralen Verteilung (insbesondere im Bereich der Gammatone-Filterbank-Bänder 1, 4 und 5). %figure.left(style="width:38%") %img(alt='Trauriges Purpur' src='files/violin_keyEdma_darkMean_blaugelb.svg') %figure.left :markdown Merkmal|r|p ---|---|--- RMS Gammatone 1|- 0,3989|< 0,0001 RMS Gammatone 4|- 0,3427|< 0,0001 RMS Gammatone 5|- 0,3126|0,0001 {:.merkmale} %figure.right %img(style="height:6em" alt="lilien grau" src="files/meanspectra_10khz_600dpi.png") %p(style="clear:right") Ein deutlicher Zusammenhang zeigt sich mit der Tonart der jeweiligen Ausschnitte: Moll-Beispiele wurden im Durchschnitt als düsterer bewertet als Stücke in Dur-Tonarten (p < 0.0001 laut t-Test). %p(style="clear:right") Teilweise eher statische Tonchroma-Veränderungen im Fall der als düster bewerteten Beispiele könnten die Theorie geringere Tonhöhenbewegungen in Zusammenhang mit einem Ausdruck von Trauer bestätigen (siehe z.B. Chromagramm Sunn 0)))). %figure.right(style="width:58.2%") %img(style="width:49%" alt='Schrumpeliges Gelb' src='files/chromagramm_sunn.svg') %img(style="width:49%" alt='Vergängliches Weiß' src='files/chromagramm_abba.svg') %p(style="clear:left;max-width: 50%") Der stärkste Zusammenhang lässt sich zur Spectral Complexity feststellen, welche die Komplexität des Signals in Bezug auf seine Frequenzkomponenten anhand der Anzahl spektraler Peaks im Bereich zwischen 100 Hz und 5 kHz beschreibt. Dies ist interessant mit den Ergebnissen von #{quellen 'Laurier et al.' => 2010} in Bezug zu setzen, welche beobachteten, dass entspannte (relaxed) Stücke eine niedrigere spektrale Komplexität aufweisen, fröhliche (happy) Stücke jedoch eine leicht höhere spektrale Komplexität als nicht fröhliche. %figure.left(style="width:59.83%;position:relative") %img(alt='Totes Grün' src='files/scatter_model8_mit_beschriftung_gross.svg') %img(alt="Farbiges Beispiel" style="width:5cm;opacity:0.7;position:absolute;top:0;left:3cm" src="files/bat.png") %p(style="clear:right") Nach sequentieller Merkmalsauswahl wurden 8 Signaldeskriptoren zur Bildung eines Modells zu Rate gezogen: :markdown Merkmal|r|p ----|----|---- Spectral Complexity (mean)| 0,6224| < 0,0001 HPCP Entropy (mean)| 0,5355| < 0,0001 Dynamic Complexity| - 0,4855| < 0,0001 Onset Rate| - 0,4837| < 0,0001 Pitch Salience| 0,4835| < 0,0001 MFCC 3 (mean)| 0,4657| < 0,0001 Spectral Centroid (mean)| 0,3340| < 0,0001 RMS Energy Gammatone 4| - 0,3427| < 0,0001 {:.merkmale} %p Anhand dieser wurde unter 5-facher Kreuzvalidierung ein lineares Regressionsmodell zur Abschätzung der Düsterkeitsbewertung erstellt. :markdown Merkmal|Wert ----|---- Root-mean-squared error (RMSE)|0,81 Bestimmtheitsmaß (R2)|0,60 Mean Squared Error (MSE)|0,65 Mean Average Error (MAE)|0,64 Korrelation (insgesamt)|0,7978 {:.merkmale} %div(style="clear:left") .clear %footer %section#literatur -#(style="width:44.5%;display:inline-block;float:right") %h1 6. Literatur %ul.literatur %li %span.author Bismarck, G. v. %span.year 1974 %span.title Sharpness as an attribute of the timbre of steady sounds %span.book Acta Acustica united with Acustica 30.3 %span.pages 159–172 %li %span.author Bogdanov, D., Wack N., Gómez E., Gulati S., Herrera P., Mayor O., et al. %span.year 2013 %span.title ESSENTIA: an Audio Analysis Library for Music Information Retrieval %span.herausgeber International Society for Music Information Retrieval Conference (ISMIR'13) %span.pages 493-498 %li %span.author Driedger, J. & Müller, M. %span.year 2014 %span.title TSM Toolbox: MATLAB Implementations of Time-Scale Modification Algorithms %span.herausgeber Proc. of the International Conference on Digital Audio Effects %li %span.author Genesis %span.year 2009 %span.title Loudness toolbox %span.link %a(href="http://www.genesis-acoustics.com/en/index.php?page=32") http://www.genesis-acoustics.com/en/index.php?page=32 %li %span.author Grey, J.M. %span.year 1975 %span.title An Exploration of Musical Timbre %span.herausgeber Stanford University, CCRMA Report No.STAN-M-2 %li %span.author Hevner, K. %span.year 1936 %span.title Experimental studies of the elements of expression in music %span.herausgeber The American Journal of Psychology, 48(2) %span.pages 246-268 %li %span.author Lartillot, O., & Toiviainen, P. %span.year 2007 %span.title A Matlab toolbox for musical feature extraction from audio %span.herausgeber International Conference on Digital Audio Effects, Bordeaux %span.pages 237-244 %li %span.author Laurier, C., Meyers, O., Serrà, J., Blech, M., Herrera, P., & Serra, X. %span.year 2010 %span.title Indexing music by mood: Design and integration of an automatic content-based annotator %span.herausgeber Multimedia Tools and Applications, 48(1) %span.pages 161-184 %span.link %a(href="http://dx.doi.org/10.1007/s11042-009-0360-2") http://dx.doi.org/10.1007/s11042-009-0360-2 %li %span.author Li,T., Ogihara,M. %span.year 2003 %span.title Detecting emotion in music %span.herausgeber 4th ISMIR Washington & Baltimore %span.pages 239-240 %li %span.author Huron, D. %span.year 2008 %span.title A comparison of average pitch height and interval size in major-and minor-key themes %span.herausgeber Empirical Musicology Review, 3 %span.pages 59-63 %li %span.author Siddiq,S. et al. %span.year 2014 %span.title Kein Raum für Klangfarben - Timbre Spaces im Vergleich %span.herausgeber 40. DAGA %span.pages 56-57 %li %span.author Wedin, L. & Goude, G. %span.year 1972 %span.title Dimension analysis of the perception of instrumental timbre %span.herausgeber Scandinavian Journal of Psychology 13.1 %span.pages 228–240 .clear