Die Sprachwissenschaft nutzt den Begriff ›multimodaler Text‹, um Kommunikationsformen zu bezeichnen, in denen verschiedenen Zeichensysteme in einem kohärenten und kohäsiven Ganzen verflechtet erscheinen. In einem Film interagieren Sprache, Bild und Musik. In einem Chat kommunizieren wir mit Sprache und Bildern. In einem Lied oder in einem anderen vokalen Genre hängen Sprache und Musik besonders eng zusammen, da beide den akustischen Kanal nutzen.

Das Zeichensystem Sprache wird heute in der Linguistik als Zusammenspiel von verschiedenen artikulatorischen Ebenen verstanden. Dazu gehört neben der Wortebene auch die Sprechtonhöhe. In Koordination mit der Wortebene erfüllt die Sprechmelodie systematische Funktionen als Sprachzeichen. Diese Zeichen tragen maßgeblich zur Konstruktion der Äußerungsbedeutung bei.

In einem Lied ersetzt die musikalische Tonhöhenanordnung die natürliche Sprechmelodie. Die Funktionen, die die Sprechmelodie in gesprochener Sprache übernimmt, können damit auf die Gesangsmelodie übertragen werden. Damit beeinflusst die musikalische Vertonung die Äußerungsbedeutung. Da Hörende ihr sprachliches Wissen in den Wahrnehmungsprozess einbinden, ist dieser Einfluss zum Teil sprachlich determiniert.

Doch anders als Sprache, operiert das Zeichensystem Musik mit Mehrstimmigkeit. Gesangsmelodien sind in einem kontrapunktischen und harmonischen Kontext eingebettet. Damit steigt die Komplexität der Interaktionen zwischen den Zeichensystemen von Sprache und Musik.

Zur differenzierten Betrachtung solcher multimodalen Interaktionen ist ein transdisziplinärer Ansatz unumgänglich. Dieser Vortrag skizziert ein textlich-musikalisches Analysesystem, das Werkzeuge der Phonetik und Phonologie einbezieht. Deren Anwendung wird hier anhand von Rezitativen von J. S. Bach erprobt. Rezitative verwenden nur wenige Akkordtypen. Zudem stehen ihre Gesangsmelodien der Sprechmelodik besonders nahe. Daher bieten sie einen geeigneten Ausgangspunkt für die Entwicklung von multimodalen Analysetechniken.