Unsere Sinne erlauben uns die Aufnahme sehr unterschiedlicher Umweltinformationen und unterscheiden sich durch eine Vielzahl modalspezifischer Besonderheiten. Das Auge ist eher auf die Wahrnehmung räumlicher Strukturen und das Ohr auf die Wahrnehmung zeitlicher Vorgänge spezialisiert. Wir sind jedoch nur in den seltensten Fällen mit Sinnesreizen einer einzigen Modalität konfrontiert, erschließen wir unsere Umwelt doch mit fünf Sinnen und somit multimodal. Konsequenterweise sind unsere Sinnesorgane auch nicht, wie oft angenommen, voneinander isoliert, denn erst ihr synergetisches Zusammenspiel hat dem Menschen seinen evolutionären Vorteil verschafft. Unabhängig von der Modalität dominiert in der jeweiligen Situation der verlässlichste Stimulus alle anderen – liefert ein Sinn zu wenig oder unklare Informationen, so treten andere Sinne als Korrektiv auf. Die Integration multimodaler Sinnesreize in sinnvolle Einheiten wird als multimodale Integration bezeichnet und findet teilweise schon auf neuronaler Ebene und somit unbewusst und passiv statt. Eine weitere oft angewandte Möglichkeit der Verknüpfung von Reizen über Sinnesgrenzen hinweg ist als intermodale Analogie bekannt. Hier wird bewusst und aktiv nach einer amodalen Eigenschaft gesucht, die in mehreren Sinnesbereichen vorhanden ist, etwa Intensität oder Helligkeit, um Analogien über die Sinnesgrenzen hinweg zu bilden. Diese hier in aller Kürze vorgestellten Mechanismen sind natürlich nur zwei Elemente im Zusammenwirken von Hören und Sehen. In der Reflexion der audiovisuellen Wahrnehmung sollten sie zumindest von der genuinen Synästhesie und anderen assoziativen oder emotionalen Verknüpfungen von Bild und Ton unterschieden werden.