von Julian Schmauch | Geschätzte Lesezeit: 3 Minuten
Riffusion KI Website

Riffusion KI Website  ·  Quelle: Riffusion

ANZEIGE

Riffusion KI erzeugt ganze Songs nur über die Eingabe einiger Worte. Und das geht fast ohne Verzögerung. Denn hier sitzt die aus Midjourney und Stable Diffusion bekannte Technologie dahinter. Müssen sich Songwriter Sorgen machen? Ist hier der perfekte Melodieerzeuger am Werk? Wir haben uns die künstliche Musikintelligenz einmal näher angesehen und -gehört. Und haben ein Urteil gefällt. 

ANZEIGE

So funktioniert die Riffusion KI für euch

Der Einstieg ist denkbar einfach. Denn auf der Website von Riffusion KI gibt man in einem Textfeld seine Idee ein. Damit erzeugt die KI dann in einer Warteliste die musikalische Idee. Wir probieren möglichst schräge Kombinationen aus. Denn die Engine soll ja kreativ werden. So haben wir „Rammstein Jazz„, „Schlager IDM„, „LoFi Prog Hyperpop“ oder auch „Pavarotti Gangsta Rapeingegeben. Und die Ergebnisse sprechen eine deutliche Sprache. Denn was hier zu hören ist, erinnert größtenteils eher an die MIDI-Player auf den frühen Windows-Systemen, als an fertige Songs.

https://youtu.be/NlJm-ErA1gg?t=84

Weder kann man eine Songstruktur erkennen, noch kommt bei den meisten Texteingaben, auch „Prompts“ genannt, ansatzweise das heraus, was man erwarten würde. Auch klingen alle Instrumente schlechter als im härtesten LoFi. Was tatsächlich sogar teilweise als Ideengeber funktioniert, sind Prompts wie „Trumpet solo in E-Minor“. Aber wir können hier ganz eindeutig Entwarnung geben: Im Vergleich zu den Grafik-KIs wie Midjourney oder Dall-E 2 sind diese Ergebnisse noch weit entfernt von einer Konkurrenz zu Musikern und Musikerinnen.

Das steckt unter der Haube

Riffusion KI basiert auf der Open-Source-Source-Engine Stable Diffusion. Und diese erzeugt wie die erwähnten Midjourney und Dall-E 2 durch Texteingaben Grafiken. Wie die zwei Programmierer Hayk Martiros und Seth Forsgren auf ihrer Website erklären, erzeugt jede Texteingabe auch in Riffusion Grafiken – Spektrogramme.

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

ANZEIGE

Das Verfahren basiert auf Stable Diffusion 1.5. Da diese Engine open-source ist, kann sie jeder für seine Zwecke „trainieren„. Denn die Funktionsweise der Engine basiert auf gigantischen Mengen an graphischen Daten. Diese wurden mit dem Algorithmus analysiert und jeder Grafik verschiedene Worte und Beschreibungen zugeordnet. Bei Midjourney und Dall-E 2 sind diese Daten verschlossen, auch kann man die Engines kaum (Midjourney) bis gar nicht (Dall-E 2) mit eigenen Daten füttern. Im Falle von Stable Diffusion fütterten Martiros und Forsgen die Engine mit unzähligen Spektrogrammen. So spukt sie bei Texteingabe auch nur wieder Spektrogramme aus.

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Die eigentliche Umwandlung der Bilder in Audio passiert mit einem Short-time Fourier transform (STFT) genannten Verfahren. Mit diesem werden normalerweise auch Spektrogramme erstellt. Es basiert auf der Annahme, dass man annäherungsweise jeden Klang mit genug Sinuswellen darstellen kann. Die Frequenz, Lautstärke und Phase der Sinuswellen ist das, was ein Spektrogramm darstellt. Und die beiden Programmierer haben für die eigentliche Klangerzeugung in Riffusion KI dieses Verfahren einfach umgedreht. Denn das Spektogramm ist ja schon da!

Ist die Zukunft von uns Musikern durch KI bedroht?

Kurzgesagt: Nein. KI wird auch in der Musik und Musikproduktion in den nächsten Jahren gewaltige Veränderungen mit sich bringen. Aber, um es mit den Worten von YouTuber und Fachmann Benn Jordan zusagen: bei 100.000 hochgeladenen Songs pro Tag auf Spotify und einem Urheberrecht, das oft mehr blockiert als hilft, ist KI unsere kleinste Sorge.

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Und das hört man an Riffusion KI deutlich. Was sagt ihr? Welche Kombinationen und Prompts haben besonders schöne oder schräge Sounds erzeugt? Schreibt es uns in den Kommentaren!

Infos über KI und Riffusion

  • Website von Riffusion KI
  • Erklärung der Programmierer über die Funktionsweise
  • Alles über KI

Videos über Riffusion KI

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.

Mehr Informationen

ANZEIGE

4 Antworten zu “Riffusion KI – eine ernste Bedrohung für Musiker?”

    Plaus Freiburg sagt:
    -1

    Die Musiker werden mit den Ergebnissen nicht bedroht. Anders sieht es aus, wenn Bürger mit KI überwacht werden. Dann gute Nacht!

    The Real Truth sagt:
    -1

    „…KI – eine ernste Bedrohung für Musiker?“
    Neue Woche, neue „KI als Bedrohung“-News. Ich kann’s nicht mehr lesen.

    alohka sagt:
    -1

    Dieses „Kinderspielzeug“ (und etwas anderes ist es jetzt einmal noch nicht) zeigt und massiv ein Problem der gesamten Musikproduktion im Popmusikbereich auf: Es ist alles eins, und der Innovationsfaktor liegt bei Null. Die KI zeigt uns nur unsere Beschränktheit in musikalischer Vorstellung. Lasst uns doch endlich Musik neu denken!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert