Prisma Style Transfer

Prisma, StyleTransfer und Convolutional Neural Networks

Beispiel Bild mit Prisma App bearbeitetBilder, die mit der App Prisma bearbeitet wurden, dürften viele von euch schon in ihren Facebook- oder Instagram-Newsfeeds zur Genüge gesehen haben. Alexey Moiseenkov bringt mit seiner App den so genannten Artistic Style Transfer auf mobile Endgeräte. Für iPhone ist die App bereits verfügbar und eine Android-Version soll noch im Juli folgen (mehr dazu hier).

Was macht das Ding?

Kurz gesagt: Per Klick verwandelt die App normale Fotos in kleine Kunstwerke. Dabei wird nicht einfach ein Filter über ein vorhandenes Bild gelegt. Der so genannte Artistic Style Transfer ist sehr viel komplexer und überträgt einen bestimmten Stil, zum Beispiel eines berühmten Malers, auf das ausgewählte Bild. Dahinter stecken ausgefeilte Berechnungen und eine entsprechende Rechenleistung.

Menschen mit wesentlich mehr Ahnung von diesen Dingen als ich, beschreiben das Grundproblem wie folgt:

“In fine art, especially painting, humans have mastered the skill to create unique visual experiences through composing a complex interplay between the content and style of an image. Thus far the algorithmic basis of this process is unknown and there exists no artificial system with similar capabilities. […] Here we introduce an artificial system based on a Deep Neural Network that creates artistic images of high perceptual quality. The system uses neural representations to separate and recombine content and style of arbitrary images, providing a neural algorithm for the creation of artistic images.”
– A Neural Algorithm of Artistic Style; Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, 2015 (Quelle)

Das klingt alles reichlich kompliziert. Und das ist es auch. Die so genannten Convolutional Neural Networks (CNN) werden sozusagen darauf trainiert Objekte bzw. Bildinformationen zu verstehen. Daraus entsteht eine Art Vorstellung (representation) über das ausgewählte Bild, bei der der eigentliche Inhalt (content) eine wesentlich größere Rolle als bei der bisherigen Repräsentanz als Pixelhaufen spielt. Mit dem ausgewählten Stil wird das Bild bzw. der Content dann nach und nach neu aufgebaut.

content_reconstruction
Content- und Style-Reconstruction : Aus dem Bild-Input entstehen Sets gefilterter Bilder; Bild: A Neural Algorithm of Artistic Style; Leon A. Gatys, Alexander S. Ecker, Matthias Bethge, S.3, 2015

Smartphone statt Großrechner?

Beispiel Bild mit Prisma App bearbeitet
Das Ergebnis profitiert stark von Bildern, die es leicht machen, die relevanten Inhalte zu erkennen.
Beispiel Bild mit Prisma App bearbeitet
Viele Bilddetails bereiten der App anscheinend noch einige Probleme.

Der Vorgang ist, wie gesagt, sehr rechenintensiv. Prisma verlagert den Vorgang nicht einfach auf das Smartphone, sondern schiebt ihn offenbar zur Berechnungen in die Cloud. Mit dem Erscheinen der iPhone-App von Prisma wurde schnell der Ruf nach einer Android-Version laut. Wenn man aber berücksichtigt, dass Prisma notwendigerweise die Berechnung der Bilder in eine Cloud bzw. auf die eigenen Server transferieren muss, um die nötige Rechenleistung bereitzustellen und dann die Größe des Android-Marktes berücksichtigt, wird schnell klar, dass der Release wohl weniger an der App-Entwicklung für Android, sondern viel mehr an dem Bereitstellen der notwendigen Server-Architektur hängt.

Und das eigene Fazit?

Beispiel Bild mit Prisma App bearbeitet

Beispiel Bild mit Prisma App bearbeitet

Ich habe mich jetzt einige Zeit mit der App beschäftigt und die Ergebnisse sind zum Teil wirklich sehr beeindruckend. Bei Bildern mit vielen Bildinformationen stellt man aber auch schnell Schwachpunkte fest. Die Stile wirken dann manchmal wie schlechte Filter. Dank einer gut durchdachten Oberfläche hat man sehr viel Spaß sich durch die verschiedenen Stile zu klicken, um dann sehnsüchtig auf die Berechnung des Bildes zu warten. Einfluss hat man indes kaum noch auf das Endergebnis. Letztendlich fasziniert mich vor allem, wie fortgeschritten die Technik mittlerweile ist und welche Qualität bereits über Apps erreicht werden kann. Also wer die Schönheit von Convolutional Neural Networks sehen möchte, sollte ruhig mal ein paar Bilder durch das System jagen.

Mehr zum Thema findet ihr unter anderem bei Rene auf Nerdcore.


Interesse an Social Media? Lesen Sie hier unser Leistungsangebot.