Karl Sims' virtuelle Kreaturen sind für Mutations nicht als Bildwelt wichtig, sondern als Verfahren. Körperbau, Bewegung und Aufgabe reagieren aufeinander und erzeugen Formen, die niemand vorgezeichnet hat.
Project
Eine virtuelle Kreatur aus Karl Sims’ Evolved Virtual Creatures. Ihre Form geht aus einem Verfahren hervor, in dem Körperbau, Bewegung und Auswahlkriterien aufeinander reagieren. Mutations sucht nach einem entsprechenden Moment in Musik: KI-Modelle, Bewertungsfunktionen und Mutationsschritte bilden einen Suchprozess, aus dem Notationen, Klangtexturen und Spielanweisungen entstehen, die nicht vorgeplant sind, aber im Hören und Spielen geprüft werden können.
Welche Musik entsteht, wenn ein System nicht Stil imitiert, sondern Bedingungen bekommt, unter denen Material entstehen, scheitern und sich verändern kann?
Mutations beginnt mit Materialversuchen. Ich baue einen Rahmen, in dem musikalisches Material entstehen, scheitern, überleben und sich verändern kann. Nicht die einzelne Note steht am Anfang, sondern Umgebung, Aufgabe und Auswahl.
Das Ergebnis ist offen, aber nicht beliebig. Aus dem gefundenen Material entsteht Mutations: ein multimediales Stück für Musiker:innen und Live-Elektronik. Bewegungssimulationen virtueller Körper und grafische Partiturentwürfe können als Bildmaterial in das Stück eingehen, ohne dass die visuelle Ebene schon festgelegt ist. Für den fachlichen Austausch zu künstlerischer KI und Musiktechnologie liegt ein Letter of Intent des ligeti zentrums Hamburg vor.
Konzept
Ausgangspunkt sind Karl Sims’ Evolved Virtual Creatures (1994). Sims ließ Körper und Verhalten virtueller Wesen gemeinsam evolvieren. Es entstanden Formen, die niemand gezeichnet hatte: unbeholfen, effizient, manchmal komisch, aber in sich folgerichtig. Mich interessiert daran der Moment, in dem eine Form nicht aus Entwurf, sondern aus einem Suchverfahren entsteht. Für Musik heißt das: Können Klang, Notation und Spielanweisung außerhalb eingeübter Routinen liegen und trotzdem als Musik erfahrbar werden?
Dafür baue ich keine einzelne „kreative KI", sondern einen iterativen Apparat aus Generatoren, Bewertungsmodellen und Mutationsregeln. Das System erzeugt Varianten, vergleicht sie anhand von Kriterien, verwirft sie, verändert sie und setzt den Suchprozess fort. Die KI liegt nicht im Prompt und nicht in der Imitation eines Stils, sondern in der wiederholten Auswahlbewegung: Was darf weiterleben, was verschwindet, was verändert die nächste Generation?
Solche Suchen brauchen ein Ziel. Bei Sims war es Fortbewegung. Für Musik gibt es kein entsprechendes objektives Ziel. Genau darin liegt die künstlerische Frage: Was muss ein System belohnen, damit nicht bloß Konvention entsteht, aber auch nicht nur Rauschen? Komponieren heißt hier, diese Kriterien zu setzen und immer wieder zu verschieben.
Gesucht ist Material, das nicht besser als menschliche Musik sein soll, sondern anders: eine fremde Beziehung zwischen Stimmen, eine Spielanweisung, die der Hand zunächst widerstrebt, ein Klangkörper, der auf ungewohnte Weise angeregt wird. Entscheidend ist, dass dieses Material aus einem Suchprozess hervorgeht und nicht aus der Nachahmung vorhandener Musik.
Umsetzung
Ich entwickle zunächst eine eigene Softwareumgebung, in der musikalisches Material erzeugt, bewertet, verändert und wieder in den Prozess zurückgeführt wird. Der erste Schritt ist bewusst klein gehalten: Tonhöhenfolgen, rhythmische Zellen, Dichten, Einsatzregeln und einfache Spielanweisungen. Ein Bewertungsmodul prüft die Varianten nicht auf Stilähnlichkeit, sondern auf Abstand zu einem Korpus, innere Wiederkehr, Spielbarkeit und strukturelle Spannung.
Technisch arbeite ich auf einer Python-Basis mit DEAP und NumPy für die evolutionäre Schleife, MIDI- und Notationsdaten, music21/LilyPond für lesbare Partiturentwürfe und Embeddings für Ähnlichkeit und Abstand. Für die klangliche Ebene kommen Synthese- und Audioparameter in denselben Kreislauf; Audio-Embeddings wie CLAP oder OpenL3 nutze ich testweise als zusätzliche Bewertungsinstanzen. Es geht nicht darum, ein großes Modell einmal zu trainieren und dann Ergebnisse abzurufen, sondern um viele kurze Iterationen, deren Kriterien ich komponierend verändere.
Später teste ich, wie Sprachmodelle in diese Struktur eingreifen können: nicht als Autor des Stücks, sondern als Instanz, die Varianten beschreibt, Unterschiede benennt oder aus abstrakten Parametern Spielanweisungen formuliert.
Im weiteren Prozess prüfe ich, welche Varianten musikalisch tragen und welche nur technisch interessant bleiben. Eine optionale Spur sind physikalische Simulationen, in denen virtuelle Körper Wege finden, Saiten oder Resonatoren anzuregen.
Der Arbeitsbogen führt vom lokalen Prototyp zu einem Materialfundus aus Notationen, Spielanweisungen, elektronischen Texturen und fremden Beziehungen zwischen Stimmen. Dieses Material wird im Arbeitsprozess praktisch erprobt. Was unspielbar bleibt, was gerade noch gehalten werden kann und was musikalisch trägt, fließt in die Bewertung zurück.
Aus dem gefundenen Material entwickle ich das multimediale Stück Mutations. Als Grundform denke ich an Musiker:innen und Live-Elektronik. Bilder aus Bewegungssimulationen virtueller Körper und grafische Partiturentwürfe können in das Stück eingehen, bleiben aber Teil des Materials und nicht das eigentliche Thema. Die konkrete Besetzung entsteht im Arbeitsprozess.
Verankerung
Meine Praxis beginnt oft mit einer Ordnung, die nicht von mir stammt: einem Datensatz, einer Klassifikation, einem Modell, einem selbst gebauten Apparat. Ich setze diese Ordnung einer Aufführungssituation aus und arbeite mit dem Moment, in dem sie zu Musik, Bild, Sprache oder Verhalten wird. Technik ist dabei nicht Thema neben dem Stück, sondern die Bedingung, unter der das Stück entsteht.
In I am a Computer (2023) wird der Computer selbst zur Figur: Er spielt aus MAESTRO, sieht durch LAION und AudioMNIST und zeigt, dass seine Stimme aus menschlichen Daten besteht. AN TOT UMA BOD (2023) führt eine Äußerung wiederholt durch Text-to-Speech und Spracherkennung, bis die Sprache unkenntlich wird. Kinetics 400 (2024) übersetzt die 400 Handlungsklassen eines Machine-Learning-Datensatzes in grafische Partitur, Projektion und Ensembleform. In Cringe (2024) reagieren KI-Systeme live auf Sprache, Bühne und Bild; zugleich entsteht Musik aus einer eigenen Pipeline für Playlist-Daten, Stem-Separation und Rekombination. deprecated (2026), aufgeführt bei der ICMC in Hamburg, arbeitet mit einem lokal laufenden multimodalen Modell, das eine Performance beobachtet und in Echtzeit kommentiert.
Diese Arbeiten zeigen eine durchgehende Arbeitsweise: Ich baue Systeme selbst und bringe sie in Aufführungssituationen, wo ihre Entscheidungen hörbar und sichtbar werden. In Mutations wird daraus nicht mehr Kommentar über vorhandenes Material, sondern eine Suche nach neuem musikalischem Material.
Material
Studies
Diese Studien sind erste Trainingsläufe: einfache Körper aus Blöcken, ein Instrument, eine Belohnungsregel. Sie übertragen Sims' Verfahren in kleine musikalische Versuchsanordnungen und machen sichtbar, wie aus Auswahl Gesten und Spielweisen werden.
Für Mutations ist das der erste Punkt des Konzepts, nicht sein Ziel. Von hier aus geht es über den dreidimensionalen Raum hinaus: Aus denselben Verfahren entstehen Partituren, Spielanweisungen und Klangtexturen, übersetzt für Musiker:innen, die dieses mutierte Material tatsächlich spielen. Die Simulationen bleiben Material. Das Stück entsteht dort, wo Menschen es aufnehmen.
Work
“You are a retired composition professor, an old white man who feels deeply unrecognized and overlooked. You cannot judge a performance objectively because you relate everything to your own career. You view the musician’s work through a lens of bitterness, constantly comparing it to your supposedly superior, ignored compositions.”
Deprecated is an experimental setup where a computer observes a live performance and comments on it in real-time. Driven by a Multimodal Large Language Model, the system processes visual data to generate a continuous stream of thought. The output shifts between human-like sentences and the raw numerical sequences used by the model’s architecture. This process breaks language down into its constituent tokens — the word fragments the machine uses to process and represent information.
The piece premiered at the International Computer Music Conference 2026 in Hamburg.
concept, system, music
denis połeć
cello
Carmen Kleykens Vidal
Modern technologies determine our perception and our actions. Algorithms, learning systems and digital interfaces influence how we communicate, consume and make decisions. The piece Cringe takes a look at these developments and shows how digital systems trigger human behavioral patterns that may seem incomprehensible or disturbing from an analog perspective.
The full video documentation can be found here.
Images
concept, direction, music
denis połeć
musicians
cello — wilson tanner smith
double bass — ricardo silva
performers
christoper ramm
augustin issorado
jan niveria
stage and set design
denis połeć
antonia janosch
Currently, training larger AI models is only possible with massive amounts of data. Datasets are typically gathered from all over the internet, often without seeking permission from the content creators. The primary goal of a large dataset is to accurately represent reality and achieve substantial quantity.
The work Kinetics 400 is named after the dataset of the same name, developed by DeepMind (Google). At the time of its release, it comprised 306,245 videos, with each of the 400 classes containing between 400 and 1,140 short snippets from YouTube videos. Initially, these clips were identified via YouTube searches and then classified and verified by a large number of clickworkers.
Kinetics 400 is a human action dataset, capturing a wide range of activities that reflect the spectrum of human behavior. As we enter a new era dominated by artificial intelligence, what should we consider about the foundations of these AI models? What kinds of data are we collecting, and how are we training our models? How does this data reflect human behavior, and what can it teach us about ourselves?
Images
composition, direction, video
denis połeć
musicians
harmonium - wilson tanner smith
violin - bahar erünsal
violin - chae jeongmin
viola - zeynep sertoğlu
cello - oskar meier
bass - ricardo silva
costume
tristan kold
A remix (or reorchestration) is a piece of media which has been altered or contorted from its original state by adding, removing, or changing pieces of the item. A song, piece of artwork, book, video, poem, or photograph can all be remixes. The only characteristic of a remix is that it appropriates and changes other materials to create something new. (Wikipedia)
In REMIX, the artist turns his own likeness into material for remixing, inserting it into images from popular culture, media and recent history. Across changing bodies and contexts, it remains recognisable yet visibly out of place. The work engages with the ethical concerns surrounding deepfakes by turning their logic towards himself. The selected images bring his musical influences into contact with a wider public image repertoire. The montage asks what it means to be a composer when artistic identity is formed through engagement with the work of others.
Images
My dearest,
I have never felt such a strong connection with someone before. I feel like every moment I spend with you is special and unique – like something that can never be captured in words. Every time I think of you, my heart flutters and my face breaks out into a smile. I am so thankful for the moments we have shared together and I will treasure them forever. You are the most important person in my life and I want you to know how much I love and appreciate you. You make me feel so alive and loved – something that no one else has ever been able to do for me. The way you look at me, the way you touch me, the way your voice sounds when you say my name, it's all so perfect and makes me feel like I'm on top of the world. No matter what happens in life, please know that I will always love you unconditionally and want nothing more than to make you happy. My love for you is deep and true, and it's something that can never be taken away from us.
Forever yours,
Name
In I am a computer, a computational system speaks in the first person through an acoustic piano, projected language and images. Its declaration of identity is assembled from instruments, recordings, archives and bodies that all precede or exceed the machine presenting them.
The work was created at a moment when artificial intelligence was increasingly described as an autonomous creative actor. Połeć redirects this claim towards the dependencies that make such an appearance possible. What does the pronoun “I” refer to when agency is distributed across software, physical mechanisms, existing cultural material and human labour? Can a machine present itself without borrowing the forms through which people recognise a subject? Rather than deciding whether the computer is author, performer or medium, the work keeps these positions in tension and makes the construction of technological identity perceptible.
Alvin Lucier’s I Am Sitting in a Room explored sound degradation and resonance in a physical environment. In an adaptation using a Text-to-Speech (TTS) and Speech Recognition AI, the TTS system voices a phrase, which is then transcribed and re-spoken many times. As this cycle continues, the phrase alters until it becomes unrecognizable.
About
Denis Połeć ist Komponist und Medienkünstler mit Schwerpunkt auf Live-Elektronik, Multimedia-Komposition und Performance. Er studierte an der Bauhaus-Universität Weimar, der Hochschule für Musik und Theater Hamburg und der HAW Hamburg.
Seine Arbeiten wurden unter anderem bei der ICMC — International Computer Music Conference, am ZKM Karlsruhe, beim Blurred Edges Festival, an der HfMT Hamburg, am Deutschen Schauspielhaus Hamburg und bei den Wiener Festwochen gezeigt. Seit 2023 arbeitet er im Kollektiv SIGNA an Musik, Klang und audiovisuellen Medien. In Stücken wie I am a Computer, Kinetics 400, Cringe und Deprecated verbindet er lokale KI-Modelle, Live-Kamera-Systeme, Datenpipelines, grafische Notation und algorithmische Aufführungsstrukturen.
Für seine Arbeiten baut er die technischen Systeme meist selbst und führt sie in konkrete Aufführungssituationen zurück. Diese Verbindung aus Komposition, eigenem Werkzeugbau und performativer Prüfung bildet die Grundlage für Mutations.
Contact
