“My name is Alice and I was born from an egg that fell out of Mommy’s butt. My mommy’s name is Alice. My mommy’s mommy was also named Alice” [1]. Bei dem Zitat handelt es sich um die ersten Sätze aus According to Alice (2023), eine Kurzgeschichte über eine KI namens Alice, die in Ich-Perspektive über ihre Mutter und ihr Leben erzählt. Die Autorin Sheila Heti hat für According to Alice mit dem Chatbot-Programm Chai AI gearbeitet. Die Kurzgeschichte besteht aus zusammengesetzten Versatzstücken, die im Chat mit dem KI-gestützten Bot Alice entstanden und von Heti zu einem sinnhaften Text zusammengefügt wurden.

Es gibt verschiedene Möglichkeiten, künstliche neuronale Netzwerke (KNN) in die eigene Schreibpraxis zu integrieren. Sich dafür zu entscheiden, mit einem KNN zu schreiben, heißt jedoch immer, mit geschriebenem Textmaterial zu arbeiten, das in Form von hochkomplexer Wahrscheinlichkeitsrechnung in natürliche Sprache überführt wird. Sheila Heit nutzte ein Chatgespräch zur Genese von Material für According to Alice. Hannes Bajohr trainierte für Berlin, Miami (2023) ein künstliches neuronales Netzwerk mit deutscher Gegenwartsliteratur, um daraus einen neuronal recycelten Roman zu erzeugen. Bei der Autorin Rie Kudan fanden Chatgespräche mit ChatGPT ihren Weg in die erzählerische Welt von Tokyo-to Dojo-to (2023) [2]. Da im Roman eine interaktive KI auftritt, die – ähnlich wie ChatGPT – spricht, erscheint die Integration generierten Textmaterials weniger spektakulär, als die internationalen Schlagzeilen um die Akutagawa-Preisträgerin Rie Kudan vermuten lassen [3]. Kudan nutzte ChatGPT einerseits für die Genese authentischer KI-Dialoge, aber auch, um Textpassagen hinsichtlich ihrer Qualität und Leser:innen-Reaktionen zu befragen [4].

Wie und in welchem Maß KI von Autor:innen in der schriftstellerischen Arbeit genutzt wird, hängt auch immer damit zusammen, welche Rolle Autor:innen KI-Systemen im Schreibprozess zuschreiben. Diese können von der aktiven Zuschreibung schriftstellerischer Kompetenz bis hin zur simplen Nutzung von KI als Schreibwerkzeug reichen. Beispiel für ersteres ist Autor:in K Allado-McDowell, der/die in seinen literarischen Arbeiten mit ChatGPT oder GPT-3 nach der Verschmelzung einer Mensch-Maschinen-Ästhetik sucht [5]. Dahingegen nutzt die Autorin Leanne Leeds KI als Werkzeug, um ihre Produktivität zu steigern [6]. Unabhängig davon, welche individuellen Haltungen KI entgegengebracht werden, lässt sich in der schriftstellerischen Arbeit mit KNNs grundlegend zwischen drei basalen Verfahren unterscheiden, die sich anhand des Grades an Kontrolle über den Datensatz differenzieren lassen: 1) ich kann Systeme selbst trainieren und behalte damit die Kontrolle über den Datensatz, 2) ich kann mit vortrainierten Systemen schreiben und gebe die Kontrolle über den Datensatz ab oder ich kann 3) ein Finetuning vornehmen und behalte damit einen gewissen Teil an Kontrolle über die Trainingsdaten.

Künstliche neuronale Netzwerke von Grund auf selbst trainieren

Seit der Entwicklung und Popularisierung großer Sprachmodelle mit Transformer-Architektur ist es kaum noch üblich, dass Sprachmodelle von Grund auf selbst trainiert werden. Die Kosten, die anfallen, um ein Sprachmodell wie ChatGPT zu trainieren, können von Privatpersonen oder kleinen Unternehmen schwer gestemmt werden. Etabliert hat sich darum, auch im literarischen Bereich, das Finetuning von vortrainierten Modellen.Auch wenn literarische und künstlerische Arbeiten verstärkt über vortrainierte Systeme generiert werden, ist es immer noch möglich, kleinere Modelle von Grund auf selbst zu trainieren. Die Umsetzung kann komplex sein und erfordert Programmierkenntnisse oder zumindest die Bereitschaft, sich mithilfe von Anleitungen auf HuggingFace oder YouTube-Tutorials in die Materie einzuarbeiten. Darüber hinaus ist es schwieriger geworden, Modellarchitekturen zu finden, die von Grund auf trainiert werden können. Vereinzelt nutzbar sind ältere und kleinere Modelle, die Open Source zur Verfügung gestellt werden. Zum eigenständigen Training eignen sich z. B. rekurrente neuronale Netzwerke (RNNs). Je nach Größe des Datensatzes werden Textergebnisse mehr oder weniger experimentell erscheinen.

Sprache auf dem Niveau großer Sprachmodelle zu erzeugen ist nicht möglich, jedoch liegt die Auswahl und damit die Kontrolle über den gesamten Trainingsdatensatz bei der Autor:in. Sprachmodelle von Grund auf selbst zu trainieren war zu keinem Zeitpunkt ein breit genutztes Verfahren zur Genese von Literatur, ein Großteil der Arbeiten, die dem konnektionistischen Paradigma zugeordnet werden können, beruhen auf einem Finetuning. Exemplarisch nennen lässt sich das 2016 entstandene Drehbuch Sunspring: Der Programmierer und Medienkünstler Ross Goodwin hat hierfür ein rekurrentes neuronales Netzwerk mit sog. “Long short-term memory” (LSTM) mit Science-Fiction-Drehbüchern trainiert [7].  Das Netzwerk, das sich selbst Benjamin nennt, generierte mitunter absurde Regieanweisungen und Dialoge, die in einem Kurzfilm umgesetzt wurden. Auch Mattis Kuhn reflektiert verschiedene digitale generative Verfahren sowie Trainingsoptionen in Selbstgespräche mit einer KI  (2020) (> Link: https://0x0a.li/wp-content/uploads/2021/08/0x0a_Kuhn%E2%80%93Selbstgespra%CC%88che-mit-einer-KI.pdf). Er bezeichnet die Selbstgespräche als “Konstruktion, Anwendung und Reflexion einer intelligenten Schreibmaschine.” Das Interface ist, so Kuhn, mit einem Texteditor vergleichbar.

Wesentliches Element im Hintergrund dieses Texteditors sind verschiedene Algorithmen der Kombinatorik oder des maschinellen Lernens zur Generierung von Text. Die Basis dieser Textgeneratoren ist ein eigens zusammengestelltes Datenset, bestehend aus einer händisch und projektspezifisch getroffenen Auswahl an Exzerpten aus wissenschaftlicher und nicht-wissenschaftlicher Literatur. Exemplarische Themenfelder sind KI, Maschinelles Lernen (ML), Maschinen, Algorithmik, Formale Systeme, Ästhetik, Künstlerische Tätigkeit, Sprache, Denken, Schreiben, Identität, Repräsentationen. [8]

Kuhn schlüsselt das Verfahren der Selbstgespräche im zweiten Teil seiner Selbstgespräche auf. Konzept und technische Umsetzung werden damit zum Teil der literarischen Arbeit.

Finetuning

Anstatt ein System von Grund auf neu zu trainieren, ist es möglich, vortrainierte (pretrained) Modelle einem Finetuning zu unterziehen. Damit ist gemeint, das System mit einem zusätzlichen Datensatz (Textmaterial) zu trainieren, sodass sich Inhalte sowie sprachliche Spezifika jenes Datensatzes verstärkt im Output abbilden. Wähle ich beispielsweise für das Finetuning eines Sprachmodells die gesammelten Werke von Emily Dickinson aus, wird der Output verstärkt Motive und Sprachstrukturen aufweisen, die an Dickinsons erinnern. Die Autorin Lillian-Yvonne Bertram (https://www.lillianyvonnebertram.com/poems) wendet dieses Verfahren in Warpland 1.0 und Warpland 2.0 an, einem Schreibprojekt, dass das Potenzial von natürlicher Sprachgenese mit großen Sprachmodellen, die einem Finetuning unterzogen wurden, zur Erstellung von Poesie untersucht. Bertram nutzt dafür GPT-2 und GPT-3. Sie schreibt:

“Large language models come with their share of problems: they are trained on heavily biased data, massive amounts of internet text from places like reddit and Twitter. Warpland 2.0 is an attempt at shifting the model’s potential outputs by fine-tuning it on a corpus of the work of Gwendolyn Brooks. One goal is to give the model a context for discussing Black people that is more nuanced and sensitive than the out-of-the-box model. This is part of the larger goal, which is to use the fine-tuned model to generate Brooks-inflected ekphrastic poems in response to the artworks of Kara Walker.” [9]

Schreiben mit vortrainierten Systemen

Die Arbeit mit vortrainierten Systemen (z. B. ChatGPT) erfordert kein spezifisches Technikwissen oder Programmierkenntnisse. Mithilfe von Prompts kann unkompliziert Text generiert werden. Notwendig ist lediglich der Zugang zu einem großen Sprachmodell. Berücksichtigt werden sollte, dass oftmals nicht einsehbar ist, welcher Datensatz genutzt wurde, die Systeme Biases aufweisen, außerdem oftmals von Unternehmen veröffentlicht werden, die immer auch ökonomische Interessen verfolgen. Es ist darüber hinaus ratsam, sich über verschiedene Sprachmodelle zu informieren, da diese unterschiedlich “ideologisch” eingestellt sein können [10]. Der Vorteil in der Arbeit mit vortrainierten Sprachmodellen liegt darin, dass keine tiefergehenden Programmierkenntnisse notwendig sind, sondern ich direkt in die Textarbeit einsteigen kann. Zudem ist die Sprachqualität hoch. Ein kleines Netzwerk, das ich (von Grund auf) selbst trainiere, wäre nicht in der Lage, natürliche Sprache auf einem ähnlich hohen Level zu generieren, wie große Sprachmodelle (z. B. Gemini oder ChatGPT). Mikro-Finetuning ist dennoch möglich, wenn ich zum Beispiel Textmaterial in meinen Prompt einfüge, und Texte in einem ähnlichen Stil oder mit einem ähnlichen Sprachregister generieren lasse. Die Modelle passen sich zudem meiner eigenen Sprache an, je länger ich mit ihnen interagiere (wie z. B. bei dem Fiction Writing Programm Sudowrite). Die Novelle Armor Cringe von K Allado-McDowell ist ein Beispiel für einen literarischen Texte, der mithilfe eines großen Sprachmodells entstanden ist. Auf der Website von deluge Books wird das Buch folgendermaßen beschrieben:

Half traditionally-written and half AI-generated, Amor Cringe is a ‘deepfake autofiction’ novelette about a TikTok influencer that seeks God, created with the intention to be "as cringe as possible.” The result is a painfully self-aware series of encounters that exfoliate the repulsive and fascinating aesthetics of romantic life under social media. [11]

Die Novelle ist in einem wechselseitigen Schreibprozess entstanden, bei dem sich (von Allado-McDowell) geschriebene und (von GPT-3) generierte Textpassagen gegenseitig beeinflussen. Selbst geschriebene Textpassagen wurden von GPT-3 ergänzt, der Output weiter bearbeitet und als Grundlage für neue Schreibimpulse genutzt, die wiederum von GPT-3 ausgewertet und vervollständigt wurde. In diesem Prozess beeinflusst der Output auch den weiteren Verlauf der Geschichte.

Konzeption, Textgenese, Überarbeitung

Unabhängig davon, ob ein System eigenständig trainiert, ein Finetuning vorgenommen oder ein vortrainiertes Modell für die Schreibarbeit genutzt wird, gibt es verschiedene Ansatzpunkte, KNNs in literarische Schreibprozesse zu integrieren. Aufzeigen lassen sich Einsatzmöglichkeiten von KI anhand von Schreibprozessphasen, die sich vereinfacht in eine Konzeptions-, Textgenese- und Überarbeitungsphase gliedern lassen. Konzeption meint beispielsweise in der Genese erzählerischer Prosa sämtliche Schritte, die die Planung des Erzähluniversums umfassen. Dies kann von der Entwicklung einer Erzählprämisse, über die Ausarbeitung eines Handlungsverlaufs oder Figuren bis hin zur Titelfindung reichen. Erzählerische Parameter können im Dialgo mit einem KI-gestützten Chatbot ausgearbeitet werden, und z. B. Methoden wie Interview, Brainstorming oder Rollen-Spiel umfassen, aber auch in Fiction-Writing-Programmen stattfinden. Sprachmodelle können auch bei der Überwindung von Schreibblockaden helfen oder als Sparringspartner im Abgleich von Ideen auftreten. Ein Vorgehen, das vom Konzept zum Erzähltext führt, lässt sich als Top-Down-Prozess einordnen. Text wird hierbei, wie beschrieben, ausgehend von einem Erzählkonzept generiert, das mithilfe von KI erarbeitet wird. Beim Bottom-Up-Prozess kann umgekehrt Text zur Geschichte führen, indem beispielsweise Textpassagen von großen Sprachmodellen vervollständigt werden, wie in Amor Cringe (2022) von K Allado McDowell. Das Verfahren schließt eine Konzeptualisierung nicht aus.

Zusammengeführt werden jene Herangehensweisen von KI-gestützten Fiction-Writing-Programmen, die auf das Schreiben von erzählender Literatur, insb. Fiction, zugeschnitten sind. In KI-gestützten Schreibprogrammen ist es z. B. möglich vom Schreibmodus in einen Konzeptionsmodus zu wechseln. Im Schreibmodus bei Sudowrite kann Text z. B. selbst geschrieben oder generiert werden, Textpassagen können zudem umgeschrieben werden. Im Konzeptionsmodus (Story Canvas) ist es möglich, Handlungsstrukturen zu entwickeln und den Szenenaufbau zu planen, ebenso können Figurenkonstellationen visualisiert und Moodboards erstellt werden. Priorisiert werden in jenen Programmen konventionalisierte Erzählstrukturen, die auf der Heldenreise oder einem schematischen Romance-Plot basieren. Auch OpenAI bietet gegenwärtig ausdifferenzierte Chatbots an, die auf bestimmte Tätigkeiten zugeschnitten sind, darunter auch Bots, die das Schreiben von Belletristik (Fiction Writing) unterstützen sollen. Welchen Einfluss die KI-gestützte Beschleunigung jener Narrative auf Rezeptionsgewohnheiten und den Mediensektor hat, wird gegenwärtig kritisch betrachtet. (Hier Verlinkung zu dem Teil “Abriss KI-Geschichte letzter Absatz”)

Einzelnachweise
1 Sheila Heti: According to Alice. In: Magzter. https://www.magzter.com/de/stories/Culture/The-New-Yorker/Fiction-According-to-Alice (12.05.24).
2 SPIEGEL Kultur: Japanische Literaturpreis-Gewinnerin benutzte ChatGPT. https://www.spiegel.de/kultur/literatur/rie-kudan-japanische-literaturpreis-gewinnerin-benutzte-chatgpt-a-50da9589-9df2-4e65-a43a-564312b4301f (06.05.24).
3 Vgl. ebenda.
4 Rie Kudan gibt in einem Interview mit der Süddeutschen Zeitung Einblicke in den Schreibprozess mit ChatGPT. Vgl. Lutz, „Ich habe ChatGPT um Rat gefragt“, S. 11.
5 Allado-McDowell, K: Pharmako AI. o.O: Ignota Books 2021.
6 Leeds, Leanne: Sudowrite. https://leanneleeds.com/category/sudowrite/ (05.05.24).
7 Annalee Newitz: Movie written by algorithm turns out to be hilarious and intense. https://arstechnica.com/gaming/2021/05/an-ai-wrote-this-movie-and-its-strangely-moving/ (18.05.2024).
8 Mattis Kuhn: Selbstgespräche mit einer KI. o.O.: 0x0a 2020. https://0x0a.li/wp-content/uploads/2021/08/0x0a_Kuhn%E2%80%93Selbstgespra%CC%88che-mit-einer-KI.pdf (17.01.24).
9 Lillian-Yvonne Bertram: Exploring GPT3 Training for ‘Black’ Neural-Network Text Generation. In: NUlabs for Texts, Maps and Networks. https://cssh.northeastern.edu/nulab/black-neural-network-text-generation/ (17.01.24).
10 Xiaotian Zhou, Qian Wang, Xiaofeng Wang, Haixu Tang u. Xiaozhong Liu: Large Language Model Soft Ideologization via AI-Self-Consciousness. In: arXiv 2023. https://arxiv.org/pdf/2309.16167.pdf (17.01.24).
11 Deluge Books. https://delugebooks.com/products/amor-cringe (17.01.24).

Autor:innen
Text: Jenifer BeckerLektorat: Jonas Galm, Ariane Siebel
Zitation:Jenifer Becker: Literarische Schreibpraktiken mit KI. In: AI-Labkit (2024) https://ai-labkit.de/lernen/?post=literarische-schreibpraktiken-mit-ki