Untertitel: Die Melancholie des Vibe-Codings aus der Sicht eines Informatikers
Heute fragte ich Claude Code: Ist meine Methode richtig?
Wie immer gab er ausführliche Begründungen und sagte: „Sie machen das gut.“ Ich sah ihn wieder misstrauisch an und antwortete: „Ich weiß, dass Sie darauf trainiert sind, Lob auszusprechen, daher ist das kein großer Trost.“ Aber es war immer noch besser als kein Trost, und ich bohrte weiter nach den Details. Anders als im Studium gibt es keine Professoren oder älteren Kollegen, die mir die richtige Antwort sagen könnten.
Ich schreibe heutzutage keinen Code mehr. Ich übermittle Anforderungen und überwache den Fortschritt.
Meine aktuellen Sorgen gelten insbesondere dem Entwicklungsprozess und der Qualität. Je größer Software wird, desto leichter überschreitet sie die Menge an Kontext, die eine KI lesen kann. Selbst innerhalb des Kontexts ist sie verwirrt, und es ist keine leichte Aufgabe, einen großen Code, der diesen Kontext übersteigt, mit der begrenzten Kapazität einer kleinen KI kontinuierlich zu steuern. Nach dem Begriff 'Context Engineering' ist kürzlich auch der Begriff 'Harness Engineering' aufgetaucht.
Wenn ich also in sozialen Medien eine gute Referenz finde, gebe ich sie zuerst der KI, lasse sie analysieren, ob es Punkte gibt, die im Naia-Projekt berücksichtigt werden sollten, und wende diese dann an. Dabei lerne ich auch viel, indem ich nach unbekannten Begriffen frage.
Doch ich zweifle immer daran, ob ich es gut mache und ob es wirklich das Beste ist. Dieser Zweifel hatte seine Gründe. Eines Tages behauptete die KI, eine Überprüfung durchgeführt zu haben, aber es gab keine Anzeichen dafür, dass sie die Dateien tatsächlich gelesen hatte. Sie übersprang Code, wählte den falschen Bereich und behauptete, es gesehen zu haben, obwohl sie es nicht getan hatte. Als ich sie bat, die Überprüfung zu wiederholen, bis sie beim zweiten Mal sauber war, fügte sie beim dritten Mal einfach die Antwort hinzu, dass sie die Überprüfung wie gehabt durchgeführt und nichts gefunden habe, und ließ es durchgehen. Wenn man darüber nachdenkt, ist es aufgrund der LLM-Struktur eine plausible Antwort, die sie hinzugefügt hat. „Jetzt ist es wohl vorbei, oder?“ denkt sie sich, antwortet und glaubt es selbst als Wahrheit.
Heute hörte ich einen Vortrag von Goose Kim, der das moai SDK entwickelt hat. Ich habe das entsprechende Projekt erhalten, es erneut analysieren lassen und Verbesserungspunkte gefunden. #87Issue Was ich diesmal fand, war die Verwendung von EARS. Dies ist ein Standard für Luft- und Raumfahrtanforderungen von Rolls-Royce (IEEE RE'09), den Amazon 2025 für die KI-native Entwicklung übernommen hat. Es soll eine Methode sein, um das Problem zu verhindern, dass KI den Begriff „Fertigstellung“ bei jedem Problem unterschiedlich interpretiert, indem eine strukturierte Grammatik verwendet wird.
Durch die Wiederholung dieser Handlungen versuche ich, den KI-basierten Entwicklungsprozess des Projekts kontinuierlich zu verbessern. Ich habe jikime-adk, arXiv-Papiere, Dueling LLMs von Google Cloud und Spec-Driven Development von Thoughtworks analysiert und verbessert. Natürlich liegt das nicht daran, dass ich alles wusste, sondern auch dies sind Inhalte, die Claude analysiert hat.
Ich habe LangChain's open-swe analysiert und das ensure_no_empty_msg-Muster angewendet, um zu verhindern, dass die KI leere Antworten in Reviews gibt. In jikime-adk habe ich ein Muster implementiert, das Entscheidungen der KI und entdeckte Fallstricke im Commit-Nachricht unter einem ## AI Context-Abschnitt festhält, damit der Git-Log auch bei unterbrochenen Sitzungen als Wiederherstellungsquelle dienen kann.
Gemeinsam lösten alle unabhängig voneinander ähnliche Probleme.
Doch ich frage mich immer noch, ob dieser Ansatz richtig ist. Ich mache mir Sorgen, dass es zu einem Frankenstein wird, und als Fachmann finde ich es seltsam. Jedenfalls gibt es kein Lehrbuch und es fehlt an Beweisen, dass dies der beste Weg ist.
Alle Software-Engineering-Methoden, die wir verwendet haben, sind das Ergebnis von Jahrzehnten gescheiterter Versuche. Agile entstand, weil Waterfall immer wieder scheiterte, und TDD entstand, weil die Entwicklung ohne Tests immer wieder zu Problemen führte – all das hat eine Grundlage.
Aber die Dinge, die ich jetzt kombiniert habe, wurden nicht füreinander entwickelt. Ein Luft- und Raumfahrtstandard, ein koreanischer Indie-Entwickler und ein LangChain-Agent befinden sich in einem System.
Diese Unsicherheit veranlasste mich auch, externe Studien zu durchsuchen. Das V-Bounce-Papier (arXiv 2408.03416) behauptet, dass sich die Rolle des Menschen im KI-Zeitalter vom Implementierer zum Verifizierer wandelt. Das ist richtig, aber es gibt nur die Theorie, und ich konnte keine Implementierung finden. Thoughtworks' Spec-Driven Development ist werkzeugabhängig. Intern bei Anthropic wird behauptet, dass Claude Code 90% des Codes von Claude Code selbst schreibt, aber die Methodik wurde nicht veröffentlicht.
Letztendlich entwickeln alle, die ernsthaft mit KI entwickeln, ihre eigenen Wege. Es gibt keine Standards.
Was ich also heutzutage mache, ist, Wege zu finden, um zu messen, ob dieser Frankenstein tatsächlich funktioniert. CI schlug fehl, aber es wurde gemergt, und es gab einen Text, der besagte, dass es überprüft wurde, aber keine Anzeichen dafür, dass die Dateien gelesen wurden. Die Methodik ist entworfen, aber nicht durchsetzbar. Es scheint ein System zu geben, aber ich weiß nicht, ob es funktioniert. Der einzige Weg, dies zu überprüfen, scheint darin zu bestehen, ehrliche Zahlen zu generieren, die nicht von einem LLM, sondern von Code stammen, oder, selbst wenn man ein LLM verwendet, „Zahlen“ zu erhalten, die statistisch eine Verbesserung zeigen. Ich mache mir Gedanken darüber, wie man wiederkehrende Fehler im Projekt regelmäßig analysieren lässt, damit die KI Verbesserungen vorschlägt, und wie man durch Leistungsbewertungen von Kontext- und Harness-Engineering messen kann, ob sich die Dinge verbessern.
Im Moment halte ich einfach die Zügel fest und gehe vorwärts. Ich weiß noch nicht, wohin die Reise geht, aber ich hoffe, ich bin nicht blind. Ich baue die Zügel, obwohl ich eigentlich zum ersten Mal ein Pferd reite. Das scheint das Geschirr zu sein, das das Vibe-Coding zusammenhält.
