Naia
· Luke Yang

Verständnis von Harness durch Fallstudien von Nextain x Onmam.com AX

harness-engineeringonmamcase-studyAIAXAI Trasformation

Dieser Beitrag basiert auf einer Präsentation über 'Harness Engineering' als Fallstudie, die am 2. Mai 2026 bei der Dabakodan DaoLab VibeCoding Gilde gehalten wurde.

Nextain ist ein Unternehmen, das Technologien für die AX von Unternehmen mit Softwareprodukten entwickelt und unterstützt. Wir haben den Systembetrieb des koreanischen Kirchenportals Onmam.com übernommen und arbeiten an der AX. Wir haben die Migration des Legacy-Systems aus dem alten IDC-Rechenzentrum durchgeführt, eine Umgebung für agentenbasierte Entwicklung und Betrieb des Projekts eingerichtet und arbeiten an der Stabilisierung und Funktionsverbesserung. Da es sich um ein altes Legacy-System handelt, gab es einige Trial-and-Error-Phasen. Durch die Anwendung von naia-business-adk auf Onmam.com integrieren wir dies in die Erfahrung und Technologie des Unternehmens. Als Erfahrung dazu wurde Harness Engineering als Fallbeispiel bei der Veranstaltung vorgestellt.

hero-en.webp

Die Kernbotschaft dieses Artikels "Es ist wichtiger, eine Umgebung zu schaffen, in der KI keine Fehler macht, als KI gut zu nutzen."


1. Zuerst: Vorstellung unseres Dienstes

Onmam.com — Eine Kirchenverwaltungsplattform, die von 13.876 Kirchen landesweit genutzt wird

www.onmam.com      ← Kirchensuche, Mitgliederportal
home.onmam.com     ← Kanal-App (Inhalte/Zahlungen)
{교회명}.onmam.com ← Individuelle Kirchen-Homepage

Infrastruktur: Alte IDC-Server → Vollständige Migration zu GCP (Google Cloud) im April 2026 abgeschlossen DB: 13.876 Kirchendaten × Cloud SQL


2. Beginnen wir mit einem Vorfall

"Eines Tages im April 2026"

11 Uhr morgens. Plötzlich reagiert der gesamte Onmam.com-Dienst nicht mehr.
Benutzer: "Warum funktioniert die Seite nicht?"

Bei der Ursachenforschung stellte sich heraus – der Code zur Abfrage der Beitragsliste in einer Datei namens Board.php.

-- Die problematische Abfrage (vereinfacht)
SELECT * FROM boards
JOIN (
  SELECT bbs_id, COUNT(*) FROM all_boards GROUP BY bbs_id  -- ← Das ist das Problem
) AS summary ON boards.id = summary.bbs_id
WHERE church_id = ?

Diese eine Abfrage führte jedes Mal einen vollständigen Scan aller Daten von 13.876 Kirchen durch. Als der Traffic anstieg, wurden 145 Abfragen von 600-800 Sekunden gleichzeitig ausgeführt → vollständiger Serverausfall.

Was hat das mit KI zu tun?

Der Code wurde ursprünglich wahrscheinlich von einem menschlichen Entwickler geschrieben. Doch heute schreiben Entwickler solchen Code mit KI.

Das Problem ist – die KI weiß nicht, "wie dieser Code in einer Umgebung mit 13.876 Kirchen funktioniert". Die KI konzentriert sich auf die Implementierung der angeforderten Funktion und kennt den Kontext unseres Dienstes nicht.

Daher begannen die Entwickler sich zu fragen: "Wie verhindern wir, dass die KI Code schreibt, ohne unseren Dienst zu kennen?"


3. Harness Engineering — 30-Sekunden-Erklärung

So wie man Zügel und ein Geschirr (Harness) benötigt, um ein Pferd zu führen,
benötigen auch KI-Agenten Einschränkungen, Anleitungen und Verifizierungsmechanismen.

Agent = Modell + Harness

Harness = Die Gestaltung der gesamten Umgebung, in der die KI arbeitet

Es geht nicht nur darum, "gute Fragen an die KI zu stellen". Es ist ein Systemdesign, das strukturell verhindert, dass die KI denselben Fehler wiederholt, wenn sie einen Fehler gemacht hat.


4. Die bei Onmam.com tatsächlich entwickelten Harnesses

[Harness #1] AGENTS.md — Die "Karte unseres Dienstes" für die KI

alpha-adk/
├── CLAUDE.md        ← Datei, die die KI beim Start einer Sitzung unbedingt lesen muss
├── AGENTS.md        ← Liste der Projektregeln
└── .agents/
    └── context/
        └── agents-rules.json  ← Spezifische Betriebsregeln

Die KI liest diese Dateien unbedingt, bevor sie den Onmam.com-Code berührt. Sie enthalten folgende Inhalte:

  • "Tests und Codeänderungen werden nur in der Alpha-Umgebung durchgeführt"
  • "home.onmam.com ist keine Portal-, sondern eine separate Channel-App"
  • "Das GROUP BY abgeleitete Tabellenmuster in Board.php ist absolut verboten"

Der Fehler von vorhin? Jetzt stoppt die KI, wenn sie versucht, dasselbe Muster zu erstellen, indem sie diese Regeln beachtet.


[Harness #2] Hooks — "Sicherheitsmechanismen", die vor und nach KI-Aktionen wirken

Die derzeit in diesem Workspace aktiven Hooks:

Kurz bevor die KI einen Bash-Befehl ausführt →
  ✓ pr-guard.js          : Blockiert das Mergen von PRs ohne Review
  ✓ commit-guard.js      : Blockiert Commits, die gegen Regeln verstoßen
  ✓ deploy-guard.js      : Blockiert die Bereitstellung auf dem Produktionsserver ohne Genehmigung
  ✓ git-push-guard.js    : Blockiert git push ohne Genehmigung
  ✓ destructive-git-guard.js : Blockiert destruktive Befehle wie git reset --hard

Kurz bevor die KI eine Datei ändert →
  ✓ prod-gateway-guard.js : Verhindert die Verwendung von Produktions-API-Schlüsseln in Entwicklungsdateien
  ✓ design-doc-guard.js   : Blockiert unautorisierte Änderungen an Designdokumenten

Unmittelbar nachdem die KI eine Datei geändert hat →
  ✓ cascade-check.js      : Überprüft Dateien, die von der geänderten Datei kaskadierend betroffen sind

deploy-guard.js Beispiel für die tatsächliche Funktionsweise:

KI versucht, einen Produktionsbereitstellungsbefehl auszuführen:
  $ gcloud run deploy onmam-web ...

→ [Harness] Produktionsbereitstellungsbefehl blockiert: gcloud run deploy
  Projekt: onmam-web
  Die Produktionsbereitstellung erfordert eine vorherige Genehmigung.
  Genehmigungsmethode: Genehmigungseintrag in .claude/deploy/approvals.json hinzufügen
  Die KI führt die Produktionsbereitstellung nicht direkt aus.

Selbst wenn die KI versehentlich oder zu aggressiv versucht, etwas auf den Produktionsserver hochzuladen, wird dies physisch blockiert.


[Harness #3] Alpha-Umgebung — Der spezielle Spielplatz für KI-Experimente

Produktion          : www.onmam.com         ← Wird von echten Kirchen genutzt
Staging             : staging.onmampick.org ← Endgültige Überprüfung vor der Bereitstellung
Alpha               : luke-*-alpha.onmampick.org ← Arbeitsbereich für die Zusammenarbeit mit KI

Regel: Alle Arbeiten mit KI finden nur in der Alpha-Umgebung statt.

Warum das wichtig ist – Was am 29. April 2026 tatsächlich geschah:

Die KI verwechselte home.onmam.com mit einer portal-App und erstellte eine falsche vhost-Konfiguration. Da es sich um die Alpha-Umgebung handelte → keine Auswirkungen auf den tatsächlichen Dienst. Dieser Fehler wurde in AGENTS.md protokolliert → die KI macht denselben Fehler nicht noch einmal.

Hier liegt das Wesen des Harness: Wenn ein Fehler auftritt → im Harness protokolliert → wird dieser Fehler beim nächsten Mal strukturell unmöglich.


[Harness #4] Skills — "Unsere eigenen Werkzeuge" für die KI

skills/
├── email/          ← E-Mail-Versand (inkl. Empfänger, SMTP-Regeln)
├── sms/            ← SMS-Versand
├── web-monitoring/ ← Dienststatusüberwachung
└── service-management/ ← Dienstbetriebsbefehle

Wenn die KI sagt "Sende eine E-Mail" – liest sie diese Skill-Datei und weiß automatisch, an wen, in welchem Format und über welchen SMTP-Server sie gesendet werden soll. Es ist nicht nötig, jedes Mal zu fragen: "Was ist die E-Mail-Adresse des Empfängers?"


5. Warum Entwickler daran interessiert sind

"Probleme der Ära der Entwicklung ohne KI"

Abhängigkeit von den individuellen Fähigkeiten des Entwicklers → Qualität sinkt, wenn Senior-Entwickler fehlen
Muss durch Code-Reviews behoben werden → Menschen müssen es manuell überprüfen

"Probleme von Teams mit KI, aber ohne Harness"

KI generiert schnell Code → kennt aber den Kontext unseres Dienstes nicht
Wiederholt dieselben Fehler → Bugs werden von der KI erstellt und von Menschen behoben
KI kann direkt auf den Produktionsserver zugreifen → man weiß nie, wann ein Unfall passiert

"Teams mit KI + Harness"

KI kennt unsere Regeln und schreibt Code → kontextbezogene Generierung
Fehler werden im Harness protokolliert → strukturelle Vermeidung desselben Fehlers
Produktionszugriff wird von Menschen genehmigt → sichere Autonomie

Um einen Ausdruck von Toss zu verwenden:

"Mit Harness wird das Produktivitätsminimum der gesamten Organisation angehoben. Es hängt nicht von individuellen Fähigkeiten ab, und alle Teammitglieder erzielen Ergebnisse über einem bestimmten Niveau."


6. Zusammenfassung — Was ich Nicht-Entwicklern vermitteln möchte

Im Zeitalter der KI ändert sich die Definition von "gut sein".

Früher: Entwickler, die guten Code schreiben Heute: Entwickler, die die Umgebung, in der die KI Code schreibt, gut gestalten

Der Kern dieser Umgebungsgestaltung ist Harness Engineering.

Und das ist nicht nur eine Geschichte für Entwickler.

Harness, das auch Nicht-Entwickler anwenden können:
  → Geschäftsregeln klar in Dokumenten festhalten
  → Der KI definieren: "Das darfst du tun, das nicht"
  → Protokollieren, "warum die KI einen Fehler gemacht hat", wenn ein Fehler auftritt

= Dies ist der Beginn des Harness Engineering selbst

Onmam.com Harness-Struktur auf einen Blick

alpha-adk/
├── CLAUDE.md                    ← [Leitfaden] Muss beim Start einer KI-Sitzung gelesen werden
├── AGENTS.md                    ← [Leitfaden] Projektregeln (SoT)
├── .agents/context/
│   └── agents-rules.json        ← [Leitfaden] Spezifische Betriebsregeln
├── .claude/
│   ├── hooks/
│   │   ├── deploy-guard.js      ← [Sensor] Blockiert Produktionsbereitstellung
│   │   ├── prod-gateway-guard.js← [Sensor] Blockiert Produktions-API-Schlüssel
│   │   ├── commit-guard.js      ← [Sensor] Überprüft Commit-Regeln
│   │   ├── pr-guard.js          ← [Sensor] Erzwingt PR-Genehmigung
│   │   ├── session-inject.js    ← [Sensor] Injiziert Kontext in jede Sitzung
│   │   └── cascade-check.js     ← [Sensor] Überprüft kaskadierende Auswirkungen nach der Änderung
│   └── settings.json            ← [Berechtigung] Hook-Ausführungseinstellungen
├── skills/
│   ├── email/                   ← [Werkzeug] E-Mail-Versand-Skill
│   ├── web-monitoring/          ← [Werkzeug] Dienstüberwachung
│   └── service-management/      ← [Werkzeug] Dienstbetriebsbefehle
└── data-private/memory/         ← [Feedback-Schleife] Fehlerprotokollierung → Wiederholungsprävention
    ├── project_onmam_incidents.md    ← Protokolliert Fehlerursache für Board.php
    ├── project_onmam_app_structure.md← Protokolliert home≠portal Fehler
    └── feedback_alpha_only.md        ← Protokolliert Alpha-spezifische Regeln

Harness = Die Gesamtheit dieser Dateien Alle werden im Git-Repo committet. Der gesamte Kontext des Teams! wird als Code akkumuliert.

Popular Posts

CC BY-NC-SA 4.0This post is licensed under CC BY-NC-SA 4.0.

Kommentare

Sie können ohne Anmeldung kommentieren

...