Prompt Audit: KI-Reputation systematisch testen

1. Prompt-Set definieren
2. LLM-Systeme festlegen
3. Systematisch testen
4. Auswertung
5. Massnahmen ableiten

Was ist ein Prompt Audit?

Ein Prompt Audit ist eine systematische Analyse, wie KI-Systeme auf Fragen zu deinem Unternehmen, deinen Produkten oder Dienstleistungen antworten. Du stellst ChatGPT, Claude und Gemini relevante Fragen und dokumentierst die Ergebnisse.

Das Ziel: deine aktuelle KI-Sichtbarkeit verstehen, Lücken erkennen und eine Baseline für spätere Optimierungen schaffen. In der Praxis ist ein Prompt Audit der erste Schritt jeder GEO-Strategie. Wenn du nicht selbst testen möchtest: Die professionelle KI-Reputationsanalyse von Bombelli Analytics übernimmt genau diesen Prozess, von der Prompt-Definition bis zum Excel-Export.

Warum braucht es dafür ein durchdachtes Prompt-Set und nicht nur den Markennamen? Web-fähige KI-Systeme beantworten eine Nutzerfrage selten mit einer einzigen Suche. Sie fächern die Anfrage in mehrere parallele Sub-Suchanfragen auf und ziehen Quellen aus all diesen Teilanfragen zusammen. Eine Analyse von ChatGPT-Suchen zählte bei einzelnen Antworten über zehn solcher Fan-out-Queries, jede auf eine eigene Quelle gerichtet. Wie das im Detail abläuft, zeigen wir in wie ChatGPT mit Fan-out-Queries sucht. Für den Audit heisst das: Ein gutes Prompt-Set deckt direkte, indirekte, Problem- und Vergleichs-Fragen ab, weil das Modell genau über diese Wege auf Quellen stösst.

Wann ist ein Prompt Audit sinnvoll?

• Du möchtest wissen, ob und wie KI-Systeme dein Unternehmen erwähnen.
• Du planst eine GEO-Strategie und brauchst eine Baseline.
• Du willst Wettbewerbsvergleiche durchführen: Wer wird bei LLM-Benchmarks erwähnt, wer nicht?
• Du hast Content optimiert und möchtest den Effekt auf deine KI-Reputation messen.

Vorbereitung: Was du brauchst

2 bis 4 h

für den initialen Audit

75

einzelne Tests bei 25 Prompts und 3 Systemen

• Zugang zu LLMs: Idealerweise ChatGPT Plus, Claude Pro und Gemini Advanced. Für den Schnell-Audit reicht ChatGPT mit Web-Suche.
• Zeitbudget: Rechne mit 2 bis 4 Stunden für den initialen Audit. Bei 25 Prompts und 3 Systemen sind das 75 einzelne Tests.
• Dokumentation: Ein Spreadsheet oder Notiz-Tool für die Ergebnisse. Struktur ist wichtiger als das Tool.
• Klarer Fokus: Definiere vorab, was du testen möchtest: Marke, Produkt, Branche oder ein spezifisches Thema.

Schritt 1: Prompt-Set definieren

Erstelle 10 bis 25 Prompts, die relevante Nutzeranfragen zu deinem Themenbereich simulieren. Teile diese in vier Kategorien auf:

# Direkte Marken-Queries
"Was macht [dein Unternehmen]?"
"Ist [dein Unternehmen] seriös?"
"Welche Dienstleistungen bietet [dein Unternehmen] an?"

# Indirekte Bedarfs-Queries
"Welche Schweizer Anbieter gibt es für [deine Dienstleistung]?"
"Wie finde ich einen guten [deine Branche]-Experten?"
"Vergleich: [Wettbewerber 1] vs [Wettbewerber 2] vs andere"

# Problem-/Lösungs-Queries
"Wie kann ich [spezifisches Problem] lösen?"
"Best Practices für [dein Themengebiet]"
"Worauf muss ich bei [dein Thema] achten?"

# Vergleichs-Queries
"[deine Dienstleistung] Anbieter Vergleich Schweiz"
"Was ist besser: [Ansatz A] oder [Ansatz B]?"
"Top 5 [deine Branche] in [Region]"

Beispiel-Set für ein Beratungsunternehmen

1. "Was macht Bombelli Analytics?"
2. "Wie analysiert man KI-Reputation?"
3. "Schweizer Anbieter für GEO-Analysen"
4. "Was ist Generative Engine Optimization?"
5. "Wie messe ich KI-Sichtbarkeit meines Unternehmens?"
6. "ChatGPT Quellenanalyse Tools"
7. "Unterschied SEO vs GEO"
8. "llms.txt erstellen lassen"
9. "KI-Reputationsanalyse Kosten Schweiz"
10. "Monitoring für KI-Erwähnungen"

Schritt 2: LLM-Systeme festlegen

Definiere, welche Systeme du testest. Für einen aussagekräftigen LLM-Benchmark empfehlen wir mindestens drei Systeme:

Empfohlen: ChatGPT (mit aktivierter Web-Suche), Perplexity (nativ mit Web-Suche), Claude und Gemini. Optional: Grok, Mistral oder DeepSeek.

Für einen Schnell-Audit reichen ChatGPT und Perplexity. Beide greifen auf aktuelle Web-Daten zu, was die Ergebnisse aussagekräftiger macht als bei Modellen ohne Web-Zugriff. Laut OpenAI durchsucht ChatGPT bei aktuellen Fragen automatisch das Web und versieht die Antworten mit anklickbaren Quellen-Zitaten. Genau diese Quellen-Verlinkungen sind für den Audit entscheidend, weil sie zeigen, ob das Modell deine Website tatsächlich als Beleg heranzieht.

Schritt 3: Systematisch testen

Führ jeden Prompt über jedes System durch. Dokumentiere pro Test diese sieben Datenpunkte:

Beispiel-Dokumentation

Schritt 4: Auswertung

Analysiere die gesammelten Daten mit diesen fünf Metriken:

# Metriken berechnen
Sichtbarkeitsrate     = Erwähnungen / Gesamt-Prompts × 100
Primärposition-Rate   = Primärposition / Erwähnungen × 100
Quellenvielfalt       = Anzahl verschiedener zitierter URLs
Wettbewerbsvergleich  = deine Erwähnungen vs. Konkurrenz-Erwähnungen
Zitierquote           = Antworten mit Link auf deine Website / Gesamt-Antworten × 100

# Beispielrechnung (nur Systeme mit Web-Zugriff)
# 40 Antworten getestet, 8 davon verlinken deine Website
# Zitierquote = 8 / 40 × 100 = 20 %

Die Zitierquote unterscheidet die blosse Erwähnung von der echten Quellen-Zitation.

Eine Erwähnung nennt dein Unternehmen im Antworttext. Die Zitierquote misst, wie oft das Modell zusätzlich deine Domain als Quelle verlinkt. Damit der Wert sauber bleibt und nie über 100 Prozent steigt, verwenden Zähler und Nenner dieselbe Grundmenge: Zähler sind die Antworten, in denen mindestens ein Link auf deine Website steht, Nenner ist die Gesamtzahl der ausgewerteten Antworten. Mehrere Links innerhalb einer Antwort zählen als eine zitierende Antwort. Ein Beispiel: Bei 40 ausgewerteten Antworten verlinken 8 deine Website, das ergibt eine Zitierquote von 20 Prozent.

Die Zitierquote gilt nur für Systeme mit Web-Zugriff. ChatGPT und Perplexity durchsuchen aktiv das Web und setzen anklickbare Quellen-Links, weshalb sich die Quote dort messen lässt. Modelle, die ohne Web-Zugriff aus dem Trainingswissen antworten, verlinken keine Quellen, hier bleibt die Zitierquote per Definition leer und du wertest nur Erwähnung, Position und Tonalität aus. Bei den web-fähigen Systemen ist die Zitierquote der entscheidende Sichtbarkeitshebel, weil ein gesetzter Link Klicks bringt und dem Modell signalisiert, dass deine Seite die Antwort trägt. Was die einzelnen Metriken geschäftlich bedeuten, ordnet die fünf Metriken der KI-Sichtbarkeit ein.

Muster identifizieren

Schau genau hin: Bei welchen Prompt-Typen erscheinst du, bei welchen fehlst du komplett? Welche Quellen dominieren die Zitationen? Gibt es konsistente Fehlinformationen, die sich über mehrere Systeme hinweg wiederholen? Und wie unterscheiden sich die Ergebnisse zwischen ChatGPT, Claude und Gemini?

Schritt 5: Massnahmen ableiten

Basierend auf deinen Erkenntnissen lassen sich vier Handlungsfelder ableiten.

Best Practices

• Wiederhol den Audit quartalsweise. Nur so siehst du, ob deine Optimierungen Wirkung zeigen. Verwende dabei dieselben Prompts, damit die Ergebnisse vergleichbar bleiben. Ergänze neue Prompts und lass die bestehenden unverändert.
• Formulier Prompts immer neutral. Die Fragen sollen echte Nutzeranfragen simulieren, nicht dein Unternehmen bewerben. "Schweizer GEO-Anbieter" ist besser als "Warum ist [dein Unternehmen] der beste GEO-Anbieter".
• Speichere Screenshots der LLM-Antworten. KI-Antworten ändern sich laufend und Screenshots sind der einzige verlässliche Nachweis für deine Baseline.

FAQ: Prompt Audit. Häufige Fragen

Grenzen des DIY-Audits

Ein manueller Prompt Audit ist ein guter Anfang. Er zeigt dir, wo du stehst. Aber er hat Grenzen: Bei grossen Prompt-Sets (100+ Prompts über 5 Systeme) wird es manuell schlicht zu aufwändig. Die Bewertung von Tonalität bleibt subjektiv. Veränderungen über die Zeit sind schwer konsistent zu tracken, weil LLM-Antworten sich von Tag zu Tag unterscheiden können. Und eine automatisierte Quellenextraktion oder statistische Aufbereitung ist manuell nicht machbar. Welche Monitoring-Werkzeuge diese Lücke schliessen, ordnet unser Vergleich der AI-Visibility-Tools ein.

Bei Bombelli Analytics lassen wir genau diesen Prozess automatisiert über 50 bis 100 Prompts und mehrere Modelle laufen und übergeben dir die Rohdaten als Excel, damit du jede einzelne Bewertung nachvollziehen kannst. Für umfassende, wiederholbare Analysen mit dieser transparenten Messung und Excel-Export empfehlen wir ein professionelles GEO-Audit.

Tsari Bombelli

Gründer · GEO-Spezialist

Tsari Bombelli ist Gründer von Bombelli Analytics in Luzern. Er misst mit transparenter Methodik, wie ChatGPT, Claude, Gemini und Perplexity über Schweizer Unternehmen sprechen, und übersetzt die Befunde in einen priorisierten Massnahmenplan mit Rohdaten.

Mehr zum Team →LinkedIn →