llms.txt: Funktioniert es wirklich? Was Server-Logs zeigen

Der Hype und seine Grenzen

llms.txt ist in zwölf Monaten vom Vorschlag einer einzelnen Person zur Standard-Empfehlung in fast jedem GEO- und KI-SEO-Artikel geworden. Ahrefs, Semrush, Yoast, Neil Patel und Dutzende Agenturen publizieren Setup-Guides. BuiltWith trackte im Oktober 2025 über 844'000 Domains mit einer llms.txt im Root-Verzeichnis. Zum Vergleich: robots.txt wird auf geschätzt über 100 Millionen Sites ausgeliefert, das ist also noch zwei Grössenordnungen entfernt, aber der Zuwachs pro Quartal ist steil.

Der Widerspruch: parallel zur Adoption gibt es kein einziges öffentliches Statement von OpenAI, Anthropic oder Google, dass ihre Systeme die Datei zur Inferenz oder zum Training nutzen. Anthropic selbst hostet zwar eine llms.txt unter docs.anthropic.com, aber das ist die Client-Seite (Dokumentations-Hosting) und keine offizielle Unterstützung für die Server-Seite (Crawling und Verwertung).

Diese Asymmetrie zwischen Hype und Evidenz ist das Problem, das dieser Post angeht. Nicht normativ (implementieren oder nicht), sondern methodisch: wie prüft man die tatsächliche Wirkung selbst, ohne auf Tool-Vendor-Aussagen angewiesen zu sein?

Was llms.txt ist und was es verspricht

Kurze Rekapitulation für Einsteigerinnen. Eine Vertiefung mit Datei-Aufbau, Beispielen und Best Practices steht im Haupt-Guide zu llms.txt.

llms.txt ist eine Textdatei im Markdown-Format, abgelegt unter example.com/llms.txt. Jeremy Howard schlug den Standard am 3. September 2024 vor. Der Zweck laut llmstxt.org: "provide information to help LLMs use a website at inference time". Die Datei enthält einen Titel, eine Zusammenfassung und kuratierte Links zu den wichtigsten Unterseiten mit kurzen Beschreibungen.

Das Versprechen: ein KI-System, das Fragen über die Marke oder Branche beantwortet, liest llms.txt als Kontextsignal, versteht die Website schneller, priorisiert die richtigen Inhalte und zitiert die Quelle korrekter. Der Mechanismus ist plausibel, die Empirie fehlt.

Die Evidenz-Lücke

Google hat sich als erster grosser Player explizit geäussert. John Mueller schrieb im April 2025 auf Reddit, zitiert im Search Engine Journal:

"AFAIK none of the AI services have said they're using LLMs.TXT (and you can tell when you look at your server logs that they don't even check for it). To me, it's comparable to the keywords meta tag."

Der Vergleich mit dem keywords-Meta-Tag sitzt. Dieses Tag war in den späten 1990er-Jahren der Versuch, Webmastern eine Deklarations-Schnittstelle für Suchmaschinen zu geben. Google hat es spätestens 2009 öffentlich als Ranking-Signal verworfen, weil es zu leicht zu manipulieren war und Cross-Check mit dem eigentlichen Seiteninhalt unumgänglich war. Muellers Punkt: auch llms.txt ist eine selbstdeklarierte Datei. Ein KI-System müsste die Angaben gegen den tatsächlichen Seiteninhalt verifizieren, sonst ist sie Einfallstor für Manipulation. Der Verifikations-Overhead macht die Datei redundant.

Semrush hat die These im eigenen Haus getestet. Auf Search Engine Land, einer Schwester-Property, wurde eine llms.txt zwischen Mitte August und Ende Oktober 2025 ausgerollt. Ergebnis laut Semrush-Blog: null Besuche von Google-Extended, GPTBot, PerplexityBot und ClaudeBot über den gesamten Beobachtungszeitraum. Googlebot und Bingbot riefen die Datei ab, behandelten sie aber ohne Sonderstatus.

Ahrefs zog im selben Zeitraum die gleiche Konsequenz. Ryan Law, Director of Content Marketing, schreibt, es gebe "no evidence that llms.txt improves AI retrieval, boosts traffic, or enhances model accuracy". Ahrefs empfiehlt stattdessen eigene Bot-Analytics und tatsächliches AI-Brand-Monitoring.

Ein separates Audit über 1'000 Adobe-Experience-Manager-Domains (30 Tage CDN-Logs) zeigte ähnliches: Googlebot-Desktop belegte 94,9 Prozent aller Zugriffe auf die llms.txt-Dateien, OAI-SearchBot 1,1 Prozent. GPTBot, ClaudeBot und PerplexityBot tauchten nicht auf. Der Befund wiederholt sich in Community-Diskussionen: Ein Domain-Host mit über 20'000 Sites berichtete auf Reddit, dass ausschliesslich BuiltWith-ähnliche Discovery-Crawler die Datei abholten, keine Inferenz-Bots.

Wie Sie selbst prüfen: Server-Log-Methodik

Die einzige belastbare Evidenz für die eigene Domain kommt aus dem eigenen Access-Log. Tool-Dashboards, Blog-Posts anderer und Vendor-Aussagen ersetzen das nicht, weil Bot-Verhalten pro Domain und Zeitraum variiert. Die folgende Methodik funktioniert für Apache-, Nginx- und CDN-Logs im Combined-Log-Format.

Schritt 1: Ziel-User-Agents definieren

Die öffentlich dokumentierten Bots der grossen KI-Anbieter, zu denen Log-Evidenz sinnvoll ist:

Bot	Anbieter	Funktion
GPTBot	OpenAI	Training-Crawler
OAI-SearchBot	OpenAI	Search-Index für ChatGPT-Suche
ChatGPT-User	OpenAI	Live-Fetch für ChatGPT-Nutzersessions
ClaudeBot	Anthropic	Training-Crawler
anthropic-ai / Claude-Web	Anthropic	Live-Fetch und Search
PerplexityBot	Perplexity	Search-Crawler
Google-Extended	Google	Gemini-Training-Signal (opt-out-Token)
Applebot-Extended	Apple	KI-Training-Signal
CCBot	Common Crawl	Upstream-Datensatz für viele LLMs
Bytespider	ByteDance	Training-Crawler

Die Liste ist nicht vollständig. Microsofts Bingbot wird in manchen Audits als KI-Bot mitgezählt, weil Bing-Resultate in Copilot einfliessen. Discovery-Crawler wie BuiltWith oder verschiedene Agentur-Scanner tauchen ebenfalls auf und werden häufig als "KI-Crawler" fehlinterpretiert. Wer sauber trennen will, pflegt die Liste explizit.

Schritt 2: grep und awk auf dem Access-Log

Für eine Apache- oder Nginx-Installation mit Combined-Log-Format ist der einfachste Einstieg:

# Alle Zugriffe auf llms.txt der letzten 30 Tage
grep "llms.txt" /var/log/nginx/access.log | awk -F\" '{print $6}' | sort | uniq -c | sort -rn

# Nur Zugriffe der bekannten KI-Bots auf llms.txt
grep "llms.txt" /var/log/nginx/access.log | \
  grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|anthropic-ai|PerplexityBot|Google-Extended|Applebot-Extended|CCBot|Bytespider" | \
  awk '{print $1, $4, $9, $(NF-1)}'

# Pro Bot zählen
grep "llms.txt" /var/log/nginx/access.log | \
  grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|anthropic-ai|PerplexityBot|Google-Extended|Applebot-Extended|CCBot|Bytespider" | \
  sort | uniq -c | sort -rn

Wer rotierte Logs hat (access.log.1.gz, access.log.2.gz etc.), ersetzt grep durch zgrep oder iteriert mit einer Schleife. Für CDNs (Cloudflare, Fastly, CloudFront) sieht der Log-Pfad anders aus, das Prinzip bleibt: Pfad-Filter auf llms.txt, dann User-Agent-Filter.

Schritt 3: Gegenprobe mit vergleichbarer Seite

Der kritische Punkt ist die Gegenprobe. Ein Null-Ergebnis auf llms.txt ist nur dann interpretierbar, wenn die KI-Bots überhaupt sonstwo auf der Domain auftauchen. Daher parallel eine vergleichbare URL (robots.txt, sitemap.xml oder eine typische Content-Seite) prüfen:

# Vergleichsprobe: dieselben Bots auf robots.txt
grep "robots.txt" /var/log/nginx/access.log | \
  grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|anthropic-ai|PerplexityBot|Google-Extended|Applebot-Extended|CCBot|Bytespider" | \
  sort | uniq -c | sort -rn

# Vergleichsprobe: dieselben Bots gesamt auf der Domain
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|anthropic-ai|PerplexityBot|Google-Extended|Applebot-Extended|CCBot|Bytespider" \
  /var/log/nginx/access.log | sort | uniq -c | sort -rn

Wenn GPTBot die Domain hundertmal crawlt, aber llms.txt null mal: klare Evidenz für Desinteresse. Wenn GPTBot die Domain null mal crawlt, sagt das Null-Ergebnis auf llms.txt wenig aus. Der Befund muss in der richtigen Relation stehen, sonst ist er methodisch wertlos.

Schritt 4: Zeitraum

LLM-Bots crawlen seltener als Googlebot. Ein Beobachtungsfenster von unter 14 Tagen ist unzureichend. Das Semrush-Experiment lief über gut zehn Wochen, das ist eine sinnvolle Mindestgrösse. Besser: 60 bis 90 Tage, idealerweise gekoppelt mit einem konkreten Publikationsereignis (neue Content-Seite, prominent verlinkt) als Trigger.

Schritt 5: Verifikation via Reverse-DNS

User-Agent-Strings sind beliebig fälschbar. Wer wirklich sauber arbeiten will, verifiziert die IP-Range der auftauchenden Bots via Reverse-DNS. OpenAI dokumentiert die GPTBot-IPs öffentlich, Anthropic ebenfalls. Für die meisten Schweizer KMU-Setups ist das Over-Engineering, aber wer Server-Log-Ergebnisse in einem Audit oder Pitch verwendet, sollte diesen Schritt einplanen.

Was offizielle Tool-Vendoren sagen

Das Marktbild ist gespalten. Grob drei Lager:

Position	Vertreter	Kernargument
Pro-Implementation	Yoast, Publii, Neil Patel, diverse Agenturen	Günstig, risikoarm, zukunftssichernd
Skeptisch-neutral	Ahrefs, Semrush, Wix Studio	Fehlende Evidenz, Experimente negativ, Fokus auf messbare Alternativen
Ablehnend	Google (John Mueller), mehrere Log-Auditoren	Keywords-Meta-Tag-Analogie, kein Nutzungssignal in Logs

Die Lagerverteilung ist interessanter als sie aussieht. Die Pro-Implementation-Seite argumentiert fast ausschliesslich normativ ("sollte sein"), die Skeptiker und Ablehnenden argumentieren empirisch ("ist in den Logs nicht sichtbar"). Wer Evidenz will, bekommt sie zurzeit nur vom zweiten und dritten Lager.

Empfehlung: implementieren, aber ohne Erwartungsmanagement-Fehler

Die pragmatische Position für Schweizer KMU mit begrenzten Ressourcen:

1. Datei ausliefern. Kosten sind minimal (eine Markdown-Datei im Root), Downside null. Falls OpenAI, Anthropic oder Google den Standard 2026 oder 2027 offiziell übernehmen, ist die Infrastruktur bereit. Der konkrete Ablauf steht im Guide zum Hochladen und Prüfen.
2. Keinen Sichtbarkeits-Impact erwarten. Wer heute implementiert und im nächsten Monat auf mehr Perplexity-Zitate hofft, wird enttäuscht sein. Das ist nicht der Wirkmechanismus, auch nicht in den Vendor-Guides.
3. Log-Monitoring einrichten. Ein wöchentlicher Cron-Job, der die grep-Befehle ausführt und die Ergebnisse in eine Textdatei schreibt, reicht. Wer die Datei in sechs Monaten wieder anschaut, hat Evidenz in der Hand und keine Meinung.
4. Kein A/B-Test-Narrativ bauen. "Wir haben llms.txt implementiert und sind jetzt in ChatGPT-Antworten sichtbarer" ist ohne kontrollierte Studie nicht zulässig. Auch Search Engine Lands Zehn-Sites-Studie zeigte: wo Traffic stieg, lagen parallele Änderungen vor (PR-Coverage, neue FAQs, restrukturierte Produktseiten), nicht die llms.txt war der Hebel.

Die Alternative und Ergänzung

llms.txt ist nicht der einzige Kontext-Hebel für KI-Crawler und auch nicht der wichtigste. Die derzeit belegbaren Signale, an denen KI-Systeme ihre Quellenauswahl orientieren:

• Schema.org-Markup (Article, Organization, FAQ, Breadcrumb, Author). Wird von GPTBot und ClaudeBot nachweislich geparst, weil es im gerenderten HTML steckt und nicht separat abgefragt werden muss.
• robots.txt mit expliziten User-Agent-Regeln. Ob der eigene Content für KI-Training freigegeben oder geblockt wird, steuert robots.txt heute schon effektiv. Das ist eine einseitige Erlaubnis- oder Verbotsschnittstelle, keine Inhaltsschnittstelle.
• Hohe Fact-Density im Content. Konkrete Zahlen, Daten, Zitate mit Quelle, klar attribuierte Autorinnen. KI-Systeme bevorzugen Quellen, die beim Fact-Check standhalten.
• Saubere semantische HTML-Struktur. H1 bis H3 hierarchisch, nicht dekorativ. Klare Paragraphen. Listen für Aufzählungen. Das ist faktisch ein Markdown-Äquivalent, nur ausgeliefert als HTML.
• Autoren-Bios und E-E-A-T-Signale. Verlinkte Biografien, LinkedIn-Profile, institutionelle Zugehörigkeit.

Diese Hebel sind nicht mehr sexy, weil sie bereits zum Standard-SEO-Handwerk gehören. Sie sind aber messbar wirksam. llms.txt oben drauf legen kostet wenig, ersetzt sie nicht.

Für Schweizer B2B-Unternehmen, die ihre KI-Sichtbarkeit systematisch aufbauen wollen, ist die sinnvolle Reihenfolge: erst die belegbaren Signale sauber auf die Site bringen, dann llms.txt als Vorbereitung für den Fall, dass der Standard 2026 offizielle Unterstützung bekommt. Das Gesamtpaket adressiert die AEO-Agentur-Leistungen von Bombelli Analytics.

FAQ

Funktioniert llms.txt wirklich?

Die Datei wird von 844'000 Websites ausgeliefert (Stand Oktober 2025, BuiltWith), aber kein grosser LLM-Anbieter hat offiziell bestätigt, dass GPTBot, ClaudeBot, PerplexityBot oder Google-Extended llms.txt für Inferenz nutzen. Googles John Mueller verglich den Standard im April 2025 mit dem historischen keywords-Meta-Tag. Server-Log-Audits über tausend Domains zeigen, dass LLM-spezifische Bots die Datei in der Regel nicht anfragen, mehrheitlich wird sie von SEO-Crawlern wie BuiltWith abgeholt.

Wie prüfe ich selbst, ob GPTBot meine llms.txt liest?

Server-Logs nach dem String llms.txt grepen und die User-Agent-Spalte auswerten. Für Apache und Nginx reicht ein Einzeiler mit grep und awk. Relevante User-Agents: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider. Mindestens 30 Tage Beobachtungszeitraum ansetzen, besser 60 bis 90.

Welche Bots crawlen llms.txt aktuell?

Öffentliche Log-Auswertungen zeigen Googlebot-Desktop mit rund 95 Prozent der Zugriffe auf llms.txt-Dateien (behandelt die Datei aber wie jeden normalen Text). OAI-SearchBot erscheint bei etwa 1 Prozent der Requests. GPTBot, ClaudeBot und PerplexityBot tauchen in den meisten Audits gar nicht oder nur vereinzelt auf. Der Rest kommt von SEO-Tools wie BuiltWith, die Verbreitung tracken, nicht von KI-Systemen, die den Inhalt verwenden.

Soll ich llms.txt trotzdem implementieren?

Ja, mit realistischem Erwartungsmanagement. Die Datei ist günstig, risikoarm und signalkonsistent mit anderen strukturierten Daten. Sie ist aber kein aktuell belegter Ranking- oder Sichtbarkeitsfaktor. Behandeln Sie llms.txt als Frühwarn-Infrastruktur für den Fall, dass Anthropic oder OpenAI den Standard später offiziell übernehmen, nicht als heutigen Performance-Hebel. Zur praktischen Umsetzung hilft der Generator-Überblick.

Was ist die Alternative zu llms.txt?

Die derzeit evidenzbasierten Hebel für KI-Sichtbarkeit: saubere robots.txt mit expliziter Regelung für GPTBot und ClaudeBot, Schema.org-Markup (Article, Organization, FAQ), hohe Fact-Density in den Kerninhalten, klare Autoren-Attribution mit Bio-Links und Markdown-kompatible, semantisch strukturierte HTML-Ausgabe. Diese Signale werden von den KI-Crawlern nachweislich verarbeitet und sind der Teil, der heute schon Sichtbarkeit generiert.

Quellen

• Jeremy Howard, llmstxt.org. Original-Spezifikation, vorgeschlagen am 3. September 2024.
• Roger Montti, Google Says LLMs.txt Comparable To Keywords Meta Tag, Search Engine Journal, April 2025. Enthält das vollständige Mueller-Zitat.
• Ryan Law, What Is llms.txt, and Should You Care About It?, Ahrefs-Blog. Skeptische Einordnung mit Bot-Analytics-Bezug.
• Semrush-Team, llms.txt: Does Your Website Need One?, Semrush-Blog. Dokumentiert das Search-Engine-Land-Experiment August bis Oktober 2025.
• Publii-Team, The Complete Guide to llms.txt. Liefert die BuiltWith-Adoptionszahl 844'000 Sites per Oktober 2025.
• Flavio Longato, LLMs.txt: Why AI Crawlers Ignore It (2025 Audit). Log-Auswertung über 1'000 AEM-Domains, 30 Tage CDN-Logs.
• George Nguyen, Does llms.txt matter? We tracked 10 sites to find out, Search Engine Land. 90-Tage-Präpost-Vergleich auf zehn Sites.