# robots.txt - aus Django gerendert, nicht statisch abgelegt: der
# Sitemap-Verweis muss in jeder Umgebung die dort gueltige Domain nennen.
#
# Uebernommen von der WordPress-Site (Stand 19.09.2026): dort steht unter
# "User-agent: *" ein LEERES "Disallow:", also keinerlei Sperre. Es gibt
# damit nichts zu erben, was die neue Site aussperren koennte. Neu sind nur
# die Verwaltungspfade, die es unter WordPress so nicht gab.
User-agent: *
Disallow: /admin/
Disallow: /sso/
Disallow: /search/
Disallow: /en/search/

# Die ausdrueckliche Freigabe fuer KI-Crawler stammt aus der alten
# robots.txt und gilt unveraendert weiter. Sie steht als eigene Gruppe, weil
# ein Crawler mit eigener Gruppe die Gruppe "*" nach RFC 9309 vollstaendig
# ignoriert - ohne die wiederholten Disallow-Zeilen duerften genau diese
# Crawler als einzige in die Verwaltung.
#
# Die Disallow-Zeilen stehen VOR "Allow: /", und das ist kein Schoenheits-
# sondern ein Wirksamkeitsgrund: RFC 9309 und Google entscheiden nach der
# laengsten passenden Regel, viele einfachere Parser aber nach der ERSTEN.
# Bei umgekehrter Reihenfolge waeren die KI-Crawler dort genau wieder
# zugelassen - nachgemessen mit Pythons urllib.robotparser.
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: PerplexityBot
User-agent: FacebookBot
User-agent: Amazonbot
User-agent: Bytespider
User-agent: CCBot
Disallow: /admin/
Disallow: /sso/
Disallow: /search/
Disallow: /en/search/
Allow: /

Sitemap: https://spiritinprojects.com/sitemap.xml