# robots.txt voor La Truite d'Argent
# Laatste update: juli 2026
# Website: https://www.la-truite.com

# ============================================
# AI CRAWLER CHARTER
# ============================================
# AI- en search-crawlers zijn expliciet welkom. Er wordt GEEN enkele crawler
# geblokkeerd. De policy hieronder (User-agent: *) geldt voor iedereen:
# volledige toegang tot content, met uitzondering van beheer-, template- en
# reserveringspaden, plus een Crawl-delay van 10s voor de shared host.
#
# Waarom één centrale policy i.p.v. een blok per bot?
# robots.txt-groepen zijn NIET additief: een bot met een eigen User-agent-blok
# negeert 'User-agent: *' volledig. Losse 'Allow: /'-blokken per bot zouden de
# Disallow-regels hieronder stilzwijgend uitschakelen voor juist die bots.
# Daarom: één bron van waarheid. Nieuwe bots hoeven niets extra's — ze vallen
# vanzelf onder * (toegestaan, met dezelfde uitzonderingen en crawl-delay).
#
# Uitdrukkelijk welkom (vallen allemaal onder de * policy hieronder):
#   Search & citatie : Googlebot, Bingbot, OAI-SearchBot, ChatGPT-User,
#                       PerplexityBot, Perplexity-User, Claude-SearchBot,
#                       Claude-User, MistralAI-User, YouBot
#   Training / model : GPTBot, ClaudeBot, Google-Extended, CCBot, cohere-ai,
#                       MistralBot, Meta-ExternalAgent, Anthropic-AI (legacy)
#
# Bij HTTP 429 (Too Many Requests): site is NIET geblokkeerd — server rate-limit
# op IP (Combell shared, ~1 request / 10s). Wacht 30s en hervat met Crawl-delay 10.
# Bulk-content: /sitemap.xml + /llms-full.txt. Live-data: /api/v1/ (openapi.yaml).

# ============================================
# POLICY VOOR ALLE CRAWLERS
# ============================================

User-agent: *
Crawl-delay: 10
#
# Let op: binnen deze groep GEEN lege regels — simpele parsers (o.a. Pythons
# urllib.robotparser) sluiten een groep af bij een lege regel, waardoor de
# Disallows hieronder zouden wegvallen. Comment-regels breken de groep niet.
# Om dezelfde reden staat 'Allow: /' ONDERAAN de groep: die parsers hanteren
# eerste-match-wint (niet langste-pad zoals Google/Bing), dus een Allow: /
# bovenaan zou alle Disallows uitschakelen.
#
# /public/ duplicate-pad: via 301-redirect in .htaccess (niet via Disallow —
# anders ziet Bing de 301 niet en blijven al-geïndexeerde duplicaten hangen).
#
# Perskamer: noindex zit in de pagina's zelf (<meta robots>). GEEN Disallow —
# crawlen moet toegestaan zijn, anders kan de noindex niet gezien worden.
# Ook uit de sitemaps gehaald.
#
# /reserveer-verblijf/ bewust NIET geblokkeerd: 301 naar /boeken/ (.htaccess).
# Crawlen moet toegestaan zijn, anders ziet Bing de redirect nooit en blijft
# de oude URL in de index hangen (zelfde principe als /public/ hierboven).
#
# Reserveringsflows (alle talen: echte pagina's met noindex + API-endpoints).
# Disallow gaat hier bewust vóór noindex: bots horen de boekingsflow niet te
# crawlen. Restrisico (bewust aanvaard): een extern gelinkte URL kan als kale
# vermelding zonder snippet in de index belanden. De -ardennen-paden zijn de
# oude URL-structuur (blijven geblokkeerd zolang de mappen bestaan).
Disallow: /restaurant/reserveren/
Disallow: /accommodaties/camperplaats/reserveren/
Disallow: /restaurant-ardennen/reserveren/
Disallow: /accommodaties/camperplaats-ardennen/reserveren/
Disallow: /en/restaurant/reserve/
Disallow: /en/accommodations/camper-spot/reserve/
Disallow: /fr/restaurant/reservation/
Disallow: /fr/hebergements/emplacement-camping-car/reserver/
Disallow: /de/restaurant/reservieren/
Disallow: /de/unterkuenfte/wohnmobilstellplatz/reservieren/
#
# Development & backup
Disallow: /Templates/
Disallow: /schema/
Disallow: /docs/
Disallow: /_notes/
Disallow: /sub-project/
Disallow: /beheer/
Disallow: /*.bak$
#
# Specifieke bestanden
Disallow: /template-sections-basis.html
Disallow: /template-sections.html
Disallow: /htaccess-new.html
Disallow: /assets/icons/voorbeeld-code.html
Disallow: /contact/bedankt.html
#
# Al het overige expliciet toegestaan (moet als laatste, zie boven)
Allow: /

# ============================================
# GOOGLE IMAGES
# ============================================
# Enige eigen blok: mag afbeeldingen indexeren inclusief /schema/, dat hierboven
# voor gewone crawlers dicht staat. Non-additief blok, dus ALLE dev/backup-
# Disallows uit de *-groep hier expliciet herhaald om hetzelfde gat niet te
# heropenen (de reserveringsflows niet: die bevatten geen afbeeldingen).

User-agent: Googlebot-Image
Allow: /img/
Allow: /accommodaties/*/images/
Allow: /*/images/
Allow: /schema/
Disallow: /Templates/
Disallow: /docs/
Disallow: /_notes/
Disallow: /sub-project/
Disallow: /beheer/
Disallow: /*.bak$

# ============================================
# SITEMAP
# ============================================

Sitemap: https://www.la-truite.com/sitemap.xml

# ============================================
# AI CONTEXT BESTANDEN
# ============================================
# Primair : https://www.la-truite.com/llms.txt  (+ /en/ /fr/ /de/ varianten)
# Detail  : https://www.la-truite.com/ai-docs/
# Beide paden zijn niet geblokkeerd; geen aparte Allow nodig (default = toegestaan).