# ---------------------------------------------------------------------------
# WiicMenu — règles de crawl
#
# Les menus publics (offre.php, index.php, article.php) DOIVENT rester indexés :
# c'est le canal d'acquisition des restaurateurs, indépendant du module de
# référencement.
#
# /!\ NE JAMAIS AJOUTER "Disallow: /services/".
# Le contenu des cartes est rendu côté client : la page HTML arrive quasi vide et
# c'est data.service.php qui fournit cartes, catégories et plats. Interdire ce
# chemin empêcherait Googlebot de récupérer la requête XHR au rendu, et les pages
# seraient indexées sans aucun plat — soit exactement la perte de référencement
# qu'on cherche à éviter. Le blocage des aspirateurs se fait au niveau nginx
# (limitation de débit), pas ici.
# ---------------------------------------------------------------------------

User-agent: *
# Back-office et outillage : aucun intérêt pour l'indexation, et cela évite de
# gaspiller le budget de crawl sur des pages qui répondent par une redirection
# vers la page de connexion.
Disallow: /app/modification
Disallow: /app/sign-in.php
Disallow: /Admin/
Disallow: /cache/
Disallow: /logs/
# Pages de gestion client : accessibles par jeton signé, sans valeur en recherche
# et à ne pas exposer dans un index.
Disallow: /app/reservation_modification.php
Disallow: /app/reservation_annulation.php
Disallow: /app/empreinte.php

# ---------------------------------------------------------------------------
# Robots d'analyse SEO commerciale : ils parcourent l'intégralité du parc pour
# revendre la donnée, n'apportent aucun visiteur et constituent précisément le
# scraping poli qu'on veut couper. Ceux-ci respectent robots.txt ; les autres
# sont traités par la limitation de débit nginx.
# ---------------------------------------------------------------------------
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: Bytespider
Disallow: /