Un robots.txt public dynamique, toujours en ligne et jamais un 404
robots.txt public dynamique est une fonctionnalité du module SEO technique & Agent SEO de Clustraly. Le robots.txt public dynamique sert /robots.txt à partir de votre réglage publié, ou d'un repli intégré sûr, en texte brut mis en cache.
Servez toujours un /robots.txt valide : votre version publiée quand elle existe, un repli intégré sûr sinon. Le privé reste fermé, la médiathèque et les assets restent visibles, et la ligne Sitemap est toujours en absolu.
Votre /robots.txt répond dès la première visite d'un crawler
Les moteurs et les IA qui explorent votre site trouvent toujours des consignes claires sur /robots.txt. Pas de page blanche, pas d'erreur 404 : la réponse est garantie, même avant la moindre configuration de votre part.
Sous le capot, RobotsController sert votre réglage seo.robots_txt dès qu'il est renseigné, et bascule sinon sur un repli intégré qui reproduit le groupe User-agent: * de référence.
- Réponse garantie sur /robots.txt, jamais un 404
- Actif dès l'installation, sans réglage préalable
- Groupe User-agent: * cohérent avec votre robots.txt final
Votre version publiée passe devant, le repli assure le reste
Vous gardez la main : dès que votre robots.txt est publié, il est servi tel quel. Tant que rien n'est publié, un repli sûr prend le relais pour ne jamais laisser votre site sans consignes de crawl.
Le contrôleur teste le réglage seo.robots_txt : non vide, il est renvoyé; vide, buildFallback compose une réponse par défaut. La bascule est immédiate, sans redéploiement.
- Le réglage publié l'emporte quand il est renseigné
- Repli automatique tant qu'aucun robots.txt n'est publié
- Bascule instantanée entre custom et repli
Un repli qui verrouille le privé sans masquer votre médiathèque
Le repli intégré est pensé pour ne jamais se retourner contre vous. Il ouvre ce que les moteurs doivent voir pour afficher vos pages, et ne ferme que ce qui doit rester privé.
Il autorise /assets/, /themes/, /storage/media/, /storage/uploads/, /storage/ai/, les favicons et le manifest; il interdit /admin/, /api/, les sous-dossiers privés de storage (logs, backups, sessions, exports, cache) ainsi que /search et /recherche. Il ne bloque jamais /storage/ en entier.
- Assets, thèmes, médias et favicons ouverts au rendu
- /admin, /api et stockage privé (logs, backups...) bloqués
- /storage/ jamais bloqué en bloc : médiathèque préservée
- Ligne Sitemap absolue toujours présente
Texte brut, mis en cache 24 h, sous-dossier respecté
La réponse arrive dans le bon format et se met en cache pour soulager les crawlers comme votre serveur, sans aucun réglage de votre part.
Content-Type text/plain, Cache-Control public, max-age 86400 (24 h). Le chemin d'installation en sous-dossier est intégré aux règles, et la ligne Sitemap reste toujours en URL absolue.
- Content-Type text/plain conforme
- Cache public de 24 h (max-age 86400)
- Base path d'installation en sous-dossier pris en compte
Un hook pour ajuster le corps avant l'envoi
Vos développeurs peuvent adapter le contenu final sans toucher au cœur : un point d'extension transforme le corps, qu'il vienne de votre version publiée ou du repli.
Le hook plugin robots.txt reçoit le corps et peut le réécrire avant la réponse, pour couvrir un cas propre à votre installation.
- Hook robots.txt appliqué au corps custom comme au repli
- Personnalisation par code sans modifier le noyau
La version servie, c'est celle que vous avez validée
Votre robots.txt publié n'est jamais improvisé : Clustraly compose un brouillon que vous relisez et validez d'un clic — rien n'est servi sans votre accord. Le repli n'est là que pour couvrir l'intervalle avant votre première publication.
Une fois publié, votre réglage seo.robots_txt est servi instantanément; en attendant, le repli garde votre site guidé et sûr.
- Aucun robots.txt servi sans votre validation
- Le repli couvre uniquement l'avant-publication
Un fichier public, zéro angle mort
Que vous ayez déjà publié votre robots.txt ou non, /robots.txt répond toujours par des consignes sûres : privé fermé, médiathèque et assets ouverts au rendu, Sitemap en absolu.
Questions fréquentes
Que se passe-t-il si je n'ai pas encore publié de robots.txt ?
Le repli risque-t-il de cacher mes images aux moteurs ?
Mon installation est dans un sous-dossier, est-ce géré ?
Puis-je personnaliser le contenu au-delà du réglage ?
Un /robots.txt qui ne vous laisse jamais à découvert
Servez des consignes de crawl fiables dès le départ : votre version quand vous l'avez publiée, un repli sûr le reste du temps, toujours en texte brut, mis en cache et pointant vers votre sitemap en absolu.