Ne laissez plus aucun nouveau crawler IA vous échapper — Mission Veille (SSE) de l'Agent SEO
Agent SEO Mission Veille (SSE) est une fonctionnalité du module SEO technique & Agent SEO de Clustraly. La Mission Veille de l'Agent SEO recherche sur le web les nouveaux robots crawlers, les filtre et vous propose de les ajouter au registre.
Le paysage des robots IA change vite. La Mission Veille interroge le web pour repérer les nouveaux crawlers, les filtre, puis vous propose de les ajouter à votre registre — à vous de confirmer.
Repérez les nouveaux crawlers sans veille manuelle
Entre deux mises à jour, de nouveaux robots d'entraînement, de recherche ou d'assistants IA apparaissent. La Mission Veille interroge le web via le modèle pour trouver les user-agents crawlers documentés après une date, en écartant d'emblée ceux que votre registre connaît déjà.
Vous récupérez une liste ciblée de bots réellement nouveaux, prête à examiner — pas un flux de doublons à trier.
- Recherche web menée par le modèle pour trouver les crawlers récents
- Ne remonte que les user-agents documentés après une date
- Exclut d'office les bots déjà présents dans votre registre
- Couvre 7 familles : entraînement, recherche et assistants IA, moteurs, réseaux sociaux, outils SEO, scrapers
Une mission qui s'exécute en direct
Vous lancez la veille depuis la vue agent. La mission s'ouvre en flux (SSE) et se déroule sous vos yeux jusqu'au verdict, puis horodate la dernière veille.
Deux issues, toujours claires : soit des bots nouveaux sont trouvés et une proposition est déposée, soit l'agent conclut que votre registre est à jour.
- Lancée à la demande, sans planification à configurer
- Progression diffusée en direct via un flux SSE
- Date de la dernière veille horodatée (last_watch_at)
- Verdict binaire : ajouts proposés ou « registre à jour »
Chaque bot filtré avant d'entrer
Aucun résultat n'est pris tel quel. Chaque bot passe une série de contrôles : user-agent validé par expression régulière, absence confirmée du registre, et famille restreinte à une liste autorisée.
L'URL source renvoyée par le modèle n'est conservée que si elle est en http(s) ; sinon elle est vidée, pour protéger votre interface d'administration contre les injections.
- User-agent validé par expression régulière (2 à 60 caractères)
- Famille restreinte à une liste autorisée, sinon rejet
- URL source conservée seulement si http(s), sinon vidée
- Protection anti-XSS de la vue d'administration
Rien n'entre sans votre feu vert
Quand des bots passent les filtres, l'agent dépose une proposition « watch » en attente — il ne touche pas à votre registre. Vous consultez les ajouts suggérés, puis vous confirmez ou vous rejetez.
À la confirmation, les ajouts fusionnent dans votre registre catalogué et versionné. L'IA propose, vous décidez.
- Aucun bot ajouté sans votre confirmation explicite
- Proposition « watch » stockée en attente pour revue
- Fusion des ajouts confirmés dans le registre à la publication
- Registre catalogué et versionné
Un registre à jour qui pilote votre robots.txt
Chaque bot connu appartient à une famille, et chaque famille commande un groupe du robots.txt généré. Une fois vos nouveaux crawlers confirmés, ils deviennent pilotables par votre politique.
Moteurs et réseaux sociaux restent toujours autorisés, les scrapers toujours bloqués, et les familles IA comme les outils SEO suivent la posture que vous avez choisie.
- Chaque famille pilote un groupe du robots.txt généré
- Moteurs et réseaux sociaux toujours autorisés
- Scrapers systématiquement bloqués
- Familles IA et outils SEO pilotés par votre politique
L'IA propose, vous décidez
La Mission Veille ne modifie jamais votre registre toute seule. Elle recherche, filtre les résultats, puis dépose une proposition en attente. Rien n'entre dans votre robots.txt tant que vous n'avez pas confirmé les ajouts.
Questions fréquentes
La Mission Veille modifie-t-elle mon registre automatiquement ?
Comment évite-t-elle de me proposer des bots que je connais déjà ?
Comment les bots proposés sont-ils sécurisés avant revue ?
Que se passe-t-il si aucun nouveau bot n'est trouvé ?
Une veille crawler qui reste sous votre contrôle
La Mission Veille fait le travail d'observation à votre place : elle scrute le web pour les nouveaux robots, filtre les résultats et vous les présente prêts à décider. Vous gardez la main sur ce qui entre dans votre registre et donc sur ce que votre robots.txt autorise ou bloque, famille par famille.