Cloudflare lance un tableau de bord BotBase dédié aux opérateurs de robots
Cloudflare offre désormais un espace dédié aux éditeurs de robots web et d'outils d'exploration automatisée dans son tableau de bord. La mise à jour apporte le suivi en temps réel des demandes d'enregistrement, la mise à jour des fiches techniques et un processus de validation automatisé.
Fil « Lancement du tableau de bord Cloudflare BotBase pour les opérateurs »
Une interface dédiée à la déclaration des robots
Jusqu'à présent situé dans la gestion du compte, le formulaire de soumission de robots rejoint l'emplacement Protect & Connect → Application Security → BotBase du tableau de bord Cloudflare. Cette interface s'articule autour de trois volets : l'annuaire global des robots connus, le formulaire d'enregistrement et l'historique détaillé des demandes.
L'onglet d'historique élimine l'effet « boîte noire » en exposant le statut de chaque robot soumis : Waiting for review (en attente d'examen), Accepted (validé et répertorié) ou Rejected (refusé). En cas de refus, l'opérateur obtient le motif exact ainsi que les actions requises pour corriger sa demande. Il devient également possible de modifier une soumission déjà acceptée, par exemple lors d'un changement d'URL (adresse web) pour la liste d'IP (adresses réseau) du robot, ou d'annuler une demande en attente.
Un modèle comportemental à trois dimensions
Le formulaire de saisie s'appuie sur un modèle de classification pragmatique demandant aux opérateurs de caractériser précisément le comportement de leur robot :
- L'action exécutée : indexation de recherche, extraction de données, support aux outils SEO (optimisation pour les moteurs de recherche) ou agent agissant pour le compte d'un utilisateur.
- L'utilisation du contenu : le niveau de traitement requis par le crawler (robot d'exploration du web), confronté aux règles définies par les éditeurs de sites web.
- Le type d'exploitation : la distinction entre un opérateur direct opérant sa propre infrastructure et un intermédiaire véhiculant du trafic pour des applications tiers.
Les déclarations d'utilisation du contenu sont directement comparées aux préférences indiquées par les propriétaires de sites dans leurs directives de filtrage :
Content-Signal: search=yes, ai-train=no, use=reference
Automatisation des contrôles d'identité
Pour faire face à un volume de soumissions multiplié par 7 depuis 2023, Cloudflare remplace la vérification exclusivement manuelle par un pipeline de vérification automatique. Le système contrôle l'absence de doublons, la précision du User-Agent (chaîne d'en-tête HTTP identifiant le client) et la validité technique de l'identité déclarée.
Le processus interroge automatiquement les adresses réseau, effectue la vérification par reverse DNS (résolution inverse associant une adresse IP à un nom de domaine) ou valide les signatures Web Bot Auth (protocole d'authentification des robots web). Les dossiers litigieux ou incomplets sont pré-filtrés avant d'être transmis aux équipes de revue de Cloudflare.