Glossaire · SEO

Budget de crawl

Le budget de crawl désigne la quantité de ressources que Googlebot consacre à explorer un site donné sur une période définie. Il résulte de deux facteurs : la limite de taux de crawl (capacité du serveur à répondre sans ralentir) et la demande de crawl (intérêt de Google pour les URL, fonction de leur popularité et de leur fraîcheur). Pour la majorité des sites de moins de quelques milliers d'URL, le budget de crawl n'est pas un facteur limitant. En revanche, sur les grands sites e-commerce, médias ou plateformes générant des URL à la volée, une mauvaise gestion gaspille ce budget sur des pages sans valeur (paramètres, doublons, pages d'erreur) et retarde l'exploration des pages stratégiques. Optimiser le budget de crawl consiste à concentrer l'attention des robots sur les URL importantes, en éliminant le gaspillage et en facilitant la découverte des contenus prioritaires.

Le budget de crawl est un concept central du SEO technique pour les sites de grande taille. Il décrit la manière dont Google arbitre le temps et les ressources qu'il alloue à l'exploration de votre site, plutôt qu'une limite fixe communiquée à l'avance.

Comment ça marche

Google détermine le budget de crawl à partir de deux variables. La limite de taux de crawl dépend de la santé technique du serveur : si vos pages répondent vite et sans erreur, Googlebot augmente sa cadence ; si le serveur ralentit ou renvoie des erreurs 5xx, il réduit la pression. La demande de crawl reflète l'intérêt de Google pour vos URL : les pages populaires, fréquemment mises à jour et bien maillées sont visitées plus souvent. La combinaison des deux définit le volume d'URL explorées par jour.

Exemple concret

Un site e-commerce de 200 000 pages génère, via ses filtres de navigation (couleur, taille, prix), des centaines de milliers d'URL paramétrées. Sans contrôle, Googlebot épuise son budget sur ces variantes sans valeur et tarde à explorer les nouvelles fiches produits. En bloquant ces paramètres, en consolidant les doublons avec des balises canonical et en soignant le maillage interne, on redirige l'exploration vers les pages qui comptent.

A retenir

Le budget de crawl ne s'achète pas : il se mérite par la performance serveur et se préserve en supprimant le gaspillage sur les URL sans valeur.

Pourquoi c'est important

Une page non explorée ne sera jamais indexée ni positionnée. Sur un grand site, un budget de crawl mal géré crée un délai entre la publication d'un contenu et sa prise en compte par Google, ce qui pénalise directement la visibilité. Maîtriser ce budget accélère l'indexation des pages prioritaires et améliore la fraîcheur perçue de l'ensemble du site.

FAQ

Questions fréquentes

Non. Pour un site de moins de quelques milliers de pages, Google explore généralement tout sans difficulté. L'optimisation du budget de crawl devient critique au-delà de 10 000 URL, ou sur les sites générant beaucoup de pages dynamiques et de paramètres.

Analysez le rapport Statistiques d'exploration de la Search Console et vos logs serveur. Si Googlebot passe l'essentiel de son temps sur des pages à faible valeur (filtres, doublons, erreurs 404), votre budget est mal réparti.

Pour aller plus loin