# Crawl (exploration) > Le crawl, ou exploration, désigne le processus par lequel un robot de moteur de recherche parcourt automatiquement les pages web en suivant les liens hypertextes pour découvrir, lire et analyser leur contenu. Concrètement, un robot comme Googlebot télécharge le code HTML d'une page, identifie les liens qu'elle contient, puis ajoute ces nouvelles URL à sa file d'attente pour les explorer à leur tour. Le crawl constitue la première étape du cycle de référencement : sans exploration, une page ne peut être ni indexée ni positionnée dans les résultats de recherche. La fréquence et la profondeur du crawl dépendent de nombreux facteurs comme la popularité du site, la fraîcheur des contenus, la vitesse du serveur et la qualité de l'architecture interne. Maîtriser le crawl revient à guider les robots vers les pages stratégiques tout en évitant le gaspillage de ressources sur des URL inutiles. [source]: https://luwiz.io/glossaire/crawl --- Le crawl est le point de départ de toute stratégie de visibilité organique. Avant qu'une page n'apparaisse dans les résultats de recherche, elle doit d'abord être découverte et lue par un robot d'exploration. ## Comment fonctionne le crawl Un robot d'exploration, ou crawler, part d'une liste d'URL connues et télécharge le contenu de chaque page. Il extrait ensuite les liens présents dans le code HTML, les ajoute à sa file d'attente, puis répète l'opération de proche en proche. C'est ainsi que [Googlebot](/glossaire/googlebot) cartographie le web. Le fichier [robots.txt](/glossaire/robots-txt) permet d'orienter ce parcours en autorisant ou en bloquant l'accès à certaines sections du site. La fréquence d'exploration n'est pas constante : un site fréquemment mis à jour et techniquement performant sera visité plus souvent qu'un site lent ou rarement modifié. ## Pourquoi c'est important Si une page n'est pas crawlée, elle n'existe pas aux yeux du moteur. Une architecture claire, un maillage interne solide et un sitemap XML à jour facilitent le travail des robots et accélèrent la découverte des contenus stratégiques. À l'inverse, des URL en double, des chaînes de redirections ou des pages de faible valeur dilapident les ressources d'exploration. C'est tout l'enjeu de la gestion du [crawl budget](/glossaire/crawl-budget), particulièrement critique pour les grands sites. Le crawl précède toujours l'indexation : optimiser l'exploration, c'est ouvrir la porte à la visibilité. Une page invisible aux robots ne se positionnera jamais. ## L'enjeu pour le GEO Avec l'essor des moteurs de réponse IA, le crawl prend une nouvelle dimension. Les robots des LLM explorent eux aussi le web pour alimenter leurs réponses. Rendre son contenu accessible et lisible par ces nouveaux explorateurs devient un levier de citabilité majeur, au cœur de l'approche GEO de LUWIZ.