Cela varie en fonction de la taille de votre site web et de son degré d’autorité aux yeux de Google. Un site bien établi, avec des millions d’utilisateurs et un contenu qui change régulièrement, comme celui de la BBC par exemple, sera crawlé très fréquemment (plusieurs fois par heure), mais un site nouvellement indexé, avec quelques pages statiques et aucun lien, peut être crawlé avec plusieurs intervalles de jour.
Pour connaître la fréquence de crawl, vous pouvez consulter un tableau dans votre compte de Google Search Console/
Pour savoir quels robots des moteurs de recherche crawlent votre site, il vous faut vérifier les logs de votre serveur. Il peut être difficile d’accéder aux logs des serveurs, en fonction de votre pile technologique et de vos compétences techniques, et ils peuvent être très volumineux. Nous avons un nouveau produit en version bêta qui rend cela beaucoup, beaucoup plus facile – n’hésitez pas à nous contacter pour un essai gratuit.