Crawlers Google : Fonctionnement interne de Googlebot et changement d’emplacement des plages IP

Johan Sellitto - Abondance - 01/04
Sur Google Search Central, Gary Illyes nous en dit plus sur fonctionnement interne de Googlebot et annonce un changement d'emplacement pour ses fichiers

Sur Google Search Central, Gary Illyes nous en dit plus sur fonctionnement interne de Googlebot et annonce un changement d'emplacement pour ses fichiers de plages IP. Des informations concrètes qui peuvent directement impacter la façon dont votre site est crawlé et indexé.

Ce qu'il faut retenir :

  • Googlebot n'est pas un robot unique : il s'appuie sur une infrastructure centralisée partagée par des dizaines de services Google (Shopping, AdSense, etc.).
  • Googlebot ne télécharge que les 2 premiers Mo d'une page HTML (hors PDF) : tout ce qui dépasse ce seuil est ignoré, pas fetché, pas rendu, pas indexé.
  • Les fichiers de plages IP des crawlers Google changent d'emplacement : il faut migrer vers /...
    [Courte citation de 8% de l'article original]