Qu’est-ce que le crawl d’un site ?
Le crawl est le nom désigné pour l’action des robots sur votre site, peuvent-ils accéder à vos pages sans difficulté ? Le programme de code est-il facilement lisible par les robots ? Un robot qui crawle une page pourra projeter la page en question sur le navigateur et la rendra visuelle pour l’internaute.
Les robots crawlent un site web selon :
- Le sitemap XML
- Les liens internes au site
- La récupération de contenu
Les robots.txt qu’un développeur peut rajouter au site, servent quant à eux, à indiquer aux robots de Google si une page doit être présentée ou nom sur les moteurs de recherche. C’est ce qu’on appelle, l’indexation !