Google va publicar una guia sobre com reduir correctament la taxa de rastreig de Googlebot a causa d’un augment de l’ús erroni dels codis de resposta 403/404, que podria tenir un impacte negatiu en els llocs web.
La guia esmentava que l’ús indegut dels codis de resposta estava augmentant dels editors web i les xarxes de distribució de contingut.
Googlebot limitant la tarifa
Googlebot és el programari automatitzat de Google que visita (rastreja) llocs web i baixa el contingut.
Limitar la taxa de Googlebot significa reduir la velocitat amb què Google rastreja un lloc web.
La frase, la taxa de rastreig de Google, fa referència a quantes sol·licituds de pàgines web per segon fa Googlebot.
Hi ha moments en què un editor pot voler frenar Googlebot, per exemple, si està causant massa càrrega del servidor.
Google recomana diverses maneres de limitar la taxa de rastreig de Googlebot, la principal d’elles és mitjançant l’ús de Google Search Console.
Limitació de tarifes mitjançant la consola de cerca reduirà la velocitat de rastreig durant un període de 90 dies.
Una altra manera d’afectar la taxa de rastreig de Google és mitjançant el ús de Robots.txt per impedir que Googlebot rastregi pàgines individuals, directoris (categories) o tot el lloc web.
Una bona cosa de Robots.txt és que només demana a Google que s’abstingui de rastrejar i no demaneu a Google que suprimi un lloc de l’índex.
Tanmateix, utilitzar el fitxer robots.txt pot tenir com a resultat “efectes a llarg termini” en els patrons de rastreig de Google.
Potser per això la solució ideal és utilitzar Search Console.
Google: Atura la limitació de tarifes amb 403/404
Google va publicar una guia al seu bloc de Search Central aconsellant als editors que no utilitzin codis de resposta 4XX (excepte el codi de resposta 429).
La publicació del blog esmentava específicament l’ús indegut dels codis de resposta d’error 403 i 404 per limitar la velocitat, però la guia s’aplica a tots els codis de resposta 4XX excepte a la resposta 429.
La recomanació és necessària perquè han observat un augment dels editors que utilitzen aquests codis de resposta d’error amb la finalitat de limitar la taxa de rastreig de Google.
El codi de resposta 403 significa que el visitant (en aquest cas Googlebot) té prohibit visitar la pàgina web.
El codi de resposta 404 indica a Googlebot que la pàgina web ha desaparegut completament.
El codi de resposta d’error del servidor 429 significa “massa sol·licituds” i aquesta és una resposta d’error vàlida.
Amb el temps, Google pot acabar eliminant pàgines web del seu índex de cerca si continuen utilitzant aquests dos codis de resposta d’error.
Això vol dir que les pàgines no es tindran en compte per classificar-se als resultats de la cerca.
Google va escriure:
“Durant els últims mesos hem observat un augment en els propietaris de llocs web i algunes xarxes de lliurament de contingut (CDN) que intentaven utilitzar 404 i altres errors de client 4xx (però no 429) per intentar reduir la taxa de rastreig de Googlebot.
La versió curta d’aquesta entrada al blog és: si us plau, no ho facis…”
En última instància, Google recomana utilitzar els codis de resposta d’error 500, 503 o 429.
El codi de resposta 500 significa que hi ha hagut un error intern del servidor. La resposta 503 significa que el servidor no pot gestionar la sol·licitud d’una pàgina web.
Google tracta ambdós tipus de respostes com a errors temporals. Així que tornarà més endavant per comprovar si les pàgines tornen a estar disponibles.
Una resposta d’error 429 indica al bot que està fent massa sol·licituds i també pot demanar-li que esperi un període de temps determinat abans de tornar a rastrejar.
Google recomana consultar la seva pàgina per a desenvolupadors sobre la limitació de la taxa de Googlebot.
Llegeix la publicació del blog de Google:
No utilitzeu 403 o 404 per limitar la taxa
Imatge destacada de Shutterstock/Krakenimages.com
