Google va actualitzar la seva documentació central de cerca per verificar Googlebot, afegint documentació sobre les visites de bot activades per l’usuari, informació que faltava a la documentació anterior de Googlebot, que ha creat confusió durant molts anys, amb alguns editors bloquejant els intervals d’IP de les visites legítimes.
Documentació del bot recentment actualitzada
Google va afegir una nova documentació que classifica els tres tipus diferents de bots que haurien d’esperar els editors.
Aquestes són les tres categories de Google Bots:
- Googlebot: rastrejador de cerca
- Crawlers de casos especials
- Recollidors activats per l’usuari (GoogleUserContent)
Aquest últim, GoogleUserContent és aquell que ha confós els editors durant molt de temps perquè Google no tenia cap documentació al respecte.
Això és el que Google diu sobre GoogleUserContent:
“Recuperadors activats per l’usuari
Eines i funcions del producte on l’usuari final activa una recuperació.
Per exemple, Google Site Verifier actua a petició d’un usuari.
Com que l’obtenció l’ha sol·licitat un usuari, aquests recuperadors ignoren les regles de robots.txt.”
La documentació indica que la màscara DNS inversa mostrarà el domini següent:
“***-***-***-***.gae.googleusercontent.com”
En el passat, el que em van dir alguns de la comunitat de SEO, és que l’activitat del bot des d’adreces IP associades a GoogleUserContent.com es desencadenava quan un usuari veia un lloc web mitjançant una funció de traducció que solia estar als resultats de la cerca, una característica. que ja no existeix a les SERP de Google.
No sé si això és cert o no. N’hi havia prou amb saber que es tractava d’una visita de Google, activada pels usuaris.
La nova documentació de Google explica que l’activitat del bot de les adreces IP associades a GoogleUserContent.com es pot activar mitjançant l’eina Google Site Verifier.
Però Google no diu què més podria activar un bot des de les adreces IP de GoogleUserContent.com.
L’altre canvi a la documentació és una referència a googleusercontent.com en el context de les adreces IP que s’assignen al nom de domini, GoogleUserContent.com.
Aquest és el nou text:
“Verifiqueu que el nom del domini sigui googlebot.com, google.com o googleusercontent.com”.
Una altra incorporació nova és el text següent que es va ampliar des de la pàgina antiga:
“Alternativament, podeu identificar Googlebot per l’adreça IP fent coincidir l’adreça IP del rastrejador amb les llistes d’intervals d’IP dels rastrejadors i els rastrejadors de Google:
Googlebot
Rastreigs especials com AdsBot
Obtencions activades per l’usuari”
Documentació d’identificació de Google Bot
La nova documentació finalment té alguna cosa sobre els robots que utilitzen adreces IP associades a GoogleUserContent.
Els venedors de cerca es van confondre amb aquestes adreces IP i van suposar que aquells robots eren correu brossa.
Una discussió d’ajuda de Google Search Console del 2020 mostra com estaven la gent confusa sobre l’activitat associada a GoogleUserContent.
Molts en aquesta discussió van concloure amb raó que no era Googlebot, però després van concloure erròniament que es tractava d’un bot fals que pretenia ser Google.
Un usuari ha publicat:
“El comportament que veig provinent d’aquestes adreces és molt semblant (si no idèntic) al comportament legítim de Googlebot i arriba a diversos llocs nostres.
… Si no és així, això sembla indicar que hi ha una activitat de bot maliciosa generalitzada per part d’algú que s’esforça molt per semblar-se a Google als nostres llocs, cosa que preocupa.
Després de diverses respostes, la persona que va iniciar la discussió conclou que l’activitat de GoogleUserContent era correu brossa.
Van escriure:
“… Els robots de Google en qüestió imiten els agents d’usuari oficials, però tal com està l’evidència sembla indicar que són falsos.
De moment els bloquejaré”.
Ara sabem que l’activitat de bot de les IP associades a GoogleUserContent no són robots de correu brossa o pirates informàtics.
Realment són de Google. Els editors que actualment estan bloquejant adreces IP associades a GoogleUserContent probablement haurien de desbloquejar-les.
La llista actual de Les adreces IP de la recuperació activada per l’usuari estan disponibles aquí.
Llegiu la documentació actualitzada de Google:
S’està verificant Googlebot i altres rastrejadors de Google
Imatge destacada de Shutterstock/Asier Romero
