Google va actualitzar la llista dels seus rastrejadors oficials afegint el nom i la informació d’un rastrejador relativament desconegut que els editors han estat veient de tant en tant, però que abans no existia cap documentació.
Tot i que Google va afegir documentació oficial per a aquest rastrejador, la informació proporcionada sembla fomentar més aclariments.
Cas especial Crawlers
Google té diversos tipus de rastrejadors (també coneguts com a robots i aranyes).
Les diferents formes de rastrejadors són:
- Crawlers comuns
Aquests robots s’utilitzen principalment per indexar diferents tipus de contingut. Però alguns rastrejadors comuns també són per a eines de prova de cerca, ús intern de l’equip de productes de Google i rastreig relacionat amb la IA. - Captadors activats per l’usuari
Aquests són robots que són activats pels usuaris. Això inclou usos com ara l’obtenció de feeds o la verificació del lloc. - Crawlers de casos especials
Són per a casos especials, com ara comprovacions de qualitat de pàgines web d’anuncis per a mòbils o missatges de notificació automàtica mitjançant API de Google. Aquests robots no obeeixen les directrius globals de l’agent d’usuari a robots.txt que s’assenyalen amb l’asterisc
.
La nova documentació del rastrejador és per a l’agent d’usuari de Google-Safety. El rastrejador no és nou, però la documentació és nova.
Google-Safety Crawler
La documentació del rastrejador de Google-Safety de Crawlers de casos especials és la que utilitzen els processos de Google per trobar programari maliciós.
Únic entre els rastrejadors de casos especials, el rastrejador de seguretat de Google ignora completament totes les directives robots.txt.
La nova documentació per a Google-Safety Crawler:
“L’agent d’usuari de Google-Safety gestiona el rastreig específic d’abús, com ara el descobriment de programari maliciós per als enllaços publicats públicament a les propietats de Google.
Aquest agent d’usuari ignora les regles de robots.txt.”
"Google-Safety"
La cadena d’agent completa per al rastrejador:
Visió general dels rastrejadors i recuperadors de Google (agents d’usuari): rastrejadors de casos especials
