Google aborda el tema dels fitxers robots.txt i si és una bona pràctica de SEO mantenir-los dins d’una mida raonable.
John Mueller, defensor de la cerca de Google, parla d’aquest tema durant el hangout d’horari d’oficina de Google Search Central SEO registrat el 14 de gener.
David Zieger, gestor de SEO d’una gran editorial de notícies a Alemanya, s’uneix a la transmissió en directe amb la preocupació per un fitxer robots.txt “enorme” i “complex”.
Què tan gran estem parlant aquí?
Zieger diu que hi ha més de 1.500 línies amb una “multitud” de prohibicions que segueix creixent al llarg dels anys.
Les prohibicions impedeixen que Google indexi fragments HTML i URL on s’utilitzen trucades AJAX.
Zieger diu que no és possible establir un noindex, que és una altra manera de mantenir els fragments i els URL fora de l’índex de Google, de manera que ha recorregut a omplir el robots.txt del lloc amb disallows.
Hi ha efectes negatius de SEO que puguin resultar d’un fitxer robots.txt enorme?
Això és el que diu Mueller.
Consideracions de SEO per a fitxers Robots.txt grans
Un fitxer robots.txt gran no ho farà directament causar cap impacte negatiu en el SEO d’un lloc.
Tanmateix, un fitxer gran és més difícil de mantenir, cosa que pot provocar problemes accidentals en el futur.
Mueller explica:
“No hi ha cap problema de SEO negatiu directe amb això, però fa que sigui molt més difícil de mantenir. I fa que sigui molt més fàcil empènyer accidentalment alguna cosa que causa problemes.
Així que només perquè sigui un fitxer gran no vol dir que sigui un problema, però us facilita la creació de problemes.
Zieger segueix preguntant si hi ha problemes per no incloure un mapa del lloc al fitxer robots.txt.
Mueller diu que això no és un problema:
“No. Aquestes diferents maneres d’enviar un mapa del lloc són equivalents per a nosaltres”.
Aleshores, Zieger es llança a diverses preguntes de seguiment més que veurem a la secció següent.
Google reconeix els fragments HTML?
Zieger li pregunta a Mueller quin seria l’impacte de SEO d’escurçar radicalment el fitxer robots.txt. Com eliminar totes les prohibicions, per exemple.
Es fan les preguntes següents:
- Google reconeix fragments HTML que no són rellevants per als visitants del lloc?
- Els fragments HTML acabarien a l’índex de cerca de Google si no fossin desautoritzats a robots.txt?
- Com gestiona Google les pàgines on s’utilitzen trucades AJAX? (Com un element de capçalera o peu de pàgina)
Resumeix les seves preguntes afirmant que la majoria del que no està permès al seu fitxer robots.txt són elements de capçalera i peu de pàgina que no són interessants per a l’usuari.
Mueller diu que és difícil saber exactament què passaria si de sobte es permetessin indexar aquests fragments.
Un enfocament d’assaig i error podria ser la millor manera d’esbrinar-ho, explica Mueller:
“És difícil dir què vols dir amb aquests fragments
El meu pensament seria intentar esbrinar com s’utilitzen aquests URL de fragments. I si no n’esteu segur, potser agafeu un d’aquests URL de fragments i permeteu-ne el rastreig, mireu el contingut d’aquest URL de fragment i, a continuació, comproveu què passa a la cerca.
Afecta alguna cosa pel que fa al contingut indexat del vostre lloc?
Es pot trobar part d’aquest contingut al vostre lloc de sobte?
És un problema o no?I prova de treballar en funció d’això, perquè és molt fàcil bloquejar coses mitjançant robots.txt, que en realitat no s’utilitzen per a la indexació, i després dediques molt de temps a mantenir aquest gran fitxer robots.txt, però en realitat no ho fa. canvia molt per al teu lloc web”.
Altres consideracions per crear un fitxer Robots.txt
Zieger fa un últim seguiment dels fitxers robots.txt, preguntant-se si hi ha pautes específiques a seguir a l’hora de crear-ne un.
Mueller diu que no hi ha un format específic a seguir:
“No, bàsicament depèn de tu. Com alguns llocs tenen fitxers grans, alguns llocs tenen fitxers petits, tots haurien de funcionar.
Tenim un codi font obert de l’analitzador robots.txt que fem servir. Així que el que també podeu fer és fer que els vostres desenvolupadors executin aquest analitzador per vosaltres, o bé que el configureu perquè pugueu provar-lo i, a continuació, comproveu els URL del vostre lloc web amb aquest analitzador per veure quins URL es bloquejarien realment i què canviaria això. I així pots provar les coses abans de fer-les viure”.
L’analitzador robots.txt al qual fa referència Mueller es pot trobar a Github.
Escolteu la discussió completa al vídeo següent:
Imatge destacada: captura de pantalla de YouTube.com/GoogleSearchCentral, gener de 2022.
