Crawl Budget y WPO en WordPress para mejorar el posicionamiento SEO

Por | 2017-12-17T01:00:31+00:00 13/01/2017|SEO y Marketing|11 Comentarios

Hasta ahora habíamos hablado de WPO u optimización de la velocidad de carga web en casos de optimizar WordPress para conseguir mejorar la usabilidad de cara al usuario, pero en este caso vamos a intentar plasmar todo desde un punto diferente, el punto de vista de Google y del concepto crawl budget.

Vamos a empezar desde el principio, explicando lo que es el crawl budget y como la optimización de la velocidad de carga de un sitio web puede ayudar a optimizar y a aprovechar al máximo el crawl budget y con esto mejorar el posicionamiento SEO.

 

¿Qué es el crawl budget?

Nosotros no somos profesionales del SEO y mucho menos expertos en crawl budget, además, hay que tener en cuenta que se trata de un concepto relativamente nuevo, pero que le da mucha más importancia al SEO técnico, es más, impone el WPO como una técnica más de SEO on Page.

Y aquí es donde entramos nosotros, ya que en Raiola Networks no somos SEOs, pero estamos especializados en la optimización de WordPress, es decir, en WPO para WordPress y para todos sus derivados, como enseñamos en este artículo de WPO para WooCommerce que además tiene su versión en formato conferencia impartida en el DMD Galicia 2016.

crawl budgetTeóricamente (al menos es lo que dicen) los buscadores como Google asignan un tiempo máximo de rastreo a tu web, es decir, asignan el tiempo que pasara el crawler o bot en tu web rastreando tus páginas y el crawler rastreara todo lo que pueda durante ese periodo de tiempo que puede ser más o menos dependiendo de algunos factores como por ejemplo la autoridad de la web y la calidad del contenido detectado.

Resumiendo, si aplicamos las técnicas y buenas practicas acertadas, optimizaremos el crawl budget de nuestra web para que Google rastree el máximo número de páginas posibles en el mismo tiempo que nos tiene asignado.

La teoría dice que cuanto más rastreada es una página, más valorada es por Google y esto normalmente se traduce en un buen posicionamiento en Google.

También debemos distinguir entre el crawl budget y el index budget, son dos conceptos diferentes de los que no vamos a hablar en este artículo, pero sí que quiero marcar sus diferencias:

  • Crawl Budget: Es la cantidad máxima de páginas de tu web que es capaz de rastrear Google en un determinado periodo de tiempo.
  • Index Budget: Es la cantidad máxima de URL que va a indexar (detectar y añadir al índice de Google) Google de un sitio web.

 

Como optimizar el crawl budget para mejorar el SEO

Como hemos dicho arriba, no somos SEOs y tampoco queremos meternos en un terreno en el que no estamos especializados, pero sí que estamos especializados en la mejora de la velocidad de carga y una de las razones por las que se puede querer optimizar la velocidad de carga de un sitio web, es la de optimizar al máximo el crawl budget para aprovechar al máximo el tiempo asignado por el bot de Google para rastrear nuestro sitio web.

Existen distintas técnicas que podemos usar para aprovechar el crawl budget, aunque no vamos a profundizar, vamos a mencionar algunas:

  • Utilización de la respuesta HTTP 304 para decirle a Google que esa página en concreto no ha cambiado en nada desde su última visita, de esta forma Google no se molestará ni en rastrear esa página y ahorraremos tiempo de crawl budget para que este pueda ser utilizado en rastrear otras páginas.
  • Debemos bloquear en el robots.txt todas las páginas, secciones y partes de la web (como subcarpetas) que no queremos que indexe o rastree el crawler de Google, con esto ahorraremos tiempo de rastreo, es decir, ahorraremos crawl budget.
  • La arquitectura de la web debe estar perfectamente definida siguiendo una estructura lógica que le permita al crawler o bot navegar por la web sin ningún tipo de bloqueo, obstáculo ni limitación. Esto incluye revisar y reparar todos los errores 404 que muestre la web.
  • Debemos utilizar las etiquetas “noindex” en páginas donde no queramos que Google consuma tiempo de crawl budget en indexar, páginas como la de “Contacto” o el “Aviso Legal” pueden ser buenas candidatas para tener esta etiqueta o incluso para ser bloqueadas desde el robots.txt
  • Aunque casi podemos meter esto dentro de la mejora en la arquitectura de la web, debemos de eliminar el contenido inútil de nuestro sitio web, ese contenido que no tiene visitas desde Google porque a nadie le interesa o porque está mal planteado, ya que eso solo consumirá crawl budget.

Finalmente, una de las formas de aprovechar mejor el crawl budget es aumentar o mejorar la velocidad de carga de la web, tal y como hemos comentado antes, consiguiendo que el crawler de Google sea capaz de rastrear y descargar más paginas en el mismo tiempo asignado.

Realmente, si tuviéramos que resumir todo el proceso de optimización general de una web para aprovechar al máximo el crawl budget asignado, podríamos decir que tenemos que hacer que la web cargue muy rápido y además solo debemos tener visibles para los buscadores las URL protagonistas.

 

Optimización de WordPress y crawl budget

La optimización de WordPress es un mundo complejo, por esa razón nosotros estamos en constante formación sobre este tema, ya que estamos especializados en él.

Cuando hablamos de WPO u optimización de la velocidad de carga, nunca hablamos de mejorar la puntuación de Google PageSpeed, aunque mucha gente no lo sabe, son cosas completamente diferentes y deben ser tratadas de forma completamente diferente.

No todas las técnicas de optimización que consiguen mejorar la velocidad de carga de un sitio web mejoran el paso del crawler de Google por la web, y precisamente por esta razón, en este artículo vamos a hablar solo de lo que influye directamente en el crawl budget.

Estas son algunas cosas que influyen en la velocidad con la que es capaz de descargarse Google las páginas de nuestro sitio web:

  • Usar Nginx o Varnish en el servidor ayuda a reducir MUCHO los tiempos de respuesta y eso ayuda al crawler de Google a pasar mejor por nuestro sitio web.
  • Reducir el número de peticiones en las cargas del sitio web ayuda a que la pagina pese menos y además le facilita al crawler de Google la lectura e interpretación del sitio web.
  • Combinar los archivos JS y CSS ayuda a reducir el número de peticiones y al mismo tiempo hace que Google no tenga que interpretar tantos archivos CSS y JS por separado.
  • Optimizar los archivos JS y CSS ayuda a reducir su complejidad, reducir su peso y con esto se facilita la descarga de los contenidos de la web a Google.
  • Carga asíncrona de los scripts JavaScript para que no afecten al tiempo de respuesta de la página al cargar.
  • Implementar un buen CDN, no sirve cualquiera, no todos los CDN benefician el crawl budget, aunque sí que mejoren el WPO, depende de la infraestructura y las latencias.

Es posible que alguna técnica más como la implementación de un buen OPCache en PHP o la implementación de un cache de objetos como Memcached bien integrado en la aplicación puede llegar a mejorar los tiempos de respuesta y con eso mejorar el WPO, pero son medidas más orientadas a la viabilidad de un proyecto web frente a grandes volúmenes de tráfico.

 

Nginx como servidor web o proxy cache

En este blog ya hemos hablado bastante de Nginx, ya que a nivel servidor web es muchísimo más potente que Apache, es mucho más rápido sirviendo peticiones y eso hace que sea capaz de servir muchas más peticiones en menos tiempo y utilizando muchos menos recursos.

Además Nginx no solo puede funcionar como servidor web, sino que también puede funcionar como proxy inverso o cache, con lo que mejora aún más los tiempos de respuesta de un sitio web que funcione sobre un servidor con Nginx implementado.

En esta imagen puedes ver lo que ocurre cuando se cambia un sitio web de un servidor Apache, a un servidor Apache con un proxy inverso Nginx funcionando como cache en uno de nuestros servidores VPS optimizados:

nginx apache crawl budgetEn esta imagen puedes ver como Nginx es capaz de servir muchas más peticiones que Apache utilizando muchos menos recursos y con muchos menos fallos:

El único problema que tiene Nginx, y por eso aún no lo usan muchos proveedores, es que si funciona como servidor web, no podremos utilizar los típicos .htaccess que ahora utilizan la mayoría de CMS como WordPress, sino que tendremos que traducir las reglas que tendríamos que meter en él .htaccess a otro “idioma” que es aceptado por los archivos de configuración de Nginx y esto requiere acceso a ciertas partes de servidor.

Normalmente cuando Nginx funciona como servidor web, usamos PHP-FPM, una forma de ejecutar PHP que nos permite mucha más flexibilidad que las típicas configuraciones que se suelen hacer en Apache, aunque esto no influye tanto en el crawl budget, ya que para conseguir unos buenos tiempos de respuesta, necesitamos cachear SI o SI.

Nosotros en nuestros servidores VPS optimizados con SSD utilizamos VestaCP con soporte nativo para Nginx, esto nos permite utilizar Nginx como proxy inverso y cache, mejorando los tiempos de respuesta tanto para el WPO como para aprovechar mejor el crawl budget.

 

Varnish como proxy cache

Varnish es diferente a Nginx, aunque tiene funcionalidades que son similares, pero Varnish no puede funcionar como servidor web, solo puede funcionar como proxy cache.

Varnish es un poco más difícil de configurar que Nginx, pero en algunas situaciones puede ser mucho más efectivo si realizamos una buena configuración, siempre teniendo en cuenta que se trata de un proxy, no de un servidor web como Nginx, son cosas completamente diferentes aunque sean capaces de servir contenido estático más o menos igual de rápido.

En la siguiente foto puedes ver una comparación del funcionamiento de Varnish como cache contra Batcache, un plugin de cache para WordPress que guarda en Memcached las páginas cacheadas:

crawl budget wpoNormalmente la configuración que se suele montar es Varnish con Nginx, si queremos que además se puedan tocar reglas en el .htaccess, se suele configurar Varnish para cachear dinámicos y Nginx para cachear estáticos, consiguiendo servir los contenidos y las páginas con muy poco tiempo de retraso.

 

Cache en WordPress

Cuando hablamos de cache de WordPress, hablamos de plugins de cache para WordPress.
El cache de WordPress es algo de lo que ya hemos hablado mucho, incluso en el pasado hemos publicado un benchmark de rendimiento de plugins de cache para WordPress donde medíamos y enseñábamos los tiempos de respuesta de las opciones analizadas.

Nosotros en Raiola Networks siempre recomendamos WP Rocket como opción Premium y WP Fastest Cache o W3 Total Cache como opciones gratuitas recomendadas.
Hemos hablado de estos tres plugins varias veces en diferentes artículos:

La configuración aplicada en el plugin de cache instalado debe estar acorde a las necesidades del sitio web, no todos los sitios web son iguales y no todos los plugins de cache son iguales.

Lo único que me gustaría recalcar, es que un buen plugin de cache es muy importante actualmente en cualquier instalación de WordPress tenga el tráfico que tenga, pese a que hace unos años se decía que solo era necesario un plugin de cache cuando la página tenía mucho tráfico y eso es mentira, si quieres tener una web WordPress rápida SIEMPRE debes de tener un plugin de cache SIEMPRE y bien configurado para que sea eficiente a la hora de realizar los vaciados de cache y los precache de forma automática sin que afecte al visitante y a la velocidad de carga.

 

Reducir el número de peticiones en la carga de la web

No existe un método exacto para reducir el número de peticiones, pero es una cosa muy importante, ya que cada elemento o librería de la web se carga mediante una petición, si reducimos a la mitad o al menos en un 25% el número de peticiones necesarias para descargar todo el contenido de la web, habremos conseguido una mejora radical en la velocidad de carga y con esto también mejorarán los tiempos de respuesta y el crawl budget.

Muchas de las técnicas que vamos a explicar en las siguientes secciones te ayudarán a reducir las peticiones, como por ejemplo “Combinar archivos JS y CSS”, ya que la idea es combinar varios archivos del mismo tipo en un único archivo.

Otra cosa muy importante en WordPress para reducir peticiones es revisar los plugins que tenemos activos, ya que puede ser que algunos no los necesitemos y puede ser que algunos plugins estén incluyendo peticiones en la carga general de la web.
Con esto en esta misma web (raiolanetworks.es) hemos conseguido reducir las peticiones de forma radical, ya que teníamos instalados muchos plugins que no necesitábamos.

 

Combinar archivos Javascript y CSS

Unir varios archivos JS o varios archivos CSS en un único archivo (siempre por separado CSS y JS) nos ayuda a reducir las peticiones y a reducir la complejidad de la web, haciéndole al crawler de Google mucho más fácil la tarea y consiguiendo mejorar el crawl rate general del sitio web.

No siempre es fácil combinar el JS y el CSS, ya que los themes actuales son bastante complejos y bastante complicados, por lo que cuesta bastante hacer eso, al menos de forma automática, si eres programador y eres capaz de hacerlo de forma manual, puedes conseguir muchos mejores resultados, pero requiere cierta pericia y conocimiento del entorno sobre el que se está trabajando.

Algunos plugins como Autoptimize o WP Rocket te permitirán combinar archivos JS y CSS en WordPress de forma automática, pero es necesario configurar todo muy bien para conseguir buenos resultados, e incluso en algunos casos será imposible conseguir el resultado esperado y deberá hacerse manualmente.

 

Optimizar los archivos JS y CSS, y el HTML

La optimización de archivos JS y CSS, y del HTML es simplemente reducir el tamaño general del sitio web eliminando ciertas partes de los archivos como los saltos de línea y los comentarios, ya que se descargan en los archivos y realmente no sieven para nada desde el punto de vista de visualización del sitio web.

Se puede realizar la optimización de los archivos JS y CSS, y del HTML de forma automática o manual, de forma automática podemos hacerlo con Autoptimize o con WP Rocket por ejemplo, también con W3 Total Cache podemos hacerlo.

Sin embargo, hacerlo de forma manual requiere lo mismo que combinar los archivos JS y CSS, es decir, conocer el código y tener un poco de pericia, conociendo perfectamente el entorno desde el punto de vista técnico.

 

Carga asíncrona del javascript

La carga asíncrona de javascript es una práctica que muy pocos webmasters llevan a cabo, al igual que pasar los CSS y javascript al footer.

crawl budget wpoComo puedes ver en la imagen anterior, la carga asíncrona lo que hace es que se carguen varios elementos al mismo tiempo, y eso con el javascript se nota bastante.

En la siguiente imagen, Natzir Turrado demuestra cómo sube el tiempo de respuesta cuando se sustituyen los scripts asíncronos por síncronos:

crawl budget wpoAlgunas veces es complicado configurar los javascript para que carguen de forma asíncrona, ya que los themes actuales son bastante complejos.
En WordPress podemos configurar el CSS y el Javascript para cargarse de forma asíncrona con plugins como Async JavaScript o WP Async CSS, o incluso con Autoptimize.

 

Implementación de un servicio CDN

No todos los servicios de CDN son iguales, no todos tienen el mismo rendimiento ni usan la misma infraestructura y mucho menos tienen los mismos tiempos de respuesta.

En este blog hablamos bastante de servicios de CDN y siempre orientamos nuestra opinión al WPO, pero ahora estamos empezando a ver como algunos servicios de CDN no son buenos para optimizar el crawl budget.

Si tuviéramos que recomendar un buen CDN para el crawl budget, quizás nos decantaríamos por KeyCDN o Amazon CloudFront, aunque no son los CDN que más optimizados tengan los POPs para tráfico hispanohablante en general.
Si tu web se aloja en Google Cloud, evidentemente la mejor opción es el Google Cloud CDN, que se incluye con los balanceadores de carga disponibles en la infraestructura Cloud de Google.

A continuación te dejo unos enlaces en los que puedes ver cómo implementar algunos servicios de CDN en WordPress:

 

Conclusiones sobre el crawl budget y WPO

Como hemos dicho repetidamente a lo largo del artículo, nosotros no somos SEOs y preferimos no opinar acerca de ciertas técnicas.
Lo único que podemos recomendar es la lectura de ciertos artículos que grandes profesionales del SEO españoles han publicado en sus blogs, y con los que sin duda aprenderás todo lo que necesitas saber (o al menos lo que es público o se intuye) sobre el crawl budget:

Poco a poco iremos avanzando en este concepto, haciendo pruebas y viendo cómo podemos optimizar el crawl budget desde el punto de vista del WPO para WordPress y WooCommerce.

Nosotros aplicando conceptos como los que hemos explicado en este artículo conseguimos mejoras similares a estas:

crawl budget wpoEvidentemente no todos los proyectos web son iguales, pero con WPO bien aplicado y orientado a facilitar el paso del crawler por Google, conseguiremos bastante mejoría en lo que a posicionamiento SEO se refiere.

 

Evento Smart Talks de INESDI en Valencia

El día 27 de Enero de 2017 se celebro en Valencia un evento llamado Smart Talks organizado por INESDI, hasta allí fuimos “los de Raiola Networks” a explicar justo esto de lo que hemos hablado en este articulo, explicar como al aplicar las técnicas WPO exactas podemos conseguir una mejora radical en el posicionamiento SEO al aprovechar mejor el presupuesto de rastreo de nuestro sitio web.

Creemos que la temática ha tenido bastante éxito y que a la gente le ha interesado bastante, dado que es un tema “relativamente nuevo” y que actualmente es algo que debemos tener muy en cuenta para mejorar el SEO on Page de nuestro sitio web.

Como puedes ver, fue un evento pequeño donde la mayoría de los ponentes nos conocíamos, pero una excelente oportunidad para encontrarse con amigos y colaboradores.

Finalmente te dejamos la presentación en Slideshare que utilicé en el evento, además, puedes encontrar las fotos que sacamos durante el evento en nuestra página de Facebook:

[Total: 16 Promedio: 4.4]

About the autor:

Mi nombre es Alvaro Fontela, soy consultor Wordpress y blogger activo desde hace años. Co-Fundador de Raiola Networks, escribiendo sobre Wordpress en este blog día tras día.

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.plugin cookies

ACEPTAR
Aviso de cookies