Crawl budget y WPO en Wordpress para mejorar el posicionamiento SEO

Hasta ahora habíamos hablado de WPO u optimización de la velocidad de carga web en casos de optimizar Wordpress para conseguir mejorar la usabilidad de cara al usuario, pero en este caso vamos a intentar plasmar todo desde un ángulo diferente: el punto de vista de Google y del concepto crawl budget.

Vamos a empezar desde el principio, explicando lo que es el crawl budget y cómo la optimización de la velocidad de carga de un sitio web puede ayudar a aprovechar al máximo el crawl budget y, de este modo, mejorar el posicionamiento SEO.

 

¿Qué es el crawl budget?

Nosotros no somos profesionales del SEO y mucho menos expertos en crawl budget. También hay que tener en cuenta que se trata de un concepto relativamente nuevo, pero que da mucha más importancia al SEO técnico, es más, impone el WPO como una técnica más de SEO on Page.

Y aquí es donde entramos nosotros, ya que en Raiola Networks no somos SEOs, pero estamos especializados en la optimización de Wordpress, es decir, en WPO para Wordpress y para todos sus derivados, como enseñamos en este artículo de WPO para WooCommerce que tiene su versión en formato conferencia impartida en el DMD Galicia 2016.

crawl budget

Teóricamente (al menos, es lo que dicen) los buscadores como Google asignan un tiempo máximo de rastreo a tu web, es decir, asignan el tiempo que pasará el crawler o bot en tu web rastreando tus páginas. El crawler rastreará todo lo que pueda durante ese periodo de tiempo, que puede ser más o menos dependiendo de ciertos factores (por ejemplo, la autoridad de la web y la calidad del contenido detectado).

En resumen, si aplicamos buenas prácticas, optimizaremos el crawl budget de nuestra web para que Google rastree el máximo número de páginas posibles en el mismo tiempo que nos tiene asignado.

La teoría dice que cuanto más rastreada es una página, más valorada es por Google. Esto, normalmente, se traduce en un buen posicionamiento.

También debemos distinguir entre el crawl budget y el index budget. Son dos conceptos diferentes de los que no vamos a hablar en detalle ahora, pero que hay que conocer:

  • Crawl budget: Es la cantidad máxima de páginas de tu web que es capaz de rastrear Google en un determinado periodo de tiempo.
  • Index budget: Es la cantidad máxima de URL que va a indexar (detectar y añadir al índice de Google) Google de un sitio web.

 

Cómo optimizar el crawl budget para mejorar el SEO

Como hemos dicho antes, no somos SEOs y tampoco queremos meternos en un terreno en el que no somos expertos. En cambio, sí que estamos especializados en la mejora de la velocidad de carga y una de las razones es que queremos poder optimizar al máximo el crawl budget y así aprovechar al máximo el tiempo asignado por el bot de Google para rastrear nuestra web.

Existen distintas técnicas para aprovechar el crawl budget. Aunque no vamos a profundizar demasiado, vamos a mencionar algunas:

  • Utilizar de la respuesta HTTP 304 para decirle a Google que esa página en concreto no ha cambiado desde su última visita. De esta forma, Google no se molestará en rastrear esa página y ahorraremos tiempo de crawl budget para utilizarlo en otras.
  • Bloquear en el robots.txt todas las páginas, secciones y partes de la web (como subcarpetas) que no queremos que indexe o rastree el crawler de Google. Así ahorraremos tiempo de rastreo, es decir, crawl budget.
  • La arquitectura de la web debe estar perfectamente definida siguiendo una estructura lógica que le permita al crawler o bot navegar por la web sin ningún tipo de bloqueo, obstáculo ni limitación. Esto incluye revisar y reparar todos los errores 404 que muestre la web.
  • Utilizar las etiquetas “noindex” en páginas donde no queramos que Google consuma tiempo de crawl budget. Páginas como la de “Contacto” o el “Aviso legal” pueden ser buenas candidatas para tener esta etiqueta o incluso para ser bloqueadas desde el robots.txt
  • Aunque casi podemos meter esto dentro de la mejora de la arquitectura de la web, debemos de eliminar el contenido inútil de nuestro sitio web. Me refiero a ese contenido que no tiene visitas desde Google porque a nadie le interesa o porque está mal planteado.

Finalmente, una de las formas de aprovechar mejor el crawl budget es aumentar o mejorar la velocidad de carga de la web, tal y como hemos comentado antes, consiguiendo que el crawler de Google sea capaz de rastrear y descargar más paginas en el mismo tiempo asignado.

Realmente, si tuviéramos que resumir todo el proceso de optimización general de una web para aprovechar al máximo el crawl budget asignado, podríamos decir que tenemos que hacer que la web cargue muy rápido y solo tener visibles para los buscadores las URL protagonistas.

 

Optimización de WordPress y crawl budget

La optimización de WordPress es un tema complejo, por lo que en Raiola Networks estamos en constante formación.

Cuando hablamos de WPO u optimización de la velocidad de carga, nunca hablamos de mejorar la puntuación de Google PageSpeed. Aunque mucha gente no lo sabe, son cosas completamente diferentes y como tal deben ser tratadas.

crawl budget wordpress

No todas las técnicas de optimización que consiguen mejorar la velocidad de carga de un sitio web mejoran el paso del crawler de Google por la web. Por esta razón, en este artículo vamos a hablar solo de lo que influye directamente en el crawl budget.

Estas son algunas cosas que influyen en la velocidad con la que es capaz de descargarse Google las páginas de nuestro sitio web:

  • Usar Nginx o Varnish en el servidor reduce MUCHO los tiempos de respuesta, lo que ayuda al crawler de Google a pasar mejor por nuestra web.
  • La implementación de un sistema de cache en WordPress para reducir los tiempos de respuesta al servir la versión cacheada del sitio web.
  • Reducir el número de peticiones en las cargas del sitio web ayuda a que la página pese menos y le facilita al crawler de Google la lectura e interpretación del sitio web.
  • Combinar los archivos JS y CSS ayuda a reducir el número de peticiones y, al mismo tiempo, hace que Google no tenga que interpretar tantos archivos CSS y JS por separado.
  • Optimizar los archivos JS y CSS ayuda a reducir su complejidad, reducir su peso y facilitar la descarga de los contenidos de la web a Google.
  • Carga asíncrona de los scripts JavaScript para que no afecten al tiempo de respuesta de la página al cargar.
  • Implementar un buen CDN. No sirve cualquiera porque no todos los CDN benefician al crawl budget, aunque sí mejoran el WPO. Todo depende de la infraestructura y las latencias.

Es posible que alguna técnica más, como la implementación de un buen OPCache en PHP o la implementación de un cache de objetos como Memcached bien integrado en la aplicación, mejore los tiempos de respuesta y el WPO. Sin embargo, estas son medidas más orientadas a la viabilidad de un proyecto web frente a grandes volúmenes de tráfico.

 

Nginx como servidor web o proxy cache

En este blog ya hemos hablado bastante de Nginx, ya que a nivel servidor web es muchísimo más potente que Apache. Es más rápido sirviendo peticiones, por lo que es capaz de servir muchas más en menos tiempo y utilizando menos recursos.

Además, Nginx no solo puede funcionar como servidor web, sino también como proxy inverso o cache, con lo que mejora aún más los tiempos de respuesta de un sitio web que funcione sobre un servidor con Nginx implementado.

En esta imagen puedes ver lo que ocurre cuando se cambia un sitio web de un servidor Apache a un servidor Apache con un proxy inverso Nginx funcionando como cache en uno de nuestros servidores VPS optimizados:

nginx apache crawl budget

Y aquí puedes ver como Nginx es capaz de servir muchas más peticiones que Apache utilizando muchos menos recursos y con muchos menos fallos:

apache nginx crawl budget

El único problema que tiene Nginx, y el motivo por el que aún no lo usan muchos proveedores, es que si funciona como servidor web no podremos utilizar los típicos .htaccess que ahora utilizan la mayoría de CMS como Wordpress. Por el contrario, tendremos que traducir las reglas que tendríamos que meter en el .htaccess a otro “idioma” aceptado por los archivos de configuración de Nginx, lo que requiere acceso a ciertas partes de servidor.

Normalmente, cuando Nginx funciona como servidor web usamos PHP-FPM, una forma de ejecutar PHP que nos permite mucha más flexibilidad que las típicas configuraciones que se suelen hacer en Apache. Esto no influye tanto en el crawl budget, ya que para conseguir unos buenos tiempos de respuesta necesitamos cachear sí o sí.

En nuestros servidores VPS optimizados con SSD utilizamos VestaCP con soporte nativo para Nginx, lo que nos permite utilizar Nginx como proxy inverso y cache, mejorando los tiempos de respuesta tanto para el WPO y aprovechando mejor el crawl budget.

 

Varnish como proxy cache

Varnish es diferente a Nginx, aunque tiene funcionalidades que son similares. En cambio, Varnish no puede funcionar como servidor web, sino solamente como proxy cache.

Varnish es un poco más difícil de configurar que Nginx, pero en algunas situaciones puede ser mucho más efectivo si realizamos una buena configuración, siempre teniendo en cuenta que se trata de un proxy y no de un servidor web como Nginx. Son cosas completamente diferentes aunque sean capaces de servir contenido estático más o menos igual de rápido.

En la siguiente imagen puedes ver una comparación del funcionamiento de Varnish como cache contra Batcache, un plugin de cache para WordPress que guarda en Memcached las páginas cacheadas:

crawl budget wpo

Normalmente, la configuración que se suele montar es Varnish con Nginx. Si queremos que además se puedan tocar reglas en el .htaccess, se suele configurar Varnish para cachear dinámicos y Nginx para cachear estáticos, de modo que se sirvan los contenidos y las páginas con muy poco tiempo de retraso.

 

Cache en WordPress

Cuando hablamos de cache de WordPress, nos referimos normalmente a plugins de cache para WordPress. El cache de WordPress es algo de lo que ya hemos hablado mucho, incluso hemos publicado un benchmark de rendimiento de plugins de cache para WordPress donde medíamos y enseñábamos los tiempos de respuesta de todas las opciones analizadas.

crawl budget wpo

En Raiola Networks siempre recomendamos WP Rocket como opción Premium y WP Fastest Cache o W3 Total Cache como opciones gratuitas recomendadas. Hemos hablado de estos tres plugins varias veces en diferentes artículos:

La configuración aplicada en el plugin de cache instalado debe ir acorde a las necesidades del sitio web. No todos los sitios web son iguales y no todos los plugins de cache son iguales.

Lo único que me gustaría recalcar es que un buen plugin de cache es muy importante actualmente en cualquier instalación de Wordpress, tenga el tráfico que tenga. Pese a que hace unos años se decía que solo era necesario un plugin de cache cuando la página tenía mucho tráfico, eso es mentira. Si quieres tener una web Wordpress rápida, SIEMPRE debes de tener un plugin de cache bien configurado para que sea eficiente al realizar los vaciados de cache y los precache de forma automática y sin que afecte al visitante y a la velocidad de carga.

 

Reducir el número de peticiones en la carga de la web

No existe un método exacto para reducir el número de peticiones, pero es una cosa muy importante, ya que cada elemento o librería de la web se carga mediante una petición. Si reducimos a la mitad o en un 25% el número de peticiones necesarias para descargar todo el contenido de la web, habremos conseguido una mejora radical en la velocidad de carga, los tiempos de respuesta y el crawl budget.

Otra cosa muy importante en Wordpress para reducir peticiones es revisar los plugins que tenemos activos, ya que puede ser que algunos no los necesitemos y que estén incluyendo peticiones en la carga general de la web. Revisando este punto, en esta misma web (raiolanetworks.es) hemos conseguido reducir las peticiones de forma radical, ya que teníamos instalados muchos plugins que no necesitábamos.

 

Combinar archivos Javascript y CSS

Unir varios archivos JS o varios archivos CSS en un único archivo (siempre por separado CSS y JS) nos ayuda a reducir las peticiones y a reducir la complejidad de la web, haciéndole al crawler de Google mucho más fácil la tarea y consiguiendo mejorar el crawl rate general.

No siempre es fácil combinar el JS y el CSS, ya que los themes actuales son bastante complejos, por lo que cuesta bastante hacerlo de forma automática. Si eres programador y eres capaz de hacerlo de forma manual puedes conseguir mejores resultados, pero esto requiere cierta pericia y conocimiento del entorno sobre el que se está trabajando.

Algunos plugins como Autoptimize o WP Rocket te permitirán combinar archivos JS y CSS en Wordpress de forma automática, pero es necesario configurar todo muy bien para conseguir buenos resultados. En algunos casos, será imposible conseguir el resultado esperado y deberá hacerse manualmente.

 

Optimizar los archivos JS y CSS y el HTML

La optimización de archivos JS y CSS y del HTML consiste simplemente en reducir el tamaño general del sitio web eliminando ciertas partes de los archivos, como los saltos de línea y los comentarios. El motivo es que se descargan en los archivos y realmente no sirven para nada desde el punto de vista de visualización del sitio web.

Se puede realizar la optimización de los archivos JS y CSS, así como del HTML, de forma automática o manual. De forma automática podemos hacerlo con AutoptimizeWP Rocket o W3 Total Cache.

Sin embargo, hacerlo de forma manual implica lo mismo que combinar los archivos JS y CSS, es decir, conocer el código y tener un poco de pericia, conociendo perfectamente el entorno desde el punto de vista técnico.

 

Carga asíncrona del Javascript

La carga asíncrona de Javascript es una práctica que muy pocos webmasters llevan a cabo, al igual que sucede con pasar los CSS y Javascript al footer.

crawl budget wpo

Como puedes ver en la imagen anterior, la carga asíncrona provoca que se carguen varios elementos al mismo tiempo. Eso, con el Javascript, se nota bastante.

En la siguiente imagen, Natzir Turrado muestra cómo sube el tiempo de respuesta cuando se sustituyen los scripts asíncronos por síncronos:

crawl budget wpo

Algunas veces es complicado configurar los Javascript para que carguen de forma asíncrona, ya que los themes actuales son bastante complejos. En Wordpress podemos configurar el CSS y el Javascript para cargarse de forma asíncrona con plugins como Async JavaScript, WP Async CSS o, incluso, Autoptimize.

 

Implementación de un servicio CDN

No todos los servicios de CDN son iguales. No todos tienen el mismo rendimiento, usan la misma infraestructura ni, mucho menos, tienen los mismos tiempos de respuesta.

En este blog hablamos bastante de servicios de CDN y siempre orientamos nuestra opinión al WPO, pero ahora estamos empezando a ver cómo algunos servicios de CDN no son buenos para optimizar el crawl budget.

Si tuviéramos que recomendar un buen CDN para el crawl budget, quizás nos decantaríamos por KeyCDN o Amazon CloudFront, aunque no son los CDN que más optimizados tengan los POPs para tráfico hispanohablante en general. Si tu web se aloja en Google Cloud, evidentemente la mejor opción es el Google Cloud CDN, que se incluye con los balanceadores de carga disponibles en la infraestructura cloud de Google.

A continuación, te dejo unos enlaces en los que puedes ver cómo implementar algunos servicios de CDN en Wordpress:

 

Conclusiones sobre el crawl budget y WPO

Como hemos dicho repetidamente a lo largo del artículo, nosotros no somos SEOs y preferimos no opinar acerca de ciertas técnicas. Lo único que podemos aconsejarte es que leas los artículos que grandes profesionales del SEO españoles han publicado en sus blogs. Te enseñarán todo lo que necesitas saber (o, al menos, lo que es público o se intuye) sobre el crawl budget:

Poco a poco iremos avanzando en este concepto, haciendo pruebas y viendo cómo podemos optimizar el crawl budget desde el punto de vista del WPO para Wordpress y WooCommerce.

Aplicando conceptos como los que hemos explicado en este artículo, en Raiola Networks hemos conseguidos mejoras como estas:

crawl budget wpo

Evidentemente no todos los proyectos web son iguales, pero con WPO bien aplicado y orientado a facilitar el paso del crawler por Google, conseguiremos bastante mejoría en lo que a posicionamiento SEO se refiere.

 

Evento Smart Talks de INESDI en Valencia

El día 27 de enero de 2017 se celebró en Valencia un evento llamado Smart Talks, organizado por INESDI. Hasta allí fuimos «los de Raiola Networks» a explicar justo este tema: cómo al aplicar las técnicas WPO precisas podemos conseguir una mejora radical en el posicionamiento SEO al aprovechar mejor el presupuesto de rastreo de nuestro sitio web.

Creemos que la temática ha tenido bastante éxito y que a la gente le ha interesado bastante, dado que es un tema relativamente «nuevo» y que actualmente se debe tener muy en cuenta para mejorar el SEO on Page de nuestra web.

Como puedes ver, fue un evento pequeño donde la mayoría de los ponentes nos conocíamos, pero supuso una excelente oportunidad para encontrarse con amigos y colaboradores.

Aquí te dejamos la presentación en Slideshare que utilicé. Además, puedes encontrar las fotos que sacamos durante el evento en nuestra página de Facebook:

Por último, si quieres recibir un checklist con el que optimizar tu instalación de WordPress paso a paso, indica tu email en el siguiente formulario y suscríbete.

Optimiza tu WordPress paso a paso.

Bájate este checklist y no olvidarás nada.

  • RESPONSABLE: RAIOLA NETWORKS, S.L. C.I.F.: B27453489 Avda de Magoi, 66, Semisótano, Dcha., 27002 Lugo (Lugo) Telefono: +34 982776081 e-mail: info@raiolanetworks.es
    FINALIDAD: Atender solicitudes de información, ejecución de la contratación de servicios y remisión de comunicaciones comerciales.
    LEGITIMACIÓN: Consentimiento del interesado y contratación de productos y/o servicios del Responsable
    DESTINATARIOS: No se ceden datos a terceros, salvo obligación legal. Personas físicas o jurídicas directamente relacionadas con el Responsable Encargados de Tratamiento adheridos al Privacy Shield
    DERECHOS: Acceder, rectificar y suprimir los datos, portabilidad de los datos, limitación u oposición a su tratamiento, derecho a no ser objeto de decisiones automatizadas, así como a obtener información clara y transparente sobre el tratamiento de sus datos.
    INFORMACIÓN ADICIONAL: Se puede consultar la política de privacidad de forma más detallada aquí.
  • Este campo es un campo de validación y debe quedar sin cambios.
Imagen de suscripción
Mi nombre es Alvaro Fontela, soy consultor Wordpress y blogger activo desde hace años. Co-Fundador de Raiola Networks, escribiendo sobre Wordpress en este blog día tras día.

Articulos relacionados

Si te ha gustado este post, aquí tienes otros que pueden interesarte. ¡No pares de aprender!

Share on twitter
Compartir en Twitter
Share on facebook
Compartir en Facebook
Share on pinterest
Compartir en Pinterest

Tenemos 3 comentarios en

"Crawl budget y WPO en Wordpress para mejorar el posicionamiento SEO"

3 respuestas

  1. Muy buen Post con pautas de gran ayuda, para ayudarnos día tras día, a posicionar más arriba nuestros proyectos web.

    1. Hola Andres, es que no me considero SEO porque no hago SEO para clientes, simplemente lo hago en mis proyectos y algunas cosas en temas relacionados con WPO.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

¿Vienes desde otro proveedor?
Suscríbete a la newsletter

Recibe ofertas, novedades y mucho más:

RESPONSABLE: RAIOLA NETWORKS, S.L. C.I.F.: B27453489 Avda de Magoi, 66, Semisótano, Dcha., 27002 Lugo (Lugo) Telefono: +34 982776081 e-mail: info@raiolanetworks.es
FINALIDAD: Atender solicitudes de información, ejecución de la contratación de servicios y remisión de comunicaciones comerciales.
LEGITIMACIÓN: Consentimiento del interesado y contratación de productos y/o servicios del Responsable
DESTINATARIOS: No se ceden datos a terceros, salvo obligación legal. Personas físicas o jurídicas directamente relacionadas con el Responsable Encargados de Tratamiento adheridos al Privacy Shield
DERECHOS: Acceder, rectificar y suprimir los datos, portabilidad de los datos, limitación u oposición a su tratamiento, derecho a no ser objeto de decisiones automatizadas, así como a obtener información clara y transparente sobre el tratamiento de sus datos.
INFORMACIÓN ADICIONAL: Se puede consultar la política de privacidad de forma más detallada aquí.
Los precios mostrados no incluyen IVA