Robots.txt para WordPress y Google

robots txt wordpress
2 min. de lectura

El archivo Robots.txt es esencial para el posicionamiento de tu página web ya que todas las arañas o robots rastreadores de internet se encargan de encontrar este archivo para luego empezar a evaluar la información de la temática de un blog de WordPress, además de que nosotros mismos podamos decirle que archivos indexar y los que no son necesarios que indexe en sus bases de datos.

¿Tienes una web o blog en WordPress que no indexa?

El archivo robots.txt bien configurado evita que los crawlers de los buscadores indexen páginas que no necesitas que aparezcan en Google como las búsquedas, los directorios de administración, el directorio de plugin, y si además tienes un woocommerce evitarás indexar las páginas de cuenta, carrito, etc…

Robots.txt WordPress

 

[sociallocker]

El archivo “robots” se crea con la extensión .txt que podemos crear y editar con un simple bloc de notas o un cualquier editor de texto.
Cuando ya lo tengas, has de subirlo a la raíz de tu web con el nombre robots.txt, este es el único lugar donde los rastreadores lo encontrarán. [/sociallocker]

Robots.txt WordPress

Aquí tienes algunos ejemplos de tobots.txt para WordPress

Si queremos que se rastree todo el sitio:

User-agent: *
Disallow:

Si quieres bloquear todo el sitio:

User-agent: *
Disallow: /

Desde aquí puedes bloquear determinadas carpetas:

User-agent: *
Disallow: /wp-login
Disallow: /wp-admin

Ejemplo de robots.txt standard para wordpress:

[sociallocker]User-agent: *

Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /*?
Disallow: /cgi-bin/
Disallow: /wp-content/cache/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Mediapartners
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

Sitemap: http://www.tusitioweb.com/sitemap.xml
Sitemap: http://www.tusitioweb.com/feed/ [/sociallocker]

El robots.txt también permite añadir comentarios, indicarle el sitemap de tu web…
Te invito a ver el robots.txt de mi página web en wordpress, a ver que te parece.

http://www.jluislopez.es/robots.txt

Recuerda que puedes validar tu Robots.txt desde Google Webmaster Tools, podrás comprobar si hay errores o que puedes mejorar.
También puedes accerder desde la herramienta de Google Probador de robots.txt.

Ya sabes, optimiza el robots.txt de tu wordpress o página web, el posicionamiento o no de tu site en buena parte depende de el.

¿Necesitas un consultor SEO para tu negocio?
Pregúntame como mejorar tu web y ayudar a que tu negocio sea más visible en internet

********* Si te ha gustado, puedes compartirlo 🙂

¿Necesitas Enlaces? Aquí tienes 30

Suscríbete al newsletter para estar al día de todo lo que publico en el blog y recibirás un documento con 30 sitios + bonus donde poner tu enlace de forma gratuita.

Antes de enviar tu consulta, échale un vistazo a la información básica sobre protección de datos que tienes a continuación.


Responsable » José Luis López
Finalidad » Enviarte 30 enlaces para tu web y mi newsletter
Legitimación » Tu consentimiento
Destinatarios » Tus datos los guardará Raiola Networks, mi proveedor de email marketing
Derechos » Tienes derecho, entre otros, a acceder, rectificar, limitar y suprimir tus datos

Puedes consultar mi política de privacidad.