Robots.txt para WordPress y Google

Robots.txt para WordPress y Google

El archivo Robots.txt es esencial para el posicionamiento de tu página web ya que todas las arañas o robots rastreadores de internet se encargan de encontrar este archivo para luego empezar a evaluar la información de la temática de un blog de WordPress, además de que nosotros mismos podamos decirle que archivos indexar y los que no son necesarios que indexe en sus bases de datos.

¿Tienes una web o blog en WordPress que no indexa?

El archivo robots.txt bien configurado evita que los crawlers de los buscadores indexen páginas que no necesitas que aparezcan en Google como las búsquedas, los directorios de administración, el directorio de plugin, y si además tienes un woocommerce evitarás indexar las páginas de cuenta, carrito, etc…

Robots.txt WordPress

 

El archivo “robots” se crea con la extensión .txt que podemos crear y editar con un simple bloc de notas o un cualquier editor de texto.
Cuando ya lo tengas, has de subirlo a la raíz de tu web con el nombre robots.txt, este es el único lugar donde los rastreadores lo encontrarán.

Robots.txt WordPress

Aquí tienes algunos ejemplos de tobots.txt para WordPress

Si queremos que se rastree todo el sitio:

User-agent: *
Disallow:

Si quieres bloquear todo el sitio:

User-agent: *
Disallow: /

Desde aquí puedes bloquear determinadas carpetas:

User-agent: *
Disallow: /wp-login
Disallow: /wp-admin

Ejemplo de robots.txt standard para wordpress:

User-agent: *

Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /*?
Disallow: /cgi-bin/
Disallow: /wp-content/cache/

User-agent: Mediapartners-Google*
Allow: /

User-agent: Mediapartners
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

Sitemap: http://www.tusitioweb.com/sitemap.xml
Sitemap: http://www.tusitioweb.com/feed/

El robots.txt también permite añadir comentarios, indicarle el sitemap de tu web…
Te invito a ver el robots.txt de mi página web en wordpress, a ver que te parece.

http://www.jluislopez.es/robots.txt

Recuerda que puedes validar tu Robots.txt desde Google Webmaster Tools, podrás comprobar si hay errores o que puedes mejorar.
También puedes accerder desde la herramienta de Google Probador de robots.txt.

Ya sabes, optimiza el robots.txt de tu wordpress o página web, el posicionamiento o no de tu site en buena parte depende de el.

¿Necesitas un consultor SEO para tu negocio?
Pregúntame como mejorar tu web y ayudar a que tu negocio sea más visible en internet

José Luis López

Soy José Luis López, llevo más de 15 años trabajando en web e internet, comencé por el diseño web y me he ido reciclando hasta adentrarme en el marketing online, más concretamente en el SEO y el SEM. Apasionado de la experiencia del usuario, mezclo mis conocimientos en diseño web y wordpress con la optimización para SEO para lograr que las empresas tengan visibilidad en internet y consigan sus objetivos. También colaboro en otros blogs del sector como el Blog de SEMrush o Marketeros de Hoy.

Entradas Relacionadas