#
# robots.txt para tu blog en WordPress.
#
# 
# http://sigt.net/archivo/robotstxt-para-wordpress.xhtml
#

# Primero el contenido adjunto.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /radioblog/

# También podemos desindexar todo lo que empiece 
# por wp-. Es lo mismo que los Disallow de arriba pero
# incluye cosas como wp-rss.php

Disallow: /wp-

#
# Sitemap permitido, búsquedas no.
#

Sitemap: http://www.memorizada.com/sitemap.xml
Disallow: /?s=
Disallow: /search

#
# Permitimos el feed general para Google Blogsearch.
#
# Impedimos que permalink/feed/ sea indexado ya que el
# feed con los comentarios suele posicionarse en lugar de
# la entrada y desorienta a los usuarios.
#
# Lo mismo con URLs terminadas en /trackback/ que sólo
# sirven como Trackback URI (y son contenido duplicado).
#

Allow: /feed/$
Disallow: /feed
Disallow: /comments/feed
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$

#
# A partir de aquí es opcional pero recomendado.
#
# Disabling Global Translator Translated Pages

Disallow: /ar
Disallow: /be
Disallow: /ca
Disallow: /bg
Disallow: /cs
Disallow: /da
Disallow: /de
Disallow: /el
Disallow: /en
Disallow: /et
Disallow: /fa
Disallow: /fi
Disallow: /fr
Disallow: /ga
Disallow: /gl
Disallow: /hi
Disallow: /hr
Disallow: /hu
Disallow: /id
Disallow: /is
Disallow: /it
Disallow: /iw
Disallow: /ja
Disallow: /ko
Disallow: /lt
Disallow: /lv
Disallow: /mk
Disallow: /ms
Disallow: /mt
Disallow: /nl
Disallow: /no
Disallow: /pl
Disallow: /pt
Disallow: /ro
Disallow: /ru
Disallow: /sk
Disallow: /sl
Disallow: /sr
Disallow: /stale
Disallow: /sv
Disallow: /th
Disallow: /tl
Disallow: /tr
Disallow: /uk

# Lista de bots que suelen respetar el robots.txt pero rara
# vez hacen un buen uso del sitio y abusan bastante...
# Añadir al gusto del consumidor...

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

#
# Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
# idas de pinza, toca decirles que reduzcan la marcha.
# El valor es en segundos y podéis dejarlo bajo e ir 
# subiendo hasta el punto óptimo.
#

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.memorizada.com/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN