Пояндексив я нашел много сео-блогов, которые написали про оптимизацию robots.txt для блогов на движке WordPress. Дабы не переливать одно и тоже в сотый раз, я решил запостить архивчик с 25 версиями настройки robots.txt. Вы можете взять один из вариантов на выбор, а можете создать еще один велосипед. Для молодых блогов я думаю лучше всего брать robots.txt по проще, если вы неопытный вебмастер – будет проще разобраться и потом исправить свои ошибки. Или довнести новые директивы. Грамотная настройка файла robots.txt описана и в Гугле, и в Яндексе. Не забывайте также при создании блога выбирать правильную структуру ссылок, а так же с WWW или без будет ваш блог. Потом конечно всегда можно редирект сделать, но зачем лишний раз напрягать роботов.
Скачать 25 версий Robots.txt