robots.txt для BuddyPress
Содержимое robots.txt:
User-agent:*
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/languages
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/upgrade
Disallow: /xmlrpc.php
Disallow: /?feed=
Disallow: */trackback/
Disallow: */?s=
Disallow: */feed
Disallow: /activity/p/
Disallow: /?acpage=
Host: vash-sayt.ru
Сначала идет закрытие стандартных WordPress'овских "дыр". А вот потом и BuddyPress'овских:
Disallow: */?s= - запрещаем индексацию всех результатов поиска (по блогу, по пользователям, по группам и т.д.)
Disallow: */feed - запрет индексации всех подписок (а их там предостаточно ;))
Disallow: /activity/p/ - запрет индексации каждого отдельного статуса пользователя из активности (можете делать можете не делать. Я сдел так, чтобы вся лента активности пользователя индексировалась а отдельные записи - нет).
Disallow: /?acpage= - это тоже зависит от конкретного сайта. К примеру если у вас две ленты активности (на главной и sitename.ru/activity/) то одну из них лучше закрыть.