Настраиваем robots.txt для NG CMS

Материал из Документация NGCMS

Для тех кто не в курсе robots.txt - это специальный файл, который кладется в корень сайта и задает правила индексирования страниц для поисковых ботов. Давайте подумаем что в таком файле необходимо указать в NG CMS (Внимание, огроворюсь настраиваем robots.txt только для ЧПУ, те которые без них - разбирайтесь сами).

#Эй роботы - это вам
User-agent: * 
#зачем роботам админка?
Disallow: /engine/
#Зачем роботам шаблоны?
Disallow: /templates/
#Роботы регаца не будут
Disallow: /registration.htm
#А значит и профиля у них тоже не будет
Disallow: /profile.htm
#Да и новости они добавлять не собираются
Disallow: /addnews.htm
#И пароль тоже не теряют
Disallow: /lostpassword.htm
#и уберем дубликат, это страница 1 в постраничке любой категории
Disallow: */page/1$

Вроде бы все, подробнее об robots.txt можно почитать здесь - http://robotstxt.org.ru/ Ну а автор этой мини-заметки - Андрей Мягков http://asblog.biz/