простой пример - по RFC robots.txt лежит в корне домена и указывает роботам какие страницы индексировать
один умник ложит
Уважаемый не мог бы указать какой это номер у RFC по robots.txt ?
а то все умники такие, ложат на стандарты ...
виноват, есть draft http://www.robotstxt.org/wc/norobots-rfc.html
гугл например не ложит кстати не ложит а кладет
может у тебя и заменили что-то в голове я не знаю. у меня это две разные вещи пока. а забили на оба, все что идет в массы рано или поздно выходит из под контроля.