Всем привет.
Расскажите мне пожалуйста что такое robots.txt и как его сделать.
Хочу добавить сайт в Яндекс, но мне пишет чтото про robots.txt

Помогите плз.
Жду Ваших ответов.

Любой сайт в интернете, в том числе может оказаться доступным для роботов поисковых машин. Если по каким-либо причинам вы не хотите, чтобы ваш сайт или отдельные его разделы можно было найти в поисковых системах, создайте в корне сайта файл robots.txt с подходящим содержимым. Как это сделать, можно узнать из помощи.

Что такое Яндекс.Вебмастер

Яндекс.Вебмастер — это сервис, предоставляющий информацию о том, как индексируются ваши сайты. Он позволяет сообщить Яндексу о новых и удаленных страницах, пожаловаться на страницы с поисковым спамом.

С помощью Яндекс.Вебмастера вам будет доступна следующая информация:

дата последнего обращения поискового робота к сайту;
количество проиндексированных страниц и структура разделов сайта;
количество ошибок и распределение их по разделам;
список страниц, которые не удалось проиндексировать, с указанием причины ошибки.
 robots.txt ( 25 байт ) Кол-во скачиваний: 502