Этот файл содержит правила (Robot Rules) исключений для различных роботов индексации, поиска или зеркалирования веб-серверов.
Стандарт, описывающий содержимое этого файла, можно найти по адресу http://info.webcrawler.com/mak/projects/robots/norobots.html
| Prev | Home | Next |
| Есть ли программы, подобные StarOffice/Linux, для FreeBSD? | Up | Каким образом можно организовать доступ к MS SQL? |