# /robots.txt для сайта www.aztruck.com.ua поместить в корень сайта
User-agent: Yandex
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /img/
Disallow:
Host: www.aztruck.com.ua  #неправильно http:// и в конце /  - http://www.site.ru/

User-agent: Googlebot
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /img/
Disallow:

User-agent: StackRambler
Disallow:

User-Agent: turtle
Disallow:

# * означает любой набор символов ;  $ используется как знак конца URL
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*.gif$
Disallow: /*_print*.html
Disallow: /*?sessionid

User-agent: Webalta
Disallow: /cgi-bin

User-agent: MSNBot
Disallow: 

User-agent: BadRobot
Disallow: /

User-agent: *
#Disallow: /*.jpg$        #Например, Google, Yahoo! и MSN Search понимают * как соответствие любой строке символов, а знак доллара $ как знак окончания URL. Поэтому для блокировки пауков при попытке загрузить jpeg файлы можно использовать следующую конструкцию
#Disallow: /secret/       #Блокировка доступа к отдельным форматам файлов - самое распространенное применеие для регулярных выражений. И большинство людей часто используют регулярные выражения когда они совсем не нужны. Например, многие сайты прописывают такое правило:
Disallow: /css/			  #Указание только директории css
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp
Disallow: /logs
Disallow: 
Crawl-delay: 5            #Пауки также иногда обращают внимание на директивы управления, например Crawl-delay (задержка сканирования, чтобы робот не положил сервак). MSN, Yahoo! и Ask поддерживают эту директиву, ее записывают так: Это значит пауку следует ждать 5 секунд между загрузками. Были найдены десятки тысяч таких записей