# robots.txt for https://www.drivesby.com
# Примечание про Crawl-delay:
# - Google игнорирует директиву Crawl-delay в robots.txt и сам регулирует скорость обхода.
# - Bing и Яндекс могут её учитывать.
# - Без Crawl-delay боты сами адаптируют частоту обхода по скорости ответа сервера и популярности страниц.
# - Если заметите чрезмерную нагрузку от ботов — можно вернуть директиву или ограничить частоты в вебмастер-инструментах.
User-agent: *
Disallow: /api/
Disallow: /account/
Disallow: /auth/
Disallow: /user-prefs/
Disallow: /loc/

Sitemap: https://www.drivesby.com/sitemap.xml
Host: www.drivesby.com