Сколько трафика потребляют роботы поисковиков google, yandex итд?
Точного ответа нету =) Так как все зависит от количества страниц у вас на сайте, обновляемости их, благосклонности всевышних сил Ботов и многого другого.
Я лишь дам пример трех украинских сайтов, и сгенерированого трафика ботами для них.
Первый сайт, рефераты - 50к+ станиц, большие тексты… много текста!
Второй сайт, небольшой портал на пару тысяч страничек.
Обновление 2-10 новостей в неделю.
Третьим в нашем списке будет, сайт визитка на 20-30страничек.
Как и многие другие сайты - визитки - обновление, редкое.
Как видно - обьем трафика - пропорционален контенту сайта, чем больше контента - тем больше трафика!
Посмотреть сколько потребляют трафика боты на вашем сайте - вы можете grep-ом по логам вебсервера с user-agent: googlebot / yandexbot итд и просуммировав размер страничек который они скачали.
Также такие данные можно посмотреть в лог-анализаторе например webalizer / AWstat, что я и сделал =)