После наблюдения за индексацией проектов на Wordpress-е и не только на нем, вижу интересную тенденцию.
Первые странички - которые индексируются гуглом - странички в адрессе которых /tag/ (например site.com/tag/SEO).
Варианта два:
1) Гугл видит много ссылок на странички тегов
2) Гугл знает что по ТЕГ-ам можно достаточно быстро определить тематику сайта - не анализируя весь контент
На одном из проектов - вообще интересная ситуация, изначальная индексация нового сайта по sitemap - в котором главная + странички контента. Но в поиске все равно появились сначала главная потом странички тегов - потом контент странички.
Ссылок на теги с главной - тоже не было… Робот мог о них узнать только с контент страниц.
Вообще - давно интересно - поисковики подгоняют-учат роботов своих под определенные CMS?
Под тот же мега-популярный Wordpress/drupal/joomla?
Научив робота - типичной структуре - многих CMS - робот будет значительно быстрее справлятся с обходом их.