Индексация страниц /tag/ Wordpress и не только Google-ом - наблюдение

Posted on Apr 02 2010

После наблюдения за индексацией проектов на Wordpress-е и не только на нем, вижу интересную тенденцию.

Первые странички - которые индексируются гуглом - странички в адрессе которых /tag/ (например  site.com/tag/SEO).




Варианта два:



1) Гугл видит много ссылок на странички тегов

2) Гугл знает что по ТЕГ-ам можно достаточно быстро определить тематику сайта - не анализируя весь контент



На одном из проектов - вообще интересная ситуация, изначальная индексация нового сайта по sitemap - в котором главная + странички контента. Но в поиске все равно появились сначала главная потом странички тегов - потом контент странички.

Ссылок на теги с главной - тоже не было… Робот мог о них узнать только с контент страниц.



Вообще - давно интересно - поисковики подгоняют-учат роботов своих под определенные CMS?

Под тот же мега-популярный Wordpress/drupal/joomla?

Научив робота - типичной структуре - многих CMS - робот будет значительно быстрее справлятся с обходом их.