Google переходить на нові краулери

У блозі для вебмайстрів від Google розробники розповіли про перехід на інші краулери. Тепер в індексі сторінки будуть надаватися в такому вигляді, в якому були виявлені роботами. Раніше пошуковий робот googlebot не працював зі сценаріями JavaScript на сторінці, стилями, що призводило до труднощів з індексацією таких порталів.

 Тепер проблеми можуть виникнути, якщо вебмастери ставили заборона на індексацію вмісту файлів, які мають формат .js і .css. Проблеми можуть виникнути з відображенням сторінки. Щоб такого не було, потрібно зняти обмеження і перевірити, чи бачить робот сторінку, подібно звичайному користувачеві. Для перегляду можна вибрати відповідний інструмент в середовищі Google Webmaster Tools.

Часто обмеження доступу до файлів .js і .css ставили на великих проектах, які мали невисоку відвідуваність. Це дозволяло уникати сильних навантажень при краулінга. У випадку, якщо обмеження залишиться, робот не зможе провести індексацію оптимально, і рейтинг сайту може знизитися.

Також рекомендується об'єднати файли CSS і JavaScript в один і переконатися, що сервери справляються з навантаженням. Оновлені компанією сервіси візуалізації, які можна знайти в інструментах розробників, можуть допомогти дізнатися вебмастерам, чому індексація сайту погано виконується.