Індексація сторінок. Швидка індексація сайту пошуковими системами "гугл" і "яндекс"

Кожен вебмастер знає, що для того щоб на його ресурс почали заходити люди з пошукових систем, необхідна його індексація. Про те, що з себе представляє індексація сайту, як вона проводиться, і в чому полягає її сенс, ми розповімо в даній статті.

Що таке індексація?

Отже, слово «індексація» саме по собі означає внесення до реєстру чого-небудь, перепис матеріалів, які є в наявності. Цей же принцип застосовується і до індексації сайтів. По суті, цей процес можна назвати також внесенням інформації про інтернет-ресурсах в базу даних пошукових систем.

Таким чином, як тільки користувач буде забивати чергову фразу в пошукове поле Google, скрипт буде повертати йому результат, що включає заголовок вашого сайту і його короткий опис, яке ми бачимо нижче.

Як здійснюється індексація?

Сама індексація («Яндекс» це, чи Google - ролі не грає) проходить досить просто. Всю павутину інтернет, орієнтуючись на базу ip-адрес, яка є у пошуковиків, сканують потужні роботи - «павуки», що збирають інформацію про вашому сайті. Їх у кожної з пошукових систем величезна кількість, а працюють вони в автоматичному режимі 24 години на добу. Їх завдання - зайти на ваш сайт і «прочитати» весь контент на ньому, занісши при цьому дані в базу.

Отже, в теорії індексація сайту мало залежить від власника ресурсу. Вирішальним фактором тут є пошуковий робот, який заходить на сайт і досліджує його. Саме це і впливає на те, як швидко ваш сайт з'явиться в пошуковій видачі.

Терміни індексації?

Зрозуміло, кожному вебмастеру вигідно, щоб його ресурс з'явився в пошуковій видачі якнайшвидше. Це буде впливати, по-перше, на терміни виведення сайту на перші позиції, а, по-друге, на те, коли почнуться перші етапи монетизації сайту. Таким чином, чим раніше пошуковий робот «з'їсть» всі сторінки вашого ресурсу, тим краще.

Кожна пошукова система має свій алгоритм внесення даних про сайтах в свою базу. Наприклад, індексація сторінок в «Яндекс» здійснюється поетапно: роботи сканують сайти постійно, потім впорядковують інформацію, після чого проходить так званий «апдейт», коли всі зміни набирають чинності. Регулярність таких подій компанією не встановлюється: вони проводяться раз в 5-7 днів (як правило), однак можуть відбуватися й за 2, і за 15 діб.

При цьому індексація сайту в Google йде за іншою моделлю. У цій пошуковій системі такі «апдейти» (оновлення бази) проходять регулярно, у зв'язку з цим чекати кожного разу, поки роботи занесуть інформацію в базу, а потім вона буде впорядкована раз в декілька діб, не потрібно.

На основі вищесказаного, можемо зробити наступний висновок: сторінки в «Яндекс» додаються через 1-2 «апдейта» (тобто за 7-20 днів у середньому), а в Google це може відбутися набагато швидше - буквально за добу.

При цьому, зрозуміло, у кожної пошукової машини є свої особливості того, як проводиться індексація. «Яндекс», наприклад, має так званого «бистробота» - робота, який може вносити дані у видачу за кілька годин. Правда, зробити так, щоб він зайшов на ваш ресурс, непросто: це стосується переважно новин і різних гучних подій, що розвиваються в режимі реального часу.

Як потрапити в індекс?

Відповідь на питання про те, як занести дані про свій сайт в індекс пошуковиків, одночасно і простий, і складний. Індексація сторінок - це явище природне, і якщо ви навіть не замислюєтеся про неї, а просто, скажімо, ведете свій блог, поступово наповнюючи його інформацією - пошукові механізми з часом відмінно «проковтнуть» ваш контент.

Інша справа - це коли вам потрібно прискорити індексацію сторінки, наприклад, якщо у вас мережу так званих «сателітів» (сайтів, розрахованих на продаж посилань або розміщення реклами, якість яких, як правило, гірше). У такому випадку необхідно вживати заходів для того, щоб роботи помітили ваш сайт. Загальнопоширеними вважаються наступні: додавання URL-адреси сайту в спеціальну форму (зветься вона «AddUrl») - прогін адреси ресурсу по каталогах ссилок- додавання адреси в каталоги закладок і багато іншого. Про те, як працює кожен з цих методів, ведуться численні дискусії на SEO-форумах. Як показує практика, кожен випадок унікальний, і більш точно знайти причини того, чому один сайт проіндексовано за 10 днів, а інший - за 2 місяці, складно.

Як прискорити потрапляння в індекс?

Тим не менш, логіка, за допомогою якої можна зробити так, щоб сайт потрапив в індекс швидше, грунтується на розміщенні посилань на нього. Зокрема, мова йде про простановке URL на безкоштовних і загальнодоступних сайтах (закладки, каталоги, блоги, форуми) - про покупку посилань на великих і розкручених сайтах (за допомогою біржі Sape, наприклад) - а також про додавання карти сайту у форму addURL. Можливо, є й інші методи, однак ті, що вже були перераховані, можна з упевненістю назвати найпопулярнішими. Нагадаємо, в цілому ж все залежить від сайту і везіння його власника.

Які сайти потрапляють в індекс?

Згідно з офіційною позицією всіх пошукових систем, в індекс потрапляють сайти, які проходять ряд фільтрів. Які вимоги містять останні, не знає ніхто. Відомо лише, що з плином часу всі вони вдосконалюються таким чином, щоб відсівати псевдосайт, створені для заробітку на продажу посилань та інші ресурси, що не несуть корисної інформації для користувача. Зрозуміло, для творців цих сайтів головним завданням є індексація сторінок в якомога більшому обсязі (щоб залучити відвідувачів, продати посилання і так далі).

Які ресурси пошуковики банять?

Базуючись на попередній інформації, можна зробити висновок про те, які сайти, швидше за все, не потраплять в пошукову видачу. Та ж інформація озвучується і офіційними представниками пошукових систем. У першу чергу це сайти, що містять неунікальний, генерований автоматично контент, який не є корисним для відвідувачів. Далі слідують ресурси, в яких мінімум інформації, створені для продажу посилань і так далі.

Правда, якщо проаналізувати видачу пошукових систем, то в ній можна знайти всі ці сайти. Тому, якщо говорити про сайти, які не будуть присутні у видачі, слід відзначати не тільки неунікальний контент, а ще й ряд інших факторів - безліч посилань, неправильно організована структура і так далі.

Приховуємо контент. Як заборонити індексацію сторінки?

Пошукові системи сканують весь контент, що знаходиться на сайті. Однак існує методика, за допомогою якої можна обмежити доступ пошукових роботів до того чи іншого розділу. Робиться це з використанням файлу robots.txt, на який і реагують «павуки» пошукових систем.

Якщо в корені сайту помістити цей файл, індексація сторінок буде проходити за сценарієм, який прописаний в ньому. Зокрема, можна заборонити індексацію за допомогою єдиної команди - Disallow. Крім неї, у файлі можна вказувати ще й розділи сайту, на які ця заборона буде поширюватися. Приміром, для заборони входження в індекс всього сайту, досить вказати один слеш «/» - а щоб виключити з видачі розділ «shop», досить вказати таку характеристику у своєму файлі: «/ shop». Як бачите, все логічно і гранично просто. Індексація сторінок закривається дуже легко. При цьому пошукові роботи заходять на вашу сторінку, читають robots.txt і не вносять дані в базу. Так можна легко маніпулювати, щоб бачити в пошуку ті чи інші характеристики сайтів. Тепер поговоримо про те, як перевіряється індекс.

Як можна перевірити індексацію сторінки?

Існує кілька способів дізнатися те, скільки і які сторінки присутні в базі «Яндекс» або Google. Перший - найпростіший - це задати соответсвующий запит в пошукову форму. Виглядає він так: site: domen.ru, де замість домен.ру ви прописуєте, відповідно, адресу вашого сайту. Коли ви зробите такий запит, пошуковик покаже всі результати (сторінки), розташовані за зазначеною URL. Причому, крім простого перерахування всіх сторінок, ви можете також бачити загальне число проіндексованого матеріалу (праворуч від фрази «Кількість результатів»).

Другий спосіб - це перевірити індексацію сторінки, використовуючи спеціалізовані сервіси. Їх зараз велика кількість, навскидку можна назвати xseo.in і cy-pr.com. На таких ресурсах можна не тільки побачити загальне число сторінок, але і визначити якість деяких з них. Однак це потрібно вам лише в тому випадку, якщо ви більш поглиблено розбираєтеся в даній темі. Як правило, це професійні SEO-інструменти.

Про «примусової» індексації

Ще хотілося б трохи написати про так звану «примусової» індексації, коли людина різними «агресивними» методами намагається загнати свій сайт в індекс. Робити цього оптимізатори не рекомендують.

Пошукові системи як мінімум, помітивши надмірну активність, пов'язану з новим ресурсом, можуть ввести в дію якісь санкції, що негативно позначаються на стані сайту. Тому краще робити все так, щоб індексація сторінок виглядала якомога більш органічною, поступової і плавною.