Швидка індексація великих сайтів

Від перекладача

"Елі, автор даної статті блогу BlueHatSeo. Com, — широко відомий на Заході оптимізатор. У своіхстатьях він докладно описує різні аспекти SEO і в той же час даетрекоммендаціі по монетизації сайтів. Зокрема він детально описав роботу такназиваемой сайтів-відбілювачів посилань, які дозволяють накачатьссилочний вага потрібних ресурсів, і сайтів-хамелеонів, прізваннихмонетізіровать трафік по довгим ключовими фразами. Ця стаття присвячена тому, як проіндексувати такі та інші великі сайти в максимально короткійсрок ".

Після того як ви створите сайт-хамелеон відбілювач посилань, вам напевно доведеться вирішити проблемуего індексування в пошукових системах. Можливо, вам ще не пріходілосьработать з великими сайтами, в яких більше 20 тисяч сторінок, але, поверьтемне, проіндексувати їх не так вже й складно. Єдине, що я долженотметіть, деякі з наведених нижче методів найкраще подходятдля сайтів з числом сторінок від 20 до 200 тис. сторінок. Для сайтів, у которихбольше або менше сторінок, потрібно використовувати трохи інші методи.

Відвідування сайту пошуковими ботами

Тут потрібно відзначити два важливих аспекти. Перший — цеструктура сайту.
Ви повинні так організувати сайт, щоб максимально полегшити ботам роботу поего індексуванню. Для цього ви повинні створити так звані "вузлові" сторінки. Вузлові сторінки — це сторінки з посиланнями навнутренніе сторінки. Наприклад, для сайту каталогів вузловий сторінкою можносчітать сторінку, внизу якої стоїть блок посилань: "Pages 1, 2, 3, 4, …". Єдина мета і цінність вузловий сторінки в тому, що вона помогаетпроіндексіровать інші сторінки сайту. Якщо вам потрібно проіндексувати большойсайт, спочатку проіндексує вузлові сторінки, і інші сторінки последуютза ними.

Другий важливий чинник — кількість відвідувань сайту пошуковими ботами.
Чим більше об'єм ботів трафіку, тим швидше проіндексує сторінки сайта.Хотя сам обсяг не має великого значення: який толк від того, що боти будутбомбардіровать головну сторінку сайту і не будуть заходити на внутрішні? Видолжни направити ботів, куди вам потрібно, і тут дуже важлива структура, окоторой я розповів вище.

Це скріншот зі статистикою одного з моїх сайтів-хамелеонів, якому всего10 днів від народження. Зворотних посилань на нього зовсім небагато, однак це не помешалоботам за 6 днів проіндексувати 10 тисяч сторінок.

Як я вже говорив, зробити це зовсім не складно. Для початку ми займемсябазовимі речами, потім перейдемо до більш просунутих прийомам і закінчимо тим, чтоя називаю "сайтами-індексаторами". Що з усього цього використовувати, вирішувати вам.Еслі ви не готові застосовувати той чи інший прийом або у вас поки немає для етогодостаточних знань, зупиніться на більш простих варіантах.

Внутрішні посилання на цільових сторінка�

Це найпростіше, що можна придумати. Давайте повернемося до нашого сайту-хамелеонус партнерськими посиланнями на сайту знайомств. Там кожна цільова страніцапредставляет якесь місто. І на кожній сторінці є (або можна поставити) посилання на довколишні міста. (Для цього можна використовувати вибірку поZIP-кодами або ж витягувати з бази запису, розташовані до і після ряду, якому відповідає зазначений місто.) Це дозволить пошуковим ботампереходіть з однієї цільової сторінки на іншу до тих пір, поки непроіндексіруют всі сторінки сайту.

Зворотній й / або обертова мапа сайту

Напевно ви вже прикрутили простеньку карту сайту до свого сайту, і теперьона посилається на всі сторінки ресурсу. Кажуть, пошукові боти ставляться ккартам сайту інакше, ніж до інших сторінок в плані кількості посилань, покоторим вони готові перейти, але коли у вас є 20 тисяч сторінок і всі їх нужнопроіндексіровать, стандартна карта може виявитися малоефективною.

Якщо ми відштовхуємося від того факту, що бот переходить тільки поопределенному кількістю посилань з карти сайту, значить, нам потрібно зробити так, щоб він якимось чином охопив усі посилання. Якщо у вас невеликий ресурс на 5тисяч сторінок, вам навряд чи доведеться про це турбуватися, але якщо у вассайт-хамелеон на більш ніж 30 тисяч адрес, стандартна карта сайту можетоказаться марною тратою часу. Справа в тому, що посилання з головної страніциведут на внутрішні сторінки з низьким порядковим номером в базі даних. Точнотак же влаштована та карта сайту — спочатку вона видає перші ряди в базі, затемпоследніе. У такій ситуації боти будуть ходити по одним і тим же сторінкам.

Щоб вирішити проблему, розгорніть карту сайту на 180 градусів.Для цього в базі даних замініть ORDER BY 'id' на ORDER BY 'id' DESC (атрібутDESC увазі те, що останні сторінки будуть відображатися першими, апервие — останніми). Так сторінки, які, як правило, плетуться в хвостекарти, відразу привернуть до себе увагу ботів, і ті їх бистренькопроіндексіруют. Якщо з внутрішньої перелінковкою проблем немає, боти будутіндексіровать сторінки з обох боків бази даних і з часом зійдуться вцентре. У такому випадку повна індексація сайту станеться набагато швидше, чемеслі б боти поступово йшли з перших сторінок і до останніх.

Ще краще зробити обертову карту сайту. Припустимо, у васесть 30 тисяч сторінок. Протягом першого тижня розташування сторінок на картедолжно виглядати так: 30,000-1. Потім ви берете перші 5 тисяч сторінок іпереносіте їх в кінець карти. Тепер карта виглядає так: 25,000-1:30,000-25,001. На початку третього тижня ви знову прокручуєте карту і тепер вона має вигляд :20,000-1 :30,30,000-20, 001. І так до кінця. Цей метод дуже ефективний.

Посилання на внутрішні сторінки з інших сайтів

Цей метод теж дозволяє істотно збільшити обсяг ботів трафіку навнутренніх сторінках сайту. Завдяки йому ви зможете ткнути ботів носом у теучасткі, які вони вперто не хочуть індексувати. Щоб операція прошлауспешно, ставте посилання на вузлові сторінки. Посилання можуть ідтікак з ваших власних, так і зі сторонніх ресурсів.

Сайти-індексатори

Це найефективніша тактика індексування з усіх, що я описав в етомпосте. Сайт-індексатор — це спеціальний сайт, которийвитягівает контент з інших ваших сайтів, індексує свої внутрішні страніциі потім самооновлюваною — закриває проіндексовані сторінки і подхвативаетдругіе, непроіндексірованние. Створення такого сайту не займе багато часу, однак для цього потрібно розбиратися в коді.

Спочатку вам потрібно створити головну сторінку, яка буде посилатися на50-100 внутрішніх сторінок. Кожна внутрішня сторінка буде наполнятьсяконтентом тих сторінок з бази великого сайту (наприклад, сайту-хамелеона), які вам потрібно проіндексувати. Щоб головну сторінку сайту-індексатора непокідалі пошукові боти, направте на неї потік посилального ваги з сайтів-отбелівателейссилок.

Після цього задайте команду cron, щоб він щодня витягав із Google, Yahoo і MSN дані за запитом SITE: вашдомен.com. Создайтескріпт, який буде парсити результати і порівнювати їх зі списком сторінок НАСА- індексатор. Як тільки сторінка буде проіндексована у всіх трехпоісковіках, скрипт повинен ставити на неї 301-й редирект, який буде Вестін її близнюка (цільову сторінку з великого сайту), і відзначати її в базі даннихкак проіндексовану.
Тепер сайт-індексатор не буде звертати на неї увагу, і для створення новихвнутренніх станиць буде підхоплювати тільки ті сторінки, які ще не биліпроіндексіровани якимось (або всіма) з пошуковиків. Такий сайт працює наавтомате і в цьому його справжня цінність.

Сайт-індексатор буде трудитися до тих пір, поки всі сторінки крупного сайтане будуть проіндексовані в основних пошукових системах. Цей метод работаетнастолько ефективно, що навіть при повній відсутності зовнішніх посилань на крупнийсайт ви все одно зможете проіндексувати його внутрішні сторінки. Для етоговам знадобиться всього кілька сайтів-індексатор.

Автор: Елі (Eli) — автор блогу BlueHatSeo

Переклад: Богдан Глушак, автор блогу Profit Hunter

Похожие посты:

Оставить комментарий

Лимит времени истёк. Пожалуйста, перезагрузите CAPTCHA.

Июль 2018
Пн Вт Ср Чт Пт Сб Вс
« Фев    
 1
2345678
9101112131415
16171819202122
23242526272829
3031  
Статистика