loading...

Авторизация ...

Имя пользователя :
Пароль :
я всё забыл!

СоветыПриручаем поисковых роботов

Написал nickon, 10 февраля 2009 | 9 комментариев | рейтинг новости не нравится   +3   нравится Версия для печати
Все пользователи сети интернет любят поисковые системы. Они позволяют им ориентировать огромных пространствах сети, помогают найти именно то что им необходимо. Но для владельцев интернет сайтов они могут также стать и головной болью, т.к. поисковые роботы заходя на сайт, имеют одну единственную цель: проиндексировать ваш сайт как можно быстрее и добавить в свою базу данных. Почему головной болью? Да потому что поисковые роботы делают свою работу достаточно быстро и усердно, скачивая страницы вашего сайта с большой интенсивностью. Если на вашем 5 страниц, то нет проблем, все проходит быстро и безболезненно. А если тысячи, десятки тысяч? На практике это выглядит так: неожиданно в какое то определенное время суток, сайт начинает генерировать большую нагрузку, сервер держит эту нагрузку, до тех пор пока ему позволяют лимиты или возможности, а потом либо сервер падает, либо просто перестает отдавать страницы, а вы получаете от хостинг компании грозные требования прекратить нагружать сервер, переехать на более высокий тариф, и т.д. Что делать в данной ситуации? Заблокировать роботов? Не наш метод. Все просто, роботов можно приручить и сделать их добрыми и пушистыми и заставить их считаться с вами. Для этого нужно обратиться к документации и протоколу управления роботами. Каждый уважающая себя поисковая система уважает разработанные стандарты и следует им. При посещении сайта поисковый робот в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта, этот файл и управляет действиями поискового робота. Итак создаем в корне вашего сайта файл robots.txt и внутри него пишем:

User-agent: *
Crawl-delay: 10


Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки. Вы можете менять интервал по своему усмотрению, делая его больше или меньше. Но имейте ввиду делая интервал слишком большим, вы замедляете темпы индексации сайта, и индексация проходит гораздо дольше. Все как говорится должно быть в меру.

Автор: celsoft



Комментарии пользователей

  Экспорт комментариев в RSS
 Сортировать по рейтингу, по дате

Написал azer88, 10 февраля 2009 в 11:47 плохой комментарий   0   хороший комментарий
Новостей: 0, комментариев: 7, Пользователи
Карма:
Good information. Thanks:)

Написал dleuser, 10 февраля 2009 в 12:36 плохой комментарий   +2   хороший комментарий
Новостей: 0, комментариев: 73, Пользователи
Карма: -1±
надо просто купить нормальный сервер и проблем не будет... ag

Написал Gangstasheff, 10 февраля 2009 в 13:45 плохой комментарий   -3   хороший комментарий
Новостей: 1, комментариев: 249, Доверенные
Карма:
Для сайтов с большим количеством страниц/контента обычно берут выделенный серв. или хотяб ВПСку. А для мелких ГС или информационных сайтов индексация роботом не такая уж проблема. Радоваться надо тому что роботы индексируют сайт, а не тормозить их. smile

Написал x-zone-x, 12 февраля 2009 в 03:30 плохой комментарий   0   хороший комментарий
Новостей: 1, комментариев: 42, Пользователи
Карма:
У меня был хостинг, он постоянно падал, потом перешол на VPS server, тоже падал, теперь
в данное время у меня сайт делает 7 запросов (dle 7.5) + Mini chat + shoutcast , у меня свой выделенный сервер (root сервер) 2гб виртуальной памяти, поставил один модуль, сервер опять начал падать, посищаемость не так уж большая , примерно 2.5к

сегодня зделал query_cache_size=16M, попробую и это зделать, посмотрим может поможет

Написал webmade, 1 марта 2009 в 16:46 плохой комментарий   +1   хороший комментарий
Новостей: 0, комментариев: 23, Пользователи
Карма:
После того как создали файл robots.txt:
1) Он кидается на ftp в корень?
2) Права надо выставить 666?

Написал x-zone-x, 5 марта 2009 в 00:05 плохой комментарий   0   хороший комментарий
Новостей: 1, комментариев: 42, Пользователи
Карма:
поставил nginx+apache и теперь нагрузка на виртуальную память упала на 90%

Написал RaY-AlleN, 22 марта 2009 в 15:54 плохой комментарий   +1   хороший комментарий
Новостей: 0, комментариев: 0, Гости
Карма: ±
Корень сайта ето тоисть в папке Public_html

Написал v1ruslab, 23 марта 2009 в 05:19 плохой комментарий   -1   хороший комментарий
Новостей: 0, комментариев: 0, Гости
Карма: ±
Директиву Crawl-delay жрет только яндекс

Написал LightZo5m, 22 июля 2009 в 08:53 плохой комментарий   +2   хороший комментарий
Новостей: 0, комментариев: 3, Пользователи
Карма:
v1ruslab, почитай в википедии, её практически все жрут...

Информация



Посетители, находящиеся в группе Гости, не могут оставлять комментарии в данной новости.
Анализ Тиц и PR сайта

[removed][removed] [removed] (adsbygoogle = window.adsbygoogle || []).push({}); [removed]