скрипты для ucoz, ucoz, шаблоны для ucoz, иконки групп для ucoz, гсщя, всё для ucoz, скачать бесплатно шаблоны для ucoz, скрипты для ucoz без регистрации

Помимо robots.txt существуют и другие
джентельменские соглашения для работы роботов -
например, он не должен делать более одного
коннекта, чтобы не забить канал и дать
возможность другим пользователям Сети общаться
с данным сервером.

Для поисковой машины Yandex.Ru в состав
робота входят еще модули индексации,
распознавания кодировок (если на странице
содержится русский язык) и определения
уникальности документа.

Как Yandex.Ru узнает о новых ресурсах

Как Yandex.Ru узнает о новых серверах и
страницах? Есть два способа - или владельцы
ресурсов сами добавляют их (заполнив форму AddURL на
http://yandex.ru/addurl.html или
послав письмо на addurl@yandex.ru), или робот находит
новые ссылки в проиндексированных страницах.
Так, например, с первой страницы сервера робот
берет ссылки на последующие и так далее, без
ограничения глубины, до тех пор, пока новые
адреса не перестанут появляться.

Поскольку задачей Yandex.Ru является
работа с русско-язычным и/или
российско-ориентированным Интернетом, введено
следующее правило: сервера в доменах России и
стран СНГ ('su', 'ru', 'am', 'az', 'by', 'ge', 'kg', 'kz', 'md', 'tj', 'ua', 'uz')
принимаются по умолчанию. Сервера в других
доменах - если на них найден русский язык или если
владельцы ресурсов убедят администрацию
поисковой машины в том, что их сервер подпадает
под указанную категорию (это обычно делается
письмом на addurl@yandex.ru).

Итак, не удивляйтесь, если URL, который
Вы добавляете, уже есть в базе робота. Наш робот
мог найти Ваш URL по ссылкам из других
проиндексированных документов. Не стоит также
огорчаться, если при этом Вы не можете найти этот
документ в Yandex. Наверняка наш "паук" просто
еще не успел дойти до Вашего документа, и он будет
проиндексирован через несколько дней.