Что такое индекс, индексация (индексирование) сайта, ускорение индексации и запрет от индексации части сайта (страниц или разделов) или части информации на странице.

Индекс, индексация (индексирование) и ее ускорение.

Индекс - база данных поисковой машины.

Индексация - обход поисковыми роботами (пауками, ботами) содержимого страниц сайта, обнаружение на них текстов, изображений и гиперссылок и внесение новой информации в базу данных (индекс) поискового сервера. После индексации и апдейта информация на сайте может быть найдена в поисковой выдаче.

Ускорить индексацию сайта возможно:
- добавлением адреса сайта специальные формы поисковых систем ("добавить сайт"), например:
http://webmaster.yandex.ru/
http://www.google.com/addurl/?continue=/addurl
- получением достаточного количества внешних ссылок на страницы сайта.
- использованием сервисов "для веб-мастера" и прямого указания нужных для индексации страниц в файле карты сайта sitemap.xml, например
http://help.yandex.ru/webmaster/?id=995323
http://www.google.com/webmasters/

Запрет от индексации.

Запрет от индексации определенных разделов или страниц сайта возможно сделать директивой Disallow: в файле в robots.txt.
Запретить роботам индексацию форума на сайте можно, например, такой записью:

User-Agent: *
Disallow: /forum/

Подробнее - http://help.yandex.ru/webmaster/?id=996567

Запретить индексацию (учет) роботом части информации на конкретной странице можно определенными тегами в коде страницы, например:
Для Яндекса - <noindex></noindex> (или более валидно - <!--noindex--><!--/noindex-->). Находящийся внутри этого тега текст не индексируется.
Для Google и уже и для Яндекса - атрибутом rel="nofollow" можно запретить учитывать исходящую ссылку, например, таким образом:
Посетите <a href="http://www.site.ru/" rel="nofollow">сайт</a>
Подробнее - http://www.google.ru/support/webmasters/bin/answer.py?answer=96569

Круглый стол Яндекс и SEO: о двух слоях и сроках индексации страниц сайтов:

Возможные проблемы с индексацией страниц после сбоя сервера и с переиндексацией сайта, например, при смене динамических адресов на статические ЧПУ.

источник видео - http://seopult.tv