Что такое Хост (Host) - IP-адрес или директива для роботов-зеркальщиков Яндекса.

Host или IP

Хост - это определенный компьютер или сервер, подключенный к локальной или глобальной сети. Хост обладает уникальным адресом в среде сервисов TCP/IP (IP-адрес, Internet Protocol Address).

IP-адрес может быть выделенным или статическим (например, для сервера, где находится сайт или домен) или динамическим (например, для пользователя интернет).

По логам (log) сервера, где находится сайт, и различным установленным на сайте счетчикам статистики можно определить посещаемость сайта по IP-адресу посетителей, например в течение суток.

Погрешности при определении посещаемость по IP:
- Несколько фактических пользователей, находящихся в одной крупной компании, могут иметь один IP сети.
- Один пользователь может иметь разный IP при повторных подключениях к интернету.

Узнать IP своего сайта Вы можете, например через сервис WHOIS домена - https://www.nic.ru/whois/

Узнать IP своего компьютера простым способом - нажать во время работы в Интернете на иконку соединения внизу справа. Более подробную информацию по своему IP Вы сможете получить Например здесь http://internet.yandex.ru/, http://2ip.ru/ или http://www.ip-ping.ru/, а здесь и с месторасположением Вашего IP http://smart-ip.net/.

Директива Host

Для того чтобы в Яндексе индексировалось и участвовало в поиске выбранное вами зеркало сайта (конкретный адрес), достаточно в robots.txt прописать директиву Host, в качестве ее параметра указав имя основного зеркала.

Если www.site.ru - основное зеркало, а все остальные (site.ru - без www) или site1.ru - зеркала-копии основного), то robots.txt будет примерно таким:
User-Agent: *
Disallow: /forum
Disallow: /cgi-bin
Host: www.site.ru

Это необходимо для робота-зеркальщика Яндекса, который приоритетно учитывает эту директиву при выборе основного зеркала, хотя и не гарантирует именно этот выбор.

Подробнее здесь - http://help.yandex.ru/webmaster/?id=996567