Под индексацией сайта понимается обход специализированными поисковыми роботами страницы Вашего ресурса, либо вообще всех ресурсов, когда роботы затем заносят информацию о страницах сайтов в поисковые базы. Поэтому, успешное продвижение ресурса не может считаться таким, если у него отсутсвует индексация страниц.

То есть, вы уже поняли, что индексацией странице занимается специализированная машина, программа, которые называют ее crawler (паук). Данная машина начинает мониторить все страницы в интернете по своему алгоритму, который в нее вбит. Машина проверяет весь контент на сайтах, который еще не был в поисковой базе и если он подходит под условия алгоритма, то crawler заносит его в свое хранилище, то есть поисковые базы. Если же машина находит уже похожий материал, который был в базе, то она сверяет его на наличие обновлений в нем, если обновления были, то она также фиксирует это в своем хранилище. В данном случае, машина получает заголовок Last-Modified, который Вы можете установить сами. Индексация страниц сайта может проходить в различный временной период, поэтому многие вебмастера знают как ускорить индексацию сайта, ведь от скорости индексации может зависеть Ваш доход, позаботьтесь об этом.

Я думаю, что Вы уже поняли, что без индексации сайта, Ваш ресурс не станет популярным. Самое главное, чтобы страницы Вашего ресурса были выполнены по лучшему варианту: контент уникальный, правильная внутренняя оптимизация и так далее. Если все это выполнено, то за индексации своего ресурса Вы можете не волноваться.

Для того чтобы поисковые системы начали индексировать Ваш ресурс, вебмастера используют различные способы для этого. Некоторые прогоняют свой ресурс по качественным твиттер-аккаунтам, некоторые добавляют в формы поисковых систем, некоторые вебмастера ставят ссылки на более авторитетных ресурсах, прогон по социальным закладкам – все это позволяет начать индексировать ресурс. Но не забывайте, что каждый из методов эффективен только в определенных случаях. Не стоит прогонять сайт по твиттеру, соцзакладкам, если он только что создан, лучше дождать, пока поисковой робот сам посетит сайт (добавьте в форму поисковых систем). Остальным методы в основном используются для того, что Ваш ресурс начал ускоренно индексироваться.