Практически все веб-сайты (за исключением разве что сайтов государственных, некоммерческих учреждений, отчасти личных страниц в социальных сетях и блогов) создаются по сути с одной-единственной целью – приносить своему владельцу прибыль. Так, сайт-визитка, имиджевый или корпоративный сайт организации, отличающиеся между собой набором функциональных возможностей, рекламирует предлагаемые ею товары и услуги и привлекает потенциальных клиентов. Интернет-магазин позволяет осуществлять коммерческую деятельность в сети в дополнение к имеющимся торговым точкам или без таковых.

Значительное количество Интернет-ресурсов: информационные порталы, каталоги, блоги и т.п. – существуют за счет других источников монетизации. Это продажа своих площадей для размещения контекстной, баннерной рекламы, ссылок на другие ресурсы и др. Однако указанные способы налагают определенные требования к веб-ресурсу, предлагающему подобные услуги. Сайт должен быть проиндексирован поисковиками, иметь высокие показатели тИЦ, PR и общей посещаемости. Максимально соответствовать указанным ограничениям позволяет поисковое продвижение сайтов. 

Чтобы Ваш сайт был виден максимальному количеству потенциальных пользователей, важно не просто «рассказать» поисковикам о его наличии, но и добиться корректной индексации содержимого с учетом интересующих Вас поисковых запросов. Для этого необходимо понимать принципы работы поисковых роботов и предусмотреть еще на стадии разработки проекта его соответствие этим самым принципам.

Специалисты рекомендуют закрыть для индексации страницы, не несущие для посетителей смысловой нагрузки, а также технические и административные страницы. Нелишним будет определить основное зеркало сайта, дабы исключить ситуацию, при которой поисковая система примет дубликат, создаваемый для повышения надежности работы ресурса, за основной сайт и тем самым сведет на нет результаты по продвижению сайта, удалив все страницы главного домена из своей базы данных. Повысить вероятность нахождения страниц сайта поисковиками по заданным запросам можно с помощью мета-тегов (установить оптимальное описание страниц, ввести основные ключевые слова, при необходимости определить частоту индексации и т.д.).

Неправильная индексация страниц способна, как подчеркивают опытные веб-мастера, свести на нет усилия по завоеванию желаемых позиций в поисковых выдачах. Именно поэтому необходимо внимательно подойти к работе с файлом robots.txt, стараясь избегать типичных ошибок. В ином случае продвижение сайта, несмотря на вкладываемые усилия и финансовые ресурсы, будет напоминать неблагодарный сизифов труд.