Уже ни для кого не секрет, что все популярные поисковые алгоритмы постоянно обрабатывают и индексируют несметное число веб-страниц, что в итоге приводит к накоплению большого количества ссылок, дублирующих уже существующие в интернете URL. Очевидно, что такое положение вещей значительно усложняет работу поисковиков, понижая качество и релевантность результатов их выдачи.
Команда разработчиков Bing отнеслась к этому вопросу с должным вниманием и поделилась с веб-мастерами в своем официальном блоге наиболее эффективным, по их мнению, способом избавления от ненужных копий страниц из индекса поисковика. Отметим, что удаления дубликатов страниц веб-мастера могут добиться, к примеру, использованием атрибута rel=canonical.
Специалисты Bing, в свою очередь, предлагают взамен пользоваться инструментом URL-нормализации (URL Normalization), располагаемым в Средствах веб-мастера Bing.
Основной целью данного инструмента является указание страниц, не нуждающихся в индексации, а значит – и тех страниц, которые «краулеры» поисковика могут обходить стороной.
Таким образом, URL Normalization снижает нагрузку на сервер за счет избавления ресурса от постоянного сканирования поисковиком; кроме того, инструмент также автоматически распознает на сайте наиболее часто используемые типы дублированных URL и предупреждает веб-мастера о них.