Одним из методов управления поведения поисковым роботом на сайтах является текстовый файл robots.txt. В нем можно указать параметры индексирования сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Команда Яндекс.Поиска сообщила о новых правилах обработки директивы Allow текстового файла robots.txt, разрешающей доступ робота к некоторым частям сайта или ко всему сайту целиком. Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается самая первая в порядке появления в выбранном User-agent блоке.
Ранжирование поиска по Яндекс.Новостям также существенно изменилось: теперь результаты поиска по умолчанию отсортированы по новостной релевантности, что позволяет сразу найти самые важные новости о человеке или компании.
По-настоящему крупные события теперь не потеряются в результатах поиска среди «шума» из последних, зачастую случайных, упоминаний. Новый функционал новостного ранжирования учитывает текстовые факторы, общий вес самого сюжета, в который входит сообщение, и вес сообщения в сюжете.