Андрей Плахов и Андрей Гулин, ключевые специалисты по поиску в Яндексе, рассказали о "Матрикснете", "Спектре" (технология понимания пользовательских запросов) и поведенческих данных Энди Аткинс-Крюгеру с Searchengineland.com. Это очередная его статья в рамках целой серии материалов про Яндекс.

Гулин и Плахов упомянули и о борьбе с платными ссылками. Яндекс планирует разрешить платным ссылкам в отдельных случаях влиять на ранжирование (Google, по мнению Аткинс-Крюгера, так далеко не пошёл) - но это будут ссылки на очень-очень качественных сайтах. Что касается поведенческих метрик - высокая кликабельность сайта в выдаче не всегда означает, что сайт хороший. Много кликов может получить, например, порносайт, случайно затесавшийся в выдачу по "приличному" запросу.

Google никогда не подтверждал, что он использует клики пользователей в своих алгоритмах, но Андрей Гулин считает, что без обработки поведенческих данных хороший поисковик сейчас сделать нельзя. А Google - хороший поисковик, значит, он такие данные использует.

Известно также, что Google очень ограниченно, по сравнению с Яндексом, использует машинное обучение (на котором построен "Матрикснет") в своих поисковых технологиях (зато активно использует в рекламных). На сайте Quora.com, где общаются специалисты из зарубежных IT-компаний, обсуждается вопрос о причинах такого подхода.

Бывший гуглер Эдмонд Лау называет причины, удивительно похожие на те, по которым "Матрикснет" не нравится оптимизаторам. В случае с машинным обучением оказывается трудно понять, почему именно этот документ определенным образом ранжируется по определенному запросу. Алгоритм превращается в "черный ящик", и даже его создатели часто не могут восстановить цепочку "рассуждений" и набор факторов, которые привели алгоритм к тому или иному решению. Во-вторых, даже если удалось определить сигналы, которые к решению привели, а решение это оказалось неправильным, алгоритм очень трудно настроить вручную, чтобы он какие-то сигналы не учитывал, чтобы он воспринимал их в контексте и т.д. Алгоритму можно только "скормить" определенные данные, а как он их использует после обработки - неизвестно. Недостаток прямого контроля создает ситуации, когда человек чётко знает, что одна страница релевантнее другой по заданному запросу, а вложить это знание в машину оказывается не в силах. Особенно если в его знании участвует интуиция.

Поисковый алгоритм Google основан на правилах, что позволяет программистам точечно "подкручивать веса" в специфических ситуациях. Только за 2008 год было внедрено 450 таких точечных улучшений алгоритма, а доминирование Google в поиске позволяет считать такую технологию успешной.

Почему же машинное обучение используется Google для ранжирования рекламных объявлений? Лау считает причиной тот факт, что человеку гораздо труднее сравнить два объявления на предмет качества, чем два сайта. Поэтому сравнение нужно отдать машине. Тем более, для ранжирования объявлений нужно учитывать поведенческие данные, с чем машина справляется лучше человека.

Еще один "бывший сотрудник большого поисковика" анонимно добавляет, что в случае с рекламой от решений алгоритмов зависят доходы Google и счастье рекламодателей, поэтому лучше, чтобы объявления ранжировали роботы по объективным признакам.