Слова во многих языках имеют несколько разных окончаний. У каждого слова поэтому очень много разных форм, называющихся словоформами. Конечно, бывают во флективных языках неизменяемые слова, но их меньшинство.
По смыслу словоформы – одно слово, но могут сильно различаться по форме из-за окончаний и чередований букв в корне. В особых некоторых случаях словоформы одного слова могут не иметь вообще не одной общей буквы.
Английский и русский языки – флективные языки. Но сравнительно мало в английском языке разных словоформ и окончаний.
В английском лингвистическая обработка очень проста, а частенько и не делается поисковиками вовсе.
А русский язык, напротив, - это высокофлективный язык, потому что его слова имеют множество форм. Существуют и неизменяемые существительные, но их очень мало. Практически двадцать словоформ у прилагательного, а глаголы со всеми причастиями своими имеют до сотни форм.
Если хранить все слова, которые встречаются в интернете, в индексе во всех формах этих слов, то словарь получится очень большим, размером в десятки миллионов. Естественно, что неэффективно и неудобно.