Чтобы по страницам составить индекс, нужно сначала решить, какие страницы необходимы. Сначала, таким образом, необходимо составить список страниц, то есть набор адресов страниц, по которым составляться будет индекс.

Так как страницы сайтов и сами сайты разбросаны беспорядочно в интернете, нужно поисковой машине с чего-либо начать. Разработчики поисковой машины обычно в ней обычно загружают какой-либо начальный список адреса страниц сайтов. Потом собирает поисковая машина все гипертекстовые ссылки на другие страницы и все найденные добавляет в ссылках адреса к первоначальному своему набору адресов.

Первоначальный набор, таким образом, за счет ссылок на остальные страницы и сайты очень быстро увеличивается и становится очень быстрым постепенно. В настоящее время поисковики индексируют и обходят миллиарды веб-страниц.
Необходимо обратить внимание на тот факт, что страницы, которые малоизвестны, на которые не ссылается никто, имеют малое количество шансов попасть автоматически в индекс поисковой машины.