Działanie wyszukiwarki można podzielić na dwa równoległe procesy – zbieranie i sortowanie. Z jednej strony agent (ang. spider, crawler, robot) odwiedza strony w sieci WWW przeglądając ich zawartość, zbiera i kataloguje dane na podstawie ściśle określonych mechanizmów. Zasada działania robota jest prosta. Program jest uruchamiany na stronie z dużą zawartością odnośników do innych witryn. Po uruchomieniu, robot przechodzi do analizy zawartość strony i zaczyna przesyłać do bazy informacje o treści oraz zawartości tych stron. Po zakończeniu analizy robot wykorzystuje odsyłacze znajdujące się na stronie i przechodzi za ich pomocą do kolejnej podstrony w obrębie serwisu lub do innej witryny, a całość procesu rozpoczyna się od nowa. W tym samym czasie dla danej wyszukiwarki pracuje wiele robotów, zwiększając szybkość działania. Wyniki zebrane przez roboty następnie trafiają do bazy wyszukiwarki.
W 1994 roku przy udziale Cern i wsparciu DARPA powstała organizacja W3C, zadaniem której jest rozwój sieci, tworzenie nowych standardów i technologii oraz zatwierdzanie oficjalnych specyfikacji np. CSS. W3C w głównej mierze finansowane jest przez firmy zainteresowane rozwojem Sieci z branży komputerowej takie jak MicroSoft czy z poza niej takie jak np. Boeing.
Ten sam rok przyniósł powstanie pierwszego katalogu internetowego z możliwością przeszukiwania zasobów – Yahoo! 4 lata później światło dzienne ujrzała wyszukiwarka Google z innowatorskim rozwiązaniem BackRub. Była to analiza połączeń hipertekstowych, która dała początek późniejszemu PageRankowi.
Wraz z rozwojem wyszukiwarek internetowych rosło zainteresowanie webmasterów sposobem listowania wyników wyszukiwania. Zrodziło się zainteresowanie firm, prywatnych osób dotarciem tym medium do grupy odbiorców. Rozpoczął się wyścig o pierwsze lokaty w wynikach wyszukiwania. Dało to początek SEO – optymalizacji stron pod kątem wyszukiwarek internetowych.