Como se faz um motor destes?

robot percorre a teia que nem uma aranha
debulhador retém apenas o texto
indexador inverte as informações
mecanismo de recepção das consultas
buscador localiza as páginas a indicar
ordenador prioriza estas páginas

Google usa milhares de computadores com Linux
uma busca típica leva meio segundo
maior segredo: buzilhões de memória

dá para fazer tudo com componentes abertos,
de software livre