Há mais mistérios na rede mundial de computadores do que as nossas pesquisas são capazes de encontrar.
É possível encontrar qualquer tipo de conteúdo na internet. Você já
deve ter se dado conta disso ao pesquisar por termos e assuntos que
pareciam irrelevantes, mas ao procurar por respostas encontrou dezenas
de páginas abordando o mesmo assunto.
Entretanto, o que talvez você não saiba, é que existe uma internet
invisível, com milhares de sites e páginas de conteúdo, mas que você
jamais conseguirá acessar. Mas calma, não se trata de nenhuma teoria da
conspiração ou de conteúdo secreto mantido pela CIA ou pela KGB e o seu
funcionamento é bem mais simples do que parece.
A internet que não estava lá
O termo “deep web” é atribuído a Michael K. Bergman, CEO e cofundador
da Structured Dynamics LLC e se refere a todo aquele conteúdo que não
pode ser indexado pelos sites de busca e, dessa forma, não está
disponível diretamente para quem navega na internet.
Ao criar um site ou blog, o editor do conteúdo pode definir nas
configurações se deseja ou não que o site seja indexado nos mecanismos
de busca, habilitando as funções “follow” e “nofollow”. Caso opte pela
segunda, quando os robôs dos mecanismos de busca vasculham a web em
busca de conteúdo, ao passar pelo seu site eles encontrarão a mensagem
para que o buscador “não siga” as páginas disponíveis.
O resultado disso são milhares de sites que nunca ganharam as páginas
dos buscadores, um conteúdo secreto e invisível que sempre esteve ali,
mas que dificilmente um dia será visualizado por você. Esse verdadeiro
mundo de informações talvez nunca seja lido por quem realmente poderia
aproveitar a informação.