Web Crawler - As aranhas da internet.

Web Crawler ou Spiders (aranhas) é uma espécie de "robô" que vasculha informações indexando sites da internet (como uma aranha...).

  Basicamente, existem 4 (quatro) tipos de Web Crawler:

    1) Web Crawler gerais (General Purpose Web Crawler)

    2) Web Crawler específico (Focused Web Crawler)

     3) Web Crawler incrementais (Incremental Web Crawler) e

      4) Web Crawler para a Deep Web (Deep Web Crawler).

      Google, Yahoo, Baidu entre outros usam o segundo tipo (específico) porque precisam de pouco espaço de armazenamento de memória e baixa velocidade de internet.
       Para tentar buscar páginas na Deep Web (acessáveis via TOR por exemplo), o quarto tipo de Web Crawler acima é necessário, porque essas páginas estão criptografas e "escondidas" na rede .onion (é o que faz, por exemplo, o Duke Duke... o "google da deep web").

    Abaixo segue um exemplo de Web Crawler codificado na linguagem Python:

"
import Queue

initial_page = "http://www.ericwagnergoncalves.com"



url_queue = Queue.Queue()

seen = set()



seen.insert(initial_page)

url_queue.put(initial_page)



while(True):

       if url_queue.size()>0:

            current_url = url_queue.get()

            store(current_url)

            for next_url in extract_urls(current_url):

                  if next_url not in seen:

                       seen.put(next_url)

                       url_queue.put(next_url)

       else:

              break

"

                       Diversão total.

                     Guerra eterna.

  Veja também:
    A guerra da Internet

    Khalil Shreateh e os Hacker WhiteHat Caçadores de Recompensa

    Sniffers, fraudes em Cartões de Crédito e o caso CARLOS FELIPE SALGADO (Smak)

     Câmeras de Segurança com Google Hacking

     Imagem do Buraco Negro e Lucas Lucco

     Conselho Nacional de Justiça é invadido por Hackvistas

     Hotmail, Outlook e MSN: os hackers sabem o que você fez no verão passado...

     A regra 80/20 dos hackers e os gurus "sabe tudo"

        Curso Completo de CIBERSEGURANÇA PARA INICIANTES

Assista AULAS GRÁTIS no link abaixo: https://www.youtube.com/watch?v=w4xxY... ACESSE O CURSO COMPLETO no link: https://www.udemy.com/ciberseguranca-para-iniciantes-footprinting-rastreamento/
(peça CUPOM DE DESCONTO pelo Whatsapp: +55 45 9 9141 1557) Professor Gonçalves (WhiteHat Ozymandias) é professor de Matemática e participou do Treinamento Oficial do CEH (Certified Ethical Hacker) em 2016. Instagram: https://www.instagram.com/whitehatozy... Blog: https://whitehatozymandias.blogspot.com/


Youtube: https://www.youtube.com/channel/UCC93... Twitter: 

twitter.com/WhiteHatOzyman1