Botseer

botseer.pngBotseer est un projet d’un moteur de recherche initié par un groupe de recherche à la Penn State University.

Ce moteur de recherche scandaleux met en cache et révèle les fichiers Robots.txt qu’on utilise pour maîtriser l’accès des Robots à notre contenu🙂

Il nous permet la recherche dans :

  • Les fichiers Robots.txt
  • Les Logs des robots IP, identité, stats… en utilisant le grand projet Cite Seer
  • le code source des projets libre de Crawling🙂

L’étude menée a bien prouvé que Google est le moteur favoris par la majorité des webmasters et en utilisant une analyse dynamique (essayer cette requête) on pourrait bien aboutir à des précises statistiques à propos de l’activité générale des robots de recherche sur le web, participer à l’évolution de ces technologies et surtout repèrer quelques robots qui ne respectent pas les règles « Disallow… ».

Laisser un commentaire

Choisissez une méthode de connexion pour poster votre commentaire:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s