Botseer

Botseer est un projet d’un moteur de recherche initié par un groupe de recherche à la Penn State University.

Ce moteur de recherche scandaleux met en cache et révèle les fichiers Robots.txt qu’on utilise pour maîtriser l’accès des Robots à notre contenu

Il nous permet la recherche dans :

• Les fichiers Robots.txt
• Les Logs des robots IP, identité, stats… en utilisant le grand projet Cite Seer
• le code source des projets libre de Crawling

L’étude menée a bien prouvé que Google est le moteur favoris par la majorité des webmasters et en utilisant une analyse dynamique (essayer cette requête) on pourrait bien aboutir à des précises statistiques à propos de l’activité générale des robots de recherche sur le web, participer à l’évolution de ces technologies et surtout repèrer quelques robots qui ne respectent pas les règles “Disallow…”.