Bienvenue, vous n'êtes pas connecté. ( Se connecter - S'enregistrer )
Espace culture
Espace forum
Faire un don
Hypo-thèses > Forum > Parlons sciences ! > Informatique > Distinguer les robots des personnes connectées
| RévoX | #1 25/09/2007 - 20h46 |
|
Administrateur Hors ligne Courriel Site Web
|
Bonjour,
hier je suis tombé sur un sujet du siteduzer0 dans lequel karamilo parle d'une distinction entre les robots et les "vraies" personnes connectées. Auriez-vous une idée de la technique employée pour distinguer un robot d'une vraie personne ? IP spéciale, url de provenance spéciale, autre ? Merci
Chanson populaire révolutionnaire
"¡El pueblo unido, jamás será vencido!" |
| General Vans | #2 25/09/2007 - 22h14 |
|
Codeur Hors ligne Courriel
|
Essaye de voir par là, d'après ce que je sais c'est assez difficile à moins de connaitre le type D'IP des bots.
http://www.webrankinfo.com/forums/viewtopic_65017.htm ![]() Hum... maths ou chimie... mon cœur balance ! |
| azerty | #3 25/09/2007 - 22h29 |
|
Hors ligne
|
oui il y a une ip spéciale pour les robots
j'avait une bonne partie des ip des moteurs de recherche connu je te les donne si je les retrouve edit: d'ailleurs t'en que ji suis je te donne la fonction qui te dit si l'ip est un robot connu ou pas
désoler je sais que ça fais beaucoup d'ailleurs en passant j'ai mis pas mal de temps à ressembler tout ça donc si vous en avez d'autre n'hésitez pas à les poster je précise que les ips des robots sont fixes sinon on ne pourrait pas les différencier où il faudrait un liste qui ce met à jour automatiquement
Ce message a été édité par General Vans le 11/10/2007 à 19h04.
|
| RévoX | #4 25/09/2007 - 22h39 |
|
Administrateur Hors ligne Courriel Site Web
|
![]() Merci beaucoup, je teste ça demain !!! Question : comment as-tu fais pour avoir cette liste. Comment peut-on la compléter ?
Chanson populaire révolutionnaire
"¡El pueblo unido, jamás será vencido!" |
| RévoX | #5 25/09/2007 - 22h46 |
|
Administrateur Hors ligne Courriel Site Web
|
J'ai de fortes raisons de penser que les IP suivantes sont des bots :
222.239.220.197 222.239.220.196 222.239.220.195 222.239.220.194 Simplement parce qu'elles se suivent..
Chanson populaire révolutionnaire
"¡El pueblo unido, jamás será vencido!" |
| azerty | #6 25/09/2007 - 22h53 |
|
Hors ligne
|
et bien avec quelques recherches sur notre cher ami le robots très connu permettent d'arriver sur des pages qui te donnent les adresses ip des robots je pense d'ailleurs qu'on pourrait dire que certaines plages d'ip sont des robots mais il est possible ( j'en suis pas sûr ) qu'il y ai des fai qui donne des ips dans ces plages c'est donc pour ça que je pense que le meilleur moyen c'est de recencé toute les adresses ips des robots
cependant je pense qu'il existe de reconnaitre certains robots grâce au user-agent qui pour google me semble-t-il vaut googlebot à vérifier edit: oui c'est bien d'ailleurs un des seuls moyen de repérer les robots edit2: maintenant que je regarde ça fais longtemps que je n'ai pas mis à jour cette liste et il manque les ips des moteurs de recherche récents je pense notamment à Exalead
Ce message a été édité par azerty le 25/09/2007 à 22h57.
|
| Kabefis | #7 25/09/2007 - 22h55 |
|
|
Les bots majeurs (googlebot, yahoo! slurp, msnbot ..) semblent avoir des Ip fixe, ou du moins ils sont restreints ex:66.249.64.0/20 etc (ils y a des listes plus ou moins bonnes sur le net qui se mette à jour de temps en temps)
La plupart ont le nom "bot"(ex: googlebot/2.1(blabla..)) dans leur "user agent"(requête http) Leur hôte contienne aussi des noms reconnaissable genre "crawl-66-249-73-143.googlebot.com" Donc il y a moyen de voir la plupart des bots sauf ceux qui veulent vraiment se faire discret et invisible mais les bots des moteurs de recherches sont majoritairement visible. Edit : Oups y a eu plein de message avant :p, sinon un site pas trop mal (articles et liens interessants) : http://www.robots.darkseoteam.com/
Ce message a été édité par Kabefis le 25/09/2007 à 22h58.
Erreurs sur erreurs la vie évolue, l'humanité est une des plus grandes sources d'erreurs.
|
| RévoX | #8 25/09/2007 - 22h58 |
|
Administrateur Hors ligne Courriel Site Web
|
Ok merci beaucoup pour toutes vos informations
Chanson populaire révolutionnaire
"¡El pueblo unido, jamás será vencido!" |
| RévoX | #9 04/11/2007 - 23h19 |
|
Administrateur Hors ligne Courriel Site Web
|
Pour ceux que ça intéresse voici les IP (et user-agent) détectées ce dernier mois :
66.249.72.6 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Chanson populaire révolutionnaire
"¡El pueblo unido, jamás será vencido!" |
Hypo-thèses > Forum > Parlons sciences ! > Informatique > Distinguer les robots des personnes connectées
> Informations du forum
1 personne(s) présente(s) sur ce forum au cours des dernières 20 minutes (0 membre(s) et 1 invité(s)).


Accueil
Livre d'or
L'équipe
S'inscrire
Connexion
Forum













Tout le contenu du site - sauf avis contraire - est placé sous licence Creative Commons.