AHP_Nils Posté(e) le 13 octobre 2011 Partager Posté(e) le 13 octobre 2011 Bonjour à tous, depuis quelques années déjà, je suis mon propre hébergeur : j'ai un dédié grâce auquel j'ai mis en place de l'hébergement web, mail, et d'autres services pour moi et 2-3 personnes. Parmi les sites hébergés, il y a bien entendu mon blog. Cette situation me permet d'avoir accès aux logs du serveur web, et d'utiliser le logiciel Awstats pour les statistiques de visites. J'ai eu récemment deux comportements bizarres, que je m'en vais vous décrire dans la suite. Dans le premier cas, un groupe de 6 machines effectuaient très régulièrement des requêtes vers mon blog, d'une manière particulière : d'abord un hit vers une page (en général le flux rss) avec pour User-Agent "Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1. Gecko/20051107 Firefox/1.5" puis, dans la même seconde, la même page demandée avec "Jakarta Commons-HttpClient/3.1" comme User-Agent. Parfois il s'agissait de la même IP faisant les deux requêtes, parfois une autre, mais toujours dans le même groupe de 6. Comme j'imagine que Firefox 1.5 n'est qu'un lointain souvenir pour beaucoup d'entre nous, j'en ai déduit qu'il s'agissait de robots (le fait que seules les pages web et non les contenus autres, type images css, soit téléchargées m'a aussi mis la puce à l'oreille). Tout ce que je sais d'autres est que ce groupe de 6 adresses IP est dans le même sous-réseau /16, qu'elles n'ont pas de reverse DNS autre que celui attribué par l'hébergeur. A tout hasard, j'ai copié-collé une des adresses dans mon moteur de recherche favori, il en ressorti en premier résultat cette page. J'ai fini par bannir les 6 adresses IP. L'autre cas est assez similaire, 6 adresses IP (actuellement répertoriées, peut-être plus) situées dans le même /23. Dans ce cas, c'est un peu moins violent, en général une dizaine de requêtes par jour toutes IP confondues, sur mes flux RSS et de temps en temps sur mes billets (les plus récents, et là aussi, pas d'images ni css dans les hits, que les pages). Dans tous les cas, le User-Agent est le même : "Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.9.2.11) Gecko/20101012 Firefox/3.6.11". Après un rapide whois et recherche sur le nom de la société, il s'agit d'une société qui fait de l'hébergement et de la création d'intranets, e-commerce et autres développements sur mesure on dirait. Je n'en suis pas encore arrivé à bannir ces adresses IP. Le résultat final est que mes stats sont faussées car des robots prennent des User-Agents de navigateurs. J'en viens donc à me demander si le fait de bannir le premier groupe d'IP était une bonne idée. Après le deuxième groupe, peut-être que je vais découvrir un troisième dans mes stats, et ainsi de suite jusqu'à bannir l'intégralité de mes visiteurs ? Ca serait dommage :( J'avoue que je ne sais pas quel comportement adopter face à ce genre de situation. Ces types de requêtes sont-il devenus monnaie courante sur le web ? Dois-je juste les exclure de mes statistiques ? Lien vers le commentaire Partager sur d’autres sites More sharing options...
Killator Posté(e) le 13 octobre 2011 Partager Posté(e) le 13 octobre 2011 Ah oué... Belle analyse... Perso, j'me suis résigné: tout ce qui est exposé au web est constamment sondé par tout un tas de robot et autres prgms pas forcément bienveillants... Pour le coup, je suis un peu défaitiste mais tant qu'il n'y a pas de prb de sécurité et que cela ne nuit pas à la qualité de service, je laisse courir... Seul mécanisme automatique mis en place... Un système type Fail2ban: trop de hit d'une même IP sur un même service pendant une certaine période> ban 24h par IPTable Lien vers le commentaire Partager sur d’autres sites More sharing options...
AHP_Nils Posté(e) le 14 octobre 2011 Auteur Partager Posté(e) le 14 octobre 2011 Merci :) A vrai dire, je voudrais ne pas me résigner trop vite, c'est pour ça que je demande l'avis des INpactiens. Concernant le système Fail2ban, je n'ai mis en place ce système que sur des connexions SSH, car je n'ai pas ce problème avec HTTP. Merci de ton retour ! Lien vers le commentaire Partager sur d’autres sites More sharing options...
Killator Posté(e) le 14 octobre 2011 Partager Posté(e) le 14 octobre 2011 Une seule fois, j'ai tenté de signaler à un hébergeur le comportement suspect de certains serveurs Sans aller jusqu'au DoS, yavait tellement de requêtes que ça perturbait la réception de la TV via ADSL Petit mail dans la langue de Shakespeare, mais pas de réponse, pas d'amélioration... Et puis un jour, ça s'est arrêté... Mais en gros je pense que tant qu'il n'y a pas une procédure officielle, ça bouge pas Lien vers le commentaire Partager sur d’autres sites More sharing options...
refuznik Posté(e) le 14 octobre 2011 Partager Posté(e) le 14 octobre 2011 J'ai eu un peu le même truc il y a quelques mois sur l'hébergement d'un site commercial, 6 IP de robots (qui changeaient tous les mois) qui allait systématiquement taper sur la plus grosse vidéo d'une interview. En fait c'est mon hébergeur qui m'a mis la puce à l'oreille, en me proposant un accès avec plus de bande passante car je risquais d'arriver à saturation. Lien vers le commentaire Partager sur d’autres sites More sharing options...
AHP_Nils Posté(e) le 14 novembre 2011 Auteur Partager Posté(e) le 14 novembre 2011 Hello, je déterre légèrement pour donner des nouvelles. Je me suis rendu compte que mon ban ne fonctionnait pas bien, et j'ai résolu le problème. Mais j'ai réfléchi suite au poste de Killator et j'ai dégagé quasiment tous mes bans, que ce soit au niveau firewall ou au niveau d'Apache (blocage par referrer). Maintenant je filtre directement au niveau d'Awstats, quand vraiment ça atteint des proportions très fortes. Au pire, disposant toujours des logs, je peux effacer les stats et les refaire, avec ou sans les filtres. Merci pour vos avis. Donc bon, pas vraiment résolu, mais surtout résignation. Lien vers le commentaire Partager sur d’autres sites More sharing options...
Messages recommandés
Archivé
Ce sujet est désormais archivé et ne peut plus recevoir de nouvelles réponses.