[RESOLU] wget et proxy

[Manervi]

Bonjour,

je cherche à télécharger le code source html de certaines pages web en utilisant la commande wget.

D'ordinaire pour ce faire je tape dans un terminal : wget -O fichier url

Cependant je cherche à présent à faire la même chose mais en passant par un proxy, et les recherches google que j'ai faites m'indiquent en général qu'il faut créer dans son home le fichier de configuration .wgetrc et y écrire :

http_proxy = http://url_du_proxy/use_proxy = onwait = 15

J'ai essayé en prenant quelques adresses ici mais je n'arrive pas à télécharger grand chose à quelques rares exceptions près (les pages d'accueil de youtube et de google).

Par exemple avec ce proxy, j'ai ce .wgetrc :

http_proxy = http://www.1proxy.de/use_proxy = onwait = 15

le téléchargement de la page d'accueil de youtube passe :

wget -O test http://www.youtube.com/--2011-12-13 05:47:08--  http://www.youtube.com/Résolution de www.1proxy.de... 89.149.223.80Connexion vers www.1proxy.de|89.149.223.80|:80...connecté.requête Proxy transmise, en attente de la réponse...200 OKLongueur: 5706 (5,6K) [text/html]Sauvegarde en : «test»100%[======================================>] 5 706       --.-K/s   ds 0,04s

mais cette page ne passe pas :

wget -O test http://www.generation-libre.com/parametrer-wget-pour-utiliser-un-proxy/--2011-12-13 06:32:46--  http://www.generation-libre.com/parametrer-wget-pour-utiliser-un-proxy/Résolution de www.1proxy.de... 89.149.223.80Connexion vers www.1proxy.de|89.149.223.80|:80...connecté.requête Proxy transmise, en attente de la réponse...404 Not Found2011-12-13 06:32:46 ERREUR 404: Not Found.

alors que sans proxy ça passe :

wget -O test http://www.generation-libre.com/parametrer-wget-pour-utiliser-un-proxy/--2011-12-13 06:49:57--  http://www.generation-libre.com/parametrer-wget-pour-utiliser-un-proxy/Résolution de www.generation-libre.com... 87.98.140.100Connexion vers www.generation-libre.com|87.98.140.100|:80...connecté.requête HTTP transmise, en attente de la réponse...200 OKLongueur: non spécifié [text/html]Sauvegarde en : «test»   [ <=>                                   ] 30 572      --.-K/s   ds 0,07s   2011-12-13 06:49:58 (410 KB/s) - «test» sauvegardé [30572]

J'ai tenté en encadrant l'url avec des apostrophes et des guillemets et en ajoutant le port 80 dans mon .wgetrc sans plus de succès.

Si quelqu'un pouvait m'expliquer ce qu'il faudrait que je fasse, je lui en serais très reconnaissant.

D'avance merci pour vos réponses.

[madko]

salut,

ta configuration wget semble correcte vu qu'on voit bien qu'il passe par ton proxy. C'est le proxy qui renvoit un code 404, quelle est sa configuration? Fonctionne t'il dans ton navigateur? Es-tu sûr qu'il faille utiliser le port 80 sur ton proxy?

[AHP_Nils]

Tu peux aussi tenter de paramétrer temporairement le proxy dans un véritable navigateur web : tu verras ainsi s'il s'agit d'une erreur de configuration ou d'un blocage volontaire du site (qui pourrait masquer ce blocage sous forme d'erreur 404).

[Manervi]

Bonsoir,

sur la liste de proxies que j'utilisais je ne trouvais pas les ports sur lesquels ils écoutaient, je pensais qu'en écrivant simplement l'url sans le port ou avec le port 80 dans .wgetrc ça passerait, j'y connais pas grand chose (rien en fait ) en réseau

En prenant cette autre liste où les ports sont clairement indiqués ça passe tout de suite beaucoup mieux.

Merci à madko de m'avoir indiqué où était le problème et à AHP_Nils pour m'avoir appris qu'on pouvait configurer son navigateur pour utiliser automatiquement un proxy, ça me fera gagner du temps à l'avenir

PS : pour ceux qui sont aussi nuls que moi et que ça intéresse, sous Firefox : Edit > Preferences > Onglet Advanced > Onglet Network > Settings > cocher Manual proxy configuration, entrer l'adresse ip du proxy dans le champ HTTP Proxy + le port dans le champ idoine et accessoirement cocher la case Use this proxy server for all protocols si l'on souhaite que le proxy soit aussi utilisé pour les connexions ftp et ssl.

Encore merci à vous et bonne soirée

[AHP_Nils]

Si tu fais de nombreuses manipulations des paramètres de ton proxy dans Firefox, tu peux aussi utiliser l'extension FoxyProxy : elle te permet de paramétrer plusieurs proxies et de passer de l'un à l'autre en un clic. Tu peux aussi paramétrer plus finement, comme utiliser un proxy A pour certaines URL, mais un proxy B pour d'autres et un proxy C par défaut (ou pas de proxy), soit avec des jokers (*) soit avec des expressions régulières.

[Manervi]

Si tu fais de nombreuses manipulations des paramètres de ton proxy dans Firefox, tu peux aussi utiliser l'extension FoxyProxy : elle te permet de paramétrer plusieurs proxies et de passer de l'un à l'autre en un clic. Tu peux aussi paramétrer plus finement, comme utiliser un proxy A pour certaines URL, mais un proxy B pour d'autres et un proxy C par défaut (ou pas de proxy), soit avec des jokers (*) soit avec des expressions régulières.

Je vais tester cette extension, elle a l'air d'offrir de nombreuses possibilités, merci pour l'info