Aller au contenu

[RESOLU] wget et proxy


Manervi

Messages recommandés

Bonjour, :chinois:

je cherche à télécharger le code source html de certaines pages web en utilisant la commande wget.

D'ordinaire pour ce faire je tape dans un terminal : wget -O fichier url

Cependant je cherche à présent à faire la même chose mais en passant par un proxy, et les recherches google que j'ai faites m'indiquent en général qu'il faut créer dans son home le fichier de configuration .wgetrc et y écrire :

http_proxy = http://url_du_proxy/use_proxy = onwait = 15

J'ai essayé en prenant quelques adresses ici mais je n'arrive pas à télécharger grand chose à quelques rares exceptions près (les pages d'accueil de youtube et de google).

Par exemple avec ce proxy, j'ai ce .wgetrc :

http_proxy = http://www.1proxy.de/use_proxy = onwait = 15

le téléchargement de la page d'accueil de youtube passe :

wget -O test http://www.youtube.com/--2011-12-13 05:47:08--  http://www.youtube.com/Résolution de www.1proxy.de... 89.149.223.80Connexion vers www.1proxy.de|89.149.223.80|:80...connecté.requête Proxy transmise, en attente de la réponse...200 OKLongueur: 5706 (5,6K) [text/html]Sauvegarde en : «test»100%[======================================>] 5 706       --.-K/s   ds 0,04s

mais cette page ne passe pas :

wget -O test http://www.generation-libre.com/parametrer-wget-pour-utiliser-un-proxy/--2011-12-13 06:32:46--  http://www.generation-libre.com/parametrer-wget-pour-utiliser-un-proxy/Résolution de www.1proxy.de... 89.149.223.80Connexion vers www.1proxy.de|89.149.223.80|:80...connecté.requête Proxy transmise, en attente de la réponse...404 Not Found2011-12-13 06:32:46 ERREUR 404: Not Found.

alors que sans proxy ça passe :

wget -O test http://www.generation-libre.com/parametrer-wget-pour-utiliser-un-proxy/--2011-12-13 06:49:57--  http://www.generation-libre.com/parametrer-wget-pour-utiliser-un-proxy/Résolution de www.generation-libre.com... 87.98.140.100Connexion vers www.generation-libre.com|87.98.140.100|:80...connecté.requête HTTP transmise, en attente de la réponse...200 OKLongueur: non spécifié [text/html]Sauvegarde en : «test»   [ <=>                                   ] 30 572      --.-K/s   ds 0,07s   2011-12-13 06:49:58 (410 KB/s) - «test» sauvegardé [30572]

J'ai tenté en encadrant l'url avec des apostrophes et des guillemets et en ajoutant le port 80 dans mon .wgetrc sans plus de succès.

Si quelqu'un pouvait m'expliquer ce qu'il faudrait que je fasse, je lui en serais très reconnaissant.

D'avance merci pour vos réponses. :chinois:

Lien vers le commentaire
Partager sur d’autres sites

Bonsoir, :chinois:

sur la liste de proxies que j'utilisais je ne trouvais pas les ports sur lesquels ils écoutaient, je pensais qu'en écrivant simplement l'url sans le port ou avec le port 80 dans .wgetrc ça passerait, j'y connais pas grand chose (rien en fait :oops: ) en réseau :transpi:

En prenant cette autre liste où les ports sont clairement indiqués ça passe tout de suite beaucoup mieux.

Merci à madko de m'avoir indiqué où était le problème et à AHP_Nils pour m'avoir appris qu'on pouvait configurer son navigateur pour utiliser automatiquement un proxy, ça me fera gagner du temps à l'avenir :francais:

PS : pour ceux qui sont aussi nuls que moi et que ça intéresse, sous Firefox : Edit > Preferences > Onglet Advanced > Onglet Network > Settings > cocher Manual proxy configuration, entrer l'adresse ip du proxy dans le champ HTTP Proxy + le port dans le champ idoine et accessoirement cocher la case Use this proxy server for all protocols si l'on souhaite que le proxy soit aussi utilisé pour les connexions ftp et ssl.

Encore merci à vous et bonne soirée :chinois:

Lien vers le commentaire
Partager sur d’autres sites

Si tu fais de nombreuses manipulations des paramètres de ton proxy dans Firefox, tu peux aussi utiliser l'extension FoxyProxy : elle te permet de paramétrer plusieurs proxies et de passer de l'un à l'autre en un clic. Tu peux aussi paramétrer plus finement, comme utiliser un proxy A pour certaines URL, mais un proxy B pour d'autres et un proxy C par défaut (ou pas de proxy), soit avec des jokers (*) soit avec des expressions régulières.

Lien vers le commentaire
Partager sur d’autres sites

Si tu fais de nombreuses manipulations des paramètres de ton proxy dans Firefox, tu peux aussi utiliser l'extension FoxyProxy : elle te permet de paramétrer plusieurs proxies et de passer de l'un à l'autre en un clic. Tu peux aussi paramétrer plus finement, comme utiliser un proxy A pour certaines URL, mais un proxy B pour d'autres et un proxy C par défaut (ou pas de proxy), soit avec des jokers (*) soit avec des expressions régulières.

Je vais tester cette extension, elle a l'air d'offrir de nombreuses possibilités, merci pour l'info :chinois:

Lien vers le commentaire
Partager sur d’autres sites

Archivé

Ce sujet est désormais archivé et ne peut plus recevoir de nouvelles réponses.

×
×
  • Créer...