[weboob] application utilisant des proxys

k3c k3ck3c at gmail.com
Tue Nov 5 16:23:59 CET 2013


Bonjour

pour ce qui est de définir une API, je propose de renvoyer une liste de 
proxys, exemple pour la Suisse

$ python proxy_ch.py
[u'212.249.11.115:8123', u'195.49.20.6:3128', u'195.49.20.2:3128', 
u'46.14.169.34:3128', u'178.82.51.17:3128', u'46.14.211.106:8080']

Voici le code, que je mets aussi en pièce jointe,  vu que les 
tabulations et le mail...

Est-ce que je peux partir là-dessus ?

Cordialement

$ more proxy_ch.py
from urllib2 import urlopen

def get_proxy():
     html = 
urlopen('http://www.proxynova.com/proxy-server-list/country-ch/').read()
     from BeautifulSoup import BeautifulSoup
     soup = BeautifulSoup(html)
     a = soup.tbody.findAll('td')
     tbl = []
     n = 0
     fl = True
     for x in a:
         if n%6 < 2:
             if fl:
                 tmp = x
             else:
                 tbl.append([tmp, x])
             fl = not fl
         n+=1

     lst = []
     for addr, port in tbl:
         v = addr.span.script.string
         v = v[v.find('(')+ 1:-2]
         v = v.replace('"', '').replace(' ','').replace('+','')
         proxy = u"%s:%s" % (v, port.a.string)
         lst.append(proxy)
     return lst

print get_proxy()




Le 28/10/2013 19:05, Flo a écrit :
> Bonjour,
>
>> Est-ce que cela peut aboutir à une application weboob, ou bien est-ce
>> que cela existe déjà ?
>>
> cela n'existe actuellement pas dans Weboob. Cela pourrait donc être intégré.
>
> Pour cela, il faudrait :
>   1) définir une API qui pourrait supporter l'accès à plusieurs sites
> différents de liste de proxys. C'est ce qu'on appelle des "capabilities"
> dans Weboob, voir ici pour plus d'informations :
> http://docs.weboob.org/overview.html#capabilities
>
>   2) ajouter le module free-proxy-list dans weboob (en suivant l'API
> préalablement définie, ce qui ne devrait pas être très dur).
>
>   3) transformer le script pour tester les proxys en application
>
> Je ne connaissais pas get_iplayer, qui semble avoir les mêmes buts que
> videoob. C'est malheureusement pas du python :(
>

-------------- next part --------------
A non-text attachment was scrubbed...
Name: proxy_ch.py
Type: text/x-python
Size: 725 bytes
Desc: not available
URL: <http://lists.symlink.me/pipermail/weboob/attachments/20131105/64ce29f0/attachment.py>


More information about the weboob mailing list