[pyar] consulta httplib con persistencia y pipeline

ken248000 ken248000 en gmail.com
Jue Ago 12 15:26:39 ART 2010


  Hola gentes de python.

Necesito hacer script que pueda hacer multiples request a una pagina,
pero manteniendo una conexion persistente.
Con httplib puedo hacer la conexion persistente por medio del parametro
keep-alive.
Esto funciona bien pero el problema que las request son syncronas y del
tipo FIFO.
Mi idea es es hacer un pequeño proxy que mantenga la conexion persistente
con el servidor remoto y desde el script podirle las url a este proxy.

El problema es que si hago 10 pedidos al mismo tiempo al ser sincronas
todas deben esperar
a que se termine la anterior y esto me jode.

Se que el protocolo HTTP tiene un modo pipeline, pero no entiendo bien
como funciona (sigo investigando el tema).

Me gusta la idea del proxy ya que de esta forma tambien puedo hacer
cache de las paginas que ya se han pedido.

Queria saber si alguien ya tuvo experiencias con esto y que
recomendaciones tienen.
Y si tienen una idea mas simple, o alguna libreria/herramienta/lo que
sea, que ya haga esto o parecido, bienvenidas sean.

Por cierto el script que hace los pedidos esta en PHP y no se puede tocar.




More information about the pyar mailing list