[pyar] Como detectar cambios en contenido web con python?

Roberto Alsina ralsina en netmanagers.com.ar
Mie Ago 10 15:13:59 ART 2011


On 8/10/2011 2:59 PM, DF-- wrote:
>
>
> 2011/8/9 gustavo c <p8queen en gmail.com <mailto:p8queen en gmail.com>>
>
>     On Tue, Aug 09, 2011 at 01:46:15PM -0300, Fabian Ezequiel Gallina
>     wrote:
>     > Suena como un trabajo para diff, si lo querés resolver de forma
>     pythonica,
>     > tenés difflib[0]
>
>
> Para esta solución deberías scrappar el sitio completo cada vez q 
> quieras analizar si existe un delta en el contenído del sitio. 
> Scrappear un sitio grande puede ser muy costoso en terminos temporales.
> Podrías ponderar las ramas del sitio que, según algún análisis, son 
> las que tienen mayor probabilidad de cambiar y scrappear esos en 
> intervalos más cortos. Esto te daría mayor detección de cambios.
>
O podes pedir los etag y usar if-modified-since para las paginas en vez 
de bajarlas.
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20110810/ac6fefa6/attachment.html>


More information about the pyar mailing list