[pyar] Como detectar cambios en contenido web con python?
Roberto Alsina
ralsina en netmanagers.com.ar
Mie Ago 10 15:13:59 ART 2011
On 8/10/2011 2:59 PM, DF-- wrote:
>
>
> 2011/8/9 gustavo c <p8queen en gmail.com <mailto:p8queen en gmail.com>>
>
> On Tue, Aug 09, 2011 at 01:46:15PM -0300, Fabian Ezequiel Gallina
> wrote:
> > Suena como un trabajo para diff, si lo querés resolver de forma
> pythonica,
> > tenés difflib[0]
>
>
> Para esta solución deberías scrappar el sitio completo cada vez q
> quieras analizar si existe un delta en el contenído del sitio.
> Scrappear un sitio grande puede ser muy costoso en terminos temporales.
> Podrías ponderar las ramas del sitio que, según algún análisis, son
> las que tienen mayor probabilidad de cambiar y scrappear esos en
> intervalos más cortos. Esto te daría mayor detección de cambios.
>
O podes pedir los etag y usar if-modified-since para las paginas en vez
de bajarlas.
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20110810/ac6fefa6/attachment.html>
More information about the pyar
mailing list