[pyar] SQLite3

[Gustavo Campanelli]

On Mon, Aug 26, 2019 at 1:57 PM Augusto <adtononi en gmail.com> wrote:

> Buenas gente, tengo una consulta sobre SQLite3.
>
> Tengo una db creada y una tabla, y al mismo tiempo un log de 35mb (un
> histórico de 2 años de urls).
> Tenía pensando cargar toda la info del log en la tabla de la db, es esto
> eficiente? El log tiene un total de 250 mil líneas. No sé si esto afectará
> a la db (la uso solo para esto, registro urls y algunos datos más), cada
> vez que corro un scraper consulto en la db para verificar si ya fue
> scrapeado X sitio.
>
> Saludos!
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a
> http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar



Es una pregunta de definición del problema, más que saber si es eficiente,
hay que ver si es necesario. Si, por ejemplo, solo scrapeas cada sitio cada
3 meses, 2 años de historial no tienen propósito en lo que respecta a ese
tema. Por cierto, nada te impide mantener una tabla extra de historial para
mover allí los datos cuando los registros de la tabla principal envejecen,
y allí podrías cargar los datos del log sin problemas.

Gedece
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20190826/2dd58edf/attachment.html>