[pyar] Scraping de ML

[Jeremias Maggi]

Hola Emiliano,

Te recomiendo que lo hagas usando el API que es mas especifica y bastante
abierta para el tema de las consultas, fijate que toda la informacion y la
documentacion esta en: https://developers.mercadolibre.com/, una vez que
entres ahi anda a API Docs y ahi a Guide for Real Estate.


Te dejo los pasos igualmente para que armes la consulta basica de Villa
Lugano:


Cities:

https://api.mercadolibre.com/classified_locations/cities/TUxBQ0NBUGZlZG1sYQ

De aca podes tomar los ID de los barrios en el campo neighborhoods.

En el caso de Lugano es este:

  "id": "TUxBQlZJTDQ4MzBa",
    "name": "Villa Lugano"

Despues deberias consultar la location del item haciendo una consulta
directa a los datos del neighborhoods de esta manera:

https://api.mercadolibre.com/classified_locations/neighborhoods/TUxBQlZJTDQ4MzBa

Ahi te va a devolver un JSON y tenes que tomar los datos de geo_information
-> location:

"latitude": -34.6833333
    "longitude": -58.4666667

Y una vez que tenes esos datos deberias hacer esta consulta:

https://api.mercadolibre.com/sites/MLA/search?item_location=lat:-34.6833333,lon:-58.4666667&category=MLA1459&limit=10

Donde:

lat: es la latitude que tenes del barrio
lon: es la longitude que tenes del barrio
category: es la cateogria de Inmuebles de Mercado Libre que podes consultar
aca (https://api.mercadolibre.com/sites/MLA/categories)
limit: es el limite de consultas, fijate que Meli te las corta en 50 y la
mejor forma de trabajar con listados amplios es usar la navegacion de
consultas que te provee MELI, fijate que la consulta de Villa Lugano e
inmuebles te da un total de "362.641" propiedades.

Te dejo el SDK te Python de Mercado Libre que es bastante simple de usar:
https://github.com/joacoRamone/meli-python-sdk

Las consultas las podes hacer asi una vez que abriste sesion con el API de
MercadoLibre:

result_product =
meli.get("/users/%s/items/search?search_type=scan&access_token=%s" % (
                                    seller_id, access_token))

Esa es de productos la tuya deberia quedar asi pero habria que probarla:

result_properties =
meli.get("/sites/MLA/items/search?item_location=lat:%s,lon:%s&category=%s&limit=%i"
% (
                                    latitude, longitude, category, limit))


Cualquier otra duda escribime y te doy una mano.

Saludos Jeremias

On Mon, Jul 23, 2018 at 11:15 PM Emiliano Vazquez <emilianovazquez en gmail.com>
wrote:

> Hola a todos, estoy con ganas de poder leer de mercadolibre el precio de
> las viviendas de 2 ambientes en la zona de mataderos/lugano en CABA, es
> donde vivo yo. No quiero discutir temas politicos o de ideología, solamente
> estoy buscando como encaminarme, el codigo va a ser abierto y lo voy a
> alojar en github, pero todavia estoy pensando como hacerlo y obviamente,
> que me tiren todas las cosas malas que harían que esto que estoy pensando
> sea algo imposible, mis objetivos:
>
> * definir la zona de busqueda, como es sabido no todos los bienes tienen
> el mismo precio, por ende buscar en todos lados no tendría sentido. despues
> quizas el codigo se amplie a otras zonas, pero no quiero ir por algo
> gigante si no por algo que por mis capacidades y tiempo pueda realizar.
>
> * definir un tamaño de la propiedad, para tener en el mix de precios una
> cualidad que con la zona dan un precio promedio bastante real, entiendo que
> la calidad del bien va a influir, pero es algo que no veo como solucionarlo.
>
> * lograr tener el dato de un ID de mercadolibre y su evolucion en el
> tiempo, nunca seguí un item de mercadolibre, pero me imagino que una
> publicacion mantiene sus datos y ante una renovación de la publicacion +
> cambio de precio voy a mantener el ID que viene en el mismo.
>
> * con los datos juntados poder seguir el conjunto de precios en el tiempo
> y la relacion precio dolar/pesos que va llevanto, de nuevo, me guardo mis
> ideas de como seria esta relacion en el tiempo, no intento discutir o
> generar una guerra en la lista, solamente jugar un rato con datos.
>
> * Me encontre con este link que tiene un poco de info de Scrapy y ML, voy
> a buscar mas, pero es lo primero a lo que he llegado.
>
> Mis dudas:
> * No se si usar Scrapy o si hay algo mejor que exista por ahi.
> * Desconozco si ML me va a cortar las peticiones por abuso.
> * No se si ya existe alguna herramienta similar disponible y de codigo
> abierto
> * No se si esto que hago es ilegal (no creo pero no esta de mas la
> pregunta)
>
>
>
> Problemas:
> * Quiero googlear "python scrap mercadolibre" y termino en la web de
> mercadolibre para comprar libros de python jajajaa
>
>
>
> No quiero escribir mucho mas, ya que puede pasar que este e-mail no tenga
> repercusión.
>
> Les mando un saludo a todos y que terminen bien el día!
>
> Emiliano.
> _______________________________________________
> Lista de Correo de PyAr - Python Argentina - pyar en python.org.ar
> Sitio web: http://www.python.org.ar/
>
> Para administrar la lista (o desuscribirse) entrar a
> http://listas.python.org.ar/listinfo/pyar
>
> La lista de PyAr esta Hosteada en USLA - Usuarios de Software Libre de
> Argentina - http://www.usla.org.ar
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <http://listas.python.org.ar/pipermail/pyar/attachments/20180724/4a45d596/attachment.html>