over load of items

  • phildom_domfil
    15 messages
    Spain
    Hola Miranda,
    Tenemos un problema grave y urgente.
    En los últimos días hemos estado rediseñando nuestra API Delcampe, siguiendo las instrucciones de vuestros técnicos en varios hilos del foro.
    A continuación detallo los pasos y errores que hemos detectado.
    Miranda, ruego pases este informe a vuestros técnicos lo más urgente que puedas ya que he tenido que borrar todas nuestras ventas.
    1 – Problema de sobre carga de ítems a la venta.
    Hemos puesto a la venta 287.708 y en realidad hay 885.555
    2 – Procedimiento
    Hemos subido los ítems en lotes de 200 aprox. Utilizando el recurso / bulk de la API Rest Delcampe.
    El procedimiento tuvimos que repetirlo varias veces.
    Jueves día 7
    Cerramos todos los ítems de delcampe via web, seleccionando las categorías de sellos.
    Subimos unos cuantos ítems, aprox. 40.000, cuando llevamos un par de horas el procedimiento se detuvo por un error de diseño.
    Jueves día 7
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos unos cuantos ítems, aprox. 80.000, cuando llevamos un par de horas el procedimiento se detuvo de nuevo por una falta de conexión.
    Jueves 7 / Viernes 8
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos todos los ítems correctamente, exactamente 287708 ítems para la venta.
    3 – Anomalías
    En ocasiones, justo después de eliminar los ítems, el sistema nos informa que quedan ítems a la venta pero no nos los muestra. Esto nos hace pensar que hay operaciones en colas pendientes de procesar que pueden que sean la causa de esta sobrecarga.
    Cuando utilizamos el recurso BULK/API Delcampe no retorna información de todos los ítems, A menudo y de forma totalmente aleatoria, la respuesta no informa de como ha ido con todos ellos, se deja unos cuantos por informar.
    Cuando se vende un ítem con una referencia personal a través de la web se nos retorna múltiples ( son iguales pero están en categorías diferentes) en cambio via API / Item / 1234 / reference nos devuelve solo uno. Esto nos ha obligado a reacer el algoritmo para numerarlos y asegurarnos que todos ellos tengan una referencia personal diferente. Link al hilo del fòrum: Link (https)
    4 – Tener más ítems a la venta que en el stock disponible nos coloca en alto riesgo, se pueden crear sobre ventas.
    5 – Esta mañana hemos vuelto a cerrar todas nuestras ventas.
    6- Necesitamos urgentemente que podáis GARANTIZAR que no hay ítems a la venta antes de volver a poner a la venta todo nuestro stock.
    Quedamos a la espera de vuestras indicaciones, muchas gracias por vuestra atención.
  • phildom_domfil
    15 messages
    Spain
    Hola Miranda,
    Tenemos un problema grave y urgente.
    En los últimos días hemos estado rediseñando nuestra API Delcampe, siguiendo las instrucciones de vuestros técnicos en varios hilos del foro.
    A continuación detallo los pasos y errores que hemos detectado.
    Miranda, ruego pases este informe a vuestros técnicos lo más urgente que puedas ya que he tenido que borrar todas nuestras ventas.
    1 – Problema de sobre carga de ítems a la venta.
    Hemos puesto a la venta 287.708 y en realidad hay 885.555
    2 – Procedimiento
    Hemos subido los ítems en lotes de 200 aprox. Utilizando el recurso / bulk de la API Rest Delcampe.
    El procedimiento tuvimos que repetirlo varias veces.
    Jueves día 7
    Cerramos todos los ítems de delcampe via web, seleccionando las categorías de sellos.
    Subimos unos cuantos ítems, aprox. 40.000, cuando llevamos un par de horas el procedimiento se detuvo por un error de diseño.
    Jueves día 7
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos unos cuantos ítems, aprox. 80.000, cuando llevamos un par de horas el procedimiento se detuvo de nuevo por una falta de conexión.
    Jueves 7 / Viernes 8
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos todos los ítems correctamente, exactamente 287708 ítems para la venta.
    3 – Anomalías
    En ocasiones, justo después de eliminar los ítems, el sistema nos informa que quedan ítems a la venta pero no nos los muestra. Esto nos hace pensar que hay operaciones en colas pendientes de procesar que pueden que sean la causa de esta sobrecarga.
    Cuando utilizamos el recurso BULK/API Delcampe no retorna información de todos los ítems, A menudo y de forma totalmente aleatoria, la respuesta no informa de como ha ido con todos ellos, se deja unos cuantos por informar.
    Cuando se vende un ítem con una referencia personal a través de la web se nos retorna múltiples ( son iguales pero están en categorías diferentes) en cambio via API / Item / 1234 / reference nos devuelve solo uno. Esto nos ha obligado a reacer el algoritmo para numerarlos y asegurarnos que todos ellos tengan una referencia personal diferente. Link al hilo del fòrum: Link (https)
    4 – Tener más ítems a la venta que en el stock disponible nos coloca en alto riesgo, se pueden crear sobre ventas.
    5 – Esta mañana hemos vuelto a cerrar todas nuestras ventas.
    6- Necesitamos urgentemente que podáis GARANTIZAR que no hay ítems a la venta antes de volver a poner a la venta todo nuestro stock.
    Quedamos a la espera de vuestras indicaciones, muchas gracias por vuestra atención.
    • Created on 12 Jun 2018 at 06:50
    • #872431
    IN ORDER TO AVOID OVERLOADING ITEMS IN YOUR SYSTEM WE URGENTLY NEED TO GUARANTEE THAT THERE IS NO ITEM ON SALE, PLEASE.

    WE WILL NOT CARRY OUT ANY LOAD ACTION UNTIL WE ARE CONFIRMED.

    THANKS
  • phildom_domfil
    15 messages
    Spain
    IN ORDER TO AVOID OVERLOADING ITEMS IN YOUR SYSTEM WE URGENTLY NEED TO GUARANTEE THAT THERE IS NO ITEM ON SALE, PLEASE.

    WE WILL NOT CARRY OUT ANY LOAD ACTION UNTIL WE ARE CONFIRMED.

    THANKS
    • Created on 12 Jun 2018 at 06:55
    • #872434
    ON THE OTHER HAND, WE HAVE ALSO DETECTED A SERIOUS ERROR IN OUR CONTROL PANEL: SHOWS 0 ACTIVE ITEMS, HOWEVER IN THE STORE IT INDICATES THAT WE HAVE 118 ITEMS ON SALE BUT BY CLICKING ON THEM THEY APPEAR LIKE ITEMS SOLD ABOVE.
  • @benjaminl
    Administrator
    60 messages
    Belgium
    Dear phildom,

    your message is getting translated. And then I will investigate your case in order to help you the best I can.

    Please, note that you are in an English forum and our development team, myself included, are not fully qualified to understand properly Spanish.

    Of course, I could use Google Translate, but, as you know, this tool is not known for his accuracy ;-).

    Best regards

    Benjamin,
    Technical Team Member
    Delcampe
  • @benjaminl
    Administrator
    60 messages
    Belgium
    Dear Phildom,

    we just emptied our index queue, so you can add anything you want now.

    That said, you still have 118 items open in your store.
    Would you like me to close them for you?

    Now, I would like to know something: why do you need a guarantee and for what?
  • phildom_domfil
    15 messages
    Spain
    Hi Benjamin,
    Yes. You are right, I will try to translate to English, sorry.
    On the other hand, thank you for confirming that we have everything empty.
    Please, you can close your items in our store.
    But, if you look well, they are not items for sale, they are items sold previously.
    It seems that there is an error.
    Best regards.
  • klaus_schneider
    24 messages
    Germany
    Hola Miranda,
    Tenemos un problema grave y urgente.
    En los últimos días hemos estado rediseñando nuestra API Delcampe, siguiendo las instrucciones de vuestros técnicos en varios hilos del foro.
    A continuación detallo los pasos y errores que hemos detectado.
    Miranda, ruego pases este informe a vuestros técnicos lo más urgente que puedas ya que he tenido que borrar todas nuestras ventas.
    1 – Problema de sobre carga de ítems a la venta.
    Hemos puesto a la venta 287.708 y en realidad hay 885.555
    2 – Procedimiento
    Hemos subido los ítems en lotes de 200 aprox. Utilizando el recurso / bulk de la API Rest Delcampe.
    El procedimiento tuvimos que repetirlo varias veces.
    Jueves día 7
    Cerramos todos los ítems de delcampe via web, seleccionando las categorías de sellos.
    Subimos unos cuantos ítems, aprox. 40.000, cuando llevamos un par de horas el procedimiento se detuvo por un error de diseño.
    Jueves día 7
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos unos cuantos ítems, aprox. 80.000, cuando llevamos un par de horas el procedimiento se detuvo de nuevo por una falta de conexión.
    Jueves 7 / Viernes 8
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos todos los ítems correctamente, exactamente 287708 ítems para la venta.
    3 – Anomalías
    En ocasiones, justo después de eliminar los ítems, el sistema nos informa que quedan ítems a la venta pero no nos los muestra. Esto nos hace pensar que hay operaciones en colas pendientes de procesar que pueden que sean la causa de esta sobrecarga.
    Cuando utilizamos el recurso BULK/API Delcampe no retorna información de todos los ítems, A menudo y de forma totalmente aleatoria, la respuesta no informa de como ha ido con todos ellos, se deja unos cuantos por informar.
    Cuando se vende un ítem con una referencia personal a través de la web se nos retorna múltiples ( son iguales pero están en categorías diferentes) en cambio via API / Item / 1234 / reference nos devuelve solo uno. Esto nos ha obligado a reacer el algoritmo para numerarlos y asegurarnos que todos ellos tengan una referencia personal diferente. Link al hilo del fòrum: Link (https)
    4 – Tener más ítems a la venta que en el stock disponible nos coloca en alto riesgo, se pueden crear sobre ventas.
    5 – Esta mañana hemos vuelto a cerrar todas nuestras ventas.
    6- Necesitamos urgentemente que podáis GARANTIZAR que no hay ítems a la venta antes de volver a poner a la venta todo nuestro stock.
    Quedamos a la espera de vuestras indicaciones, muchas gracias por vuestra atención.
    • Created on 12 Jun 2018 at 06:50
    • #872431
    Hello,

    first write our problems in english !!!

    i know this problem too.

    Delcampe API not always respond to any call, so you receive nothing, no error and no confirmation, but your call is executed.

    If your API client now repeat the call, you add two ore more same items on delcampe.

    Solutions:

    a) increase your timeout, so delcampe host has more time to respond (maybe helps)
    b) do not repeat your calls
    c) wait until the items are online
    d) make a second run and check beforehand if the item is already online and delete double items in this run a.s.o.

    This is not nice, but it works...
    bw
  • @benjaminl
    Administrator
    60 messages
    Belgium
    Hi Benjamin,
    Yes. You are right, I will try to translate to English, sorry.
    On the other hand, thank you for confirming that we have everything empty.
    Please, you can close your items in our store.
    But, if you look well, they are not items for sale, they are items sold previously.
    It seems that there is an error.
    Best regards.
    • Created on 12 Jun 2018 at 10:05
    • #872488
    Dear Phildom,

    since my last response, I can see you added a large number of items.
    Can you confirm that everything is back to normal for you?
    If not, can you explain what's your remaining issue in order to help you?

    If everything is good, then I will close this subject as soon as I have confirmation from your side.

    Best regards

    Benjamin
    Technical team member
    Delcampe
  • phildom_domfil
    15 messages
    Spain
    Hello Benjamin,
    Thanks for your attention.
    It does not work well.
    We have uploaded 288,122 items and only 229,620 appear.
    How can we solve the problem?
    I look forward to your comments.
    Best regards
  • phildom_domfil
    15 messages
    Spain
    Hello Benjamin,
    Thanks for your attention.
    It does not work well.
    We have uploaded 288,122 items and only 229,620 appear.
    How can we solve the problem?
    I look forward to your comments.
    Best regards
  • @benjaminl
    Administrator
    60 messages
    Belgium
    Dear phildom,

    sorry for the delay and a great thanks for your patience.

    The first thing I can think of is related to the speed of your requests.
    If your server sent the new items too fast, then our server would have reach some limits and would have closed the connection.

    I'm also going to check your logs to see if I can spot any clues about your problem.
  • @benjaminl
    Administrator
    60 messages
    Belgium
    Hello again,

    I couldn't see anything wrong in the logs.

    I will check with our infrastructure wizard to see if the problem came from the between server connection.
  • phildom_domfil
    15 messages
    Spain
    OK thank you very much.
  • @benjaminl
    Administrator
    60 messages
    Belgium
    I can see my colleague is not available right now, I think I will be able to talk to him tomorrow morning.

    I will keep you posted.

    Meanwhile, I wish you a great day.

    Best regards
  • @benjaminl
    Administrator
    60 messages
    Belgium
    Dear Phildom,

    I'm sorry but our system administrator was not available today.
    I couldn't continue my investigation on your case.

    Since I won't be available until Wednesday next week, a colleague of mine will continue to work on your case.

    Thank you for your understanding

Join the collectors community

Register Login