over load of items

  • phildom_domfil
    25 messages
    Spain
    Hola Miranda,
    Tenemos un problema grave y urgente.
    En los últimos días hemos estado rediseñando nuestra API Delcampe, siguiendo las instrucciones de vuestros técnicos en varios hilos del foro.
    A continuación detallo los pasos y errores que hemos detectado.
    Miranda, ruego pases este informe a vuestros técnicos lo más urgente que puedas ya que he tenido que borrar todas nuestras ventas.
    1 – Problema de sobre carga de ítems a la venta.
    Hemos puesto a la venta 287.708 y en realidad hay 885.555
    2 – Procedimiento
    Hemos subido los ítems en lotes de 200 aprox. Utilizando el recurso / bulk de la API Rest Delcampe.
    El procedimiento tuvimos que repetirlo varias veces.
    Jueves día 7
    Cerramos todos los ítems de delcampe via web, seleccionando las categorías de sellos.
    Subimos unos cuantos ítems, aprox. 40.000, cuando llevamos un par de horas el procedimiento se detuvo por un error de diseño.
    Jueves día 7
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos unos cuantos ítems, aprox. 80.000, cuando llevamos un par de horas el procedimiento se detuvo de nuevo por una falta de conexión.
    Jueves 7 / Viernes 8
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos todos los ítems correctamente, exactamente 287708 ítems para la venta.
    3 – Anomalías
    En ocasiones, justo después de eliminar los ítems, el sistema nos informa que quedan ítems a la venta pero no nos los muestra. Esto nos hace pensar que hay operaciones en colas pendientes de procesar que pueden que sean la causa de esta sobrecarga.
    Cuando utilizamos el recurso BULK/API Delcampe no retorna información de todos los ítems, A menudo y de forma totalmente aleatoria, la respuesta no informa de como ha ido con todos ellos, se deja unos cuantos por informar.
    Cuando se vende un ítem con una referencia personal a través de la web se nos retorna múltiples ( son iguales pero están en categorías diferentes) en cambio via API / Item / 1234 / reference nos devuelve solo uno. Esto nos ha obligado a reacer el algoritmo para numerarlos y asegurarnos que todos ellos tengan una referencia personal diferente. Link al hilo del fòrum: Link (https)
    4 – Tener más ítems a la venta que en el stock disponible nos coloca en alto riesgo, se pueden crear sobre ventas.
    5 – Esta mañana hemos vuelto a cerrar todas nuestras ventas.
    6- Necesitamos urgentemente que podáis GARANTIZAR que no hay ítems a la venta antes de volver a poner a la venta todo nuestro stock.
    Quedamos a la espera de vuestras indicaciones, muchas gracias por vuestra atención.
  • phildom_domfil
    25 messages
    Spain
    Hola Miranda,
    Tenemos un problema grave y urgente.
    En los últimos días hemos estado rediseñando nuestra API Delcampe, siguiendo las instrucciones de vuestros técnicos en varios hilos del foro.
    A continuación detallo los pasos y errores que hemos detectado.
    Miranda, ruego pases este informe a vuestros técnicos lo más urgente que puedas ya que he tenido que borrar todas nuestras ventas.
    1 – Problema de sobre carga de ítems a la venta.
    Hemos puesto a la venta 287.708 y en realidad hay 885.555
    2 – Procedimiento
    Hemos subido los ítems en lotes de 200 aprox. Utilizando el recurso / bulk de la API Rest Delcampe.
    El procedimiento tuvimos que repetirlo varias veces.
    Jueves día 7
    Cerramos todos los ítems de delcampe via web, seleccionando las categorías de sellos.
    Subimos unos cuantos ítems, aprox. 40.000, cuando llevamos un par de horas el procedimiento se detuvo por un error de diseño.
    Jueves día 7
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos unos cuantos ítems, aprox. 80.000, cuando llevamos un par de horas el procedimiento se detuvo de nuevo por una falta de conexión.
    Jueves 7 / Viernes 8
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos todos los ítems correctamente, exactamente 287708 ítems para la venta.
    3 – Anomalías
    En ocasiones, justo después de eliminar los ítems, el sistema nos informa que quedan ítems a la venta pero no nos los muestra. Esto nos hace pensar que hay operaciones en colas pendientes de procesar que pueden que sean la causa de esta sobrecarga.
    Cuando utilizamos el recurso BULK/API Delcampe no retorna información de todos los ítems, A menudo y de forma totalmente aleatoria, la respuesta no informa de como ha ido con todos ellos, se deja unos cuantos por informar.
    Cuando se vende un ítem con una referencia personal a través de la web se nos retorna múltiples ( son iguales pero están en categorías diferentes) en cambio via API / Item / 1234 / reference nos devuelve solo uno. Esto nos ha obligado a reacer el algoritmo para numerarlos y asegurarnos que todos ellos tengan una referencia personal diferente. Link al hilo del fòrum: Link (https)
    4 – Tener más ítems a la venta que en el stock disponible nos coloca en alto riesgo, se pueden crear sobre ventas.
    5 – Esta mañana hemos vuelto a cerrar todas nuestras ventas.
    6- Necesitamos urgentemente que podáis GARANTIZAR que no hay ítems a la venta antes de volver a poner a la venta todo nuestro stock.
    Quedamos a la espera de vuestras indicaciones, muchas gracias por vuestra atención.
    • Created on 12 Jun 2018 at 06:50
    • #872431
    IN ORDER TO AVOID OVERLOADING ITEMS IN YOUR SYSTEM WE URGENTLY NEED TO GUARANTEE THAT THERE IS NO ITEM ON SALE, PLEASE.

    WE WILL NOT CARRY OUT ANY LOAD ACTION UNTIL WE ARE CONFIRMED.

    THANKS
  • phildom_domfil
    25 messages
    Spain
    IN ORDER TO AVOID OVERLOADING ITEMS IN YOUR SYSTEM WE URGENTLY NEED TO GUARANTEE THAT THERE IS NO ITEM ON SALE, PLEASE.

    WE WILL NOT CARRY OUT ANY LOAD ACTION UNTIL WE ARE CONFIRMED.

    THANKS
    • Created on 12 Jun 2018 at 06:55
    • #872434
    ON THE OTHER HAND, WE HAVE ALSO DETECTED A SERIOUS ERROR IN OUR CONTROL PANEL: SHOWS 0 ACTIVE ITEMS, HOWEVER IN THE STORE IT INDICATES THAT WE HAVE 118 ITEMS ON SALE BUT BY CLICKING ON THEM THEY APPEAR LIKE ITEMS SOLD ABOVE.
  • @benjaminl
    Administrator
    106 messages
    Belgium
    Dear phildom,

    your message is getting translated. And then I will investigate your case in order to help you the best I can.

    Please, note that you are in an English forum and our development team, myself included, are not fully qualified to understand properly Spanish.

    Of course, I could use Google Translate, but, as you know, this tool is not known for his accuracy ;-).

    Best regards

    Benjamin,
    Technical Team Member
    Delcampe
  • @benjaminl
    Administrator
    106 messages
    Belgium
    Dear Phildom,

    we just emptied our index queue, so you can add anything you want now.

    That said, you still have 118 items open in your store.
    Would you like me to close them for you?

    Now, I would like to know something: why do you need a guarantee and for what?
  • phildom_domfil
    25 messages
    Spain
    Hi Benjamin,
    Yes. You are right, I will try to translate to English, sorry.
    On the other hand, thank you for confirming that we have everything empty.
    Please, you can close your items in our store.
    But, if you look well, they are not items for sale, they are items sold previously.
    It seems that there is an error.
    Best regards.
  • klaus_schneider
    28 messages
    Germany
    Hola Miranda,
    Tenemos un problema grave y urgente.
    En los últimos días hemos estado rediseñando nuestra API Delcampe, siguiendo las instrucciones de vuestros técnicos en varios hilos del foro.
    A continuación detallo los pasos y errores que hemos detectado.
    Miranda, ruego pases este informe a vuestros técnicos lo más urgente que puedas ya que he tenido que borrar todas nuestras ventas.
    1 – Problema de sobre carga de ítems a la venta.
    Hemos puesto a la venta 287.708 y en realidad hay 885.555
    2 – Procedimiento
    Hemos subido los ítems en lotes de 200 aprox. Utilizando el recurso / bulk de la API Rest Delcampe.
    El procedimiento tuvimos que repetirlo varias veces.
    Jueves día 7
    Cerramos todos los ítems de delcampe via web, seleccionando las categorías de sellos.
    Subimos unos cuantos ítems, aprox. 40.000, cuando llevamos un par de horas el procedimiento se detuvo por un error de diseño.
    Jueves día 7
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos unos cuantos ítems, aprox. 80.000, cuando llevamos un par de horas el procedimiento se detuvo de nuevo por una falta de conexión.
    Jueves 7 / Viernes 8
    Volvimos a cerrar todos los ítems de delcampe vía web, seleccionado la categoría sellos, esperamos hasta que la web delcampe nos indicara 0 ítems activos a la venta.
    Subimos todos los ítems correctamente, exactamente 287708 ítems para la venta.
    3 – Anomalías
    En ocasiones, justo después de eliminar los ítems, el sistema nos informa que quedan ítems a la venta pero no nos los muestra. Esto nos hace pensar que hay operaciones en colas pendientes de procesar que pueden que sean la causa de esta sobrecarga.
    Cuando utilizamos el recurso BULK/API Delcampe no retorna información de todos los ítems, A menudo y de forma totalmente aleatoria, la respuesta no informa de como ha ido con todos ellos, se deja unos cuantos por informar.
    Cuando se vende un ítem con una referencia personal a través de la web se nos retorna múltiples ( son iguales pero están en categorías diferentes) en cambio via API / Item / 1234 / reference nos devuelve solo uno. Esto nos ha obligado a reacer el algoritmo para numerarlos y asegurarnos que todos ellos tengan una referencia personal diferente. Link al hilo del fòrum: Link (https)
    4 – Tener más ítems a la venta que en el stock disponible nos coloca en alto riesgo, se pueden crear sobre ventas.
    5 – Esta mañana hemos vuelto a cerrar todas nuestras ventas.
    6- Necesitamos urgentemente que podáis GARANTIZAR que no hay ítems a la venta antes de volver a poner a la venta todo nuestro stock.
    Quedamos a la espera de vuestras indicaciones, muchas gracias por vuestra atención.
    • Created on 12 Jun 2018 at 06:50
    • #872431
    Hello,

    first write our problems in english !!!

    i know this problem too.

    Delcampe API not always respond to any call, so you receive nothing, no error and no confirmation, but your call is executed.

    If your API client now repeat the call, you add two ore more same items on delcampe.

    Solutions:

    a) increase your timeout, so delcampe host has more time to respond (maybe helps)
    b) do not repeat your calls
    c) wait until the items are online
    d) make a second run and check beforehand if the item is already online and delete double items in this run a.s.o.

    This is not nice, but it works...
    bw
  • @benjaminl
    Administrator
    106 messages
    Belgium
    Hi Benjamin,
    Yes. You are right, I will try to translate to English, sorry.
    On the other hand, thank you for confirming that we have everything empty.
    Please, you can close your items in our store.
    But, if you look well, they are not items for sale, they are items sold previously.
    It seems that there is an error.
    Best regards.
    • Created on 12 Jun 2018 at 10:05
    • #872488
    Dear Phildom,

    since my last response, I can see you added a large number of items.
    Can you confirm that everything is back to normal for you?
    If not, can you explain what's your remaining issue in order to help you?

    If everything is good, then I will close this subject as soon as I have confirmation from your side.

    Best regards

    Benjamin
    Technical team member
    Delcampe
  • phildom_domfil
    25 messages
    Spain
    Hello Benjamin,
    Thanks for your attention.
    It does not work well.
    We have uploaded 288,122 items and only 229,620 appear.
    How can we solve the problem?
    I look forward to your comments.
    Best regards
  • phildom_domfil
    25 messages
    Spain
    Hello Benjamin,
    Thanks for your attention.
    It does not work well.
    We have uploaded 288,122 items and only 229,620 appear.
    How can we solve the problem?
    I look forward to your comments.
    Best regards
  • @benjaminl
    Administrator
    106 messages
    Belgium
    Dear phildom,

    sorry for the delay and a great thanks for your patience.

    The first thing I can think of is related to the speed of your requests.
    If your server sent the new items too fast, then our server would have reach some limits and would have closed the connection.

    I'm also going to check your logs to see if I can spot any clues about your problem.
  • @benjaminl
    Administrator
    106 messages
    Belgium
    Hello again,

    I couldn't see anything wrong in the logs.

    I will check with our infrastructure wizard to see if the problem came from the between server connection.
  • phildom_domfil
    25 messages
    Spain
    OK thank you very much.
  • @benjaminl
    Administrator
    106 messages
    Belgium
    I can see my colleague is not available right now, I think I will be able to talk to him tomorrow morning.

    I will keep you posted.

    Meanwhile, I wish you a great day.

    Best regards
  • @benjaminl
    Administrator
    106 messages
    Belgium
    Dear Phildom,

    I'm sorry but our system administrator was not available today.
    I couldn't continue my investigation on your case.

    Since I won't be available until Wednesday next week, a colleague of mine will continue to work on your case.

    Thank you for your understanding
  • phildom_domfil
    25 messages
    Spain
    Hello Benjamin,
    We have modified the speed of the upload of items in blocks of 200 items.
    Last week upload 288000 items for sale and just upload 229000
    so they are missing by uploading 58700
    So if it seems right next Monday we will close all sales, again, and we will try to put on sale all the items, 288000.
    I look forward to your instructions.
  • @olivier
    Administrator
    244 messages
    Belgium
    Hi phildom_domfil,

    You can insert your objects without worries as soon as you wish.

    What is important is not to make too many simultaneous requests or our server may not process all of your data. You should check in a log the API returns for a better vision of the problem.

    I follow this topic to help you.
  • phildom_domfil
    25 messages
    Spain
    Good morning Benjamin,
    Contact again with you to inform you that yesterday we put our items on sale again.
    Our system together with your API raised 287500 items approx.
    But only 232,000 items are shown, so there are 55,500 items missing for sale.
    We have followed all your indications but it still does not work.
    We have used the bulk function of your API, by uploading items in packages of approximately 200, well below the 1000 that supports the function according to what it says in your documentation.
    In the callback of calls to your API do not report all items, to some process, some of them do not get any response, neither good nor bad. We do not know if they process them or their server they are "ignoring".
    How can we put all our items on sale?
    I look forward to your comments.
    Best regards.
  • @benjaminl
    Administrator
    106 messages
    Belgium
    Good morning Benjamin,
    Contact again with you to inform you that yesterday we put our items on sale again.
    Our system together with your API raised 287500 items approx.
    But only 232,000 items are shown, so there are 55,500 items missing for sale.
    We have followed all your indications but it still does not work.
    We have used the bulk function of your API, by uploading items in packages of approximately 200, well below the 1000 that supports the function according to what it says in your documentation.
    In the callback of calls to your API do not report all items, to some process, some of them do not get any response, neither good nor bad. We do not know if they process them or their server they are "ignoring".
    How can we put all our items on sale?
    I look forward to your comments.
    Best regards.
    • Created on 27 Jun 2018 at 05:11
    • #878422
    Dear Phildom,

    thank you for your patience.

    We are currently investigating your case.

    I will get back to you asap.
  • phildom_domfil
    25 messages
    Spain
    Hello,
    The problem is that delcampe does not return information about the items sent.
    We have more than 60,000 items to put on sale, how can we solve it?
    Thanks
  • @benjaminl
    Administrator
    106 messages
    Belgium
    Good morning Phildom,

    Our investigation could not be able to determine the origin of your problem yet.

    Meanwhile, can you tell me if you catch all the return of our server?

    You said you didn't receive a response every time, can you give me more details about that eventually?
  • phildom_domfil
    25 messages
    Spain
    Hello,

    Neither speed nor communication represent any kind of problem, all communications work perfectly between our servers.

    When we make a bulk request we usually send 200 items, which represents only 20% of the load that your server supports (according to the documentation it supports 1000 each time). However, in the response received (which we receive correctly and completely) we see that some of the items sent are omitted. We do not know if they have been correctly processed or discarded or ignored.

    For example, if we send you the items 2000, 2001, 2002 and 2003 to process, it may be that in your answer you only give us back information about 2000, 2002 and 2003. What happened to 2001?

    In what proportion does this happen? Well, we have noticed that of every 200 envoys there are missing about 30 in your answer. Approx. between 10% and 20% are ignored. Why?
  • phildom_domfil
    25 messages
    Spain
    Hello,

    Neither speed nor communication represent any kind of problem, all communications work perfectly between our servers.

    When we make a bulk request we usually send 200 items, which represents only 20% of the load that your server supports (according to the documentation it supports 1000 each time). However, in the response received (which we receive correctly and completely) we see that some of the items sent are omitted. We do not know if they have been correctly processed or discarded or ignored.

    For example, if we send you the items 2000, 2001, 2002 and 2003 to process, it may be that in your answer you only give us back information about 2000, 2002 and 2003. What happened to 2001?

    In what proportion does this happen? Well, we have noticed that of every 200 envoys there are missing about 30 in your answer. Approx. between 10% and 20% are ignored. Why?
  • @benjaminl
    Administrator
    106 messages
    Belgium
    Dear Phildom,

    thank you for your patience.

    Your case is quite unique for now and therefore difficult to investigate.
    We are currently not able to find the origin of your problem.

    Do you think it would be possible to have an example of an Item that has been ignored by our system?
    Maybe there is a specificity with those.

    By the way, I only realize now that you're using the Soap version of our API.
    Please note this version is older than the REST version and it's not supported anymore.
    I strongly suggest you implement our REST API instead.
    I'm not certain if it's going to solve your problem but it will certainly help you to prevent eventual bugs and also allow you to benefit from future development.

    Kind Regards

    Benjamin
    Technical Team Member
    Delcampe

Join the collectors community

Register Login