hachiflow.com

Esta entrada trata de Buzz, nuestro producto anterior. Hoy construimos Waggle.

Exportaciones

El muro de los 200 MB: sacar por la puerta un espacio de 100 GB

Las peticiones que atraviesan CDN y proxies tienen techos de tamaño, y una exportación de cliente es un único archivo. La subida multiparte es el arreglo aburrido y correcto, y no lo dimos por hecho hasta que un archivo de 260 MB salió por el otro lado, byte a byte.

La promesa y el techo

Vendemos espacios de trabajo con 100 GB de almacenamiento de archivos, y prometemos que un cliente puede irse con todo. Una exportación de cliente es un único archivo. Y cada petición HTTP que pasa por CDN y proxies tiene un techo de tamaño por petición; en nuestra ruta era de 200 MB. Junta esas tres frases y la conclusión es fea: un espacio de trabajo que de verdad hubiera usado su almacenamiento no podía irse.

Una promesa de portabilidad de datos que no puedes cumplir es peor que no prometer nada, porque el cliente lo descubre en el momento de irse, el peor momento posible para enterarse de cualquier cosa. Así que la ruta de exportación tenía que dejar de depender de que el archivo cupiera en una sola petición.

El arreglo es aburrido, y eso es un elogio

Subida multiparte: dividir el archivo en partes uniformes, subirlas una tras otra, cada una holgadamente por debajo del techo, y dejar que la capa de almacenamiento las reensamble en un único objeto. El almacén confirma el conjunto terminado devolviendo el tamaño que ensambló, y el cliente contrasta ese dato con los bytes que envió. Nada ingenioso, ningún protocolo nuevo. El techo deja de ser una propiedad del archivo y pasa a ser una propiedad de una parte, y las partes miden lo que nosotros digamos.

Los archivos pequeños siguen subiendo en una sola petición; la maquinaria multiparte entra en juego a partir de un umbral. Lo que importa es que la decisión se toma sobre el tamaño real del archivo, así que ningún espacio de trabajo vuelve a ir a parar contra el muro.

un archivo, 260 MB 200 MB por petición una petición: rechazada partes uniformes, subidas en orden reensamblado en el almacén etag …-5 la huella del almacén cuenta las partes
Una sola petición no puede llevar el archivo más allá del techo por petición. Las partes uniformes sí, y la huella propia de la capa de almacenamiento, un sufijo de etag que cuenta las partes, es el recibo de que el reensamblado ocurrió de verdad. Ante cualquier fallo el cliente aborta, porque las partes a medio subir son almacenamiento invisible que se factura.

El modo de fallo que nada lista

La subida multiparte tiene un filo peligroso. Hasta el paso final de ensamblado, las partes subidas son invisibles: ningún listado las muestra, todavía no existe ningún objeto, y el almacenamiento las cobra igual. Un cliente que se cae a mitad de camino y se desentiende deja bytes pagados e inalcanzables que nada va a sacar nunca a la luz.

Así que la regla es absoluta: ante cualquier fallo, el cliente debe abortar la subida de forma explícita, lo que le indica al almacén que descarte las partes acumuladas. Nuestro cliente aborta en cada ruta de fallo, a propósito, porque el almacenamiento que no ves es el tipo de fuga que sobrevive a cualquier auditoría que solo mira lo que existe.

Una batería de pruebas en verde no era la prueba

El cliente multiparte pasaba sus pruebas contra una imitación estricta de la API de almacenamiento. Después hicimos lo que las pruebas no pueden hacer: cargamos nuestro propio espacio de trabajo por encima del techo antiguo y sacamos una exportación real, de extremo a extremo, contra producción.

El archivo salió con algo más de 260 MB, se generó en menos de un minuto y se descargó entero, byte a byte. Y la capa de almacenamiento nos dio el recibo sin que se lo pidiéramos: su huella del objeto llevaba el sufijo multiparte, un etag terminado en -5, la forma que tiene el propio almacén de decir que ensambló el objeto a partir de cinco partes. Ese sufijo no puede aparecer en una subida de una sola petición. Es la única línea del registro del simulacro que demuestra que se ejecutó la ruta nueva, y no que la vieja tuvo suerte con un archivo más pequeño.

Volvimos a calcular el hash de uno de los archivos extraídos y coincidió con su dirección de contenido: el propio mecanismo de integridad de la exportación haciendo su trabajo. La exportación sigue siendo lo que siempre fue: un registro verificable de tu espacio de trabajo, no un botón de restauración.

Prueba el techo que vendes

La lección se generaliza. Nuestra batería de pruebas ejercitaba el techo que teníamos, con imitaciones; la página de precios vende uno mucho más alto. La única evidencia honesta es un espacio de trabajo real llevado más allá del punto donde la ruta vieja se rompía, observado de extremo a extremo. Un simulacro de 260 MB no es un simulacro de 100 GB, y seguiremos subiendo el listón, pero el muro en sí ya no está: a partir de aquí, el tamaño añade partes, no mecanismos nuevos. Prueba el techo que vendes, no el techo que tienes.

← Todas las notas