La promesse et le plafond
Nous vendons des espaces de travail avec 100 Go de stockage de fichiers, et nous promettons qu'un client peut partir avec tout. Un export client est une seule archive. Et chaque requête HTTP qui traverse CDN et proxys a un plafond de taille de corps par requête ; sur notre chemin, il était de 200 Mo. Mettez ces trois phrases bout à bout et la conclusion est laide : un espace qui avait réellement utilisé son stockage ne pouvait pas partir.
Une promesse de portabilité des données que vous ne pouvez pas tenir est pire que pas de promesse du tout, car le client le découvre au moment de partir, le pire moment pour apprendre quoi que ce soit. Le chemin d'export devait donc cesser de dépendre d'une archive qui tienne dans une seule requête.
Le correctif est ennuyeux, et c'est un compliment
L'envoi multipart : découper l'archive en parties uniformes, les envoyer l'une après l'autre, chacune bien en dessous du plafond, et laisser la couche de stockage les réassembler en un seul objet. Le stockage confirme l'ensemble terminé en renvoyant la taille qu'il a assemblée, et le client compare ce retour aux octets qu'il a envoyés. Pas d'astuce, pas de nouveau protocole. Le plafond cesse d'être une propriété de l'archive pour devenir une propriété d'une partie, et les parties font la taille que nous décidons.
Les petites archives partent toujours en une seule requête ; la mécanique multipart s'enclenche au-delà d'un seuil. Ce qui compte, c'est que la décision se prend sur la taille réelle de l'archive, si bien qu'aucun espace n'est plus jamais envoyé droit dans le mur.
Le mode de défaillance qui n'apparaît dans aucun listing
L'envoi multipart a une arête vive. Jusqu'à l'étape finale d'assemblage, les parties envoyées sont invisibles : aucun listing ne les montre, aucun objet n'existe encore, et le stockage les facture quand même. Un client qui plante à mi-chemin et s'en va laisse derrière lui des octets payés et inaccessibles que rien ne fera jamais remonter.
La règle est donc absolue : à la moindre défaillance, le client doit abandonner explicitement l'envoi, ce qui dit au stockage de jeter les parties accumulées. Notre client abandonne sur chaque chemin d'échec, délibérément, car du stockage que vous ne voyez pas est le genre de fuite qui survit à tout audit qui ne regarde que ce qui existe.
Une suite de tests au vert n'était pas la preuve
Le client multipart passait ses tests contre une imitation stricte de l'API de stockage. Puis nous avons fait ce que les tests ne peuvent pas faire : chargé notre propre espace au-delà de l'ancien plafond et tiré un vrai export, de bout en bout, en production.
L'archive est sortie à un peu plus de 260 Mo, construite en moins d'une minute, téléchargée entière, octet pour octet. Et la couche de stockage a fourni d'elle-même le reçu : son empreinte de l'objet portait le suffixe multipart, un etag se terminant par -5, la manière propre au stockage de dire qu'il a assemblé l'objet à partir de cinq parties. Ce suffixe ne peut pas apparaître sur un envoi en une seule requête. C'est la ligne du journal de l'exercice qui prouve que le nouveau chemin a bien tourné, et non que l'ancien a eu de la chance avec une archive plus petite.
Un fichier extrait a été re-haché et correspondait à son adresse de contenu, le mécanisme d'intégrité propre à l'export faisant son travail. L'export reste ce qu'il a toujours été : un enregistrement vérifiable de votre espace de travail, pas un bouton de restauration.
Testez le plafond que vous vendez
La leçon se généralise. Notre suite de tests éprouvait le plafond que nous avions, avec des imitations ; la page des tarifs en vend un bien plus élevé. La seule preuve honnête est un vrai espace de travail poussé au-delà du point où l'ancien chemin cassait, observé de bout en bout. Un exercice à 260 Mo n'est pas un exercice à 100 Go, et nous continuerons de relever la barre, mais le mur lui-même a disparu : désormais, la taille ajoute des parties, pas de nouveaux mécanismes. Testez le plafond que vous vendez, pas celui que vous avez.