hachiflow.com

この記事は、当社の以前の製品 Buzz についてのものです。現在、当社は Waggle を作っています。

エクスポート

200 MB の壁。100 GB のワークスペースを外に出すまで

CDN やプロキシを通るリクエストにはボディサイズの上限があり、顧客エクスポートは一つのアーカイブです。マルチパートアップロードは地味で正しい解決策ですが、260 MB のアーカイブが 1 バイトも欠けずに反対側へ出てくるまで、完成とは呼びませんでした。

約束と上限

私たちは 100 GB のファイルストレージ付きでワークスペースを販売し、お客様はすべてを持って出ていけると約束しています。顧客エクスポートは一つのアーカイブです。そして CDN やプロキシを通る HTTP リクエストには、どれもリクエストごとのボディサイズの上限があり、私たちの経路では 200 MB でした。この 3 つの文を並べると、結論は厄介です。ストレージを実際に使い込んだワークスペースは、出ていけなかったのです。

実行できないデータポータビリティの約束は、約束しないより悪いものです。お客様がそれに気づくのは出ていくその瞬間、何かを知るには最悪のタイミングだからです。だからエクスポートの経路は、アーカイブが一つのリクエストに収まることを前提にするのをやめる必要がありました。

解決策は地味。それが褒め言葉です

マルチパートアップロードです。アーカイブを均一なパートに分割し、それぞれ上限を十分に下回るサイズで順番にアップロードし、ストレージ層に一つのオブジェクトとして再結合させます。ストアは組み上げたサイズを返すことで完成を確認し、クライアントはその値を自分が送ったバイト数と照合します。巧妙な工夫も、新しいプロトコルもありません。上限はアーカイブの性質ではなくパートの性質になり、パートのサイズは私たちが決められます。

小さなアーカイブは今も一つのリクエストで送られ、しきい値を超えるとマルチパートの仕組みが働きます。重要なのは、その判断がアーカイブの実際のサイズに基づいて行われることです。これで、壁に向かって送り出されるワークスペースはもうありません。

一つのアーカイブ、260 MB リクエストあたり 200 MB 一括リクエスト: 拒否 均一なパートを順番にアップロード ストレージ内で再結合 etag …-5 ストアのフィンガープリントがパート数を数える
一つのリクエストでは、リクエストあたりの上限を越えてアーカイブを運べません。均一なパートなら運べます。ストレージ層自身のフィンガープリント、パート数を数える etag のサフィックスが、再結合が本当に起きた領収書です。失敗したときは必ずクライアントが中止します。アップロード途中のパートは、目に見えないまま課金されるストレージだからです。

どこにも表示されない失敗

マルチパートアップロードには、鋭い落とし穴が一つあります。最後の結合ステップまで、アップロード済みのパートは目に見えません。一覧には表示されず、オブジェクトもまだ存在しないのに、ストレージの料金はしっかりかかります。途中でクラッシュしてそのまま放置したクライアントは、料金のかかる、誰もたどり着けないバイト列を残します。それが表に出てくることは決してありません。

だからルールは絶対です。どんな失敗でも、クライアントはアップロードを明示的に中止し、蓄積されたパートを破棄するようストアに伝えなければなりません。私たちのクライアントは、意図してすべての失敗経路で中止します。見えないストレージは、存在するものしか見ない監査をすべてすり抜ける種類の漏れだからです。

テストが通っても証明にはならなかった

マルチパートのクライアントは、ストレージ API を厳密に模したフェイクに対するテストをすべて通過しました。そのうえで、テストにはできないことをしました。自分たちのワークスペースに旧上限を超えるデータを入れ、本番環境で実際のエクスポートを最初から最後まで取り出したのです。

アーカイブは 260 MB を少し超える大きさで、1 分足らずで作られ、1 バイトも欠けずに丸ごとダウンロードできました。そしてストレージ層が自ら領収書を差し出してくれました。オブジェクトのフィンガープリントにはマルチパートのサフィックスが付いていたのです。末尾が -5 の etag で、これはストアが 5 つのパートからオブジェクトを組み上げたことを示す、ストア自身の表現です。このサフィックスは、一つのリクエストによるアップロードには決して現れません。旧経路がたまたま小さなアーカイブでうまくいったのではなく、新しい経路が実際に動いたことを証明する、ドリルのログの中のただ一行です。

取り出したファイルの一つをハッシュし直すと、コンテンツアドレスと一致しました。エクスポート自身の完全性の仕組みが役目を果たしたということです。エクスポートはこれまでと変わらず、ワークスペースの検証可能な記録であり、復元ボタンではありません。

売っている上限をテストする

この教訓は一般化できます。私たちのテストスイートは、フェイクを使って手元にある上限を確かめていましたが、料金ページが売っているのはずっと高い上限です。誠実な証拠と言えるのは、実際のワークスペースを旧経路が壊れていた地点の先まで押し込み、最初から最後まで見届けることだけです。260 MB のドリルは 100 GB のドリルではなく、私たちはこれからも基準を引き上げていきます。それでも壁そのものはなくなりました。ここから先、サイズが大きくなって増えるのはパートの数であり、新しい仕組みではありません。手元にある上限ではなく、売っている上限をテストしてください。

← フィールドノート一覧