あらかじめ失われたデータ達よ。オンラインストレージとバックアップソフトの検討

はじめに

amazon unlimitedが無制限でなくなり、crashplanが個人用のサービスを止めてから一時オンラインバックアップを保留していましたが、最近の災害などを鑑みて改めて検討してみました。

写真などテラバイト単位でのバックアップを前提に。100GBぐらいのバックアップはgoogle driveやdropbox、boxなどで足りるかと思います。

結論

先に結論から書いておきますと今回はオンラインストレージは「wasabi」。バックアップソフトは「Duplicacy」を使うことにしました。

このさきいつamazon unlimitedやcrashplanのようになるかわからないですが2018年現在、写真をテラバイト単位でバックアップするのにこの組み合わせが最適だと判断しました。

デジタルカメラになってフィルムのコストは掛からないですが、デジタルデータの保管、運用まですべて含めたコストはフィルムとそんなに変わらないか、むしろよりかかっているかも知れないです。（ちゃんと計算したことはないですが。体感）写真を生業にしない人が子供の写真などを成人するまで保管しておくのはなかなか大変なことのように思えます。

データはいつか無くなる。あらかじめ失われたデータ達よ。

個人向けネガスキャンのサービスが近年たくさん出てきていますが、データの儚さについて。かつて田原総一朗が映画監督で、加納典明が出演していたこともいつかは忘れられていきます。

フィルムをデータにして保存すれば確かにデータ自体はフィルムと違い劣化はしないので、それは永遠の存在のように感じます。しかしそのデータを長期間に渡って保存することの大変さについては忘れがちになります。デジタルデータの保存期間で主に問題になるのは下記の3点です。（ここで想定している長期保存は10年、30年とういう期間で考えています。）

これらのほか物理的な要因による水没、焼失、落雷などはフィルムと同じようにリスクはあります。

1. メディア（記憶媒体）
   テープ、光メディアでは10年程は読み出し可能であるといわれています。HDDについてはblackbazeの下記のリンクから詳しく書いてあります。壊れるか壊れないかではなくいつ壊れるかが問題です。壊れることが前提で考えるべきです。バックアップがTimemachineだけだとかなり危険です。TimeMachineはosのバージョンが違ったりすると復元エラーが出ることがあります。

   If you extrapolate the line from the previous chart to estimate the point at which half of the drives have died, you get a prediction:

   The median lifespan of a drive will be over 6 years.

   https://www.backblaze.com/blog/how-long-do-disk-drives-last/

2. 再生機器（ハードウェア）
   30年ぐらいたったハードウェアは再生不可能。現在もMOやZIP、FDDなどはメディアがあっても再生機器がなく読み出すのは古いコンピューターを保存しておかないとできないです。HDDの規格もSCSIからSATAになり近年はM.2などの規格も出てきています。HDDはあっても接続する機器がないという問題が出てきます。
   かつて大学の図書館にあったレーザーディスクやVHSのライブラリはどうなったのでしょうか？
3. 再生機器（ソフトウェア）
   保存形式をソフトウェアがこの先いつまでサポートするか分からないです。今現在、標準的なソフトウェア自体がいつまで標準で使われているか分かりません。RAW現像ソフトもいつまで過去のカメラのraw形式に対応するかもわかりません。動画用のソフトはここ１０年で目が苦しく変わりました。infernoのような高価なシステムは姿を消し、NUKEやDavinci Resolveになっていきました。DTP用のQuarkXPressはMac OS Xを機にInDesign置き換わり、Pagemakerなどはいつの間にか姿を消しました。

失われるデジタルデータにどのように向き合うべきなのか？

このような問題に対処するためにマイグレーション（定期的なデータ移行）とエミュレーション（古いフォーマットや媒体のままのオリジナルのデータを疑似的に再生できるようにすること）が推奨されています。下記に総務省と国立国会図書館のリンクを張っておきます。

総務省の「デジタルデータの長期保存・利用について」
http://www.soumu.go.jp/main_content/000225130.pdf

Q,デジタルカメラの画像を孫の代まで保存するにはどうしたらいいですか？
中略

まだまだ、個人レベルでデジタルカメラの画像を保存するための最良の方法は確立していないといえます。

国会国立図書館　よくある質問：電子データの保存

http://www.ndl.go.jp/jp/help/preservation2.html

つまり、常に保存メディアの更新と保存形式、ソフトウェアについて注意を払い続けることが必要とのことです。フィルムの保管のように湿度を管理してカビないようにするだけではどうやら長期の保存は難しそうです。

上記の保存メディアと再生機器（ハードウエア）の長期保存での問題点の回避と、災害なども含めた物理的なデジタルデータの喪失を防ぐために改めてオンラインバックアップを検討することにしました。

オンラインストレージとバックアップソフトの検討

オンラインバックアップもサービスの廃止やサービス会社の倒産など完全なものとは言えないですが、個人でのバックアップとは比べ物にならないくらいの堅牢性（amazon S3は99.999999999%）を備えていますし、災害など観点からも別の場所にバックアップがあることは優位性があります。データのサイズによりますが、コスト面が最大の問題点になるかと思います。

今回オンラインストレージを探す要件は1TB以上から30TBぐらいまでのデータ容量で、頻繁な読み書きはせず、あくまでローカルでのバックアップ（NASなど）が失われた場合の保険的なバックアップです。ゆくゆくはすべてのバックアップをオンラインに置き換えることも念頭において検討します。

バックアップに使うソフトウェアは管理のしやすさと速度、外付けHDD、NASに対応、ローカルでの暗号化、いろいろなOSで動くこと、ソフトウェアの開発がなくなる可能性が低いものを検討します。

正直どちらも種類がありすぎて、全て検証している時間もないので、暫定的なものにならざるおえません。詳しい人がいたら教えてください。

オンラインストレージ

Amazon glacier $0.005 / GB　https://aws.amazon.com/jp/glacier/

まずすぐには潰れることがないだろう会社Amazon。ショッピングサイトで有名ですが、クラウドストレージも本業です。Amazon glacierは圧倒的な堅牢性とamazonブランドで最も信頼性が高いストレージですが、ファイルの管理が難しいのと、データの読み出し速度に応じて課金されるので今回は見送ることに。

blackblaze B2 $0.005 / GB　https://www.backblaze.com/b2/cloud-storage.html

オンラインストレージの老舗。個人向けで1台のパソコンを$5/月で容量無制限にバックアップできますが、バックアップソフトが専用ソフト限定であったり、NASには対応していないのでblackblaze B2を検討。Amazon glacierの完全に対抗サービスであるけども、こちらも読み出しに課金されます。トライアルがいまいち制限があり試しきれなかったので今回は見送り。

wasabi $0.0049 / GB　https://wasabi.com/

最安値。しかも読み出しに関しては一切課金されないので単純に保存容量のみ月額で支払い。しかし最低料金が1TBからなので容量が少ない人は割高になる可能性もあります。速度も速く今回はこれを使うことにしました。

除湿機　コンプレッサー式　180w 1日5時間で30日　約730円

フィルムやプリントの保管で除湿機つけっぱなしの人もいると思うのでとりあえず1ヶ月の維持費。これはオンラインストレージではありません。

バックアップソフト

arq https://www.arqbackup.com/

インターフェイスも使いやすく復元ツールは公開されています。良いソフトなのですが速度が遅い。いつまで経ってもアップロードが終わらないので今回は導入見送りしました。8GBアップロードするのに2時間もかかったので途中で停止しました。winとmacに対応。

qbuckup https://www.qualeed.com/ja/qbackup/

速度も早くインターフェイス使いやすいがスケジュールに対応していないのでコマンドでスケジュールを作る必要あり。ソフトウェアがなくなった場合の復元方法など不明点があり今回は見送りました。win、mac、linuxに対応しているのも好印象。

Duplicacy https://duplicacy.com/

速度もはやく重複排除もあり高性能。インターフェイスに癖がある。もともとコマンドラインで使うものなのでしょうがない部分もあります。コマンドライン版はオープンソースで無料で公開されていますので、ソフトの開発が止まっても復元は可能です。フォーラムも充実していたので今回はこれを導入することにしました。win、mac、linuxに対応。