なぜ6300万ファイルを持つ36TBのLTO-9カートリッジが次の「大災害復旧ストーリー」になるのか Versityのオーディション出力が私のデスクトップ上に到着したとき、私はほぼコーヒーを注ぎました。ここに約6300万ファイルと約36テラバイトのデータ(2:1の圧縮比を仮定する)を持つLTO-9テープがあり、そのグループのアーカイブスペースのコレクションのほぼ15%を占めました。2番目のテープは4000万ファイルを超え、残りのコレクションは、約150テラバイトと41500万個の個々のオブジェクトに合計する20以上のキャトリッジに広がりました。良いニュース?テープは読み取れることができます。悪いニュース?現在のパウトプットとファイルサイズの配布では、すべてのデータを思い出し、半月以上かかります - ファイルのサイズ 私は4mm DATからLTO-9、そしてそれ以降のテープ世代を経て生きてきました. I have architected library farms, shepherded migrations, wrangled object counts most people  want to see. And I’m on record saying this clearly:  次第にメディア上で大きな量の小さなオブジェクトをどのように保存し、保護し、管理するかを再考しない限り。 決して a single, monolithic preservation object — especially tape —   become a liability CAN CAN なぜか解約し、進路を図ろう。 Why This Matters なぜこれが重要なのか Linear Tape-Open (LTO) のような磁気テープ技術は、極めて低いエネルギー使用量と高メディア寿命でコスト効率の高い容量のストレージを提供するため、アーカイブ、バックアップ、長期保存に不可欠です。 ] Ultrium LTO しかし、その強みは弱さを隠している。 メタデータエンジンと分散削除コードがテーブルストックであるクラスターディスク/オブジェクトストアとは異なり、テープはしばしば - ソフトウェアとオプションによって同様に - ブラックボックスとして扱われます:コンテンツをカバーし、それを忘れ、最善を希望します。 tape is sequential and singular in structure 以下がコアの緊張: 
 
 
 
 高いオブジェクト数を持つデータ量の増加は、回顧および統合性の複雑さを高めます。 伝統的なテープ保護戦略は、一つのメディア上で何億もの規模のオブジェクトのために設計されたことはありません。 可用性、回復性、自動化に関する現代の期待は、テープの順序的で線形的な性質と一致していません。 これはもはや仮説的なエッジケースではありません. あなたはこのプロダクションに走っています。 What People Usually Miss 普段人が懐かしく思うこと 人々を盲目にする一般的な誤解を解消しましょう: A. “Tape capacity growth means tape can store anything.” LTO10テープ マルチテラバイト(LTO-9より高い)ですが、原発容量は 回収可能な制約を軽減します. Tape throughput and capacity metrics gloss over 何十億もの小さな物体が関与しているときの回想時間を支配する。 耐えられる ノー seek delays, threading latencies, and multiple file overhead テープが物理的に100TBを記録できるという事実は、ファイル/オブジェクトレベルでスケールを設計しなかった場合に、これらの100TBを読み返すことがどれほど長く、高価で脆弱であるかを解決するものではありません。 B. “Sequential media doesn’t need modern protection.” テープ用のほとんどすべてのデータ保護プレーブックは以下に下がります: 
 
 
 
 Copy the tape (Create duplicates) (テープをコピーする) 個別に保存する 希望も悪くない そしてあなたは祈る――チェックサムなし?交差点検証なし?継続的な保護なし?これは2025年に再現される90年代半ばの考え方です。 一方、ディスク上の分散型オブジェクトストレージでは、削除コードとバージョニングが標準です。 これらの概念を適用するために、 . 表面をほんのわずかにぶら下げ スケール C. “If the tape reads today, it’ll read tomorrow.” テープメディアの忠誠度は高いが、そうではない。 LTOおよび他の磁気テープは、ディスクと比較して優れた実験的信頼性値を持っていますが、それはメディアレベルではなく、ディスクレベルです。 レベル. あなたが小さな平均サイズの数千万のオブジェクトを1つのメディアにパッケージすると、あなたはリスクを合計します. A localized media defect or servo problem can threaten a huge fraction of a dataset. 無邪気 オブジェクト構成 D. “Backups are backups.” Traditional backup vs. preservation cloud mythology blinds teams. テープ保存データ リコール時間とアクセスパターンに対する期待は根本的に異なります。 , and the failure modes cannot be treated like disk array or cloud object stores. 故障モードは、ディスクアーレイやクラウドオブジェクトストアのように扱うことはできません。 バックアップデータと交換できない 読書支配 The Core Risk Vector: Single Medium, Exponential Objects コアリスクベクター: Single Medium, Exponential Objects 400 万個のオブジェクトを含む 100 TB のアーカイブが責任になる理由を定量化しましょう。 
 
 
 
 
 平均的な検索時間は小さなオブジェクトで倍増します - スループットはしばしば数十MB/sから単位数字に崩壊します。 図書館やマネジメントシステムは数千万のエントリのインデックスを維持するために苦労している。 リコールの遅延は無制限になります. 数週間または数ヶ月で、使用できないデータの遅延、特にコンプライアンスまたは法的保有の結果を復元します。 修理サイクルは非実用化されます. テープが悪くなった場合,あなたは高価な法医的な復元や二次コピーからの再構築を見ています。 そこで、これまで違反しなかった「テープ・インテリジェンス」の仮定が失敗する:規模で、 . リスクはオブジェクト密度によって拡大される。 How Do We Build a Resilient Tape Preservation Environment? The Pro Position 耐久性のあるテープ保存環境をどのように構築するか? プロポジション I am unequivocally in the “tape preservation can be safe *if re-engineered” camp. The traditional model of tape + copies is short sighted for high-density object collections. 以下、私が主張するもの: A. On-Tape Erasure Coding 応用 単純なエラー修正でオブジェクトを線形に記録する代わりに、リード-ソロモンまたは類似の削除コードをカートリッジ内のデータストリップに組み込む。 erasure coding directly within the cartridge’s data organization これは理論的なものではありません - 磁気テープの削除コードのための特許は、有効なビットエラー率を低減し、局所的な損失からの回復を可能にするためにデュアルリード・ソロモンコードを使用しています。 ] 【特許】 このモデルは、「エラーを見つけるためにテープ全体を読み取る」から「破損していない平等ブロックから失われたストリップを再構築する」に変わります。 B. Cross-Tape Redundant Arrays of Independent Tapes (RAIT) RAIL/RAIT(Redundant Array of Independent Libraries/Tapes)と呼ばれるテープ間の過剰な配列の概念は、削除コードを拡張します。 複製の代わりに、テープ間の平等性を用いて、データの回復を可能にします。 . across multiple cartridges タイトル: One tape fails entirely ThinkMind RAITの実施は、以下のことを意味します。 
 
 
 
 Distributed parity across tapes(テープに分布する平等) どのテープがどのストリップを保持しているかを知るスマートなカタログ すべてのテープをロードせずに再構築できる再構築アルゴリズム これはテープに適用された現代のデータセンター思考です。 C. Holistic Tape Media Protection A single tape cartridge acts as a 組み込まれたサーボトラック、磁気駆動、およびメディア負荷は現実です。 有限信頼性の信号装置 
 
 
 
 On-tape checksums per object(ブロックだけではない) 図書館メタデータからの継続的な健康追跡 使用と健康に基づくプロアクティブテープ交換 Cleversafeのようなオブジェクトストアは、情報分散アルゴリズムを使用して、ノードを越えた切片を処理しました - テープは類似した細かさが必要です。 ] ウィキペディア:Wikipedia D. Multi-Tape Object Distribution ドー 何百万もの小さな物体を一つのカートリッジにまとめ、以下に基づいて複数のテープに分布します。 ノー 
 
 
 
 
 物体サイズ 思い出の確率 アクセス緊急 リスクプロフィール これは、シェーディングに似ていますが、テープの場合、データセットをテープ間の断片に分割すると、個々のテープの故障が少なくなります。 E. Intelligent Tape Management Software ほとんどの環境に欠けているものは、 : メタデータ知能 
 
 
 
 
 Queryable object catalogues disconnected from linear tape structure (リニア・テープ構造から切り離されたクエリ可能なオブジェクトカタログ) 削除コード追跡のサポート テープロード/unload スケジュール 予測回復最適化 Object preservation software must become tape-aware, not tape-adjacent. オブジェクト保存ソフトウェアは、テープに近いものにならなければなりません。 Current Tape Market and Preservation Software Landscape Current Tape Market and Preservation Software Landscape(テープ市場と保存ソフトウェアの現状) A. What’s Available Today 
 
 
 
 LTO Ultriumは、継続的な生産能力の増加と強力なエコシステムのサポートを伴う支配的なオープンテープ形式です。 主要なテープライブラリメーカーは、強力なメディア寿命予測を備えた高容量ロボットとドライブを提供しています。 RAIL/parity をテープを通じて促進するいくつかのアーキテクチャ(例えば、いくつかの製品で販売されている二次元削除コードの実装)があります。 しかしながら、大半の コードやクロステープの平等性を削除しないでください。 業界の採用は「コピー + Vaulting」レベルにとどまっている。 B. What Needs to Change こちらはThe エンジニアリング・エグゼクティブ・リーダーシップについて: 肉 B.1 Tape Protocols Must Evolve B.1 テープ・プロトコルは進化しなければならない テープファイルシステムは、以下を組み込む必要があります。 
 
 
 
 Native erasure coding support 分散メタデータ Parallel Access パラダイム これがなければ、テープは常にシロード、脆弱なメディアになります。 B.2 Tape Libraries Must Expose Metadata APIs B.2 Tape Libraries Must Expose Metadata API 図書館は: 
 
 
 
 標準化されたサービスを通じてオブジェクトレベルのメタデータを提供する Recall Planning and Pre-fetching を有効にします。 健康テレメトリーを単純な読み書き数を超えて提供する Until library makers treat metadata as first-class, automation will fail. B.3 Preservation Software Must Treat Tape Like an Object Store B.3 Preservation Software Must Treat Tape Like an Object Store (保存ソフトウェアはテープをオブジェクトストアのように扱うべき) 伝統的なバックアップフレームワークはテープをボールとして扱う - ではなく この考え方は変わらなければなりません. 現代の保存は: 生活貯蔵 
 
 
 
 
 不変 アクセス可能 Distributed 自己癒し テープは4人でプレーしなければなりません。 C. What Patents and Research Indicate あるある : patents tailored to tape protection and cross-media erasure coding 
 
 
 
 US11216196B2は、磁気テープ内でデュアルリード・ソロモン削除コードを適用し、エラー回復を改善することを説明しています。 US12099754B2 (Quantum に割り当てられた) は、複数のメディアを介してオブジェクトをストレージおよび回収し、多媒体、潜在的に複数のテープの抵抗戦略を示唆します。 Early work (not tape specific) shows adaptive erasure codes for distributed systems, which could inform tape strategies. (テープ特有ではない) ディストリビューションシステムのための適応的な削除コードを示す。 US11216196B2 US12099754B2 言い換えれば、The しかし、市場の採用は遅れている。 intellectual groundwork exists Designing for Tape Failure Tolerance 「Tape Failure Tolerance」 では、保存プログラムを損なうことなく失敗に耐えられるテープ生態系をどのように構築するのか。 A. Tape Grouping and Parity Sets 創る RAID SETTES とは: tape groups 
 
 
 
 各グループにおける平等テープ データテープはハッシュに基づいてオブジェクトを配布する テープ失敗時の自動パリシー再構築 このモデルは、テープを失うと自動的にデータが失われないことを意味します。 B. Cross-Tape Redundancy Checking 定期的なビットスキャンの代わりに 実施  — compare object references across parity sets and  これは、レジリエントなストレージシステムがディスククラスターで行うことである; テープはアイデアを借りなければならない。 カートリッジ cross-tape consistency checks 統計的にコンテンツの整合性を確認する C. Object Index with Parity Awareness あなたのカタログは理解する必要があります: 
 
 
 
 平等が暮らす場所 どう再構築するか どのテープが不可欠であるか vs. redundant これがなければ、平等はただの装飾に過ぎない。 D. Tiered Recall Scheduling Legacy recall jobs are ad-hoc. Modern systems should: 
 
 
 
 Pre-slot recall batches シングル ロボット活動を優先順位でスケジュール ドライブ利用の最適化 これにより、頭部とロボットの磨きを最小限に抑え、予測性が向上します。 CIO/CTO Takeaways: Risk, Cost, and Strategy CIO/CTO Takeaways:リスク、コスト、戦略 A. Risk Exposure High Object Density Tape ディスククラスターがそうでない方法で、平等戦略がなければ、あなたは: single points of failure 
 
 
 ウィンドウの復元から数カ月 早期にデータが必要な場合に組織をコンプライアンス違反にさらす 上級リーダーシップは「メディアライフ」の指標を超えてテープリスクを見なければならない。 B. Cost vs. Resilience Yes, erasure coding and RAIT strategies consume  平等性のための能力 - しかし、彼らは再構築と長い回収時間の運用リスクを劇的に削減します。 いくつか C. Future Roadmaps テープは容量を増やし続けますが、アーキテクチャが進化しない限り テープはますます柔らかくなりますので、 データのスケールとオブジェクト密度 
 
 
 
 Tape drives with native parity support ライブラリ ベンダーによって暴露されたメタデータ API Distributed, Coded Storage に設計された保存ソフトウェア これがなければ、テープはゆっくりと、より大きなシロに過ぎません。 Conclusion: Tape Is Not the Enemy — Ignoring Scale Is 結論:テープは敵ではない - スケールを無視することは I will say it flatly:  tape will remain essential — but only if we stop treating it as a dumb sequential volume and start treating it like a distributed, protected, and codified store. 何億ものファイルを含む100TBのテープは資産ではなく、 必要に応じて効率的かつ信頼できるように覚えられること、そして今、その賭けは、 ほとんどの環境で、近代的な保護戦略がありません。 ベット 大きすぎる モデルを調整してください. テープに余剰性を構築してください. オブジェクトを拡散してください. 平等性を適用してください. そして、保存エコシステムが保存しようとしているデータと同じくらい抵抗性があることを確認してください。 Tape as liability is not about media — it’s about architecture.

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

「ビッグテープ」がストレージ資産であることをやめ、放射性データ廃棄物のように行動し始める時

About Author

コメント

ラベル

この記事は

Related Stories

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

ワークフローを10倍に向上させる方法: 必須アプリ17選

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

ワークフローを10倍に向上させる方法: 必須アプリ17選

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps