何十年もの間、データストアはアプリケーションを認識せず、アプリケーションもデータイベントを認識しませんでした。アプリとデータの分断は、断片的なデータパイプラインと、ストリームと分析を分けるバッチ処理文化を生み出しました。
VAST Data Platformは、データ処理とイベント通知をネイティブに統合することで、データストリーミングとグローバルな洞察とのトレードオフを打破します。
新しいデータタイプ（関数やトリガー）をサポートすることで、VAST Data PlatformはJavaScriptがWebサイトにインタラクティブ性を与えたのと同じように、データを動的に進化させます。
VAST DataEngineでは、データやその変化がアクションをトリガーし、そのアクションがデータに作用し、システムが永遠に再帰的に処理を続けます。このエンジンは永続的なAIトレーニングと推論の基盤であり、未来のAI主導の発見の土台となることが期待されます。
DataEngineは、顧客がCPU・GPU・DPUなど任意のハードウェア上にデプロイできるコンテナ化された計算環境です。VAST Data Platformにロジックを直接組み込むことで、データアクティビティによってリアルタイムに処理イベントをスケジューリングできます。
VASTのDataEngineは、開発者が自身のコードを持ち込めるPythonベースのプログラミング環境を提供します。加えて、すぐに使える複数の組み込み関数も用意されています。
含まれる機能は以下の通りです：
データインデックス作成
ファイルヘッダーのインデックス化
PII（個人識別情報）の検出
ランサムウェアの検出
テーブル・トピック・ファイル間のストリーミング
データ拡張処理
VAST DataEngineは、VAST Event Brokerを搭載した次世代のイベントストリーミングインフラを提供します。これにより、イベントをネイティブかつリアルタイムでテーブルとしてVAST DataBaseのエクサバイトスケールのトランザクション・分析機能に書き込むことが可能になります。これまでにない形で、すべてのストリーミングデータを継続的に分析することが真に実現可能となり、リアルタイム分析や動的AIアプリケーションに向けた即時インサイトを引き出すことができます。
VAST Event Routerは、非構造データと構造化データのイベント管理を統合し、イベントコンシューマにアクションを起こすためのシンプルなツールを提供します。
トリガーと関数をVAST Data Platformのステートとして保存することで、コードはグローバルなコードバージョン管理・配信・セキュリティポリシーに対応する動的なグローバルデータストアにより管理されます。
VAST DataEngineは、Pythonでプログラム可能なサーバーレスプラットフォームであり、ステートフルな関数をエクサバイト級のデータストアに統合します。
ストリーミング処理とデータ処理を、エクサバイト級のデータストアとデータベースに統合することで、最小限のコードで包括的な関数呼び出しを実現します。
VAST DataEngine はコンテナフレームワーク上に構築されており、VAST DataSpace全体でサービスをグローバルに実行可能です。
