メモ
ストリーム処理におけるレイテンシ保証の仕組みにどんなものがあるか調査したメモ。
ストリーム処理のレイテンシとして気にするべきは、
- 正常時のレイテンシ
- 故障発生時のリカバリ含むレイテンシ
が挙げられそうである。
特許
- ストリームデータ処理における性能保証方法および装置
- 日立製作所
- 予め複数の計算方法を用意しておき、過去の計算結果から
ユーザの要求するレイテンシ、精度を実現する計算方式に
切り替えて処理する仕組みに関する提案
- 切り替え判断の入力とするのは、処理量
- 先行となる特許が2件あるようだ。
- 制御装置、情報処理装置、情報処理制御方法及びコンピュータプログラム
- アプリケーションの遅延要件を考慮して処理する
- 特開2021-60753(P2021-60753A):情報処理システム、情報処理方法、および情報処理プログラム
- 待ち時間を考慮したストリーム処理
論文
- Elastic
Stream Processing with Latency Guarantees
- アブストラクトを読む限り、パフォーマンスを計測し、 適切なスケーリングを実行時に決定する。 これによりレイテンシ保証する。
- この論文の被引用数は大きいので、これを軸に情報を探すとよいか。
- Topology-Aware
Task Allocation for Distributed Stream Processing with Latency
Guarantee
- レイテンシ保証。転送レイテンシとリソース需要を勘案。
- Move Fast
and Meet Deadlines: Fine-grained Real-time Stream Processing with
Cameo
- Cameoの提案。ユーザが指定したレイテンシ対象に従い、イベントのプライオリティを伝搬し制御する。
- Real-Time
Stream Processing in Java
- Java8でストリーム処理。レイテンシ保証もありそう？
- Minimum
Backups for Stream Processing With Recovery Latency Guarantees
- Elastic Stream Processing with Latency Guarantees を引用している論文として見つけた。
- Fault Tolerancyにおけるレイテンシのトレードオフを扱っている。
- Integrated recovery and task allocation for stream processing にもFTに関する記載あり
- Task
Allocation for Stream Processing with Recovery Latency Guarantee
- Elastic Stream Processing with Latency Guarantees を引用している
- 故障発生時のリカバリ遅延を小さくする工夫
- A
Reactive Batching Strategy of Apache Kafka for Reliable Stream
Processing in Real-time
- Elastic Stream Processing with Latency Guarantees を引用している
- バッチベースのストリーム処理ではバッチサイズがデータロスの様子に影響を与えることに着目し、理アクティブなバッチの仕組みを提案
- InferLine:
latency-aware provisioning and scaling for prediction serving
pipelines
- ストリーム処理ではなく、機械学習の推論システムだがレイテンシアウェアな処理の話
- Self-Adaptive
Data Stream Processing in Geo-Distributed Computing Environments
- セルフアダプティブな地理分散ストリーム処理。レイテンシ保証の話とは直接関係ないが、エッジコンピューティングとの関連から。
レイテンシ保証の話ではないが、ウォーターマークに関する取り組みもある。 以下は、2021年の論文。
ソフトウェア
- いわゆるタイムウィンドウ処理やウォータマークの仕組みは既存の ストリーム処理OSSに採用されている。
そのほか
- A
survey on data stream, big data and real-time
- ストリーム処理に関するサーベイ
- A Survey on the Evolution
of Stream Processing Systems
- ストリーム処理に関するサーベイ
参考
特許
- ストリームデータ処理における性能保証方法および装置
- 制御装置、情報処理装置、情報処理制御方法及びコンピュータプログラム
- 特開2021-60753(P2021-60753A):情報処理システム、情報処理方法、および情報処理プログラム
論文
- Elastic Stream Processing with Latency Guarantees
- Task Allocation for Stream Processing with Recovery Latency Guarantee
- Topology-Aware Task Allocation for Distributed Stream Processing with Latency Guarantee
- Move Fast and Meet Deadlines: Fine-grained Real-time Stream Processing with Cameo
- Real-Time Stream Processing in Java
- Watermarks in stream processing systems: semantics and comparative analysis of Apache Flink and Google cloud dataflow
- Minimum Backups for Stream Processing With Recovery Latency Guarantees
- Integrated recovery and task allocation for stream processing
- A survey on data stream, big data and real-time
- A Survey on the Evolution of Stream Processing Systems
- InferLine: latency-aware provisioning and scaling for prediction serving pipelines
- Self-Adaptive Data Stream Processing in Geo-Distributed Computing Environments
- A Reactive Batching Strategy of Apache Kafka for Reliable Stream Processing in Real-time