About tream table theory

Kafka

参考

Foundations of streaming SQL stream & table theory (General theory) の通り、ストリームデータとテーブルデータの関係性を論じたもの。

上記の内容の全体は、 OReillyのStreaming Systems に記載あり。

これらは、ストリーム・テーブル理論をベースに、Apache Beamを利用したストリームデータ処理・活用システムについて論じたもの。

ストリームデータの処理モデルを提案。論理・物理の間の一貫性の崩れに対処する。

データストリームのチャレンジ

物理的な並びが保証されない条件下で、十分に表現力のあるオペレータ（モデル）を立案する。

ストリームデータのモデル。

ポイント。レコード配下の構成。

レイテンシは、データストリームの特性に依存する。

論理、物理の並びの差異を解決するため、結果を継続的に更新するモデルを提案した。

Dual Streaming Model

DUality of streams and tables

テーブルは、テーブルのバージョンのコレクションと考えることもできる。

モデル定義を解説。フィルターなどのステートレスな処理から、アグリゲーションなどのステートフルな処理まで。

out-of-order なレコードが届いても、最終的な出力結果テーブルがout-of-orderレコードがないときと同一になるように動くことを期待する。

Watermarkと似たような機構として、「retention time」を導入。結果テーブル内の「現在時刻 - retention time」よりも古い結果をメンテナンス対象から外す。

Stream - Table Joinのケースで、「遅れテーブル更新」が生じると、下流システムに対して結果の上書きデータを出力する必要がある。

Kafka Streamsの例。

Kafka Streamsの利用企業：The New York Times, Pinterest, LINE, Trivago, etc

Kafka Streamsのオペレーションはすべてノンブロッキングであり、レコードを受領次第処理し、KTableにマテリアライズされたり、Topicに書き戻したりされる。

Window集計の例を題材に、retention timeを利用。 retention timeを長くするほどストレージを利用するが、 out-of-orderレコードに対してロバストになる。また、retention timeが長いほど、ウィンドウ結果が確定したと言えるタイミングが遅くなる。

Relationを取り扱うモデル、out-of-orderを取り扱うモデル、テーブルバージョン管理を取り扱うモデルなど。