TPU Syncを発表：推論・強化学習向けにKVキャッシュと重みを高速転送

Google Cloud は、TPU のクラスターでモデルの「状態」をすばやく受け渡すための、オープンソースの C++ ライブラリ「TPU Sync」を発表しました。

100万トークン級のエージェントや、推論の分散処理、続けて行う強化学習が広がり、計算そのものより、推論中の KV キャッシュ（会話の途中の計算結果）や、学習側から生成側へ送る重みの移動が詰まりどころになっているといいます。TPU Sync は、チップの HBM、ホストの DRAM、共有ストレージ、データセンターのネットワークを一つの階層として扱い、計算と並行してデータを動かします。

• 推論：DRAM や SSD、Managed Lustre を、何段もの KV キャッシュとして自動で使います
• 強化学習：更新した重みを学習側から生成側へ流すための、低いレベルの機能を提供します

2,350億〜4,800億パラメータ級の MoE モデル（専門家を組み合わせる型のモデル）で、KV の転送の遅れと、最初のトークンが出るまでの時間（TTFT）を平均90%短くしたとしています。PyTorch（TorchTPU）と JAX に対応し、vLLM、SGLang、llm-d の KV キャッシュの接続にも使えます。