BigQueryで数百万行を意味ベースで集計する「AI.AGG」

Google Cloud は、BigQuery の関数「AI.AGG」（プレビュー）をくわしく紹介しました。ふつうの言葉の指示を、数百万行のテキストや画像などのデータに1つの SQL で当てはめ、全体のテーマや傾向をまとめられます。

これまでの1行ずつのAI関数（AI.GENERATE、AI.CLASSIFY など）では、たくさんの行をまとめて分析しようとすると、LLM の入力の上限（コンテキストウィンドウ）を超えてしまいました。そのためデータチームは、分ける・要約する・つなげる処理を外で組む必要がありました。AI.AGG は、この集計を分散処理（map-reduce）として扱い、行の検証、入力の上限に収まる単位への分割、並行での実行、結果の段階的なまとめを BigQuery が自動で行います。10MiB を超える行は、外されるかエラーになります。ログ、問い合わせの記録、診断レポートなどの分析に使えます。