myuiaf

稼働中  AgentCache

同じ回答に AI モデルへ二度支払うのはやめましょう。

エージェントは同じ質問を何度も、しばしば違う言葉で尋ねられます。AgentCache は回答を記憶します。モデルや API を呼び出す前にエージェントがキャッシュを確認すれば、繰り返しの質問は 1 秒もかからず 0.002 ドルで返ってきます。一致がなければ確認は無料です。

1 つのサポートエージェントの検索例
質問結果
“パスワードをリセットするには?”
初めての質問:モデルを呼び出し、回答を保存
ミス
0.00 ドル
“パスワードはどうやってリセットできますか?”
言い換え · 類似度 99.8%
ヒット
0.002 ドル
“パスワードを忘れました。リセット方法は?”
言い換え · 類似度 97%
ヒット
0.002 ドル
“メールアドレスを変更するには?”
別の質問:一致なし
ミス
0.00 ドル

チームが使う理由

モデルの請求額を削減

キャッシュから答えた繰り返しの質問は、支払わずに済んだモデル呼び出しです。ヒットは 0.002 ドル。一般的なモデル呼び出しはその数倍かかります。

1 秒もかからない回答

保存済みの回答は通常 0.1〜0.3 秒で返ってきます。モデルが考えるのに数秒かかるのに比べ、ユーザーの待ち時間が減ります。

毎回同じ回答

同じ質問をした顧客は、毎回少しずつ違う回答ではなく、確認済みの同じ回答を受け取ります。

実際の活用例

サポート

カスタマーサポートボット

導入前毎日何百人もの顧客が、パスワードのリセット、注文の追跡、返金の方法を、それぞれの言葉で尋ねます。質問のたびにモデルを丸ごと呼び出します。
導入後最初の回答が保存されます。その後の言い換えはすべて、キャッシュから 1 秒もかからず、わずかなコストで回答されます。
モデルのコスト待ち時間
リサーチ

リサーチエージェントのチーム

導入前同じプロジェクトに取り組む複数のエージェントが同じ事実を別々に調べ、同じ検索と要約に何度も支払います。
導入後エージェント同士で 1 つのネームスペースを共有します。1 つのエージェントが答えを得れば、他のエージェントはそれを再利用します。
トークンAPI 呼び出し
コーディング

コーディングアシスタント

導入前開発者は同じ社内 API の呼び出し方を何度も尋ねます。質問のたびにドキュメントを読み直し、長く高価なモデル呼び出しが発生します。
導入後よくある手順の回答はすぐに返ってきます。context フィールドで、API のバージョンごとに回答を分けて管理できます。
トークン開発者の時間
安全性

似ているが同じではない質問

導入前単純な類似度キャッシュでは、“注文 12346 は発送されましたか?”に注文 12345 の保存済み回答を返してしまうかもしれません。
導入後AgentCache は、質問内のすべての数字が完全に一致したときにだけ回答を再利用します。注文 12346 はミスになるので、エージェントはきちんと確認します。
誤った回答

どれくらい節約できる?

ご自身の数値を入力してください。計算はブラウザ内で行われます。

毎回モデルを呼び出す vs. 先にキャッシュを確認する

同じことを違う言葉で尋ねられるエージェント向け。ご自身の数値を入力してください。

すべての質問でモデルを呼び出す-
AgentCache を使う-
-
1 か月に省ける待ち時間-

入力値からの推定で、30 日を 1 か月としています。ヒットは 0.002 ドル、ミスと回答の保存は無料です。初期値は例であり、実測値ではありません。

機能

意味は同じ、言葉は違う
質問は、Cloudflare 内で動作し多くの言語を理解する bge-m3 モデルで、意味によって比較されます。“ロンドンの天気は?”と“ロンドンの天気を教えて”は同じ質問として扱われます。完全に同じ繰り返しはモデルを使わずに照合するので、さらに高速です。
細部が違えば、回答も違う
照合はパラメーターを区別します。保存済みの回答を再利用するのは、質問の類似度が 95% 以上かつ、その中のすべての数字(注文番号、日付、金額)が完全に一致する場合だけです。“注文 12345”と“注文 12346”は常に別の質問です。
あなたのエージェント専用
各回答は、1 つのエージェント、1 つのネームスペース、任意の 1 つのコンテキスト(モデルやシステムプロンプトなど)に属します。検索が他の場所に及ぶことはありません。
ヒットのみ支払い
ヒットはプリペイドウォレットから 0.002 ドル。ミスは無料、回答の保存も無料で、同じ Idempotency-Key で再試行した検索に二重課金されることはありません。
保存期間は自由に
回答は既定で 24 時間保存され、1 分から 30 日まで設定できます。回答 1 件でも、ネームスペース全体でも、いつでも削除できます。
エージェントを止めない
キャッシュの背後で何かが利用できなくても、検索は単に“ミス”を返して課金しないので、エージェントはいつもどおり動き続けます。

仕組み

  1. まず確認します。モデルを呼び出す前に、質問を POST /v1/lookup に送ります。
  2. ヒットなら完了です。保存済みの回答を使います。モデル呼び出しの代わりに 0.002 ドルを支払っただけです。
  3. ミスなら回答を保存します。いつもどおりモデルを呼び出し、質問と回答を POST /v1/store に送ります(無料)。次の似た質問はヒットになります。

試してみる

# 1. Check the cache before calling your model
curl -X POST https://cache.myuiaf.com/v1/lookup \
  -H "X-Agent-API-Key: fv1.acme-bot.k1.xxxxx" \
  -H "content-type: application/json" \
  -d '{"prompt":"How can I reset my password?","namespace":"support"}'

# 2. On a miss, call your model, then save its answer
curl -X POST https://cache.myuiaf.com/v1/store \
  -H "X-Agent-API-Key: fv1.acme-bot.k1.xxxxx" \
  -H "content-type: application/json" \
  -d '{"prompt":"How do I reset my password?","namespace":"support",
       "answer":"Go to Settings, then Security, then Reset password.",
       "original_cost_usd":0.012}'
HTTP/2 200
x-agentcache-hit: similar
x-agentcache-charged-usd: 0.002

{ "hit": true, "match": "similar", "similarity": 0.9984,
  "cached_prompt": "How do I reset my password?",
  "answer": "Go to Settings, then Security, then Reset password.",
  "charged_usd": 0.002, "original_cost_usd": 0.012, "saved_usd": 0.01 }

料金

操作料金
回答が見つかった検索(ヒット)$0.002
一致がなかった検索(ミス)無料
回答の保存、削除、消去無料

ヒットは、Freshness Validator や AgentPay と同じプリペイドクレジットから支払われます。クレジットパックを購入するか、エージェントに自分で購入させてください。

レート制限

検索と保存は他のサービスとは別にカウントされるため、一方のサービスが他方を遅くすることはありません。

プランAgentCache の 1 分あたりのリクエスト数
Early Testing120
Growing Product300
Scale Revenue1,000
Enterprise3,000

よくある質問

AgentCache とは?

AgentCache は AI エージェント向けのセマンティック回答キャッシュです。モデルや API を呼び出す前に、エージェントが cache.myuiaf.com に、同じ質問や似た質問にすでに答えたかどうかを尋ねます。答えていれば、保存済みの回答が 1 秒もかからず 0.002 ドルで返ってきます。

料金はいくらですか?

ヒットは 0.002 ドル。ミスも回答の保存も無料です。料金は Freshness Validator や AgentPay と同じプリペイドウォレットから差し引かれます。

2 つの質問が同じ意味だとどうやって判断しますか?

各質問は、Cloudflare 内で動作する bge-m3 モデルによって埋め込みベクトルに変換されます。保存済みの回答を再利用するのは、意味の類似度が 95% 以上で、かつ質問内のすべての数字が完全に一致する場合だけです。そのため "注文 12345" に "注文 12346" の回答が返ることはありません。

他の人の回答が自分のエージェントに返ることはありますか?

ありません。各回答は、1 つのエージェント、1 つのネームスペース、任意の 1 つのコンテキスト(モデルやシステムプロンプトなど)に属します。検索はその範囲内だけで行われます。

回答はどれくらい保存されますか?

既定で 24 時間、または 1 分から 30 日までの任意の期間です。エージェントは回答 1 件でもネームスペース全体でも、いつでも削除できます。

キャッシュすべきでないものは?

個人データ、および質問者によって変わる回答や、分単位で変わる情報に基づく回答です。ネームスペース内の誰にとっても答えが同じ質問をキャッシュしてください。

他のサービスと連携

同じキーとウォレットは、情報源が変わったときにエージェントに知らせる Freshness Validator(ネームスペースを消去する良いタイミングです)と、エージェントが API を呼び出しごとに支払える AgentPay でも使えます。

ドキュメントや法的な規約など、一部のページは英語のみでご覧いただけます。