稼働中 AgentCache
同じ回答に AI モデルへ二度支払うのはやめましょう。
エージェントは同じ質問を何度も、しばしば違う言葉で尋ねられます。AgentCache は回答を記憶します。モデルや API を呼び出す前にエージェントがキャッシュを確認すれば、繰り返しの質問は 1 秒もかからず 0.002 ドルで返ってきます。一致がなければ確認は無料です。
| 質問 | 結果 |
|---|---|
| “パスワードをリセットするには?” 初めての質問:モデルを呼び出し、回答を保存 |
ミス 0.00 ドル |
| “パスワードはどうやってリセットできますか?” 言い換え · 類似度 99.8% |
ヒット 0.002 ドル |
| “パスワードを忘れました。リセット方法は?” 言い換え · 類似度 97% |
ヒット 0.002 ドル |
| “メールアドレスを変更するには?” 別の質問:一致なし |
ミス 0.00 ドル |
チームが使う理由
モデルの請求額を削減
キャッシュから答えた繰り返しの質問は、支払わずに済んだモデル呼び出しです。ヒットは 0.002 ドル。一般的なモデル呼び出しはその数倍かかります。
1 秒もかからない回答
保存済みの回答は通常 0.1〜0.3 秒で返ってきます。モデルが考えるのに数秒かかるのに比べ、ユーザーの待ち時間が減ります。
毎回同じ回答
同じ質問をした顧客は、毎回少しずつ違う回答ではなく、確認済みの同じ回答を受け取ります。
実際の活用例
リサーチエージェントのチーム
コーディングアシスタント
context フィールドで、API のバージョンごとに回答を分けて管理できます。似ているが同じではない質問
どれくらい節約できる?
ご自身の数値を入力してください。計算はブラウザ内で行われます。
機能
- 意味は同じ、言葉は違う
- 質問は、Cloudflare 内で動作し多くの言語を理解する bge-m3 モデルで、意味によって比較されます。“ロンドンの天気は?”と“ロンドンの天気を教えて”は同じ質問として扱われます。完全に同じ繰り返しはモデルを使わずに照合するので、さらに高速です。
- 細部が違えば、回答も違う
- 照合はパラメーターを区別します。保存済みの回答を再利用するのは、質問の類似度が 95% 以上かつ、その中のすべての数字(注文番号、日付、金額)が完全に一致する場合だけです。“注文 12345”と“注文 12346”は常に別の質問です。
- あなたのエージェント専用
- 各回答は、1 つのエージェント、1 つのネームスペース、任意の 1 つのコンテキスト(モデルやシステムプロンプトなど)に属します。検索が他の場所に及ぶことはありません。
- ヒットのみ支払い
- ヒットはプリペイドウォレットから 0.002 ドル。ミスは無料、回答の保存も無料で、同じ
Idempotency-Keyで再試行した検索に二重課金されることはありません。 - 保存期間は自由に
- 回答は既定で 24 時間保存され、1 分から 30 日まで設定できます。回答 1 件でも、ネームスペース全体でも、いつでも削除できます。
- エージェントを止めない
- キャッシュの背後で何かが利用できなくても、検索は単に“ミス”を返して課金しないので、エージェントはいつもどおり動き続けます。
仕組み
- まず確認します。モデルを呼び出す前に、質問を
POST /v1/lookupに送ります。 - ヒットなら完了です。保存済みの回答を使います。モデル呼び出しの代わりに 0.002 ドルを支払っただけです。
- ミスなら回答を保存します。いつもどおりモデルを呼び出し、質問と回答を
POST /v1/storeに送ります(無料)。次の似た質問はヒットになります。
試してみる
# 1. Check the cache before calling your model
curl -X POST https://cache.myuiaf.com/v1/lookup \
-H "X-Agent-API-Key: fv1.acme-bot.k1.xxxxx" \
-H "content-type: application/json" \
-d '{"prompt":"How can I reset my password?","namespace":"support"}'
# 2. On a miss, call your model, then save its answer
curl -X POST https://cache.myuiaf.com/v1/store \
-H "X-Agent-API-Key: fv1.acme-bot.k1.xxxxx" \
-H "content-type: application/json" \
-d '{"prompt":"How do I reset my password?","namespace":"support",
"answer":"Go to Settings, then Security, then Reset password.",
"original_cost_usd":0.012}'
HTTP/2 200
x-agentcache-hit: similar
x-agentcache-charged-usd: 0.002
{ "hit": true, "match": "similar", "similarity": 0.9984,
"cached_prompt": "How do I reset my password?",
"answer": "Go to Settings, then Security, then Reset password.",
"charged_usd": 0.002, "original_cost_usd": 0.012, "saved_usd": 0.01 }
料金
| 操作 | 料金 |
|---|---|
| 回答が見つかった検索(ヒット) | $0.002 |
| 一致がなかった検索(ミス) | 無料 |
| 回答の保存、削除、消去 | 無料 |
ヒットは、Freshness Validator や AgentPay と同じプリペイドクレジットから支払われます。クレジットパックを購入するか、エージェントに自分で購入させてください。
レート制限
検索と保存は他のサービスとは別にカウントされるため、一方のサービスが他方を遅くすることはありません。
| プラン | AgentCache の 1 分あたりのリクエスト数 |
|---|---|
| Early Testing | 120 |
| Growing Product | 300 |
| Scale Revenue | 1,000 |
| Enterprise | 3,000 |
よくある質問
AgentCache とは?
AgentCache は AI エージェント向けのセマンティック回答キャッシュです。モデルや API を呼び出す前に、エージェントが cache.myuiaf.com に、同じ質問や似た質問にすでに答えたかどうかを尋ねます。答えていれば、保存済みの回答が 1 秒もかからず 0.002 ドルで返ってきます。
料金はいくらですか?
ヒットは 0.002 ドル。ミスも回答の保存も無料です。料金は Freshness Validator や AgentPay と同じプリペイドウォレットから差し引かれます。
2 つの質問が同じ意味だとどうやって判断しますか?
各質問は、Cloudflare 内で動作する bge-m3 モデルによって埋め込みベクトルに変換されます。保存済みの回答を再利用するのは、意味の類似度が 95% 以上で、かつ質問内のすべての数字が完全に一致する場合だけです。そのため "注文 12345" に "注文 12346" の回答が返ることはありません。
他の人の回答が自分のエージェントに返ることはありますか?
ありません。各回答は、1 つのエージェント、1 つのネームスペース、任意の 1 つのコンテキスト(モデルやシステムプロンプトなど)に属します。検索はその範囲内だけで行われます。
回答はどれくらい保存されますか?
既定で 24 時間、または 1 分から 30 日までの任意の期間です。エージェントは回答 1 件でもネームスペース全体でも、いつでも削除できます。
キャッシュすべきでないものは?
個人データ、および質問者によって変わる回答や、分単位で変わる情報に基づく回答です。ネームスペース内の誰にとっても答えが同じ質問をキャッシュしてください。
他のサービスと連携
同じキーとウォレットは、情報源が変わったときにエージェントに知らせる Freshness Validator(ネームスペースを消去する良いタイミングです)と、エージェントが API を呼び出しごとに支払える AgentPay でも使えます。