「なぜ多くのトークンを使う？少ないトークンで十分なのに」
HackerNewsで注目を集めているOSSツール「Caveman」のコンセプトは、タイトルからして挑発的だ。
> "Why use many token when few token do trick"
>（多くのトークンを使うのはなぜ？少ないトークンで十分なのに）
あえて文法を崩した"原始人風"のフレーズで表現されたこの哲学は、笑えるようで笑えない。なぜなら、これはGPT-4やClaude、Geminiといった大規模言語モデル（LLM）を使う企業にとって、毎月数十万〜数百万円単位のコストに直結する問題だからだ。
Cavemanは、LLMに投げるプロンプトやコンテキストを可能な限り短く・圧縮して、同等以上の出力品質を維持しながらAPIコストを大幅に削減することを目的としたツールである。GitHubで公開されたこのプロジェクトは、「無駄なトークンを削ぎ落とす」というシンプルすぎる発想で、AI活用コストの構造的な問題に切り込んでいる。
日本企業のAIコスト、実は「垂れ流し」状態では？
日本でも2023年以降、ChatGPTのAPI活用やCopilot導入が急速に広がっている。しかし、現場でよく聞こえてくる声がある。
「APIのコストが思ったより高くて、全社展開に踏み切れない」
「プロンプトを詳しく書けば書くほどいい結果が出ると思っていた」
「トークン数なんて、意識したことがなかった」