我其实并不喜欢长上下文,或者说是现在agent使用上下文的方式。每次带着几十万token的上下文去请求服务器,钱包真的很痛。完成一项任务要很多次供工具调用,agent每次看工具调用结果决定下一步做什么都要带上当前session所有的上下文。这是个很糟糕的设计。
服务器端不愿意keep当前session的内容,token提供商舍不得不charge用户这些“有关系又不是总有关系”的包袱。就像一个人爬山,目标是登到山顶,他一路上会不断的收集材料,有些有用有些没用,但他绝不会扔掉(这是他的历史,他的上下文),每往山顶方向走一步都多背了一些东西。
这很可怜。
运气好,还没压垮自己就到顶了,运气不好,爬到一半钱包就被openai/anthropic们掏光了。
服务器端不愿意keep当前session的内容,token提供商舍不得不charge用户这些“有关系又不是总有关系”的包袱。就像一个人爬山,目标是登到山顶,他一路上会不断的收集材料,有些有用有些没用,但他绝不会扔掉(这是他的历史,他的上下文),每往山顶方向走一步都多背了一些东西。
这很可怜。
运气好,还没压垮自己就到顶了,运气不好,爬到一半钱包就被openai/anthropic们掏光了。