全部归档

Token 与 Context Window:从计量单位到上下文预算

Token 是什么#

模型把文本编码成 Token 序列。Token 可能是一个词、词的一部分、标点或字符;不能简单等同于中文字数或英文单词数。

上下文预算#

系统指令、对话历史、工具结果、检索片段和输出共同占用上下文预算。输入越多并不总意味着回答越好,检索应优先选择相关的片段。

长对话策略#

保留近期的完整消息,对较早消息做可核查的摘要;对重要资料保留引用,避免把摘要当成原始证据。

选中任意一段文字,可以就这段内容向 AI 提问。

对这篇文章有疑问?直接问 lascendi