Function calling的过程

文章目录

- 逐段讲清 **LLM Function Calling（函数调用）** 的典型链路。
- 1. 角色与概念 | Actors & Concepts
- 2. 全流程时序 | End-to-End Sequence
- 3. 关键细节 | Key Implementation Notes
- 4. 最小可用示例（伪代码） | Minimal Example (Pseudo-Python)
- 5. 常见坑 / FAQ
- - TL;DR

逐段讲清 LLM Function Calling（函数调用）的典型链路。

1. 角色与概念 | Actors & Concepts

ZH：

开发者 (Developer)：用 JSON-Schema 描述可调用函数。
用户 (User)：提出自然语言请求。
模型 (LLM)：在推理时决定是否调用函数、选哪一个、填什么参数。
执行器 (Caller / Tool Runtime)：真正跑代码或访问外部 API，把结果回给模型。

EN –

Developer supplies JSON-Schema definitions of callable functions.
User sends a request in natural language.
LLM decides whether, and how, to call a function.
Caller / Tool Runtime executes the function and returns results to the model.

2. 全流程时序 | End-to-End Sequence

#	步骤 (ZH)	Step (EN)
1	注册函数：开发者在 `functions` 字段传入 JSON-Schema，示例： `{"name":"weather","parameters":{"type":"object","properties":{"location":{"type":"string"}}}}`	Register functions via the `functions` array in the API call, giving JSON-Schema for each.
2	输入消息：`messages=[{"role":"user","content":"今天天气如何？"}]`	User message is sent in `messages`.
3	模型推理：LLM 读取系统+用户信息，若判断需要函数→输出 `role:"assistant", "name":"weather", "arguments":{...}`	Model reasoning: If it decides a function is needed, it emits a tool call with `role:"assistant"` and `name`, `arguments`.
4	执行器调用：客户端检测到 `name` 字段→调用本地或远程函数→得到返回值，如 `{"temp":25}`	Caller executes detected function, obtains result JSON.
5	结果回注：把结果作为 `role:"function", "name":"weather", "content":"{\"temp\":25}"` 再塞进 `messages`	Inject result back as a `function` role message so the model can see it.
6	模型二次生成：LLM 看到函数输出后，再生成最终自然语言回答。	Second pass: model crafts the final user-visible response, informed by result.

从开发者视角看，就是 “定义 → 监听 → 调用 → 回注” 四件事。
From the dev perspective: define → watch → call → inject.

3. 关键细节 | Key Implementation Notes

JSON-Schema 精度
- 字段类型、必选/可选决定模型填参质量。尽量用 enum, minimum, pattern 等约束减少幻觉。
- Use rich JSON-Schema constraints (enum, minimum, pattern) to steer the model toward valid args.
多轮调用
- 模型可串联多次函数：例如先 search_flights 再 book_flight。保持每轮都把结果作为 function role 回注即可。
- Chained calls work: keep injecting each result back as a function message.
流式 (Streaming)
- 在 OpenAI 流接口(stream=true)里，tool_calls δ块先到，客户端可即时触发执行。
- With streaming, tool-call deltas arrive early, enabling near-real-time actions.
错误处理
- 若执行失败，把错误描述同样作为 function 消息交给模型，让它决定重试/解释。
- Return errors as function role messages so the model can handle retries or apologies.
安全与权限
- 在执行器侧校验参数，避免模型注入恶意 shell 字符串。
- Validate args server-side; the JSON schema itself is not a security boundary.

4. 最小可用示例（伪代码） | Minimal Example (Pseudo-Python)

# 1. define schema
functions = [{"name": "weather","description": "Get current weather","parameters": {"type": "object","properties": {"location": {"type": "string"}},"required": ["location"]}
}]# 2. first API call
messages = [{"role":"user","content":"帮我查一下北京天气"}]
resp = openai.ChatCompletion.create(model="gpt-4o",messages=messages,functions=functions)# 3. if resp.choices[0].finish_reason == "tool_call":
tool_call = resp.choices[0].message
args = json.loads(tool_call["arguments"])
result = get_weather(args["location"])# 4. feed back
messages += [tool_call,{"role":"function","name":"weather","content":json.dumps(result)}
]
final = openai.ChatCompletion.create(model="gpt-4o",messages=messages)
print(final.choices[0].message["content"])

5. 常见坑 / FAQ

问题	处理建议
模型拒绝填参数	检查 system prompt 是否允许工具；确保 schema 名称易懂；给示例调用。
参数格式错位	使用 `json.loads()` 校验；在 schema 里加 `format`, `pattern`。
连续调用失序	每轮都把完整历史+最新函数结果发回；保持 deterministic。