استریم پاسخ

چطور کار می‌کند

با stream: true پاسخ به‌صورت text/event-stream می‌آید: هر خط data: یک قطعهٔ chat.completion.chunk است و جریان با data: [DONE] تمام می‌شود. کتابخانهٔ OpenAI این را برایتان می‌خواند.

stream = client.chat.completions.create(    model="MODEL_ID",    messages=[{"role": "user", "content": "Write a two-line poem."}],    stream=True,    stream_options={"include_usage": True},)for chunk in stream:    if chunk.choices:        print(chunk.choices[0].delta.content or "", end="")

با include_usage آخرین قطعه مصرف را می‌آورد و choices آن خالی است؛ کد بالا همین را در نظر می‌گیرد.

خطا وسط استریم

خطاهای پیش از شروع پاسخ (کلید، مدل، اعتبار) مثل درخواست عادی با کد وضعیت خطا برمی‌گردند. اگر ارتباط وسط استریم قطع شود، متن تا همان نقطه دریافت شده است؛ تصمیم بگیرید دوباره بفرستید یا همان را نگه دارید.