본문으로 건너뛰기

재시도할 오류 구분

재시도해도 소용없는 오류와 일시적인 오류를 나누고, 재시도 정책은 한 곳에서 정하는 방법입니다.

사용 방법​

  • HTTP 4xx는 요청 자체가 잘못된 것이므로 바로 올립니다. 다만 408(시간 초과)과 429(요청 과다)는 일시적인 오류로 봅니다.
  • 나머지 오류만 다음 replica로 넘겨 재시도합니다.
  • OpenAI SDK client는 max_retries=0으로 만들어서, 재시도 정책을 SDK가 아니라 우리 코드 한 곳에서 정합니다.

왜 필요한가​

잘못된 요청을 재시도하면 시간만 쓰고 결과는 같습니다. SDK와 우리 코드가 각자 재시도하면 실제 재시도 횟수가 곱해집니다.

예시​

# 예시: 재시도할 오류인지 판단하는 규칙을 한 함수에 모읍니다
def is_retryable(status: int) -> bool:
# 4xx는 요청이 잘못된 것이지만, 408과 429는 기다리면 풀릴 수 있습니다
if 400 <= status < 500:
return status in (408, 429)
return True


print([is_retryable(code) for code in (400, 404, 408, 429, 500, 503)])
# [False, False, True, True, True, True]

Self-Index에서의 사용​

llm/requests.py:11, llm/client.py:49, endpoints.py:68, oss_client_ours.py:78.