실행 전 전체 검증
할 일 전체를 plan으로 만들고 모두 검증한 뒤에 첫 단계를 실행하는 방법입니다.
개념
plan은 "어떤 단계를 어떤 설정으로 어떤 순서로 실행할지"를 담은 불변 객체입니다.
사용 방법
실행을 네 단계로 나눕니다.
- 할 일을 plan으로 만듭니다.
- plan 전체를 검증합니다.
- 모든 단계의 실행 객체를 만듭니다.
- 첫 단계를 실행합니다.
왜 필요한가
세 번째 단계의 설정이 틀렸다는 사실을 첫 단계를 몇 시간 돌린 뒤에 알게 되는 일을 막습니다. plan을 출력만 하고
끝내면 --dry-run이 됩니다.
예시
# 예시: 모든 단계를 검사한 뒤에야 첫 단계를 실행합니다
from dataclasses import dataclass
from pathlib import Path
@dataclass(frozen=True)
class Step:
name: str
input_path: str
def validate(plan: tuple[Step, ...]) -> None:
# 입력 파일이 없는 단계를 모두 모아 한 번에 알립니다
if missing := [step.name for step in plan if not Path(step.input_path).exists()]:
raise ValueError(f"inputs are missing for steps: {missing}")
def run(plan: tuple[Step, ...]) -> None:
validate(plan)
for step in plan:
print("running", step.name)
plan = (Step("encode", "."), Step("search", "no/such/file"))
try:
run(plan)
except ValueError as error:
# "running encode"도 출력되지 않고 바로 실패합니다
print(error) # inputs are missing for steps: ['search']
Self-Index에서의 사용
src/selfindex/runtime/runner.py:53
def run_experiment(self, spec: ExperimentSpec) -> int:
plan = self.plan(spec)
validate_services(plan)
tasks = self._build_tasks(plan)
for step, task in zip(plan.steps, tasks, strict=True):
...
if (code := task.run()) != 0:
return code
return 0
주의할 점
앞 단계의 출력을 봐야 다음 단계를 정할 수 있는 동적 workflow에는 그대로 맞지 않습니다. 그런 경우에도 미리 알 수 있는 검사(서비스 설정, 경로, 이름)는 첫 단계 전에 끝냅니다.