본문으로 건너뛰기

Lazy import

일부 기능에서만 필요한 모듈은 그 기능을 실행하는 함수 안에서 import해서, 그 모듈이 없는 환경에서도 나머지 기능이 돌게 하는 방법입니다.

개념​

lazy import는 파일 첫머리가 아니라 함수 안에서 하는 import입니다. 그 함수를 부를 때에야 import되므로, 그 함수를 쓰지 않는 실행에서는 해당 모듈이 설치되어 있지 않아도 됩니다.

사용 방법​

  • adapter(A1)는 핵심 패키지(selfindex)를 파일 첫머리에서 자유롭게 import합니다.
  • 핵심 패키지는 adapter를 파일 첫머리에서 import하지 않습니다. adapter가 필요한 메서드 안에서만 import합니다.
  • torch, pyserini처럼 무겁거나 설치가 선택인 라이브러리도 실제로 쓰는 함수 안에서만 import합니다. 이 레포에는 이런 import가 146곳 있습니다.

왜 필요한가​

framework만 설치한 환경에서도 python run.py list와 retrieval 실험이 돌아갑니다. 무거운 라이브러리를 import하는 시간도 그 기능을 쓰는 실행에만 듭니다.

예시​

# 예시: 무거운 라이브러리는 그것이 필요한 함수 안에서만 import합니다
def keyword_score(query: str, doc: str) -> int:
# 표준 기능만 쓰므로 어떤 환경에서도 동작합니다
return sum(word in doc.split() for word in query.split())


def dense_score(query: str, doc: str) -> float:
# torch는 이 함수를 부를 때만 필요하므로 여기서 import합니다
import torch

...


# torch가 설치되지 않은 환경에서도 이 줄은 실행됩니다
print(keyword_score("red apple", "an apple a day")) # 1

Self-Index에서의 사용​

src/selfindex/runtime/catalog/benchmarks.py:121

@staticmethod
def _search_adapter(spec):
from browsecomp.adapters.search_factory import search_adapter_name
from selfindex.runtime.catalog.retrievers import RETRIEVERS
...

주의할 점​

lazy import는 "모듈이 없다"는 오류를 실행 도중으로 미룹니다. 프로그램 전체가 그 라이브러리 없이 돌 수 없다면 파일 첫머리에서 import해서, 시작하자마자 실패하게 둡니다.