목록OpenAI (1)

Nathaniel

7. Langchain 캐싱(API 호출 비용 감소)

Langchain은 LLM을 위한 선택적 캐싱 레이어를 제공한다.  - 동일한 완료를 여러 번 요청하는 경우 LLM 공급자에 대한 API 호출 횟수를 줄여 비용을 절감할 수 있음 - LLM 제공업체에 대한 API 호출 횟수를 줄여 애플리케이션의 속도를 높일 수 있다. InMemory CacheInMemory Cache를 사용해서 동일 질문에 대한 답변을 저장하고, 캐시에 저장된 답변을 반환하는 대신에휘발성 특징을 가진  InMemory Cache는 프로그램을 종료 즉시  저장된 답변은 사라지게 된다. 아래의 사진에서 InMemory Cache를 사용했을 때 비교할 것은 처음 답변과, 두 번째 동일 답변에 대한 출력 시간이다.1) 처음 답변 - Wall time : 2.74s2) 두 번째 답변 - Wall..
AI 2025. 3. 17. 15:21
이전 Prev 1 Next 다음