이번 글에서는 Claude API의 몇 가지 실용적인 신기능인 프롬프트 캐싱, 인용 및 검색 결과 콘텐츠 블록, 더 세밀한 도구 호출 제어에 대해 설명합니다. 이 기능들은 화려하지는 않지만, 비용, 지연 시간, 제어 가능성에 상당한 영향을 미칩니다. '어떻게 활용할 수 있는지'에 초점을 맞추어 각 기능을 살펴보겠습니다.
프롬프트 캐싱: 반복되는 시스템 프롬프트를 사전 저장
Claude API 사용 시나리오에서 동일한 시스템 프롬프트(예: 통일된 고객 응대 규칙, 고정된 데이터 추출 형식, 긴 업무 배경 설명)가 반복적으로 사용된다면, 프롬프트 캐싱이 유용합니다. 공식 문서에 따르면, 캐싱 후 재사용하면 지연 시간을 최대 약 80%까지 줄이고, 비용을 최대 약 90%까지 절감할 수 있어 대량 작업에 특히 효과적입니다.
실제 적용 시, '변하지 않는 부분'을 캐시 가능한 세그먼트로 분리하고, '매번 바뀌는 사용자 입력'은 별도의 메시지로 처리하는 것이 좋습니다. 이렇게 하면 Claude API는 일관된 출력을 유지하면서도 동일한 긴 프롬프트에 대해 반복적으로 요금을 부과하지 않습니다.
인용 기능과 검색 결과 콘텐츠 블록: RAG 구현을 더 쉽게
Claude API는 답변에 포함된 핵심 정보의 출처를 명시할 수 있는 인용 기능을 제공합니다. 지식 베이스 질의응답이나 검색 증강 생성(RAG)을 구현할 때, 이 기능은 '그럴듯해 보이지만 실제 근거가 없는' 답변을 줄여주며, 프론트엔드에서 사용자에게 출처를 보여줄 때도 편리합니다.
또한, 검색 결과 콘텐츠 블록이 정식 기능으로 제공되어, 외부 검색 결과를 '인용 가능한 구조'로 모델에 전달하기에 더 적합해졌습니다. Claude API에게 요약 시 인용 표시를 포함하도록 지시할 수 있으며, 비즈니스 로직에서 '인용이 없으면 결론을 출력하지 않음'과 같은 규칙을 강제할 수도 있습니다.
