Next-BlockChain

Fine-Grained Tool Calling: 도구 인자 스트리밍의 검증을 끄고 진짜 실시간성을 얻는 법지난 글까지 우리는 도구 호출의 결과 를 받는 데 집중했어요. 그런데 도구를 호출할 때 인자(arguments) 자체가 점진적으로 만들어지는 과정 도 스트리밍할 수 있다는 사실, 알고 계셨나요?기본 설정에서는 Anthropic API가 JSON 검증 을 위해 인자 청크를 잠깐 버퍼링한 뒤 한꺼번에 보냅니다. UX 적으로는 "스트리밍이 켜졌는데 왜 텀이 있지?" 처럼 보이기도 해요. 이걸 끄고 진짜 토큰 단위로 즉시 받는 옵션이 바로 Fine-Grained Tool Calling 입니다.오늘은 InputJsonEvent 의 두 필드(partial_json / snapshot), API의 기본 버퍼링 메..

AI 2026. 5. 17. 21:20

Claude API 응답 스트리밍(Response Streaming): ChatGPT처럼 글자가 흘러나오게 만드는 법ChatGPT나 Claude.ai를 써보신 분이라면 익숙하실 거예요. 글자가 한 글자씩 타닥타닥 나타나는 그 효과, 이게 바로 응답 스트리밍(Response Streaming) 입니다. 단순히 멋있어 보이려고 하는 게 아니라, 사용자 경험(UX) 의 핵심 이에요.Claude에게 긴 답변을 요청하면 10~30초 가 걸릴 수 있습니다. 이 동안 사용자가 빈 화면만 보고 있게 두면 "앱이 멈췄나?" 싶어서 닫아버릴 수 있죠. 스트리밍을 켜면 첫 글자가 1초 안에 나타나서 그 불안을 없애줍니다. 이 글에서는 Claude API에서 스트리밍을 구현하는 3가지 방법 과 실무에서의 함정 까지 정리해드릴..

AI 2026. 5. 8. 23:20