Next-BlockChain

Code-Based Grading: 모델 채점기에 빠진 빈틈을 코드로 채우기 (Python·JSON·Regex 자동 검증)지난 글에서 모델 채점기(Model Grader) 로 의미·품질을 평가하는 법을 배웠어요. 그런데 모델 채점기에는 태생적인 빈틈 이 있습니다. 바로 "문법이 진짜로 맞는지", "형식이 정확한지" 같은 객관적·결정적인 검증 이에요.LLM 에게 "이 Python 코드가 실행되나요?" 라고 묻는 것과, ast.parse() 로 직접 파싱해보는 것 은 차원이 다릅니다. 후자가 압도적으로 정확하고 빠르고 무료에 가깝죠. 오늘은 코드 채점기(Code Grader) 를 만들어서 모델 채점기와 함께 하이브리드 평가 를 완성해보겠습니다.🎯 이 글에서 배우는 것코드 채점기가 무엇을 잘 잡고, 모델 채..

AI 2026. 5. 9. 01:10

Model-Based Grading: Claude가 Claude를 채점하게 만들기 (LLM-as-a-Judge 완벽 가이드)지난 글에서 평가 파이프라인을 만들었을 때 모든 점수가 하드코딩 10점 이었던 거 기억나시죠? 오늘은 그 자리를 진짜 채점 로직 으로 채울 차례입니다.핵심 아이디어는 단순해요. "Claude 가 만든 답을, 또 다른 Claude 가 평가한다." 처음 들으면 좀 이상하게 들릴 수 있지만, 이게 바로 업계에서 LLM-as-a-Judge 라고 부르는 보편적 채점 방식입니다. OpenAI 도, Google 도, Meta 도 이 방식을 씁니다.오늘은 채점기(grader) 의 3가지 종류를 비교하고, 모델 기반 채점기(Model Grader) 를 직접 구현하면서 점수만 묻는 게 아니라 장점·약..

AI 2026. 5. 9. 00:56

Claude 평가 파이프라인 구축하기 (Running the eval): 3개의 함수로 끝내는 첫 평가 실행지난 글에서 데이터셋 자동 생성 까지 마쳤어요. 이제 진짜 재미있는 부분이 시작됩니다. 만든 데이터셋을 실제로 Claude 에게 흘려보내고, 결과를 모아서 점수를 받는 파이프라인 을 구축할 차례예요.복잡해 보이지만, 핵심은 단 3개의 함수 로 끝납니다. run_prompt (프롬프트 결합) → run_test_case (실행 + 채점) → run_evaluation (전체 데이터셋 순회). 오늘은 이 세 함수를 차근차근 짜고, 처음으로 베이스라인 결과 를 손에 쥐어보겠습니다.📝 함수 이름 메모: Anthropic 강의 원문은 마지막 함수를 run_eval 이라고 부릅니다. 이 블로그에서는 일부 보..

AI 2026. 5. 9. 00:34

Claude로 평가용 테스트 데이터셋 자동 생성하기: AWS 코드 도우미 프롬프트 평가 셋업지난 글에서 "좋은 프롬프트는 점수로 말한다" 는 5단계 워크플로우를 봤어요. 그 1·2단계의 핵심이 바로 "평가용 데이터셋(test dataset) 만들기" 입니다. 그런데 막상 데이터셋을 손으로 100개씩 만들려면 반나절 이 그냥 사라지죠.오늘은 Claude를 시켜서 평가용 데이터셋을 자동 생성 하는 방법을 정리합니다. 예제는 강의에서 사용한 AWS 관련 코드 도우미 프롬프트 예요. Python 함수·JSON 설정·정규식 셋 중 하나를 깔끔하게 뱉어주는 도우미를 만든다고 가정하고, 이를 체계적으로 평가하기 위한 데이터셋 을 만들어보겠습니다.🎯 이 글에서 배우는 것평가 시스템의 목표(Goal) 정의 방법평가 데..

AI 2026. 5. 9. 00:09

Claude 프롬프트 평가 워크플로우 5단계: 점수로 말하는 프롬프트 개선법지난 글에서는 "왜 프롬프트 평가가 필요한가" 를 살펴봤어요. 오늘은 한 단계 더 나아가서, 실제로 어떤 단계를 밟아 평가를 진행하는지 5단계 워크플로우로 정리해드립니다.핵심 메시지는 단순해요. "프롬프트는 점수로 말한다." 새로 작성한 프롬프트가 이전 버전보다 좋아졌는지 를 감(感)으로 판단하지 않고, 숫자로 비교 하는 거죠. 이 글에서는 5단계가 어떻게 흘러가는지, 각 단계에서 무엇을 만들어야 하는지, 한국어 환경에서 추가로 신경 써야 할 포인트는 무엇인지까지 함께 다룹니다.🎯 이 글에서 배우는 것프롬프트 평가의 5단계 표준 워크플로우평가 데이터셋(eval dataset) 의 구성 방법채점자(grader) 의 점수 기준평균 ..

AI 2026. 5. 8. 23:56

프롬프트 평가(Prompt Evaluation) 입문: 왜 "한 번 잘 됐어요"는 위험한가LLM 애플리케이션을 한 번이라도 만들어본 분이라면 다 공감하실 거예요. 로컬에서는 완벽하게 돌던 프롬프트가, 사용자에게 풀어놓는 순간 별별 희한한 입력에 박살나는 경험. 저도 수없이 겪었습니다.문제는 우리가 프롬프트를 만든 뒤 "몇 번 테스트해보고 괜찮아 보이면 배포" 하는 패턴에 빠지기 쉽다는 점이에요. 하지만 신뢰할 수 있는 AI 서비스를 운영하려면 한 단계 더 나아가야 합니다. 바로 프롬프트 평가(Prompt Evaluation) 입니다.이 글에서는 프롬프트 엔지니어링과 프롬프트 평가의 차이, 프롬프트를 작성한 뒤 우리가 흔히 선택하는 3가지 경로, 그리고 왜 평가 우선(Evaluation-First) 접근 ..

AI 2026. 5. 8. 23:45