Next-BlockChain

RAG 파이프라인 5단계 직접 구현하기: 청크부터 검색까지 100줄로 완성지난 글까지 우리는 개념과 도구 를 갖췄어요. 청킹(post 31), 임베딩(post 32) 까지 끝났죠. 이제 진짜 재미있는 부분 — 그 모든 걸 합쳐서 동작하는 RAG 시스템 을 직접 구현합니다.오늘 만들 시스템은 단순합니다. 벡터 DB(Pinecone, Chroma 등) 같은 외부 의존성도 없어요. 우리가 직접 작은 VectorIndex 를 만들고, 그 안에 임베딩을 저장하고, 코사인 유사도로 검색합니다. 약 100줄짜리 RAG 가 완성돼요.오늘은 5단계 흐름 의 코드, VectorIndex 의 동작 원리, 검색 결과 해석 방법, 그리고 이 단순 구현이 운영에서 깨지는 케이스 까지 정리합니다.🎯 이 글에서 배우는 것RAG 파..

AI 2026. 5. 23. 23:38

텍스트 임베딩(Text Embeddings) 입문: 의미를 숫자로 바꾸는 의미 기반 검색의 핵심 도구지난 글에서 문서를 청크로 나누는 방법 까지 배웠어요. 이제 청크들이 손에 있어요. 그런데 사용자가 질문을 던지면 수백·수천 개의 청크 중 어느 게 관련 있는지 어떻게 골라낼까요?가장 단순한 답은 키워드 검색 입니다. "버그" 라는 단어가 들어간 청크를 찾는 거죠. 하지만 사용자가 "오류" 라고 물으면? "glitch" 라고 물으면? 키워드 매칭은 동의어·맥락을 이해 못해서 막힙니다.여기서 의미 기반 검색(Semantic Search) 이 등장해요. 그리고 그 핵심 기술이 오늘의 주인공 — 텍스트 임베딩(Text Embeddings) 입니다. "의미를 숫자로 바꿔서, 비슷한 의미끼리 가까운 거리에 두는" ..

AI 2026. 5. 22. 01:51