Next-BlockChain

Multi-Index RAG: 의미 검색 + 키워드 검색을 하나로 묶는 하이브리드 파이프라인 (RRF 완전 정복)지금까지 우리는 두 가지 검색 방식을 따로 만들어왔어요. 의미 검색(Vector / Semantic) 으로 동의어·맥락을 잡고, 어휘 검색(BM25 / Lexical) 으로 정확한 키워드를 잡았죠. 그런데 운영 환경에서는 두 방식 다 필요한 경우 가 압도적으로 많습니다.오늘은 두 인덱스를 하나의 통합 검색 시스템 으로 묶는 패턴을 다룹니다. 핵심 메시지: "같은 인터페이스를 따르도록 만들고, 결과를 RRF(Reciprocal Rank Fusion) 로 합쳐라."특히 RRF 알고리즘 은 점수 체계가 다른 여러 검색기를 공정하게 합치는 표준 기법 이에요. 이 글 하나로 RRF 의 작동 원리, 가중..

AI 2026. 5. 24. 18:03

텍스트 임베딩(Text Embeddings) 입문: 의미를 숫자로 바꾸는 의미 기반 검색의 핵심 도구지난 글에서 문서를 청크로 나누는 방법 까지 배웠어요. 이제 청크들이 손에 있어요. 그런데 사용자가 질문을 던지면 수백·수천 개의 청크 중 어느 게 관련 있는지 어떻게 골라낼까요?가장 단순한 답은 키워드 검색 입니다. "버그" 라는 단어가 들어간 청크를 찾는 거죠. 하지만 사용자가 "오류" 라고 물으면? "glitch" 라고 물으면? 키워드 매칭은 동의어·맥락을 이해 못해서 막힙니다.여기서 의미 기반 검색(Semantic Search) 이 등장해요. 그리고 그 핵심 기술이 오늘의 주인공 — 텍스트 임베딩(Text Embeddings) 입니다. "의미를 숫자로 바꿔서, 비슷한 의미끼리 가까운 거리에 두는" ..

AI 2026. 5. 22. 01:51

텍스트 청킹 전략 4가지: RAG 의 성능을 결정짓는 가장 중요한 선택지난 글에서 RAG 의 큰 그림 을 봤어요. "문서를 잘게 나눠서 검색 가능한 형태로 저장한 뒤, 질문과 관련된 조각만 골라 Claude 에게 보낸다." 그 첫 단계가 바로 청킹(chunking) — 문서를 어떻게 자르느냐 — 입니다.이게 왜 중요할까요? 청킹이 망가지면 그 위에 어떤 좋은 검색·LLM 을 쌓아도 답이 틀립니다. 강의에서 든 예시가 인상적이에요.의료 연구 + 소프트웨어 엔지니어링 두 섹션이 섞인 문서.사용자: "올해 엔지니어들은 버그를 몇 개 고쳤어?"청킹이 잘못되면 → 의료 연구 섹션의 "bug" (벌레) 문맥이 검색에 걸려옴 → 완전히 엉뚱한 답.오늘은 4가지 청킹 전략(Size / Sentence / Structu..

AI 2026. 5. 22. 01:15

RAG 입문: 800페이지짜리 문서를 Claude에게 통째로 던지지 말아야 하는 이유회사에 800페이지짜리 재무 보고서 가 있다고 해봅시다. 사용자가 묻습니다."이 회사가 가진 리스크는 뭐야?"가장 단순한 답변 방법은 뭘까요? "문서 통째로 프롬프트에 붙여넣고 물어보면 되지 않나?" 이론상 가능합니다. Claude 의 컨텍스트 윈도우는 200K 토큰까지 받으니까요. 그런데 실제로 그렇게 운영하면 비용·속도·정확도 셋 다 박살납니다.오늘부터 시작하는 Chapter 5 (RAG and Agentic Search) 는 이 문제를 우아하게 푸는 방법론입니다. 핵심 아이디어는 "전부 담지 말고, 질문에 가장 관련 있는 조각만 골라서 담아라." 이게 바로 RAG (Retrieval-Augmented Generati..

AI 2026. 5. 20. 01:59