목록splitter (1)

Nathaniel

9. Langchain-RecursiveCharacterTextSplitter

이 텍스트는 Documents를 Chunk_size별로 글자를 나눠준다는 의미이고, 재귀적으로 잘라준다는 뜻이다.ex ) 문단 → 문장 → 단어 → 글자 순으로 점점 작게 자름.기본적으로 ["\n\n", "\n", ".", " "] 나뉜다단계 1단계\n\n(문단)2단계\n(줄 바꿈)3단계. (문장)4단계" " (단어)5단계고정 길이 이렇게 크게 자르다가 작게 자르는 이유는?? 문단이나 문장의 의미를 최대한 유지하면서,LLM이 잘 이해할 수 있도록 부드럽고 자연스럽게 텍스트를 나누는 분할기로 사용된다. "그래서 통상 재귀적으로 분할한다"라고 부른다. from langchain_text_splitters import RecursiveCharacterTextSplittertext = """나는 고양이를 좋아한..
AI 2025. 3. 22. 14:44
이전 Prev 1 Next 다음