๐คฏ ๊ณจ์น ์ํ
Vloลพit
- ฤas pลidรกn 26. 08. 2024
- ๐ ์๋ฃ: link.teddynote...
๐ค ๋์ค์ฝ๋ ์ฑ๋
/ discord
๐ ๋ญ์ฒด์ธ ํํ ๋ฆฌ์ผ ๋ฌด๋ฃ ์ ์์ฑ (wikidocs)
wikidocs.net/b...
โ ๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ ์ฝ๋์ ์ฅ์(GitHub)
github.com/ted...
โญ๏ธ ๊ฐ์ ํ๋ณด โญ๏ธ
LangChain + ChatGPT + Streamlit ๊ฐ์(VOD ๊ฐ์)
์๋์ ์ฌ์ ๋ฑ๋ก์ ํ์๋ฉด ๊ฐ์ ์คํ ํ ์๋ฆผ์ ๋ฐ์กํด ๋๋ฆด ์์ ์ด๋ฉฐ, ํ ์ธ ์ฟ ํฐ๋ ๊ฐ์ด ์ ๊ณตํด ๋๋ฆฝ๋๋ค.
๐ LangChain + ChatGPT + Streamlit ๊ฐ์ ์ฌ์ ์๋ฆผ ์ ์ฒญ ๐๐
๋งํฌ: forms.gle/buoX...
#langchain #rag
---
๐ ๋ญ์ฒด์ธ ํ๊ตญ์ด ํํ ๋ฆฌ์ผ(๋ฌด๋ฃ ์ ์์ฑ ): wikidocs.net/b...
๐ ํ ๋๋ ธํธ(๊นํ ๋ธ๋ก๊ทธ) : teddylee777.gi...
๐ป GitHub ์์ค์ฝ๋ ์ ์ฅ์: github.com/ted...
๐ฟ LLM ํ๋ก์ ํธ: llm.teddynote.com
00:25 ์ค๋์ ์ฃผ์ -PDF-
02:04 ํ
04:07 ๊ทธ๋ํ(์ฐจํธ)
05:13 ์ด๋ฏธ์ง
06:41 ์ง๋ฌธ1: ํ ์ถ์ถ(DataFrame, Excel)
09:01 ์ง๋ฌธ2: ์์๋ฅผ ๋ฝ์ ๋ ์์น์ ๋ณด
09:23 ์ฐจํธ์ ๋ถ์ด์๋ ํ ์คํธ์ฒ๋ฆฌ(x์ถ, y์ถ, ์ ๋ชฉ)
10:05 ๋ค์ด์ด๊ทธ๋จ, ๋ํ ์ธ์
10:59 ๋จ๋ฝ ๊ตฌ๋ถ
13:39 ๋ค์ค์ปฌ๋ผ(2๋จ)
14:14 ๋ถํ์ํ ์ ๋ณด ์ ๊ฑฐ(license)
15:10 OCR
15:46 ์ฃผ์ ํค์๋ ๊ฒ์ ์๋๋ ๋ฌธ์
21:24 ๋ญ์ค๋ฏธ์ค ํ๋ธ์์ ์ข์ ํ๋กฌํํธ ๊ณ ๋ฅด๊ธฐ ๊ฟํ
22:24 ์ง๋ฌธ3: FAISS Retriever
22:47 ์ง๋ฌธ4: Ensemble Retriever
24:05 ๋ฌธ์๊ฒ์์ ์์ด์ ํธ ํ์ฉ
25:12 PDF ๊ธฐ๋ฐ Q&A ์ฑ๋ด ์ฑ๋ฅ์ด ์๋์์ ใ
28:26 ๋ ์ง๊ฒ์
31:54 ๋ฌธ์ ๋ด ์ด๋ฏธ์ง๋ฅผ ํ ์คํธ๋ก ์ค๋ช ๊ตฌ๋ก ๋ณํํ์ฌ ์ ์ฅ?
33:16 PDF ๋ด ์ฝ์ ๋ ์์ ์์น๋ฅผ ์ ์ ์งํ๋ฉด์ ๋ด์ฉ ๋ณ๊ฒฝ ๋ฐฉ๋ฒ
34:32 Llamaparse
35:11 Upstage
36:04 ์ง๋ฌธ5: ํ์ ์ ๋ชฉ์ ๋งค์นญํ์ฌ DB ์ ์ ์ฅํ ์ ์๋์?
36:47 ๊ธฐ์กด DB ์ PDF ์ถ๊ฐํ๋ ๋ฐฉ๋ฒ
37:20 ์ฐจ๊ทผ์ฐจ๊ทผ PDF ์ ๋ณตํด์!
37:55 PDF ๊ฐ๋ฐ์ฌ์ ๊ฐ๋ฐ์ ๋ถ๋ค ๋ชจ์ ์ ์ธํฐ๋ทฐ ์งํํ ์์ ์ ๋๋ค!!
์ง์ง ํ์ ์์ ํ์๋ก ํ๋๋ถ๋ถ์ ์๋ ค์ฃผ์๋๊น ํ ๋๋์ ์ด์ ์ ๋๋๊ณ ๊ฐ์ฌ๋๋ฆฝ๋๋ค.
์์๋ด ์ฃผ์ ์ ์ ๋ง ๊ฐ์ฌ๋๋ฆฝ๋๋ค๐๐
ํญ์ ์ข์ ์์ ๊ฐ์ฌํฉ๋๋ค!
์์ฒญํด ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค๐
์ ๋ดค์ต๋๋ค ๊ณ ๋ง์ต๋๋ค ^^
๊ฐ์ฌํฉ๋๋ค๐
22:47 ๋ด์ฉ ์ ์ ํด์ผํ ๋ถ๋ถ์ด ์์ต๋๋ค! BM25Retriever ๋ Dense Retriever ๋ฅผ ๊ฐ์ DB ๋ฅผ ๋ฐ๋ผ๋ณผ ์ ๋ ์์ต๋๋ค(์ธ๋ฑ์ฑ ๋ฐฉ์์ด ๋ค๋ฅด๊ธฐ ๋๋ฌธ์ ๋๋ค). ๊ฐ๊ฐ ๋ณ๋์ DB๋ฅผ ๋ง๋ค์ด ์ฃผ๋ ๊ฒ์ด ๋ง์ต๋๋ค.
MarkdownTextSplitter๋ฅผ ์ฐ๋ฉด chunk_size์ ์ค๋ฒ๋ฉ์ ์ค์ ํด๋ ์์์ ์๋งจํฑํ๊ฒ ๋๋ ์ฃผ๋์? ๊ทธ๋ผ ์ข์ ๊ฒ ๊ฐ์๋ฐ ใ
MarkdownHeaderTextSplitter ๋ Header ์ ๊ธ์ body ์ ํด๋นํ๋ Text ๋ฅผ ๋ถํ ํฉ๋๋ค~
์๋ ํ์ธ์, ์์ ์ ๋ณด๊ณ ์์ต๋๋ค. ์ฌ๋ด ๋ณด์ํ๊ฒฝ์์ ๋ก์ปฌ LLM + RAG ๊ตฌ๋์ ์๋ํด๋ณด๊ณ ์๋๋ฐ pdf๋ word ํ์ผ์ drm์ด ๊ฑธ๋ ค์์ด์ ํ์ด์ฌ์์ ์กฐํ๊ฐ ์ด๋ ต๋๋ผ๊ตฌ์.. ์ด ๊ฒฝ์ฐ์ ํ์ผ๋ค์ drm์ด ๊ฑธ๋ฆฌ์ง ์๋ txt๋ก ๋ฐ๊ฟ์ ํ์ด์ฌ์ผ๋ก ์ฝ์ด์ค๋ ๋ฐฉ๋ฒ์ ์๊ฐํ๊ณ ์๋๋ฐ ํน์ ๋ ์ข์ ๋ฐฉ์์ด ์์์ง ์๊ฒฌ ์ฌ์ญ์ต๋๋ค ! ์ฐจ์ ์ฑ ์ผ๋ก๋ ์ฌ์ธ ํ๊ฒฝ์์ open ๋ฐ์ดํฐ๋ก ๋ฒกํฐ DB๋ฅผ ๊ตฌ์ถ ํ ๋ค์ ํด๋น DB๋ฅผ ์ฌ๋ด๋ก ๋ณต์ฌํ๋๊ฑด๋ฐ ๋ ๋ฐฉ์ ๋ชจ๋ ์คํ ๊ฐ๋ฅ์ฑ์ด ์๋์ง ์ ๋ณด๊ฐ ๊ฑฐ์ ์๋ ๊ฒ ๊ฐ๋ค์ ใ ใ
๋ค~ ๋งํฌ๋ค์ด ํ์์ ํ์ผ๋ก ๋ณํ๋ ๊ฐ๋ฅํ์ง ํ ๋ฒ ํ์ธํด ์ฃผ์ธ์ (.txt ๋ณด๋ค๋ ๋งํฌ๋ค์ด ํ์์ ๊ธ์ด ์ข์ต๋๋ค)
์ ๋ฆฌํ์๋ฉด ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
1. DRM ์ ํ์ด์ฌ ์ฝ๋๋ก ํด์ ํ์ฌ ํ์ผ open
2. ์์์์ ์ธ๊ธํ PDF -> Markdown ๋ณํ๊ธฐ๋ฅผ ์จ์ ํ ๋ฒ ๋ณํํด ๋ณด์๊ณ ์. ํ์ง์ด ๋ณ๋ก๋ฉด ํ์ฒ๋ฆฌ๋ฅผ ํตํด ์ข ๋ ๋ค๋ฌ์ด ์ฃผ์ธ์! ์ํ๋ ๊ฒฐ๊ณผ๊ฐ ์ ๋์ฌ๋๊น์ง ์ต๋ํ์!
3. ๋งํฌ๋ค์ด์ DB ์ ์ ์ฅ (์ด๋ DB ๋ ํด๋ผ์ฐ๋ DB ๋ณด๋ค๋ ์ฐ์ local DB (Chroma, FAISS) ๋ก ์ ์ฅํ์ฌ ์ ๋์ํ๋์ง ๋จผ์ ํ์ธํด ๋ณด์ธ์!
4. retriever ๋ก ์กฐํ
๋๋ฌด ๊ฐ์ฌํฉ๋๋ค ใ ใ ๋ ธํ์ฐ๋ฅผ ์ด๋ ๊ฒ ๊ณต๊ฐ ํด์ฃผ์ ์ ํญ์ ์ฑ๊ฒจ ๋ณด๊ณ ์์ต๋๋ค! ์ง๋ฌธ์ด ์๋๋ฐ์.
์์๋ธ ๊ฒ์์์ ์ฌ์ฉํ๋ bm25๋ฆฌํธ๋ฆฌ๋ฒ๋ฅผ ์ฌ์ฉํ๋๊ฒฝ์ฐ ๋์ด์ฐ๊ธฐ ๋จ์๋ก ์ธ๋ฑ์ค๋ฅผ ๋ง๋ค๊ณ tf/idf์ฒ๋ผ ํ์ฉํ๋ ๊ฑธ๋ก ์๊ณ ์์ต๋๋ค. ๊ทผ๋ฐ ๋ญ์ฒด์ธ์์ ์ ๊ณตํ๋ bm25 ๊ฒ์์ ์ฌ์ฉํ๋ฉด ๋ฐ๋ก ํ ์คํธ๋ฅผ ๋ฌผ๋ฆฌ์ ์ธ db์ ์ ์ฅํ์ง ์๋ ๊ฒ ์ฒ๋ผ ๋ณด์ด๋๋ฐ ๋ง์๊น์?
bm25๋ฆฌํธ๋ฆฌ๋ฒ๋ ์ ์ฅ๋ DB ์์ ์กฐํํฉ๋๋ค^^
๋จผ์ , BM25 Retriever ๋ฅผ ์์ฑํ๊ธฐ ์ ์ DB๋ฅผ ๋ง๋ค๊ณ ์ฌ๊ธฐ์ BM25 Retriever ๋ฅผ ๋ฌผ๋ฆฌ๋ฉด ๋ฉ๋๋ค!
์ ๋ดค์ต๋๋ค! ํ๋ ์ง๋ฌธ์ด ์์ต๋๋ค. 1.์์๋ธ ๋ฆฌํธ๋ฆฌ๋ฒ๋ฅผ ์ฐ๋ฉด Vector retreiver+BM25 Retriever์ธ๋ฐ์. BM25๋ฆฌํธ๋ฆฌ๋ฒ ์์๋ฅผ ๋ณด๋ฉด ํ ์คํธ์ ๋ํด์๋ง ํ๋๋ฐ, ๋ง์ฝ ์ฑํ ์ผ๋ก ๊ฒ์ํ ์์ ๋ฒกํฐ ๋ฆฌํธ๋ฆฌ๋ฒ๋ ์ปฌ๋ ์ ์์ ์ ์ฌ๋๋ฅผ ์กฐํํ๋ฉด ๋๋๋ฐ์. BM25๋ฆฌํธ๋ฆฌ๋ฒ๋ ์ง๋ฌธ์ ๋ฐ๋ผ ์ด๋ค ๋ฌธ์๋ฅผ ์กฐํํด์ผํ๋์ง ์ด๋ป๊ฒ ์์์์๊น์? ๋ง์ฝ DB์ ๋ฌธ์๊ฐ ๋ค์ด๊ฐ์๋ค๋ฉด ํน์ ์ฟผ๋ฆฌ๋ฅผ ๋ ๋ ค์ ํ ์คํธ๋ฅผ ๊ฐ์ ธ์์ผ ํ ํ ๋ฐ,, ์ง๋ฌธ์ ๋ฐ๋ผ ์ด๋ค ์ฟผ๋ฆฌ๋ฅผ ๋ ๋ ค์ผ ํ ์ง๋ฅผ ๋ชจ๋ฅด๋ฉด ํ์ค์บ์ ํ๊ฒ๋๋๊ฑฐ ์๋๊ฐ ์ถ์ต๋๋ค. ๋,๋ง์ฝ ๋ฌธ์์ ํฌ๊ธฐ๊ฐ ๋๋ฌด ํฌ๋ค๋ฉด BM25๋ฆฌํธ๋ฆฌ๋ฒ ๋๋ฌธ์ ๋ต๋ณ ์๋๊ฐ ๋ฆ์ด์ง์๋ ์์๊น์? 2.๋ง์ฝ ์์๋ธ ๋ฆฌํธ๋ฆฌ๋ฒ๋ฅผ ์ฐ๊ธฐ์ํด ๋ฒกํฐ๋๋น์ ๋ฌธ์๋ฅผ ๋ฃ์๋๋ผ๋, BM25 ๋ฆฌํธ๋ฆฌ๋ฒ๋ฅผ ๋ฐ๋ก ๊ฐ๊ณ ์์ด์ผ ํ๋ค๋ฉด, ๊ฒฐ๊ตญ ๋ณ๋์ ๋๋น๊ฐ ๋ ํ์ํ๋ฐ์. ์ด๋ฌ๋ฉด ๋ฒกํฐDB ์ ์ฉ DB(Qdrant,Milvus) ๋ฑ์ ์ฐ๊ธฐ์ ๋๋ฌด ๋ถํธํ์ง ์์๊น์? MongoDB,Postgre,redis๊ฐ ์๋๋ ๋๋ ค๋ ๋ ๊ด๋ฆฌํ๊ธฐ ์ฌ์ธ์๋ ์๊ฒ ๋ค์?~ ์น์๊ฐ ๋๊ฐ ๋ ์ง ๊ถ๊ธํด์ ์ด๋ป๊ฒ ์๊ฐํ์๋์ง ๊ถ๊ธํด์ ์ฌ์ญ์ต๋๋ค
์ฐ์ , ๋ ์นด๋ก์ด ์ง๋ฌธ๊ณผ ์ค์ ํ์ ์ ๋์ ํ ๋ ๊ณ ๋ คํด์ผ ํ๋ ํ์ค์ ์ธ ๊ณ ๋ฏผ(ํนํ, ์ ์ฌ๋ ๊ฒ์ ๊ฒฐ๊ณผํ์ธ์ด๋ ์๋ ๋ฌธ์ ๋ฑ) ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค!
1. ์ด๋ค ๋ฌธ์๋ฅผ ์กฐํํ๋์ง ํ์ธ: LangSmith ๋ก ์ฝ๊ฒ tracing ์ด ๊ฐ๋ฅํ๊ธฐ ๋๋ฌธ์ Query ๋ณ๋ก ๊ฐ๊ฐ์ retriever ๊ฐ ์กฐํํ ๋ฌธ์์ ๋จ๋ฝ์ ์ฝ๊ฒ ํ์ธ์ด ๊ฐ๋ฅํฉ๋๋ค.
BM25retriever๋ ๋จ์ํ ํ ์คํธ์ ๋ฌธ์์ ์ผ์น๋ง์ ๊ณ ๋ คํ๋ ๊ฒ์ด ์๋๋ผ, ๊ฒ์์ด์ ์ค์์ฑ(์ด๋ค ๋จ์ด๊ฐ ๋ฌธ์ ์งํฉ ์ ์ฒด์์ ์ผ๋ง๋ ํฌ๊ทํ๊ฒ ๋ฑ์ฅํ๋์ง)๊ณผ ๋ฌธ์ ๋ด์์์ ๊ฒ์์ด ๋น๋, ๊ทธ๋ฆฌ๊ณ ๋ฌธ์์ ๊ธธ์ด๋ฅผ ์ข ํฉ์ ์ผ๋ก ๊ณ ๋ คํฉ๋๋ค. ์ธ๋ฑ์ฑ์ด ์๋์ด ์๋ ๊ฒฝ์ฐ(optimal ํ chunk ๋จ์๋ก ์ ์ ์ฅ๋์ด ์๊ณ , vector DB ๊ฐ ์ด๋ฅผ ์ ์ธ๋ฑ์ฑ ํ๋ค๊ณ ๊ฐ์ ) ํ์ค์บ์ ํ๋ค๊ณ ๋ณผ ์๋ ์์ง๋ง ๊ทธ๋ ๋ค๊ณ ์๋๊ฐ ์์ฒญ๋๊ฒ ๋๋ ค์ ๋ชป์ธ ์ ๋๋ค ๊น์ง๋ ์๋ ๊ฒ ๊ฐ์ต๋๋ค (์ด๋ฅผ ์ ์ฒ๋ฆฌํ๋ ๋ถ์ฐ ์ฒ๋ฆฌ๊ฐ ์๋๋ DB๋ ๊ณ ๋ คํ ์ ์์ต๋๋ค. ๋ง์ฝ์ ๋ฌธ์์ ์์ด ๋ง๋ค๋ฉด scalability ๊น์ง ๊ณ ๋ คํ์ฌ DB ์ ํ์ ํด์ผํ ๊ฒ์ ๋๋ค)
2. DB ์ ํ์ ๋ค์ํ "์ํฉ"์ ๊ณ ๋ คํ์ฌ ์ ํํ๊ธฐ ๋๋ฌธ์ ์ด๋ ๋ถ๋ถ์ ๋ ์ค์๋๋ฅผ ๋๊ณ ๊ณ ๋ คํ๋๋์ ๋ฐ๋ผ DB ์ ํ์ ํ ์ ์๋๋ฐ์. ์์ญ๊ฐ์ DB ๊ฐ๊ฐ์ ์ฅ๋จ์ ๊ณผ trade-off ๊ฐ ์กด์ฌํ๊ธฐ ๋๋ฌธ์ ๋ฑ ๋ช ๋ฃํ๊ฒ ์ด๊ฒ ์ข๋ค๊ณ ๊ฒฐ๋ก ๋ด๊ธฐ๋ ์ฌ์ด ๋ฌธ์ ๋ ์๋ ๊ฒ ๊ฐ์ต๋๋ค. "๋ฌธ์์ ์์ด ์ผ๋ง๋ ๋ง๋", "์กฐํ ์๋", "์ผ๋ง๋ ์์ฃผ insert ๊ฐ ๋๋์ง", "์กฐํ๋ ์ผ๋ง๋ ์์ฃผํ๋์ง", "on-prem vs cloud" ๋ฑ๋ฑ์ ์ํฉ๋ค์ ์ข ํฉ์ ์ผ๋ก ํ๋จํด์ผ ํ๋๋ฐ์. ๊ธฐ์กด์ Vector DB ๋ค์ ๋ฒค์น๋งํฌ ๊ฒฐ๊ณผ๋ trade-off ์์๋ค์ ๊ณ ๋ คํ์ฌ "์ต๊ณ " ๋ณด๋ค๋ "์ต์ "์ ์ ํ์ ํด์ผํ๋ ๊ฒ ๊ฐ์ต๋๋ค.
์ด ๋ถ๋ถ์ ์ ๊ฐ ๊ฒฐ๋ก ์ ๋ด๊ธฐ์๋ ์ด๋ ค์ด ๋ฌธ์ ์ธ ๊ฒ ๊ฐ์์, ๋ณด๋ค ์ ์ ๋ฆฌ๋ ๋ธ๋ก๊ทธ ์๋ฃ ๋งํฌ๋ฅผ ๋จ๊ฒจ ๋๊ฒ ์ต๋๋ค. ์์๋ณ๋ก ๋น๊ต๊ฐ ๋์ด ์์ผ๋ ํ ๋ฒ ์ฐธ๊ณ ํด ๋ณด์๋ ๊ฒ์ ์ถ์ฒ ๋๋ฆฝ๋๋ค^^
thedataquarry.com/posts/vector-db-4/#6-sparse-vs-dense-vector-storage
@@teddynote ์น์ ํ๊ณ ์์ธํ ๋ต๋ณ ์ ๋ง ๊ฐ์ฌ๋๋ฆฝ๋๋ค! ๋ค๋ฅธ๊ฒ์ ๋ค ์ดํด๊ฐ ๋๋๋ฐ BM25๋ฆฌํธ๋ฆฌ๋ฒ์์, (optimal ํ chunk ๋จ์๋ก ์ ์ ์ฅ๋์ด ์๊ณ , vector DB ๊ฐ ์ด๋ฅผ ์ ์ธ๋ฑ์ฑ ํ๋ค๊ณ ๊ฐ์ ) ์ด๋ผ๋ ๋ถ๋ถ์์ ์ดํด๊ฐ ์ข ์ด๋ ต๋ค์ ใ ใ .. BM25๋ฆฌํธ๋ฆฌ๋ฒ๊ฐ ๋ฒกํฐ ๋๋น์ ์ฐ๊ณ๋๋ ๋ถ๋ถ์ด ์์๊น์? ์์๋ธ ๋ฆฌํธ๋ฆฌ๋ฒ๊ฐ ์ ๋ ๊ฐ๊ฐ ๋ฆฌํธ๋ฆฌ๋ธ๋ฅผ ํ๊ณ ๊ทธ๊ฒ์ ์กฐํฉํ๋๊ฒ์ด๋ผ ์๊ฐํ๋๋ฐ ๋ง์ํ์ ๊ฒ์ ๋ณด๋ฉด ๋ก์ง์ด ๋ค๋ฅธ๊ฒ๊ฐ์ต๋๋ค! BM25๋ฆฌํธ๋ฆฌ๋ฒ๊ฐ ๋ฒกํฐ๋๋น์์ ์ธ๋ฑ์ฑ์ด ์ค์ํ๊ฐ๋ณด๊ตฐ์
@@teddynote ์ ๊ทธ๋ฆฌ๊ณ ๋ง์ง๋ง์ผ๋ก ์ง๋ฌธ๋๋ฆฝ๋๋ค!!(์ง๋ฌธ ๋ง์ ์ฃ์กํฉ๋๋ค) ๋ง์ฝ ์์๋ธ ๋ฆฌํธ๋ฆฌ๋ฒ๋ฅผ ์ฐ๊ธฐ ์ํด ๋ฌธ์๋(PDF,File,json)์ ๊ฐ๊ณ ์๋๋ค๋ฉด CSV,PDF ๋ฑ ๋ญ์ฑ์ธ์์ ์ ๊ณตํ๋ Loader๋ค(pymupdf) ๋ฑ์ ๊ทธ๋๋ก ์ฐ๊ธฐ ์ํด์๋ DB์ ๋ฃ๊ธฐ ๋ณด๋ค๋ ์๋ณธ ํ์ผ์ ๊ทธ๋๋ก ๊ฐ์ง๊ณ ์๋๊ฒ ํธํ ๊ฒ ๊ฐ์๋ฐ, ์ด๋ฅผ ๊ทธ๋ฅ DB์ ๋ฃ์ผ์๋์ง์?.. s3-glue-athena๋ก s3์ url์ ์ฐธ์กฐํ๋ db๋ฅผ ๊ตฌ์ถํด์ผํ๋ ๊ณ ๋ฏผ์ด ์๋๋ฐ ํ ๋๋ ธํธ๋์ ํ์ผ๋ค์ ์ด๋ป๊ฒ ๊ด๋ฆฌํ์๋์ง ๊ถ๊ธํฉ๋๋ค!
@@akrja4 ์ ๋ค~ BM25 ์๊ณ ๋ฆฌ์ฆ์ ๋ชจ๋ DB๋จ์์ ์ง์ํ๋ ๊ฒ์ ์๋์ง๋ง ์ง์ํ๋ DB๊ฐ ์์ด์์. ๊ทธ๊ฑธ ๊ธฐ์ค์ผ๋ก ์ดํดํด ์ฃผ์๋ฉด ๋๊ฒ ์ต๋๋ค. ์๋ฅผ ๋ค์ด elasticsearch, weaviate ์. ์์ ํ์ด๋ธ๋ฆฌ๋ ์์น๋ฅผ ์ง์ํ๋ DB ๋ ๋ง์์ ๊ทธ๋ฐ ๋๋น๋ฅผ ์ฐ๋ฉด ์ฌ์ฉ์ฑ์ด ๋ ํธํ๊ธด ํฉ๋๋ค!
์์ ์ ๋ณด๊ณ ์์ต๋๋ค! ํน์ ํ๊ตญ์ด ๊ต์ก ๋ฐ์ดํฐ๋ฅผ ํ์ต ์ํค๋ ค๊ณ ํ๋๋ฐ ์ถ์ฒ ์์๊ฐ์ ๊ฒ์ด ์์๊น์? ์๋ค๋ฉด ํน์ ๋ฐฉ๋ฒ์ ๊ฐ๋ตํ๊ฒ ๋จ๊ฒจ์ฃผ์๋ฉด ์ ๋ง ๊ฐ์ฌ๋๋ฆฌ๊ฒ ์ต๋๋ค!!
ํ์ต์ด๋ผ๋ฉด ํ์ธํ๋ ๋ง์ํ์ค๊น์?
๋ง์ฝ์ ํ์ธํ๋์ด๋ผ๋ฉด ๋ด์ฉ์ด ๋ฐฉ๋ํด์ ์ ๊ฐ ๋งํฌ๋ฅผ ๋จ๊ฒจ ๋์ํ ๋ ๋งํฌ ์์ ๋ด์ฉ์ ํ ์ ์ฐธ๊ณ ํด๋ด์ฃผ์ธ์~
github.com/davidkim205/komt
ํ ๋๋ ์ง๋ฌธ์ด์์ต๋๋ค pdf๋ ์๋์ง๋ง ์์ ๋ฌธ์๋ฅผ ๊ฐ์ ธ์ฌ๋ ์ด๋ค์์ผ๋ก ๊ฐ์ ธ์ค๋์? row ๊ฐ 2000์ค์ด ๋๋ค๋ณด๋๊น ํ์ค์ฉ ๊ฐ์ ธ์ค๋๊ฒ ๋ง๋ ์๊ฐ์ด ๋ค์ด์์ ํ์ค์ฉ ๊ฐ์ ธ์ค๋๊น ์๋ฒ ๋ฉ ํ ๊ฒ์ ๋ค์ ์ฐพ์์ฌ๋ ๊ทธ๋ฌธ์๋ง ํธํฅ๋์ ์ฐพ์์ค๊ณ ๋๋จธ์ง ๋ฌธ์์์๋ ์ฐพ์ง ์๋ ๋ค๋ ์๊ฐ์ด ๋ค์ด์ ์ด ๋ถ๋ถ์ ๋ํด ์ธ์ฌ์ดํธ๊ฐ ์์๊น์?
์์ ์ ์ ๋ ํฌ๊ฒ ๋ ๊ฐ์ง ๋ฐฉ์์ผ๋ก ์ฒ๋ฆฌํ๋๋ฐ์
1. dataframe ์ผ๋ก ๊ฐ์ ธ์์ ์ฟผ๋ฆฌ๋ก ์ฒ๋ฆฌํ๋ ๊ฒฝ์ฐ
2. ๋ง์ํ์ row ๋จ์๋ก ์ฝ์ด์์ GPT์ ํ ์คํธ ํ์ ์ผ๋ก ๋ฃ๋ ๊ฒฝ์ฐ ์ธ๋ฐ์.
ํ์์ ๊ฒฝ์ฐ๋ ๊ทธ๋ฅ ๋ฃ์ด์ฃผ์๋ ๊ฒ๋ณด๋ค ์ปฌ๋ผ ์ ๋ณด๋ฅผ ์ ํ์ ๋ฃ์ด์ฃผ์๋ ๊ฒ์ด ์ข์์ ์๋ฅผ ๋ค์ด
```
16ํ๊ธธ๋male
17๊น์ํฌfemale
```
์์๊ฐ์ด ํ๋จ์๋ก ๋ฌถ๋ XML ํ์์ผ๋ก ๋ง๋ค์ด์ ์ฃผ์ ํ๋ฉด ๊ฝค๋ ์ ์ฐธ๊ณ ํ์ฌ ๋ต๋ณํฉ๋๋ค^^
์ผํ ์ด๋์ ๋ถํฐ ์์ํด์ผ ํ ์ง ๋ชจ๋ฅด๊ฒ ์ด์ฌ ใ ใ ใ
๋ง๋ค์.. ๊ทธ๊ฒ ๋ฌธ์ ๋ค์.. ์ ๊ฐ ์์์ด๋ ์ปค๋ฎค๋ํฐ ๊ฒ์๊ธ๋ก ๋น ๋ฅด๊ฒ ์ ๋ฆฌํ์ฌ ๊ณต์ ๋๋ฆด๊ป์ ใ ใ
์๋ ํ์ธ์, ๊ณง ๊ณต๊ฐ๋๋ ๊ฐ์ ์ง๋ฌธ๋๋ฆฌ๊ณ ์ถ์๋ฐ ๋ฐ๋ก ์ง๋ฌธ๋จ๊ธธ๋งํ ๊ณณ์ด ์์ด ์ฌ๊ธฐ ๋จ๊น๋๋ค..ใ
LangChain + ChatGPT + Streamlit ๊ฐ์๋ผ ํ์ จ๋๋ฐ chatGPT ๊ฐ assistant API ์ผ๊น์?
chatgpt assistant api ๋ ๋ค๋ฃจ์ง ์๊ณ ์ ๋์ ์์ํธํ๋ฒ์ ์ธ Agent ๋ฅผ ์ฌ๋์๊ฒ ๋ค๋ฃน๋๋ค^^
@@teddynote ๊ฐ์ฌํฉ๋๋ค ๊ธฐ๋ค๋ ค์ง๋ค์ฉ
ํด๋น ์์ ๋ ธํธ๋ถ ํ์ผ์ ์ด๋์ ๋ณผ ์ ์๋์?
ํด๋น ๋ ธํธ๋ถ ํ์ผ์ ๋ด๋ถ ๊ฐ์์ฉ์ผ๋ก๋ง ๊ณต์ ๋๋ฆฌ๊ณ ์์ต๋๋ค!
์๋ ํ์ธ์. ํน์ ๋๊ธฐ์ ์ถ๊ฐ ํ ๋ฒ ์ค์ค ์๊ฐ ์์ผ์ ๊ฐ์....
teddylee777@gmail.com ๋ฉ์ผ ์ฃผ์๋ฉด ๊ฐ์ฌ๋๋ฆฌ๊ฒ ์ต๋๋ค๐