๐Ÿคฏ ๊ณจ์น˜ ์•„ํ”ˆ

Sdรญlet
Vloลพit
  • ฤas pล™idรกn 26. 08. 2024
  • ๐Ÿ“ ์ž๋ฃŒ: link.teddynote...
    ๐Ÿค– ๋””์Šค์ฝ”๋“œ ์ฑ„๋„
    / discord
    ๐Ÿ“˜ ๋žญ์ฒด์ธ ํŠœํ† ๋ฆฌ์–ผ ๋ฌด๋ฃŒ ์ „์ž์ฑ…(wikidocs)
    wikidocs.net/b...
    โœ… ๋žญ์ฒด์ธ ํ•œ๊ตญ์–ด ํŠœํ† ๋ฆฌ์–ผ ์ฝ”๋“œ์ €์žฅ์†Œ(GitHub)
    github.com/ted...
    โญ๏ธ ๊ฐ•์˜ ํ™๋ณด โญ๏ธ
    LangChain + ChatGPT + Streamlit ๊ฐ•์˜(VOD ๊ฐ•์˜)
    ์•„๋ž˜์— ์‚ฌ์ „ ๋“ฑ๋ก์„ ํ•˜์‹œ๋ฉด ๊ฐ•์˜ ์˜คํ”ˆ ํ›„ ์•Œ๋ฆผ์„ ๋ฐœ์†กํ•ด ๋“œ๋ฆด ์˜ˆ์ •์ด๋ฉฐ, ํ• ์ธ ์ฟ ํฐ๋„ ๊ฐ™์ด ์ œ๊ณตํ•ด ๋“œ๋ฆฝ๋‹ˆ๋‹ค.
    ๐Ÿ“ LangChain + ChatGPT + Streamlit ๊ฐ•์˜ ์‚ฌ์ „์•Œ๋ฆผ ์‹ ์ฒญ ๐Ÿ™๐Ÿ™
    ๋งํฌ: forms.gle/buoX...
    #langchain #rag
    ---
    ๐Ÿ“˜ ๋žญ์ฒด์ธ ํ•œ๊ตญ์–ด ํŠœํ† ๋ฆฌ์–ผ(๋ฌด๋ฃŒ ์ „์ž์ฑ…): wikidocs.net/b...
    ๐Ÿ“ ํ…Œ๋””๋…ธํŠธ(๊นƒํ—™ ๋ธ”๋กœ๊ทธ) : teddylee777.gi...
    ๐Ÿ’ป GitHub ์†Œ์Šค์ฝ”๋“œ ์ €์žฅ์†Œ: github.com/ted...
    ๐Ÿฟ LLM ํ”„๋กœ์ ํŠธ: llm.teddynote.com

Komentรกล™e • 39

  • @teddynote
    @teddynote  Pล™ed 3 mฤ›sรญci +1

    00:25 ์˜ค๋Š˜์˜ ์ฃผ์ œ -PDF-
    02:04 ํ‘œ
    04:07 ๊ทธ๋ž˜ํ”„(์ฐจํŠธ)
    05:13 ์ด๋ฏธ์ง€
    06:41 ์งˆ๋ฌธ1: ํ‘œ ์ถ”์ถœ(DataFrame, Excel)
    09:01 ์งˆ๋ฌธ2: ์š”์†Œ๋ฅผ ๋ฝ‘์„ ๋•Œ ์œ„์น˜์ •๋ณด
    09:23 ์ฐจํŠธ์— ๋ถ™์–ด์žˆ๋Š” ํ…์ŠคํŠธ์ฒ˜๋ฆฌ(x์ถ•, y์ถ•, ์ œ๋ชฉ)
    10:05 ๋‹ค์ด์–ด๊ทธ๋žจ, ๋„ํ˜• ์ธ์‹
    10:59 ๋‹จ๋ฝ ๊ตฌ๋ถ„
    13:39 ๋‹ค์ค‘์ปฌ๋Ÿผ(2๋‹จ)
    14:14 ๋ถˆํ•„์š”ํ•œ ์ •๋ณด ์ œ๊ฑฐ(license)
    15:10 OCR
    15:46 ์ฃผ์š” ํ‚ค์›Œ๋“œ ๊ฒ€์ƒ‰ ์•ˆ๋˜๋Š” ๋ฌธ์ œ
    21:24 ๋žญ์Šค๋ฏธ์Šค ํ—ˆ๋ธŒ์—์„œ ์ข‹์€ ํ”„๋กฌํ”„ํŠธ ๊ณ ๋ฅด๊ธฐ ๊ฟ€ํŒ
    22:24 ์งˆ๋ฌธ3: FAISS Retriever
    22:47 ์งˆ๋ฌธ4: Ensemble Retriever
    24:05 ๋ฌธ์„œ๊ฒ€์ƒ‰์— ์—์ด์ „ํŠธ ํ™œ์šฉ
    25:12 PDF ๊ธฐ๋ฐ˜ Q&A ์ฑ—๋ด‡ ์„ฑ๋Šฅ์ด ์•ˆ๋‚˜์™€์š” ใ… 
    28:26 ๋‚ ์งœ๊ฒ€์ƒ‰
    31:54 ๋ฌธ์„œ ๋‚ด ์ด๋ฏธ์ง€๋ฅผ ํ…์ŠคํŠธ๋กœ ์„ค๋ช…๊ตฌ๋กœ ๋ณ€ํ™˜ํ•˜์—ฌ ์ €์žฅ?
    33:16 PDF ๋‚ด ์‚ฝ์ž…๋œ ์š”์†Œ ์œ„์น˜๋ฅผ ์ž˜ ์œ ์ง€ํ•˜๋ฉด์„œ ๋‚ด์šฉ ๋ณ€๊ฒฝ ๋ฐฉ๋ฒ•
    34:32 Llamaparse
    35:11 Upstage
    36:04 ์งˆ๋ฌธ5: ํ‘œ์— ์ œ๋ชฉ์„ ๋งค์นญํ•˜์—ฌ DB ์— ์ €์žฅํ•  ์ˆ˜ ์žˆ๋‚˜์š”?
    36:47 ๊ธฐ์กด DB ์— PDF ์ถ”๊ฐ€ํ•˜๋Š” ๋ฐฉ๋ฒ•
    37:20 ์ฐจ๊ทผ์ฐจ๊ทผ PDF ์ •๋ณตํ•ด์š”!
    37:55 PDF ๊ฐœ๋ฐœ์‚ฌ์˜ ๊ฐœ๋ฐœ์ž ๋ถ„๋“ค ๋ชจ์…”์„œ ์ธํ„ฐ๋ทฐ ์ง„ํ–‰ํ•  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค!!

  • @obee8222
    @obee8222 Pล™ed 3 mฤ›sรญci +2

    ์ง„์งœ ํ˜„์—…์—์„œ ํ•„์š”๋กœ ํ•˜๋Š”๋ถ€๋ถ„์„ ์•Œ๋ ค์ฃผ์‹œ๋‹ˆ๊น ํ…Œ๋””๋‹˜์˜ ์—ด์ •์— ๋†€๋ž๊ณ  ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค.

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci

      ์•Œ์•„๋ด ์ฃผ์…”์„œ ์ •๋ง ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค๐Ÿ™๐Ÿ™

  • @user-on4zl9jm4x
    @user-on4zl9jm4x Pล™ed 3 mฤ›sรญci +1

    ํ•ญ์ƒ ์ข‹์€ ์˜์ƒ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค!

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci

      ์‹œ์ฒญํ•ด ์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค๐Ÿ™

  • @holyboundary
    @holyboundary Pล™ed 3 mฤ›sรญci +1

    ์ž˜ ๋ดค์Šต๋‹ˆ๋‹ค ๊ณ ๋ง™์Šต๋‹ˆ๋‹ค ^^

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci

      ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค๐Ÿ™

  • @teddynote
    @teddynote  Pล™ed 3 mฤ›sรญci +2

    22:47 ๋‚ด์šฉ ์ •์ •ํ•ด์•ผํ•  ๋ถ€๋ถ„์ด ์žˆ์Šต๋‹ˆ๋‹ค! BM25Retriever ๋ž‘ Dense Retriever ๋ฅผ ๊ฐ™์€ DB ๋ฅผ ๋ฐ”๋ผ๋ณผ ์ˆ˜ ๋Š” ์—†์Šต๋‹ˆ๋‹ค(์ธ๋ฑ์‹ฑ ๋ฐฉ์‹์ด ๋‹ค๋ฅด๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค). ๊ฐ๊ฐ ๋ณ„๋„์˜ DB๋ฅผ ๋งŒ๋“ค์–ด ์ฃผ๋Š” ๊ฒƒ์ด ๋งž์Šต๋‹ˆ๋‹ค.

  • @user-yw6wf3uu1o
    @user-yw6wf3uu1o Pล™ed 17 dny +1

    MarkdownTextSplitter๋ฅผ ์“ฐ๋ฉด chunk_size์™€ ์˜ค๋ฒ„๋žฉ์„ ์„ค์ •ํ•ด๋„ ์•Œ์•„์„œ ์‹œ๋งจํ‹ฑํ•˜๊ฒŒ ๋‚˜๋ˆ ์ฃผ๋‚˜์š”? ๊ทธ๋Ÿผ ์ข‹์„ ๊ฒƒ ๊ฐ™์€๋ฐ ใ… 

    • @teddynote
      @teddynote  Pล™ed 17 dny

      MarkdownHeaderTextSplitter ๋Š” Header ์™€ ๊ธ€์˜ body ์— ํ•ด๋‹นํ•˜๋Š” Text ๋ฅผ ๋ถ„ํ• ํ•ฉ๋‹ˆ๋‹ค~

  • @user-jm1tv2yv3b
    @user-jm1tv2yv3b Pล™ed 3 mฤ›sรญci +2

    ์•ˆ๋…•ํ•˜์„ธ์š”, ์˜์ƒ ์ž˜ ๋ณด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ๋‚ด ๋ณด์•ˆํ™˜๊ฒฝ์—์„œ ๋กœ์ปฌ LLM + RAG ๊ตฌ๋™์„ ์‹œ๋„ํ•ด๋ณด๊ณ  ์žˆ๋Š”๋ฐ pdf๋‚˜ word ํŒŒ์ผ์— drm์ด ๊ฑธ๋ ค์žˆ์–ด์„œ ํŒŒ์ด์ฌ์—์„œ ์กฐํšŒ๊ฐ€ ์–ด๋ ต๋”๋ผ๊ตฌ์š”.. ์ด ๊ฒฝ์šฐ์— ํŒŒ์ผ๋“ค์„ drm์ด ๊ฑธ๋ฆฌ์ง€ ์•Š๋Š” txt๋กœ ๋ฐ”๊ฟ”์„œ ํŒŒ์ด์ฌ์œผ๋กœ ์ฝ์–ด์˜ค๋Š” ๋ฐฉ๋ฒ•์„ ์ƒ๊ฐํ•˜๊ณ  ์žˆ๋Š”๋ฐ ํ˜น์‹œ ๋” ์ข‹์€ ๋ฐฉ์•ˆ์ด ์žˆ์„์ง€ ์˜๊ฒฌ ์—ฌ์ญ™์Šต๋‹ˆ๋‹ค ! ์ฐจ์„ ์ฑ…์œผ๋กœ๋Š” ์‚ฌ์™ธ ํ™˜๊ฒฝ์—์„œ open ๋ฐ์ดํ„ฐ๋กœ ๋ฒกํ„ฐ DB๋ฅผ ๊ตฌ์ถ• ํ•œ ๋‹ค์Œ ํ•ด๋‹น DB๋ฅผ ์‚ฌ๋‚ด๋กœ ๋ณต์‚ฌํ•˜๋Š”๊ฑด๋ฐ ๋‘ ๋ฐฉ์•ˆ ๋ชจ๋‘ ์‹คํ˜„ ๊ฐ€๋Šฅ์„ฑ์ด ์žˆ๋Š”์ง€ ์ •๋ณด๊ฐ€ ๊ฑฐ์˜ ์—†๋Š” ๊ฒƒ ๊ฐ™๋„ค์š” ใ… ใ… 

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci

      ๋„ค~ ๋งˆํฌ๋‹ค์šด ํ˜•์‹์˜ ํŒŒ์ผ๋กœ ๋ณ€ํ™˜๋„ ๊ฐ€๋Šฅํ•œ์ง€ ํ•œ ๋ฒˆ ํ™•์ธํ•ด ์ฃผ์„ธ์š” (.txt ๋ณด๋‹ค๋Š” ๋งˆํฌ๋‹ค์šด ํ˜•์‹์˜ ๊ธ€์ด ์ข‹์Šต๋‹ˆ๋‹ค)
      ์ •๋ฆฌํ•˜์ž๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.
      1. DRM ์„ ํŒŒ์ด์ฌ ์ฝ”๋“œ๋กœ ํ•ด์ œํ•˜์—ฌ ํŒŒ์ผ open
      2. ์˜์ƒ์—์„œ ์–ธ๊ธ‰ํ•œ PDF -> Markdown ๋ณ€ํ™˜๊ธฐ๋ฅผ ์จ์„œ ํ•œ ๋ฒˆ ๋ณ€ํ™˜ํ•ด ๋ณด์‹œ๊ณ ์š”. ํ’ˆ์งˆ์ด ๋ณ„๋กœ๋ฉด ํ›„์ฒ˜๋ฆฌ๋ฅผ ํ†ตํ•ด ์ข€ ๋” ๋‹ค๋“ฌ์–ด ์ฃผ์„ธ์š”! ์›ํ•˜๋Š” ๊ฒฐ๊ณผ๊ฐ€ ์ž˜ ๋‚˜์˜ฌ๋•Œ๊นŒ์ง€ ์ตœ๋Œ€ํ•œ์š”!
      3. ๋งˆํฌ๋‹ค์šด์„ DB ์— ์ €์žฅ (์ด๋•Œ DB ๋Š” ํด๋ผ์šฐ๋“œ DB ๋ณด๋‹ค๋Š” ์šฐ์„  local DB (Chroma, FAISS) ๋กœ ์ €์žฅํ•˜์—ฌ ์ž˜ ๋™์ž‘ํ•˜๋Š”์ง€ ๋จผ์ € ํ™•์ธํ•ด ๋ณด์„ธ์š”!
      4. retriever ๋กœ ์กฐํšŒ

  • @user-nk5rw3yr6b
    @user-nk5rw3yr6b Pล™ed 3 mฤ›sรญci +1

    ๋„ˆ๋ฌด ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค ใ… ใ…  ๋…ธํ•˜์šฐ๋ฅผ ์ด๋ ‡๊ฒŒ ๊ณต๊ฐœ ํ•ด์ฃผ์…”์„œ ํ•ญ์ƒ ์ฑ™๊ฒจ ๋ณด๊ณ ์žˆ์Šต๋‹ˆ๋‹ค! ์งˆ๋ฌธ์ด ์žˆ๋Š”๋ฐ์š”.
    ์•™์ƒ๋ธ” ๊ฒ€์ƒ‰์—์„œ ์‚ฌ์šฉํ•˜๋Š” bm25๋ฆฌํŠธ๋ฆฌ๋ฒ„๋ฅผ ์‚ฌ์šฉํ•˜๋Š”๊ฒฝ์šฐ ๋„์–ด์“ฐ๊ธฐ ๋‹จ์œ„๋กœ ์ธ๋ฑ์Šค๋ฅผ ๋งŒ๋“ค๊ณ  tf/idf์ฒ˜๋Ÿผ ํ™œ์šฉํ•˜๋Š” ๊ฑธ๋กœ ์•Œ๊ณ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทผ๋ฐ ๋žญ์ฒด์ธ์—์„œ ์ œ๊ณตํ•˜๋Š” bm25 ๊ฒ€์ƒ‰์„ ์‚ฌ์šฉํ•˜๋ฉด ๋”ฐ๋กœ ํ…์ŠคํŠธ๋ฅผ ๋ฌผ๋ฆฌ์ ์ธ db์— ์ €์žฅํ•˜์ง€ ์•Š๋Š” ๊ฒƒ ์ฒ˜๋Ÿผ ๋ณด์ด๋Š”๋ฐ ๋งž์„๊นŒ์š”?

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci +1

      bm25๋ฆฌํŠธ๋ฆฌ๋ฒ„๋„ ์ €์žฅ๋œ DB ์—์„œ ์กฐํšŒํ•ฉ๋‹ˆ๋‹ค^^
      ๋จผ์ €, BM25 Retriever ๋ฅผ ์ƒ์„ฑํ•˜๊ธฐ ์ „์— DB๋ฅผ ๋งŒ๋“ค๊ณ  ์—ฌ๊ธฐ์— BM25 Retriever ๋ฅผ ๋ฌผ๋ฆฌ๋ฉด ๋ฉ๋‹ˆ๋‹ค!

  • @akrja4
    @akrja4 Pล™ed 3 mฤ›sรญci +3

    ์ž˜ ๋ดค์Šต๋‹ˆ๋‹ค! ํ•˜๋‚˜ ์งˆ๋ฌธ์ด ์žˆ์Šต๋‹ˆ๋‹ค. 1.์•™์ƒ๋ธ” ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋ฅผ ์“ฐ๋ฉด Vector retreiver+BM25 Retriever์ธ๋ฐ์š”. BM25๋ฆฌํŠธ๋ฆฌ๋ฒ„ ์˜ˆ์‹œ๋ฅผ ๋ณด๋ฉด ํ…์ŠคํŠธ์— ๋Œ€ํ•ด์„œ๋งŒ ํ•˜๋˜๋ฐ, ๋งŒ์•ฝ ์ฑ„ํŒ…์œผ๋กœ ๊ฒ€์ƒ‰ํ• ์‹œ์— ๋ฒกํ„ฐ ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋Š” ์ปฌ๋ ‰์…˜์—์„œ ์œ ์‚ฌ๋„๋ฅผ ์กฐํšŒํ•˜๋ฉด ๋˜๋Š”๋ฐ์š”. BM25๋ฆฌํŠธ๋ฆฌ๋ฒ„๋Š” ์งˆ๋ฌธ์— ๋”ฐ๋ผ ์–ด๋–ค ๋ฌธ์„œ๋ฅผ ์กฐํšŒํ•ด์•ผํ•˜๋Š”์ง€ ์–ด๋–ป๊ฒŒ ์•Œ์ˆ˜์žˆ์„๊นŒ์š”? ๋งŒ์•ฝ DB์— ๋ฌธ์„œ๊ฐ€ ๋“ค์–ด๊ฐ€์žˆ๋‹ค๋ฉด ํŠน์ • ์ฟผ๋ฆฌ๋ฅผ ๋‚ ๋ ค์„œ ํ…์ŠคํŠธ๋ฅผ ๊ฐ€์ ธ์™€์•ผ ํ• ํ…๋ฐ,, ์งˆ๋ฌธ์— ๋”ฐ๋ผ ์–ด๋–ค ์ฟผ๋ฆฌ๋ฅผ ๋‚ ๋ ค์•ผ ํ• ์ง€๋ฅผ ๋ชจ๋ฅด๋ฉด ํ’€์Šค์บ”์„ ํ•˜๊ฒŒ๋˜๋Š”๊ฑฐ ์•„๋‹Œ๊ฐ€ ์‹ถ์Šต๋‹ˆ๋‹ค. ๋˜,๋งŒ์•ฝ ๋ฌธ์„œ์˜ ํฌ๊ธฐ๊ฐ€ ๋„ˆ๋ฌด ํฌ๋‹ค๋ฉด BM25๋ฆฌํŠธ๋ฆฌ๋ฒ„ ๋•Œ๋ฌธ์— ๋‹ต๋ณ€ ์†๋„๊ฐ€ ๋Šฆ์–ด์งˆ์ˆ˜๋„ ์žˆ์„๊นŒ์š”? 2.๋งŒ์•ฝ ์•™์ƒ๋ธ” ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋ฅผ ์“ฐ๊ธฐ์œ„ํ•ด ๋ฒกํ„ฐ๋””๋น„์— ๋ฌธ์„œ๋ฅผ ๋„ฃ์—ˆ๋”๋ผ๋„, BM25 ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋ฅผ ๋”ฐ๋กœ ๊ฐ–๊ณ  ์žˆ์–ด์•ผ ํ•œ๋‹ค๋ฉด, ๊ฒฐ๊ตญ ๋ณ„๋„์˜ ๋””๋น„๊ฐ€ ๋˜ ํ•„์š”ํ•œ๋ฐ์š”. ์ด๋Ÿฌ๋ฉด ๋ฒกํ„ฐDB ์ „์šฉ DB(Qdrant,Milvus) ๋“ฑ์„ ์“ฐ๊ธฐ์— ๋„ˆ๋ฌด ๋ถˆํŽธํ•˜์ง€ ์•Š์„๊นŒ์š”? MongoDB,Postgre,redis๊ฐ€ ์†๋„๋Š” ๋Š๋ ค๋„ ๋” ๊ด€๋ฆฌํ•˜๊ธฐ ์‰ฌ์šธ์ˆ˜๋Š” ์žˆ๊ฒ ๋„ค์š”?~ ์Šน์ž๊ฐ€ ๋ˆ„๊ฐ€ ๋ ์ง€ ๊ถ๊ธˆํ•ด์„œ ์–ด๋–ป๊ฒŒ ์ƒ๊ฐํ•˜์‹œ๋Š”์ง€ ๊ถ๊ธˆํ•ด์„œ ์—ฌ์ญ™์Šต๋‹ˆ๋‹ค

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci +1

      ์šฐ์„ , ๋‚ ์นด๋กœ์šด ์งˆ๋ฌธ๊ณผ ์‹ค์ œ ํ˜„์—…์— ๋„์ž…ํ•  ๋•Œ ๊ณ ๋ คํ•ด์•ผ ํ•˜๋Š” ํ˜„์‹ค์ ์ธ ๊ณ ๋ฏผ(ํŠนํžˆ, ์œ ์‚ฌ๋„ ๊ฒ€์ƒ‰ ๊ฒฐ๊ณผํ™•์ธ์ด๋‚˜ ์†๋„ ๋ฌธ์ œ๋“ฑ) ์ฃผ์…”์„œ ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค!
      1. ์–ด๋–ค ๋ฌธ์„œ๋ฅผ ์กฐํšŒํ–ˆ๋Š”์ง€ ํ™•์ธ: LangSmith ๋กœ ์‰ฝ๊ฒŒ tracing ์ด ๊ฐ€๋Šฅํ•˜๊ธฐ ๋•Œ๋ฌธ์— Query ๋ณ„๋กœ ๊ฐ๊ฐ์˜ retriever ๊ฐ€ ์กฐํšŒํ•œ ๋ฌธ์„œ์˜ ๋‹จ๋ฝ์„ ์‰ฝ๊ฒŒ ํ™•์ธ์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.
      BM25retriever๋Š” ๋‹จ์ˆœํžˆ ํ…์ŠคํŠธ์˜ ๋ฌธ์ž์  ์ผ์น˜๋งŒ์„ ๊ณ ๋ คํ•˜๋Š” ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ๊ฒ€์ƒ‰์–ด์˜ ์ค‘์š”์„ฑ(์–ด๋–ค ๋‹จ์–ด๊ฐ€ ๋ฌธ์„œ ์ง‘ํ•ฉ ์ „์ฒด์—์„œ ์–ผ๋งˆ๋‚˜ ํฌ๊ท€ํ•˜๊ฒŒ ๋“ฑ์žฅํ•˜๋Š”์ง€)๊ณผ ๋ฌธ์„œ ๋‚ด์—์„œ์˜ ๊ฒ€์ƒ‰์–ด ๋นˆ๋„, ๊ทธ๋ฆฌ๊ณ  ๋ฌธ์„œ์˜ ๊ธธ์ด๋ฅผ ์ข…ํ•ฉ์ ์œผ๋กœ ๊ณ ๋ คํ•ฉ๋‹ˆ๋‹ค. ์ธ๋ฑ์‹ฑ์ด ์ž˜๋˜์–ด ์žˆ๋Š” ๊ฒฝ์šฐ(optimal ํ•œ chunk ๋‹จ์œ„๋กœ ์ž˜ ์ €์žฅ๋˜์–ด ์žˆ๊ณ , vector DB ๊ฐ€ ์ด๋ฅผ ์ž˜ ์ธ๋ฑ์‹ฑ ํ–ˆ๋‹ค๊ณ  ๊ฐ€์ •) ํ’€์Šค์บ”์„ ํ•œ๋‹ค๊ณ  ๋ณผ ์ˆ˜๋Š” ์žˆ์ง€๋งŒ ๊ทธ๋ ‡๋‹ค๊ณ  ์†๋„๊ฐ€ ์—„์ฒญ๋‚˜๊ฒŒ ๋Š๋ ค์„œ ๋ชป์“ธ ์ •๋„๋‹ค ๊นŒ์ง€๋Š” ์•„๋‹ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค (์ด๋ฅผ ์ž˜ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ถ„์‚ฐ ์ฒ˜๋ฆฌ๊ฐ€ ์ž˜๋˜๋Š” DB๋„ ๊ณ ๋ คํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋งŒ์•ฝ์— ๋ฌธ์„œ์˜ ์–‘์ด ๋งŽ๋‹ค๋ฉด scalability ๊นŒ์ง€ ๊ณ ๋ คํ•˜์—ฌ DB ์„ ํƒ์„ ํ•ด์•ผํ•  ๊ฒƒ์ž…๋‹ˆ๋‹ค)

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci +1

      2. DB ์„ ํƒ์‹œ ๋‹ค์–‘ํ•œ "์ƒํ™ฉ"์„ ๊ณ ๋ คํ•˜์—ฌ ์„ ํƒํ•˜๊ธฐ ๋•Œ๋ฌธ์— ์–ด๋Š ๋ถ€๋ถ„์— ๋” ์ค‘์š”๋„๋ฅผ ๋†“๊ณ  ๊ณ ๋ คํ•˜๋Š๋ƒ์— ๋”ฐ๋ผ DB ์„ ํƒ์„ ํ•  ์ˆ˜ ์žˆ๋Š”๋ฐ์š”. ์ˆ˜์‹ญ๊ฐœ์˜ DB ๊ฐ๊ฐ์˜ ์žฅ๋‹จ์ ๊ณผ trade-off ๊ฐ€ ์กด์žฌํ•˜๊ธฐ ๋•Œ๋ฌธ์— ๋”ฑ ๋ช…๋ฃŒํ•˜๊ฒŒ ์ด๊ฒŒ ์ข‹๋‹ค๊ณ  ๊ฒฐ๋ก ๋‚ด๊ธฐ๋Š” ์‰ฌ์šด ๋ฌธ์ œ๋Š” ์•„๋‹Œ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. "๋ฌธ์„œ์˜ ์–‘์ด ์–ผ๋งˆ๋‚˜ ๋งŽ๋‚˜", "์กฐํšŒ ์†๋„", "์–ผ๋งˆ๋‚˜ ์ž์ฃผ insert ๊ฐ€ ๋˜๋Š”์ง€", "์กฐํšŒ๋Š” ์–ผ๋งˆ๋‚˜ ์ž์ฃผํ•˜๋Š”์ง€", "on-prem vs cloud" ๋“ฑ๋“ฑ์˜ ์ƒํ™ฉ๋“ค์„ ์ข…ํ•ฉ์ ์œผ๋กœ ํŒ๋‹จํ•ด์•ผ ํ•˜๋Š”๋ฐ์š”. ๊ธฐ์กด์— Vector DB ๋“ค์˜ ๋ฒค์น˜๋งˆํฌ ๊ฒฐ๊ณผ๋‚˜ trade-off ์š”์†Œ๋“ค์„ ๊ณ ๋ คํ•˜์—ฌ "์ตœ๊ณ " ๋ณด๋‹ค๋Š” "์ตœ์„ "์˜ ์„ ํƒ์„ ํ•ด์•ผํ•˜๋Š” ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค.
      ์ด ๋ถ€๋ถ„์€ ์ œ๊ฐ€ ๊ฒฐ๋ก ์„ ๋‚ด๊ธฐ์—๋Š” ์–ด๋ ค์šด ๋ฌธ์ œ์ธ ๊ฒƒ ๊ฐ™์•„์„œ, ๋ณด๋‹ค ์ž˜ ์ •๋ฆฌ๋œ ๋ธ”๋กœ๊ทธ ์ž๋ฃŒ ๋งํฌ๋ฅผ ๋‚จ๊ฒจ ๋†“๊ฒ ์Šต๋‹ˆ๋‹ค. ์š”์†Œ๋ณ„๋กœ ๋น„๊ต๊ฐ€ ๋˜์–ด ์žˆ์œผ๋‹ˆ ํ•œ ๋ฒˆ ์ฐธ๊ณ ํ•ด ๋ณด์‹œ๋Š” ๊ฒƒ์„ ์ถ”์ฒœ ๋“œ๋ฆฝ๋‹ˆ๋‹ค^^
      thedataquarry.com/posts/vector-db-4/#6-sparse-vs-dense-vector-storage

    • @akrja4
      @akrja4 Pล™ed 3 mฤ›sรญci +1

      @@teddynote ์นœ์ ˆํ•˜๊ณ  ์ƒ์„ธํ•œ ๋‹ต๋ณ€ ์ •๋ง ๊ฐ์‚ฌ๋“œ๋ฆฝ๋‹ˆ๋‹ค! ๋‹ค๋ฅธ๊ฒƒ์€ ๋‹ค ์ดํ•ด๊ฐ€ ๋๋Š”๋ฐ BM25๋ฆฌํŠธ๋ฆฌ๋ฒ„์—์„œ, (optimal ํ•œ chunk ๋‹จ์œ„๋กœ ์ž˜ ์ €์žฅ๋˜์–ด ์žˆ๊ณ , vector DB ๊ฐ€ ์ด๋ฅผ ์ž˜ ์ธ๋ฑ์‹ฑ ํ–ˆ๋‹ค๊ณ  ๊ฐ€์ •) ์ด๋ผ๋Š” ๋ถ€๋ถ„์—์„œ ์ดํ•ด๊ฐ€ ์ข€ ์–ด๋ ต๋„ค์š” ใ…Žใ…Ž.. BM25๋ฆฌํŠธ๋ฆฌ๋ฒ„๊ฐ€ ๋ฒกํ„ฐ ๋””๋น„์™€ ์—ฐ๊ณ„๋˜๋Š” ๋ถ€๋ถ„์ด ์žˆ์„๊นŒ์š”? ์•™์ƒ๋ธ” ๋ฆฌํŠธ๋ฆฌ๋ฒ„๊ฐ€ ์ €๋Š” ๊ฐ๊ฐ ๋ฆฌํŠธ๋ฆฌ๋ธŒ๋ฅผ ํ•˜๊ณ  ๊ทธ๊ฒƒ์„ ์กฐํ•ฉํ•˜๋Š”๊ฒƒ์ด๋ผ ์ƒ๊ฐํ–ˆ๋Š”๋ฐ ๋ง์”€ํ•˜์‹ ๊ฒƒ์„ ๋ณด๋ฉด ๋กœ์ง์ด ๋‹ค๋ฅธ๊ฒƒ๊ฐ™์Šต๋‹ˆ๋‹ค! BM25๋ฆฌํŠธ๋ฆฌ๋ฒ„๊ฐ€ ๋ฒกํ„ฐ๋””๋น„์—์„œ ์ธ๋ฑ์‹ฑ์ด ์ค‘์š”ํ•œ๊ฐ€๋ณด๊ตฐ์š”

    • @akrja4
      @akrja4 Pล™ed 3 mฤ›sรญci +1

      @@teddynote ์•„ ๊ทธ๋ฆฌ๊ณ  ๋งˆ์ง€๋ง‰์œผ๋กœ ์งˆ๋ฌธ๋“œ๋ฆฝ๋‹ˆ๋‹ค!!(์งˆ๋ฌธ ๋งŽ์•„ ์ฃ„์†กํ•ฉ๋‹ˆ๋‹ค) ๋งŒ์•ฝ ์•™์ƒ๋ธ” ๋ฆฌํŠธ๋ฆฌ๋ฒ„๋ฅผ ์“ฐ๊ธฐ ์œ„ํ•ด ๋ฌธ์„œ๋‚˜(PDF,File,json)์„ ๊ฐ–๊ณ  ์žˆ๋Š”๋‹ค๋ฉด CSV,PDF ๋“ฑ ๋žญ์ฑ„์ธ์—์„œ ์ œ๊ณตํ•˜๋Š” Loader๋“ค(pymupdf) ๋“ฑ์„ ๊ทธ๋Œ€๋กœ ์“ฐ๊ธฐ ์œ„ํ•ด์„œ๋Š” DB์— ๋„ฃ๊ธฐ ๋ณด๋‹ค๋Š” ์›๋ณธ ํŒŒ์ผ์„ ๊ทธ๋Œ€๋กœ ๊ฐ€์ง€๊ณ  ์žˆ๋Š”๊ฒŒ ํŽธํ• ๊ฒƒ ๊ฐ™์€๋ฐ, ์ด๋ฅผ ๊ทธ๋ƒฅ DB์— ๋„ฃ์œผ์‹œ๋Š”์ง€์š”?.. s3-glue-athena๋กœ s3์˜ url์„ ์ฐธ์กฐํ•˜๋Š” db๋ฅผ ๊ตฌ์ถ•ํ•ด์•ผํ•˜๋‚˜ ๊ณ ๋ฏผ์ด ์žˆ๋Š”๋ฐ ํ…Œ๋””๋…ธํŠธ๋‹˜์€ ํŒŒ์ผ๋“ค์„ ์–ด๋–ป๊ฒŒ ๊ด€๋ฆฌํ•˜์‹œ๋Š”์ง€ ๊ถ๊ธˆํ•ฉ๋‹ˆ๋‹ค!

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci +1

      @@akrja4 ์•„ ๋„ค~ BM25 ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ๋ชจ๋“  DB๋‹จ์—์„œ ์ง€์›ํ•˜๋Š” ๊ฒƒ์€ ์•„๋‹ˆ์ง€๋งŒ ์ง€์›ํ•˜๋Š” DB๊ฐ€ ์žˆ์–ด์„œ์š”. ๊ทธ๊ฑธ ๊ธฐ์ค€์œผ๋กœ ์ดํ•ดํ•ด ์ฃผ์‹œ๋ฉด ๋˜๊ฒ ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด elasticsearch, weaviate ์š”. ์•„์˜ˆ ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ์„œ์น˜๋ฅผ ์ง€์›ํ•˜๋Š” DB ๋„ ๋งŽ์•„์„œ ๊ทธ๋Ÿฐ ๋””๋น„๋ฅผ ์“ฐ๋ฉด ์‚ฌ์šฉ์„ฑ์ด ๋” ํŽธํ•˜๊ธด ํ•ฉ๋‹ˆ๋‹ค!

  • @user-cz5cy8ud8m
    @user-cz5cy8ud8m Pล™ed 3 mฤ›sรญci +1

    ์˜์ƒ ์ž˜ ๋ณด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค! ํ˜น์‹œ ํ•œ๊ตญ์–ด ๊ต์œก ๋ฐ์ดํ„ฐ๋ฅผ ํ•™์Šต ์‹œํ‚ค๋ ค๊ณ ํ•˜๋Š”๋ฐ ์ถ”์ฒœ ์˜์ƒ๊ฐ™์€ ๊ฒƒ์ด ์žˆ์„๊นŒ์š”? ์—†๋‹ค๋ฉด ํ˜น์‹œ ๋ฐฉ๋ฒ•์„ ๊ฐ„๋žตํ•˜๊ฒŒ ๋‚จ๊ฒจ์ฃผ์‹œ๋ฉด ์ •๋ง ๊ฐ์‚ฌ๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค!!

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci

      ํ•™์Šต์ด๋ผ๋ฉด ํŒŒ์ธํŠœ๋‹ ๋ง์”€ํ•˜์‹ค๊นŒ์š”?
      ๋งŒ์•ฝ์— ํŒŒ์ธํŠœ๋‹์ด๋ผ๋ฉด ๋‚ด์šฉ์ด ๋ฐฉ๋Œ€ํ•ด์„œ ์ œ๊ฐ€ ๋งํฌ๋ฅผ ๋‚จ๊ฒจ ๋†“์„ํ…Œ๋‹ˆ ๋งํฌ ์•ˆ์˜ ๋‚ด์šฉ์„ ํ•œ ์ „ ์ฐธ๊ณ ํ•ด๋ด์ฃผ์„ธ์š”~
      github.com/davidkim205/komt

  • @user-qz1jt6kz4x
    @user-qz1jt6kz4x Pล™ed mฤ›sรญcem +2

    ํ…Œ๋””๋‹˜ ์งˆ๋ฌธ์ด์žˆ์Šต๋‹ˆ๋‹ค pdf๋Š” ์•„๋‹ˆ์ง€๋งŒ ์—‘์…€๋ฌธ์„œ๋ฅผ ๊ฐ€์ ธ์˜ฌ๋•Œ ์–ด๋–ค์‹์œผ๋กœ ๊ฐ€์ ธ์˜ค๋‚˜์š”? row ๊ฐ€ 2000์ค„์ด ๋„˜๋‹ค๋ณด๋‹ˆ๊นŒ ํ•œ์ค„์”ฉ ๊ฐ€์ ธ์˜ค๋Š”๊ฒŒ ๋งž๋‚˜ ์ƒ๊ฐ์ด ๋“ค์–ด์„œ์š” ํ•œ์ค„์”ฉ ๊ฐ€์ ธ์˜ค๋‹ˆ๊นŒ ์ž„๋ฒ ๋”ฉ ํ•œ ๊ฒƒ์„ ๋‹ค์‹œ ์ฐพ์•„์˜ฌ๋•Œ ๊ทธ๋ฌธ์„œ๋งŒ ํŽธํ–ฅ๋˜์„œ ์ฐพ์•„์˜ค๊ณ  ๋‚˜๋จธ์ง€ ๋ฌธ์„œ์—์„œ๋Š” ์ฐพ์ง€ ์•Š๋Š” ๋‹ค๋Š” ์ƒ๊ฐ์ด ๋“ค์–ด์„œ ์ด ๋ถ€๋ถ„์— ๋Œ€ํ•ด ์ธ์‚ฌ์ดํŠธ๊ฐ€ ์žˆ์„๊นŒ์š”?

    • @teddynote
      @teddynote  Pล™ed mฤ›sรญcem +1

      ์—‘์…€์€ ์ €๋Š” ํฌ๊ฒŒ ๋‘ ๊ฐ€์ง€ ๋ฐฉ์‹์œผ๋กœ ์ฒ˜๋ฆฌํ•˜๋Š”๋ฐ์š”
      1. dataframe ์œผ๋กœ ๊ฐ€์ ธ์™€์„œ ์ฟผ๋ฆฌ๋กœ ์ฒ˜๋ฆฌํ•˜๋Š” ๊ฒฝ์šฐ
      2. ๋ง์”€ํ•˜์‹  row ๋‹จ์œ„๋กœ ์ฝ์–ด์™€์„œ GPT์— ํ…์ŠคํŠธ ํ˜•์‹ ์œผ๋กœ ๋„ฃ๋Š” ๊ฒฝ์šฐ ์ธ๋ฐ์š”.
      ํ›„์ž์˜ ๊ฒฝ์šฐ๋Š” ๊ทธ๋ƒฅ ๋„ฃ์–ด์ฃผ์‹œ๋Š” ๊ฒƒ๋ณด๋‹ค ์ปฌ๋Ÿผ ์ •๋ณด๋ฅผ ์ž…ํ˜€์„œ ๋„ฃ์–ด์ฃผ์‹œ๋Š” ๊ฒƒ์ด ์ข‹์•„์š” ์˜ˆ๋ฅผ ๋“ค์–ด
      ```
      16ํ™๊ธธ๋™male
      17๊น€์˜ํฌfemale
      ```
      ์œ„์™€๊ฐ™์ด ํ–‰๋‹จ์œ„๋กœ ๋ฌถ๋˜ XML ํ˜•์‹์œผ๋กœ ๋งŒ๋“ค์–ด์„œ ์ฃผ์ž…ํ•˜๋ฉด ๊ฝค๋‚˜ ์ž˜ ์ฐธ๊ณ ํ•˜์—ฌ ๋‹ต๋ณ€ํ•ฉ๋‹ˆ๋‹ค^^

  • @imnaclub
    @imnaclub Pล™ed 3 mฤ›sรญci +2

    ์œผํ— ์–ด๋””์„œ ๋ถ€ํ„ฐ ์‹œ์ž‘ํ•ด์•ผ ํ• ์ง€ ๋ชจ๋ฅด๊ฒ ์–ด์—ฌ ใ… ใ… ใ… 

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci +3

      ๋งž๋„ค์š”.. ๊ทธ๊ฒŒ ๋ฌธ์ œ๋„ค์š”.. ์ œ๊ฐ€ ์˜์ƒ์ด๋‚˜ ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ฒŒ์‹œ๊ธ€๋กœ ๋น ๋ฅด๊ฒŒ ์ •๋ฆฌํ•˜์—ฌ ๊ณต์œ  ๋“œ๋ฆด๊ป˜์š” ใ…œใ…œ

  • @user-qi2rt4by3u
    @user-qi2rt4by3u Pล™ed 3 mฤ›sรญci +1

    ์•ˆ๋…•ํ•˜์„ธ์š”, ๊ณง ๊ณต๊ฐœ๋˜๋Š” ๊ฐ•์˜ ์งˆ๋ฌธ๋“œ๋ฆฌ๊ณ ์‹ถ์€๋ฐ ๋”ฐ๋กœ ์งˆ๋ฌธ๋‚จ๊ธธ๋งŒํ•œ ๊ณณ์ด ์—†์–ด ์—ฌ๊ธฐ ๋‚จ๊น๋‹ˆ๋‹ค..ใ…œ
    LangChain + ChatGPT + Streamlit ๊ฐ•์˜๋ผ ํ•˜์…จ๋Š”๋ฐ chatGPT ๊ฐ€ assistant API ์ผ๊นŒ์š”?

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci +1

      chatgpt assistant api ๋Š” ๋‹ค๋ฃจ์ง€ ์•Š๊ณ ์š” ๋Œ€์‹  ์ƒ์œ„ํ˜ธํ™˜๋ฒ„์ „์ธ Agent ๋ฅผ ์‹ฌ๋„์žˆ๊ฒŒ ๋‹ค๋ฃน๋‹ˆ๋‹ค^^

    • @user-qi2rt4by3u
      @user-qi2rt4by3u Pล™ed 3 mฤ›sรญci

      @@teddynote ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค ๊ธฐ๋‹ค๋ ค์ง€๋„ค์šฉ

  • @๋ž˜๊ทธ์ž˜ํ•˜๊ณ ์‹ถ๋‹น

    ํ•ด๋‹น ์˜ˆ์ œ ๋…ธํŠธ๋ถ ํŒŒ์ผ์€ ์–ด๋””์„œ ๋ณผ ์ˆ˜ ์žˆ๋‚˜์š”?

    • @teddynote
      @teddynote  Pล™ed mฤ›sรญcem +1

      ํ•ด๋‹น ๋…ธํŠธ๋ถ ํŒŒ์ผ์€ ๋‚ด๋ถ€ ๊ฐ•์˜์šฉ์œผ๋กœ๋งŒ ๊ณต์œ  ๋“œ๋ฆฌ๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค!

  • @user-zh5kr2uj1r
    @user-zh5kr2uj1r Pล™ed 3 mฤ›sรญci +1

    ์•ˆ๋…•ํ•˜์„ธ์š”. ํ˜น์‹œ ๋Œ€๊ธฐ์—… ์ถœ๊ฐ• ํ•œ ๋ฒˆ ์˜ค์‹ค ์ƒ๊ฐ ์—†์œผ์‹ ๊ฐ€์š”....

    • @teddynote
      @teddynote  Pล™ed 3 mฤ›sรญci

      teddylee777@gmail.com ๋ฉ”์ผ ์ฃผ์‹œ๋ฉด ๊ฐ์‚ฌ๋“œ๋ฆฌ๊ฒ ์Šต๋‹ˆ๋‹ค๐Ÿ™