MLOPS MLFlow : Microsoft Phi3 mini 128k formatos GGUF MLFLOW y ONNX

Sdílet
Vložit
  • čas přidán 24. 06. 2024
  • En este video vamos a trabajar con el Modelo Phi3 Mini 128k en varios formatos y comparar los resultados en tiempo y precision
    Notebooks
    MLFLow quantizaed bfloat16
    github.com/olonok69/LLM_Noteb...
    Llama.cpp quantized float16 GGUF format
    github.com/olonok69/LLM_Noteb...
    ONNX cpu quantized int4
    github.com/olonok69/LLM_Noteb...
    ONNX GPU DirectML quantized int4
    github.com/olonok69/LLM_Noteb...
  • Věda a technologie

Komentáře •