MLOPS MLFlow : Microsoft Phi3 mini 128k formatos GGUF MLFLOW y ONNX
Vložit
- čas přidán 7. 09. 2024
- En este video vamos a trabajar con el Modelo Phi3 Mini 128k en varios formatos y comparar los resultados en tiempo y precision
Notebooks
MLFLow quantizaed bfloat16
github.com/olo...
Llama.cpp quantized float16 GGUF format
github.com/olo...
ONNX cpu quantized int4
github.com/olo...
ONNX GPU DirectML quantized int4
github.com/olo...