MLOPS MLFlow : Microsoft Phi3 mini 128k formatos GGUF MLFLOW y ONNX
Vložit
- čas přidán 24. 06. 2024
- En este video vamos a trabajar con el Modelo Phi3 Mini 128k en varios formatos y comparar los resultados en tiempo y precision
Notebooks
MLFLow quantizaed bfloat16
github.com/olonok69/LLM_Noteb...
Llama.cpp quantized float16 GGUF format
github.com/olonok69/LLM_Noteb...
ONNX cpu quantized int4
github.com/olonok69/LLM_Noteb...
ONNX GPU DirectML quantized int4
github.com/olonok69/LLM_Noteb... - Věda a technologie