BitNets: La ERA de las REDES NEURONALES de 1 BIT!
Vložit
- čas přidán 19. 06. 2024
- Contar con IAs más potentes y que consuman menos es posible. En un nuevo trabajo presentado por Microsoft han presentado un nuevo tipo de red neuronal que lleva la cuantización de los parámetros casi al extremo teórico, codificándolos en 1.58bits. Hoy vamos a hablar de este importante avance que podría suponer una revolución en el campo del Deep Learning.
► BitNet 1.58b (PAPER): arxiv.org/pdf/2402.17764
📹 EDICIÓN: Carlos Santana y Diego Gonzalez (Diocho)
-- ¡MÁS DOTCSV! ---
📣 NotCSV - ¡Canal Secundario!
/ notcsv
💸 Patreon : / dotcsv
👓 Facebook : / ai.dotcsv
👾 Twitch!!! : / dotcsv
🐥 Twitter : / dotcsv
📸 Instagram : / dotcsv
- ¡MÁS CIENCIA! --
🔬 Este canal forma parte de la red de divulgación de SCENIO. Si quieres conocer otros fantásticos proyectos de divulgación entra aquí:
scenio.es/colaboradores - Věda a technologie
✨ ACLARACIÓN: ¿Usar -1,0,1 es un único bit? ✨
En realidad el paper original que se publicó en Octubre y que introdujo las BitNets usaban sólo -1 y 1 para los parámetros. En ese caso con dos combinaciones sí podía representarse con un único bit. Luego en Febrero en un nuevo paper esto cambió a -1, 0 y 1 y el paper conservó el nombre y el título de BitNet y LLMs de 1 bit, pero luego realmente matizaban que era 1.58 bits, valor que sale de calcular el log_2(3) = 1.58. Esto en el vídeo no he entrado a explicarlo para no extender más la explicación, aunque se esconde sutilmente en el subtítulo del minuto 1:57 🙃
Esto es cine señores
Carlos muy bueno el vídeo. Pero creo que faltó algo muy importante por explicar. Cómo es que en el paper logran entrenar algo con esa precisión y obtener buenos resultados? Tu planteas la situación problemática pero no explicas la solución que proponen. Sólo dices que han conseguido buenos resultados con 1.58 bits , pero ni dices que hicieron para lograrlo. Entiendo que me puedo leer el paper pero normalmente de tus videos uno sale con una intuición más sólida. Igualmente es muy buen video. Gracias
Ya echaba de menos un video de esta calidad, por la que empecé a seguir tu canal. Date cuenta que de TODOS los que hablan hoy de IA, tú eres de los MUY POCOS que pueden entender esto que has explicado hoy. Estos es divulgación de la buena!! Gracias. No abandones este tipo de contenidos, porfa 🙂
😊8im😅lp0
Clarísimo!!!
Buenísimo. Solo aclarar un pequeñiiiisimo detalle: que en los enteros en binario negativos no se representan de esa forma simplificada sino en formato de "complemento a dos", por lo que los valores (en 8 bits) van de -128 a +127. Como es algo más difícil de explicar, tampoco está mal la explicación dada, tomándose como una versión simplificada. Es un detalle mínimo. Excelente el video y muy interesante lo que está pasando.
Como efectivamente comentas he preferido no entrar a detallar sobre complemento a dos para no hacer más extensa la explicación. Y por eso he remarcado en 7:27 que se trataba de la representación signo-magnitud. Gracias!
Me parece, no sé si estoy equivocado, pero aún así con la representación simplificada, los números negativos son los que comienzan con 1, y los positivos los que comienzan con 0, sin embargo, parece que en la tabla están al revés 🔄
Imaginen lo que pasará si el hardware en vez de manejar los valores ternarios como 2 bits binarios, utilizara transistores de 3 estados directamente. No sería necesaria la emulación que deben estar utilizando hoy en día. Haciendo los cambios a nivel de silicio se pegaría un gran salto. Acabo de leer que la lógica ternaria se utiliza en computación cuántica, y tambien podría utilizarse en computación óptica trabajando con dos polarizaciones de luz ortogonales. Por aquí puede venir el próximo gran salto en la ley de Moore.
Es muy difícil que eso ocurra, ya se ha intentado y no es viable ni con la tecnología actual. El problema es que un sistema binario es facil de implementar, por lo cual es sencillo de replicar y escalar. Hay o no hay, 1 o 0. Un sistema ternario, el tercer estado, como lo haces.... 0v es 0, 0.5v es 1, 1v es -1. Esto podría ser una opción, pero controlar y medir voltajes no es sencillo, si tienes en un momento 0.33v, 0,7v, etc... Un sistema para controlar eso bien es muy costoso y complejo, limitando la estabilidad del chip. Por no decir que este sistema limita mucho tener voltajes variables, cuando el chip este en baja carga consumirá lo mismo prácticamente que en alta carga. Un buen camino es la computación cuántica, pero eso es una fumada que difícilmente llegará al mundo del consumidor y si llega será en un largo período de tiempo, muy largo
@@mmcmw2 Si, tienes razon, seria muy complejo. De hecho, los transistores (NPN, o incluso los MosFET) de por si ya tienen 3 estados:
* Saturacion (cuando el voltaje entre emisor y colector es la saturacion del diodo ~0.7V),
* corte (cut off: cuando la corriente de base tiende a cero)
* amplificacion (en el medio). La amplificacion normalmente se utiliza para senales analogicas como para una radio, moduladores o etc, pero ninguna aplicacion digital (que yo conozca).
Yo creeria que se utilizan los estados de saturacion y corte porque es mas facil (intuitivo) representar switches ON/OFF, tambien porque son mas estables.
De ahi se crea el algebra booleana (o algebra de Moore), pero tambien hay operaciones para 3 o mas estados. De hecho, hay sistemas en el que representan 0 (0V), 1 (5V) o "Alta impedancia" (Tambien puede ser -5V, 0V y 5V, si el sistema es diferencial). Esto se utiliza para buses de datos, pero pues no usa el estado de amlificacion del transistor.
No conozco ninguna aplicacion, pero estaria interesante investigar.
Pd: Existen computadores (si se puede llamar asi) que funcionan con senales analogicas, continuas. Por ejemplo los circuitos con amplificadores operacionales (sumadores, restadores). Normalmente funciona con senales sinusoidales y puede utilizar la fase, la amplitud o la frecuencia para los calculos y las comparaciones. Se utiliza bastante en sistemas de control o para la simulacion y modelado de procesos. Pero pues... es muy complejo escalarlo, programarlo o miniaturizarlo (por ejemplo, para controlar periodos, se utilizan capacitancias, las cuales depende del area y la distancia de las placas). No es tan versatil como los procesadores digitales
@ Hay una línea de trabajo con redes neuronales analógicas. Ya hay productos comerciales. Tienen los pesos almacenados como valores analógicos y son programables. La ventaja es que tienen un consumo bajísimo. Pero el tamaño es muy pequeño.
@@AionZeta61 1 qubit por peso de la RN 💀
El único canal de ia que explica bien las cosas y con una edición increíble para no aburrirse ❤
hay un muchacho que explico el funcionamiento de las resistencias, transistores y capacitores en minecraft, lo explico mil veces mejor que mi profe de electronica, creo que los youtubers explican para alguien que quiere aprender y se le complica y no a alguien que solo paga.
en efecto... es cine
IA te digo
@@nanchet por eso especifique lo de youtubers por que hay pocos que hablan de un tema y pocos entre esos pocos que lo explican bien.
@@bastianrekiem2925 Hay gente que explica bien y gente que no. No necesitas ser youtuber
¡No dejéis de suscribiros y compartir el vídeo para ayudar al canal a llegar al 1.000.000 DE SUBS! 🔥
Estaba esperando este video.
A mi no se me ilumina el botón cuando dice que nos suscribamos u.u
Tu canal es muy educativo, es impresionante.
Ahora ya no te interesa tener 1 millón de subs. Si llegas a esa cifra te tienes que registrar en un registro de influencers para que el estado español te tenga bien atado en corto. Con la nueva ley de influencers
y como representan el -1 con un solo bit? no necesitan un segundo bit para ello?
Si alguien se preguntaba sobre el accuracy de BitNet 1.58. Según los autores este modelo alcanza el mismo accuracy que el modelo en comparación de Llama. Evaluaron perplexity (capacidad de predicción) y end_tasks (razonamiento) para distintos tamaños e incluso llega a dar mejores resultados a partir de 3B. Por lo que el accuracy se mantiene y posee las ventajas ya mencionadas en el video de memoria, latencia y eficiencia energética.
Literalmente mi clase de informática básica de 1ero de carrera, muy bien explicado y además excluyendo las matemáticas que hay por detrás para que no sea pesado 👍
Llevo 40 años programando microprocesadores en ensamblador y no acierto a imaginar cómo conseguís tres valores distintos con un único bit.
tal vez 1.58?
Y porque no 1 prendido 0 apagado -1 para encendiendo osea algo se prendió pero no completamente
Me imagino que tienen matrices predefinidas que hacen la expansión nuevamente, este detalle Microsoft no lo va a regalar así por así
Es sencillo no pueden, son dos publicaciones con el mismo nombre, el primero era solo 1 para + y 0 para - , de ahí+1 y -1, la segunda publicación añadía otro bit (seguramente no para todos los parametros) que hiciera las veces de 0, 1 y 2, que para hacerse los interesantes los pusieron como -1, 0 y 1.
Eso no funcionaria, porque entonces sería equivalente a usar el sistema de base 3 y no habría ninguna ganancia al respecto. @@davidvargas-zl2if
Te agradezco mucho por solo traer el contenido que hace falta.
Increible! Esto significa que en un plazo no muy largo, estaremos pudiendo ejecutar IA nativamente en nuestros celulares
Tienes un talento increíble para explicar cosas hiper abstractas de una manera super sencilla.
Abrazo de un paisano!
lit lo mismo pienso siempre con este tipo, me podria explicar cualquier cosa super complicada logrando que sea entretenida y pueda llegar a entenderla
Gracias por tomarse el trabajo de difundir esta informacion en Español, ya que todos los papers y videos circulando desde hace 2 meses estan todos en Ingles.
Excelente video Carlos. Muy bien explicado.
Al final vamos a terminar haciendo máscaras de bit, como cuando programábamos es assembler 😅
Y también me remite a mi época de administración de redes IP (Cisco) donde nos la pasábamos haciendo operaciones de máscaras de bits.
Felicitarte y darte gracias por tu contenido, lo haces tan simple que hasta para personas como yo que consumimos este contenido por pura curiosidad sin conocimientos previos se haga ameno y muy comprensible, un saludo
Muy buen video! Gracias Carlos por tanto, sería mucho pedir si haces un video programando con esta nueva estructura
- 00:00:00 Introducción a la Inteligencia Artificial y el Deep Learning.
- 00:01:56 Avances en eficiencia energética de las redes neuronales.
- 00:04:42 Codificación de números decimales a binario.
- 00:05:56 Limitaciones de representación de valores con bits en informática.
- 00:06:02 Trabajo con 16 bits para ampliar el rango de valores en binario.
- 00:07:17 Representación de números negativos con bits de signo.
- 00:08:39 Representaciones avanzadas para números decimales como float 8, float 16, float 32.
- 00:09:59 Importancia de la precisión en la representación de datos con más bits.
- 00:10:31 Impacto en recursos computacionales al utilizar más bits en una red neuronal.
- 00:11:57 Ejecución de redes neuronales con cuantización para mejorar eficiencia.
- 00:12:27 Reducción de precisión en parámetros para ahorrar memoria.
- 00:13:36 Impacto de la cuantización en la precisión de los modelos.
- 00:14:38 Necesidad de equilibrar eficiencia y precisión en la cuantización.
- 00:15:25 Alternativa de modelos cuantizados extremadamente con un solo bit.
- 00:16:07 Introducción a la cuantización post entrenamiento y cuantización desde cero.
- 00:17:11 Presentación de BitNet 1.58B y su entrenamiento con parámetros de un bit.
- 00:17:46 Entrenamiento de modelos cada vez más grandes.
- 00:18:23 Ahorro energético significativo con BitNet.
- 00:20:23 Necesidad de nuevo hardware para ejecutar arquitecturas eficientes.
- 00:22:42 Oportunidad de rediseñar procesadores para modelos de IA de baja precisión.
- 00:23:17 Comienzo de la era de los modelos del lenguaje de un bit.
- 00:23:21 Camino del millón de suscriptores y conclusiones finales.
cómo haces ésto?
Impresionante explicación!!! Buenísima!
Increíble contenido! No pares de mantenernos informados de todo lo que está por llegar!! Gracias!🎉 👏👏💪💪
muy bien explicado con los dibujos incluidos. Siempre lo haces fenomenal :)
Estimado Carlos. Muuuuuchas e infinitas gracias por compartir el conocimiento de forma tan didáctica, clara y simple. Eres un crack y nos ayudas a miles de nosotros a entender mejor la Inteligencia Artificial no solo como un acto de saciar la curiosidad, sino para algunos de nosotros, incursionar en crear soluciones, productos y servicios. Aprender no solo a usar la IA es vital sino, aprender a crear nuevos productos, eso si es de utilidad y tus videos en verdad ayudan muchísimo. Gracias nuevamente.
Eres un comunicador de primera. Y tu contenido tiene una calidad que la mayoría de los medios masivos quisieran.
que alegría cuando subes video
Muy didáctico, ameno y bien explicado.
Enhorabuena. Gran trabajo, como siempre.
Excelente explicación!! muy completo!!
4:40 37 reference
Le dí a ctrl+F para buscar el 37!!!
justamente lei tu comentario cuando hay 37k de vistas
Yo lo vi con 46k de visitas, a las 9 horas. Es decir 46-9 = 37 jajaja que cosa loca.
Veritasium reference?
Fascinante! Gracias Carlos. Eres un crack de la divulgación sobre IA!
Muy buena explicación. Me recuerda a los comienzos, con las microcomputadoras, cuando utilizábamos palabras mínimas (bits, nibbles, etc.) para economizar la escasa memoria y procesamiento. Pi aparece en el minuto 9 como ejemplo de precisiones, pero en honor a ellas aclaro que a partir del decimal 16 las cifras no se corresponden con el número. Probablemente un error que se deslizó. 💫
Que bueno que vuelven estos videos! Me abren el cerebro para nuevos proyectos!
Impresionante de verdad enhorabuena!
Menuda brutalidad de video, qué bien explicado ha quedado. Enhorabuena!
Excelente video . Son impecables los laburos que haces.
Que interesante y que bien explicado, gracias!!
18:00 Lo siento, pero cada vez que alguien dice: "Entre más..." muere un gatito y un ángel pierde las alas. Si además de decirlo lo escribe, puede qu la Linguriosa le de una buena colleja. 🙃 Fantástico el vídeo.
Muy interesante. Gracias por el video.
Wooo, que bien hilado. Toma like!
Impecable Carlos, es un placer ver tus videos. Hoy le mostré la explicación del sistema binario a mi hijo de 11 años y estoy seguro de que no se lo va a olvidar nunca mas. Saludos desde Argentina, a ver si te das una vuelta por estas pampas y comemos un asado!!!
Qué gran video, he aprendido mucho. Gracias. 👍👏
Excelente, me maravilla todo este tema, y gracias por difundirlo
Vaya pedazo de videos te marcas siempre, Carlos!
Impresionante este canal. Impresionante. Te lo curras que da gusto. Eres genial 👏👏👏👏 voy a prendiendo,de a poquito, pero voy, miles de gracias
Súper interesante, como siempre!
¡Qué pedazo de vídeo!. Como siempre, por cierto
Estoy asombrado de lo que viene. Y ya estoy empleando tiempo en estudiar el tema. Gracias.
Como siempre sublime, tanto el contenido como la edición! Mis dieces
Un avance espectacular explicado en un vídeo espectacular. Muchas felicidades y gracias por divulgar.
Carlos, exitos y vamos por 1M de suscriptores
Sos un capo. Explicando super simple y con animaciones graficas que ayudan muchisimo
Enhorabuena por el canal y mis dieces a como desarrollas el contenido del video.
Sr. Dot CSV, muchas gracias por tan excelente vídeo, súper motivador para aprender Deep Learning, entre otros temas. Saludos cordiales desde Popayán, departamento del Cauca en Colombia.
Buen vídeo, espero que empresas exploren estas posibilidades para crear modelos mas eficientes.
Muy currado. Gracias!
Qué tal contenido! Alucinante manera de optimizar potencia y espacio.
Felicitaciones por el artículo!
Muy bueno!!
Que bien explicado, gracias
Exelente video gracias por la información
increible tu video!
Excelente vídeo un día más!!!!!
El único matiz que haría sería en la introducción ,en lo que refiere a los números enteros, ya que el método de representación que muestras en el vídeo, conocido como signo-magnitud, no es el utilizado en computadores porque diversas razones. Una de ellas es que el cero tiene doble representación ( con 8 bits el cero es 00000000 pero también 10000000 porque -0 es lo mismo que 0).
Realmente se utiliza el complemento a 2 del número binario, que sería hacer el complemento a 1 ( cambiar todos los 1 por 0) y sumarle uno. Esto se debe a que la ALU (unidad aritmetico-logica) que es la base de los procesadores, requiere del complemento a 2 para realizar la resta, ya que no resta A-B, sino que haría A+(-B), y realizar la conversión a complemento a 2 para un computador es infinitamente más fácil de lo que resulta para un humano.
Comprendo que para explicar a la gente como representar números negativos es mucho más fácil explicarles el método de signo-magnitud, y de manera divulgativa les puede ayudar a comprender el resto del vídeo, así que no veo mal la explicación que das.
Espero que si alguien se ha parado a leer esto y no sabía de la existencia de diversos métodos para la obtención de números negativos entienda un poquito más de informática.
Enhorabuena por el trabajo que haces 👏🏻👏🏻👏🏻👏🏻
Y como no, si explicar esto da para un video entero.
Excelente explicación! muchas gracias!
Excelente video, muchas
Exelente video, muchas gracias.
EXCELENTE VIDEO MAS ASI ME ENCANTO MUCHAS GRACIAS
Muy top!
Que videos tan increíbles, de Verdad... Felicitaciones mi Hermano, Único.
Yo no se si serás tu o la IA que habla como tu, 😂 pero te has pasado el juego. Cada video está más currado, es más didáctico y más interesante todavía. Aquí seguiremos mientras sigas publicando contenido. ❤️
Agradesco enormemente que me presentes este tema de BitNet, a pesar de que has cometido muchos errores en tus explicaciones, PERO, repito, agradezco mucho que me presentes esta tecnologia que al final eso es lo que importa. Muchas Gracias.
Tus videos los disfruto mucho, se aprende un montón de cosas!
Explicación de lujo 🎉
Gracias por hacerlo fácil profe!
Excelente explicación 🙌 gracias
Me encantan los memes que usa! Excelente video como siempre ❤
Este video se merece un premio de excelencia académica. Materias complejas explicadas fácilmente con un apoyo audiovisual inigualable.
Excelente calidad con un brutal contendio, saludame crack!
Aquí me surgen varias cuestiones:
-Como pueden tomar valores de -1 a 1 si para el signo negativo ocupan un bit de signo.
-Hacer operaciones con 0's no favorece el problema del desvanecimiento del gradiente?
-A nivel código como representan un bit si el tamaño de palabra mínimo es usualmente de 1 byte.
1. Realmente no son bits. Pero las operaciones si son de un bit.
2. Desconozco.
3. Hay muchas maneras de hacerlo en SW. La cuestión es hacerlo eficiente. Por ejemplo, puedes usar todo un byte para guardar un solo bit. Una opción más eficiente podría ser guardar 8 entradas en byte...
desconozco las respuestas, pero me imagino que el 0 es equivalente a que no haya una arista entre ambas neuronas, y en caso de que haya el +1 y -1 se definen con un bit de información
se podrian usar bit mask para representar 8 números distintos en un byte
@@javid2340 Y entonces resulta contradictorio al concepto que utilizan.
@@matiasnovabaza8208 En efecto el 0 anula la entrada a la siguiente neurona. Que es lo que causaría el problema del desvanecimiento del gradiente.
Buen video. Gracias!
Gracias!
Buena explicación de los fundamentos informáticos, a mi me lo enseñaron casi al terminar la carrera jaja
Una idea loquisima seria un modelo de IA para ayudar computadoras cuanticas y que estas funcionen con bitnets (jugando mas con la probabilidad de la fisica cuantica en cuanto a posicion de particulas y asi), funcionando en lugar de numeros binarios que se usen el mencionado del video (no recuerdo nonbre exacto) operando con otro cerebro o unidad de procesamiento para los datos que genere la computadora cuantica o como apoyo se podria usar un NPU (si fuera posible usando [procesadores especializados o optimizados para modelos de IA]).
Tendria la capacidad de procesamiento superior a los GPU CPU ademas de modelos de 1 solo bit que reduzca el consumo de energia sin siquiera mencionar el aumento de procesamiento sumado a que la computadora cuantica podria procesar varios bitnets a la vez.
No se si sea posible a decir verdad pero considero que me inspiro a tener creatividad la ciencia y la tecnologia es muy interesante
Fabulosa propuesta. Esperemos muy pronto contar con juguetes como estos, poderosos y al alcance de nuestra mano.
Gracias x el material!
Buen aporte
En realidad son 2 bits para poder manejar el signo. Pero genial, que excelente vídeo
1.58 según el comentario que dejó
Gracias, Carlos, tu trabajo siempre tiene un gran nivel y los gráficos son muy geniales
es de las mejores explicaciones de como funciona el binario que he visto , te felicito por el video ha sido una gozada verlo . Ojalá me lo hubieran enseñado así en los 80 xD
Gracias por el excelente contenido bro! Nuevo suscriptor aquí! :)
Este Canal Es Una Joya 👏
Laaa !🤯 Muy bueno.
Excelente contenido.
Una explicación genial!
genial!
Muy interesante, y aunque no entendí la mayoría de conceptos pues no los conocía, si entiendo que las soluciones son muy audaces y creativas, son genios totales, excelente video y gran aporte Carlos, brutal! 👌
Que bueno e interesante. Va a ser un salto exponencial. Gracias por la explicación Carlos
Me gustaría que hicieras videos que hablen de cómo otras industrias están aplicando inteligencia artificial, por ejemplo en el ámbito de la automatización industrial.
muy interesante
Teniendo en cuenta la necesidad de un hardware más especifico para la Inteligencia Artificial ¿Es posible que las computadoras análogas vuelvan?
Veritasium habló sobre esto, los procesadores estan llegando a una disminución de tamaño ya imposible de realizarse por temas físicos,de campos eléctricos y otros efectos y quizás la alternativa a esto sea volver a lo análogo, es curioso siendo que pensamos que es obsoleto todo lo análogo, tengamos que ver de nuevo si volvemos a lo que teniamos antes jajaja.
Eso se debe a qje cada transistor cada vez se puede hacer mas pequeño, un transistor se emplea coml una puerta logica, asi se almacena la memoria
Llevo tiempo siendo seguidor tuyo y me encanta tu trabajo, sería posible qué en un vídeo trataras de explicar que es un laboratorio de IA, qué hacen y cómo funciona? Es que hace tiempo llevo escuchando el término "científico de inteligencia artificial" y personalmente no he encontrado nada que me aclare bien la duda, gracias
Chabon que HERMOSO video es espectacular.
Gracias por tus vídeos como siempre.
muy buen video
Vamo carlos!!!
Que buen canal, insta sub. Canales en espanol de esta calidad hay muy pocos