Apache Spark from scratch: RDDs, Aplicaciones, Broadcast y acumuladores
Vložit
- čas přidán 5. 09. 2024
- Continuamos con la serie de vídeos sobre Apache Spark y hoy nos centraremos en los RDDs, lanzar aplicaciones y las variables broadcast y los acumuladores.
Este señor es una bendición
"Otro" tutorial estupendo para seguir trasteando y aprendiendo con Spark. La duración de los tutoriales es un puntazo porque no acabas saturado y que la lección sea autocontenida facilita mucho las cosas. Muy fan de estos tutoriales.
Muchas gracias Alberto por compartir tus conocimientos con nosotros. Suena bien el video de la API de ML :-)
genial tus videos
Gracias
Excelente tutorial, muy agradecido
Buen video Albert, mucho ánimo y gracias por la info!
Muchas gracias, de gran ayuda.
Éxito!
Me ha encantado Albert, sigue así
Excelente
Genial vídeo amigo
Muchas gracias, excelente video
Me imagino creando un makefile con estos comandos así solo hacemos: make comando y listo, bueno cuando sea aplicable jeje
muy buenas tus explicaciones, pero creo que deberias hacer el tutorial en jupyter notebook que es la herramienta mas usada para ciencia de datos. Es incomodo verlo en la consola
¿Qué ventajas nos da RDD para procesamiento vs DataFrames?
Los RDD se procesan en paralelo en distintas máquinas del cluster, es mucho mas escalable.
@@NullSafeArchitect No estoy conforme contigo, los data frame también se procesan en paralelo y de manera distribuida. los RDD salieron con la version Spark 1.0 y posteriormente sacaron los data frames (v1.3) y dasta set (v.16). El uso de los RDD va quedando desfasado. Los Data sets proporcionan lo mejor de RDD y Dataframe: RDD (programación funcional, tipo seguro), DataFrame (modelo relacional, optimización de consultas, ejecución de tungsteno, clasificación y barajado)
@NullSafeArchitect @@istorboi Buenas, así es. Venia buscando una aclaración en los comentarios ya que en este video se dice que solo los RDD se procesan de forma distribuida entre las máquinas del cluster. En la documentación se entiende que la estructura Dataset también se procesa de esta forma, además del resto de estructuras que manipula Spark, junto con las versiones en que se implementó como dice el comentario anterior. Me alegro de haber encontrado la confirmación aqui. Mi comentario es para consolidarla, no para recalcar un error que cualquiera puede cometer al grabar bien por desconocimiento, confusión o distracción. Para completar, además los Dataset también pueden ser almacenados (no solo procesados) de forma distribuida en las memorias del cluster. Gracias por el contenido, esperamos más con mucha ilusión ; ).
Creo, sin haberlo compilado ni nada, que lo de hacer el flatMap en el minuto 12:49 es innecesario. Yo creo que te da el mismo resultado si empleas un map. El product_id no es un array ni nada por el estilo, entonces no veo necesario hacer el flatmap. Te va a salir el mismo número de registros lo hagas con map o flatmap, o eso creo. Contestame si puedes, estoy muy intrigado con esto mismo. Entiendo la diferencia entre ambos, pero en este caso concreto creo que no hace falta usar flatmap.
Jupyter
te agradezco por tus videos y los comparto lo más que puedo pero por favor estudia algo de inglés, primero porque todos lo que tu usas está en inglés y segundo porque es triste oirte pronunciar "como se escribe".
Buen día, genial el tema, genial la forma como lo explicas; encontré un error siguiendo el tutorial el lines.collect()...alguna idea?
22/12/15 14:59:12 ERROR Executor: Exception in task 8.0 in stage 12.0 (TID 207)
org.apache.spark.api.python.PythonException: Traceback (most recent call last):