Aumentando em 999x a velocidade de processamento de dados com Node.js

Sdílet
Vložit
  • čas přidán 25. 08. 2024

Komentáře • 105

  • @MsVextor
    @MsVextor Před 4 měsíci +17

    Vídeo muito bom, tenho só um complemento. A técnica de paralelismo realmente influencia muito na velocidade, mas temos que lembrar que, no primeiro caso, os dados precisaram passar pela camada de rede e, no segundo caso, foi entre dois bancos na mesma máquina. Só para exemplificar, uma coisa é passar um vídeo de uma pasta para outra no próprio PC, outra coisa é fazer upload desse vídeo para o CZcams ou fazer download dele.
    Vídeo excelente e sobre um conteúdo que vejo pouco no youtube, parabéns.

    • @angolatechreviews8420
      @angolatechreviews8420 Před 4 měsíci +1

      Exactamente numa situação real o problema seria as operações IO passando pela camada de rede. Bom ponto!

    • @ErickWendelTraining
      @ErickWendelTraining  Před 3 měsíci

      Excelenteeee!! Faz um teste ai pra ver quanto ficaria, só trocar as variáveis de ambiente e ver a velocidade quanto vai

    • @atilaaugusto_
      @atilaaugusto_ Před 3 měsíci +1

      sem contar que não existe nenhum tipo de validação ou controle de fluxo. fiquei curioso de ver como seria rodar isso com graalvm

  • @data_leal
    @data_leal Před 3 měsíci +6

    Caraca, Skrillex estava ensinando programação todo esse tempo e eu aqui, vou me inscrever hehe

    • @wduandy
      @wduandy Před 2 měsíci

      CALL 911 NOW!!!!!!

    • @data_leal
      @data_leal Před 2 měsíci

      @@wduandy kkkkkk

  • @carlosvinicius9767
    @carlosvinicius9767 Před 4 měsíci +22

    Rodei o projeto na minha maquina e levou 30 segundos para migrar TODOS os registros... impressionante

  • @micheldiniz4165
    @micheldiniz4165 Před 4 měsíci +3

    Cara, parabéns pelo conteúdo, aprendi muito, poucos ocupam o tempo para ensinar algo útil e de valor hoje em dia, continue assim!

  • @HernandesTrd
    @HernandesTrd Před 3 měsíci

    Man... te achei no Tik tok... é vc não tem tantos seguidores lá... mas aqui vc é um god man!... congratulations 🖖🏼👏🏼👏🏼👏🏼👏🏼

  • @douglaspoma
    @douglaspoma Před 4 měsíci +14

    Poderia fazer um vídeo parecido mas processando um arquivo gigante, utilizando streams e distribuindos os chunks entre childs

    • @ErickWendelTraining
      @ErickWendelTraining  Před 4 měsíci +10

      Opaaa e se eu te falar que tem isso aqui no canal? Pesquisa sobre processando 30gb que mostrei (e sem precisar de child process, fiz com webstreams então você pode combinar os dois)

  • @AleffSK8
    @AleffSK8 Před 4 měsíci +2

    Irado o vídeo Erick, boa explicação e ótima solução para esse problema, me deu ótimos insights

  • @dffrancisco
    @dffrancisco Před 3 měsíci

    Cara muito top, isso é foda parabéns, Erick fala de IA com node

  • @Tatan-GIR
    @Tatan-GIR Před 2 měsíci +1

    que mejor que aprender JS y practicar mi portugues !! muy buenoo !!!
    Eres un grande !!
    Tah legal ! Obrigado !

  • @luancarvalho1310
    @luancarvalho1310 Před měsícem

    Acabei de saber que o Akita passou o bastão pra você. O pouco que já vi dos seus videos, entendo porque ele fez isso.

  • @angolatechreviews8420
    @angolatechreviews8420 Před 4 měsíci

    Excelente, penso que em uma situação real, por exemplo ao imigrar de um banco de dados em Heroku para Aurora DB a maior parte do tempo será gasto em operações IO mas olha que as técnicas que passaste aqui podem ajudar muito a balancear a carga de trabalho! Excelente trabalho. 🎉

  • @Helter_Skelter1
    @Helter_Skelter1 Před 4 měsíci

    Me deu uma insights muito bons Erick, valeu! Possívelmente vamos passar por umas migrações la no trabalho, papo de mais de 5b de registros, isso com certeza pode ser uma opção

    • @caramba158
      @caramba158 Před 4 měsíci +2

      Cara, 5b de registros? Com certeza não faria no JS. Usaria o Goroutines, muito mais seguro

  • @sathishramesh3765
    @sathishramesh3765 Před 4 měsíci +3

    please make it in english also, i know it have sub titles, but try to consider this req..because i know this is such valuable content about node

  • @flaviorodrigues2615
    @flaviorodrigues2615 Před 2 měsíci

    Erick acompanho seus vídeos e dicas por aqui e pelo linkedin, gostaria de iniciar a programar em Javascript, vi que não tem mais o curso para iniciantes no teu site...Está em outro nível kkkk, mas me diz aí, poderia indicar um bom curso pra quem quer iniciar no Java?

  • @mateusfuga123
    @mateusfuga123 Před 4 měsíci

    Muito bom conteúdo Erick! Fiquei em dúvida do quanto a rede dominou o tempo de duração do script quando rodou em produção, acho que seria interessante fazer um comparativo das duas soluções rodando tudo na mesma máquina para isolar a melhoria e ver de uma forma mais precisa o quanto de fato foi possível melhorar. Ainda acho importante destacar alguns cuidados com um alto nível de paralelismo (levando em conta também as promises sem await), que poderia sobrecarregar o banco. Chamo a atenção pra isso porque essa prática em código de produção pode ter efeitos colaterais não imaginados, como consumir todas as conexões disponíveis do banco.

  • @astaron-eremita
    @astaron-eremita Před 3 měsíci

    Sempre usei Spring boot reativo(assíncrono), na empresa que trabalho é 2 milhões de dados por dia... é bem performático para ser sincero tanto a escrita tanto a leitura, o segredo de tudo isso está no assíncrono.

  • @diegogoulart159
    @diegogoulart159 Před 4 měsíci +1

    Eu usei essa técnica para fazer o inverso, escrever os dados em uma planilha do google. Foi bem rápido também.

    • @ErickWendelTraining
      @ErickWendelTraining  Před 4 měsíci +1

      Que demais!!! Incrivel a velocidade da parada

    • @diegogoulart159
      @diegogoulart159 Před 4 měsíci

      @@ErickWendelTraining É bem rápido mesmo, usei pra resolver um problema em um desafio técnico de uma vaga. E é claro que eu passei :D

  • @CarlosEduardo-nt8pm
    @CarlosEduardo-nt8pm Před 4 měsíci +6

    Poderia ter mostrado o uso de memoria / processamento durante a execução dos processos no NodeJS 👀

    • @ErickWendelTraining
      @ErickWendelTraining  Před 4 měsíci +3

      Até pensei nisso, mas o vídeo ia ficar grande demais hahahah meu objetivo eh mostrar e as pessoas experimentarem e medirem

  • @TheDaissuke
    @TheDaissuke Před 4 měsíci +1

    fala mano, blz? a alguns anos atrás eu fiz algo similar mas em python e alterei os arquivos para documentod no mongodb e para paralelizar eu usei workers consumindo msgs do rabbitmq. no meu caso estava criando um report de rightsizing de vms azure que em algumas situações demoravam mais do que 24 horas, e caiu para menos de 15 mins.

  • @flaviolourenco1311
    @flaviolourenco1311 Před 4 měsíci +2

    Erick parabéns pelo profissionalismo, fiquei curioso sobre a troca do banco de dados, seria custos, algo do tipo?

    • @ErickWendelTraining
      @ErickWendelTraining  Před 4 měsíci +1

      Opaaa, na verdade só um caso de uso mesmo, poderia ser o contrário tambem

  • @felipesilva697
    @felipesilva697 Před 3 měsíci +1

    Erick como seria a melhor maneira possível para lidar com: Tenho uma quantidade limitada de produtos exemplo 10 mas existem 20 pessoas querendo comprar/adquirir, como lidar se essas 20 requisições acontecerem ao mesmo tempo sem gera erro e não acaba ficando com um número negativo. Estou com um problema semelhante ao tentar criar um sistema de reserva de quartos. Vi algumas opções mas gostaria de saber como você faria pra resolver.

    • @leonardobarrocal1172
      @leonardobarrocal1172 Před 2 měsíci

      Ja pensou em utilizar socket? Acredito que com ele voce ira conseguir suprir essa necessidade, pois assim ira ter consistencia nas informacoes.
      Pensa como um banco, voce precisa mostrar os dados reais do usuario, ele nao pode ter um saldo de 1 mil sendo que tem 1 real, entao e necessario focar na consistencia, fez qualquer coisa, ja processa essa informacao, caso contrario, aponte um erro.
      Acredito que assim vai dar certo hehe

  • @natanaelsimoes
    @natanaelsimoes Před 2 měsíci

    Como fica a situação do banco em questão de cpu, sessões ativas e tals

  • @matheusduarte9515
    @matheusduarte9515 Před 3 měsíci

    Fala Erick! Tudo certo? Fala sobre a normalização de dados com nodejs em grande escala acima de 100mb de dados

  • @Marcos.Silva7
    @Marcos.Silva7 Před 3 měsíci

    pessoal qual é a melhor linguagem para um júnior fazer o backend do html, css e js de um site? quero conseguir uma vaga no mercado, mas não consigo me decidir pra onde ir

  • @matheusmoura8407
    @matheusmoura8407 Před 3 měsíci

    Muito obrigado irmão

  • @GuilhermeLima-md3ci
    @GuilhermeLima-md3ci Před 4 měsíci

    Qual é a melhor biblioteca para paralelizar processamento hoje no nodejs? Achei muito legal entender como funciona por baixo dos panos. mas gostaria de ver uma boa biblioteca e até mesmo dar uma estudada no código dela. Já fiz algo bem parecido com o que você mostrou no video usando threads em c.

  • @BestRebolation
    @BestRebolation Před 4 měsíci

    Um dúvida que tenho é: o node tem os módulos "child-process" e " cluster". Qual a diferença entre eles?

  • @guirard6685
    @guirard6685 Před 4 měsíci

    Você é demais, me tira uma dúvida... é possível hoje em dia trabalhar com node sem typescript sendo que na maioria das vagas pedem typescript?

  • @ricardoatonholli
    @ricardoatonholli Před 4 měsíci

    "o cara é foda patroa..." 👏👏👏

  • @raimundononatobatistaneto8429

    no meu corei3 de 7th, 12gb de ram demorou 10,5 minutos

  • @leonardorangel8558
    @leonardorangel8558 Před 4 měsíci +1

    Boa tarde! Fiz o teste no wsl do windows ele usou 8gb de memoria de 16gb e tenho um i5 9600k. o script rodou em 102 segundos, muito rápido kkk o processamento da cpu ficou em 100%

    • @ErickWendelTraining
      @ErickWendelTraining  Před 4 měsíci +1

      Olocooooooooooo que demais! Daria p aumentar a quantidade do cluster pra ver como ficaria

  • @user-gq7py6ku3x
    @user-gq7py6ku3x Před 4 měsíci

    Por que usar processos filhos invés de usar threads?

  • @lucasluizss
    @lucasluizss Před 4 měsíci

    Insano! 🚀

  • @matheusspinosa9201
    @matheusspinosa9201 Před 4 měsíci +1

    Não seria mais performático inserir múltiplos items de uma vez? Ao invés de inserir basicamente 1 por 1? Tive um problema de dados do tipo e tive que fazer as coisas em lote porque eu fritava a maquina do mongo fazendo um por 1 kkkkk

  • @nvieirarossett
    @nvieirarossett Před 4 měsíci +1

    Erick, achei muito legal, to fazendo algo grande também que processo muitas informações por aqui, meu bd de mongo ta com 100gb e crescendo, PORÉM... diferente do seu o meu precisa ser de forma sequencial, pois seria um sistema de backtest de mercado financeiro, eu preciso esperar concluir um processo para ir para o próximo, não tem como, preciso usar await em uma função recursiva que executa um cursor no mongoDB pois normalmente são mais de 2 milhões de linhas em um loop, mas vc acha que childProcess pode fazer diferença em dados que precisam ser sequenciais? Ou se tem alguma forma de otimizar o processo em uma situação como essa? Uma coisa que vou fazer ainda é ao menos nesse sistema de backtest tirar o mongoose da jogada, pois vi que ele deixa mais lento o processamento, quanto mais der pra otimizar melhor.

    • @jorgehabib3933
      @jorgehabib3933 Před 4 měsíci +1

      Já trabalhei com algo similar, minhas sugestões:
      1. Não se comunique com o banco de dados no meio do loop. Pegue todos os dados antes do loop e escreva todos os dados depois do loop. Tudo fica salvo em memória nesse meio tempo.
      2. Worker Threads ou child_processes só vai te ajudar a processar vários símbolos de uma vez. Como o resultado de um dia depende do dia anterior, tem que ser sequencial mesmo.
      3. Cuidado com manipulações de datas no meio do loop (timezone e etc). Nesses casos extremos a lib dayjs me deu muitos problemas de performance.
      4. Aprenda a utilizar o profiler do debugger do Chrome. Lá com os flamegraphs você consegue encontrar exatamente a função que está tomando mais tempo no seu programa, e otimizar ela.

  • @allanlimaverde6201
    @allanlimaverde6201 Před 3 měsíci

    Legal! Só uma dúvida, o número de processos que vc spawna não é na prática meio limitado pelo número de cores da CPU?

  • @gamecraftbrasil3813
    @gamecraftbrasil3813 Před 4 měsíci +2

    Não daria para ter um desempenho similar usando o worker_threads?

    • @srDanOver
      @srDanOver Před 4 měsíci

      Estou com a mesma dúvida

  • @julio1235679
    @julio1235679 Před 3 měsíci

    fala erick tudo bem ? atualmente uso webpack em uma extensao web, minha ideia e fazer scripts automatizados em javascript(node) mas o webpack nao aceita utilizar node, gostaria de uma ideia para fazer scripts node e outro para webpack (extensao web), se puder dar umas dicas vlww !

  • @arozendojr
    @arozendojr Před 4 měsíci

    Em relação aos testes unitários, você acha que os testes que usam DOM seriam testes de funcionalidade, não testes unitários?

  • @joseoliveira8423
    @joseoliveira8423 Před 4 měsíci

    czcams.com/video/EnK8-x8L9TY/video.html No caso o for await se faz necessário por o generator retornar um iterator de promises (que da no mesmo que iterar sobre um array de promises). O for await garante que a cada iteração a promise seja resolvida antes de ser atribuída à variável "data".

  • @Kimitri
    @Kimitri Před 4 měsíci

    Legal, isso me lembrou uma dúvida de um projeto que estou fazendo, tipo tenho um endpoint de uma api que gera presignedUrls para o s3, as vezes preciso gerar 3000 urls, pra essa quantidade é necessário fazer filas tipo com o bullmq ou não? Tenho a dúvida pq não sei se para essa quantidade vale a pena pra economizar recursos do servidor.

  • @caiquemonteiroaraujo528
    @caiquemonteiroaraujo528 Před 4 měsíci

    Não sei se é uma particularidade do NodeJS, embora eu goste muito do NodeJS. Já fiz muita migração de dados com Python, Go e até PHP e, localmente, sempre são resultados muito bons. Até porque localmente não tem uma virtualização de CPU, a maioria hoje tem GHz mais que suficientes, também tem no mínimo 8GB de memória RAM disponível e não depende da latência. Em outras palavras, independente da linguagem ou da qualidade do algoritmo, sempre vai ser mais rápido local.
    Por isso, geralmente faço um dump do banco de dados, importo localmente. Depois migro, faço um dump do novo banco de dados e importo no cloud.

    • @BrasilEmFatos
      @BrasilEmFatos Před 3 měsíci

      Mas ai você tá falando de projeto pequeno. Trabalhei em lugar que era gerado log de 5TB por dia. Como faz dump disso haha?

    • @caiquemonteiroaraujo528
      @caiquemonteiroaraujo528 Před 3 měsíci

      @@BrasilEmFatos se é log porque você faria migração de dados?

  • @christianguimaraes5065
    @christianguimaraes5065 Před 4 měsíci

    Como posso saber o número ideal de cluesterSize para minha maquina suportar?

  • @LeonardoAraujo-bc3qn
    @LeonardoAraujo-bc3qn Před 4 měsíci +1

    Fala Erick, belezinha? Nesse fluxo, a utilização do método "cursor" na query do MongoDB não seria mais performático? Ou teria algum problema?

    • @ErickWendelTraining
      @ErickWendelTraining  Před 4 měsíci +1

      Seria sim!! Ao invés de usar um .toArray! Tenta modificar ai e fazer pra vermos o quanto melhora 🤘🏻🤘🏻

  • @thiagofelipe9930
    @thiagofelipe9930 Před 4 měsíci

    Erick, oque vc faria para não carregar um grande volume de dados vindos do Mongo ou de qualquer outra fontes em um array?
    Bem nesta linha aqui: index.js linha 17
    const items = await data.toArray()
    Pensei no Node Stream, mas existe outra solução?

  • @jorgehabib3933
    @jorgehabib3933 Před 4 měsíci

    Qual seria a diferença entre implementar usando child_process e worker threads? Nenhuma, certo?

  • @yurirenato7968
    @yurirenato7968 Před měsícem

    Tenho que ser sênior pra aprender isso?

  • @gustavosoares9849
    @gustavosoares9849 Před 3 měsíci

    queria que o erp da minha empresa fosse assim, quando vai reparar o banco = 1 hora KKKKKKKK, imagina se fosse pra 2 minutos.

  • @eliumoraes
    @eliumoraes Před 4 měsíci

    Top! Mais 1 vez que aumentasse e chegava na metade do dotnet.

    • @ErickWendelTraining
      @ErickWendelTraining  Před 4 měsíci +2

      Hahaha lança o desafio que provo que dá pra fazer mais rápido que dotnet 😜

    • @eliumoraes
      @eliumoraes Před 4 měsíci

      @ErickWendelTraining Peraí... Fiquei pensando, como seria a disputa se cada layer da arquitetura tivesse sua própria instância Docker - tipo, Postgres, Django, e entre nodejs/dotnet? Quem termina mais rápido na camada {{framework}}? Seria uma boa disputa, hein!
      Falando nisso, tô com uma dúvida sobre a experimentação. Pelo que saquei, você tá usando isso pra simular carga pesada em chamadas de endpoint, né? Ainda tô meio na dúvida. No mundo real, eu talvez fosse de Python ou, quem sabe, ADF na Azure, dependendo de como essa liberação rolar em produção.
      Agora, pensando no desafio entre nodejs e dotnet, acho que deveria ser algo tipo: medir quanto tempo cada framework leva pra pegar uma requisição HTTP, processar, salvar alguma coisa no banco e devolver uma resposta. Aí sim, daria pra montar um cenário com clean architecture pra ver como eles se saem no dia a dia, longe dos monolitos simples. Podíamos até armar um setup com k6, Grafana e InfluxDB para os testes de carga. Que tal?

  • @helovescoding
    @helovescoding Před 4 měsíci

    muito daora! vou testar o meu caso de uso numa máquina na aws mas será que a gnt conseguiria fazer ter um resultado parecido numa máquina com 2 cores e 1024 Mb de ram???

  • @matheus_carvalho.
    @matheus_carvalho. Před 4 měsíci

    pq você não utiliza typescript?

  • @ChristianPrado-nl5vj
    @ChristianPrado-nl5vj Před 4 měsíci

    Erick, acha que usando o worker_threads do nodejs seria mais leve, por não ter que criar um processo completo? Ou não teria tanta diferença?

    • @and7231
      @and7231 Před 4 měsíci +1

      É recomendável usar worker threads para uso intensivo de CPU como renderização de imagens ou até mesmo algoritmo de ordenação, para processamento assíncrono I/O utliza-se geralmente child process, mas sua inicialização seria mais rápida sim.

  • @JeanFellipeFerrazCampos
    @JeanFellipeFerrazCampos Před 4 měsíci

    Erick, uma duvida, como tu faria para ter o número de clusters dinamicamente? ou seja, em vez de ser 99 na mão, ser 'N' dinâmico, conforme o poder de processamento disponivel

    • @and7231
      @and7231 Před 4 měsíci +2

      import os from 'os'
      const cpusNumber = os.cpus().length - 1

  • @xsamuelx3603
    @xsamuelx3603 Před 4 měsíci +1

    Uma técnica de paralelepípedo :D

  • @rafael_tg
    @rafael_tg Před 4 měsíci +2

    top o video. Quanto tempo será que roda se fizer em Rust ?

    • @ErickWendelTraining
      @ErickWendelTraining  Před 4 měsíci +1

      Acredito que o fator aqui eh que estamos inserindo e recebendo dados de bancos externos, entao os dois podem chegar no mesmo limite que eh o limite de leitura e inserção dos bancos, mas acredito que vale o experimento

  • @TheVeganMonkeyLotus
    @TheVeganMonkeyLotus Před 4 měsíci

    erick lenda

  • @elvispalace
    @elvispalace Před 4 měsíci

    o brabo

  • @matheusspinosa9201
    @matheusspinosa9201 Před 4 měsíci

    Meu prefeito

  • @eliseumds
    @eliseumds Před 4 měsíci +1

    Macbook M3 Max 48GB, 48 segundos.

  • @gustavosoares9849
    @gustavosoares9849 Před 3 měsíci

    Queria ver a diferença entre o Worker Threads vs Child Process na prática.

  • @dizerdev
    @dizerdev Před 4 měsíci

    conteudo TRUE

  • @gabrielmateus6763
    @gabrielmateus6763 Před 4 měsíci

    aqui levou 65 segundos.

  • @gabrielandre5747
    @gabrielandre5747 Před 4 měsíci +1

    Se 1 milhão de linhas em 3 minutos é rápido eu sou um abacate

  • @drksbr
    @drksbr Před 4 měsíci +2

    Oculus sujo da poxa. Como que tu tá vendo através disso, Man ? Kkkkk

  • @guilhermeghost99
    @guilhermeghost99 Před 4 měsíci

    2 segundos aqui

  • @rafael.aloizio1769
    @rafael.aloizio1769 Před 4 měsíci +1

    eu sei que é moh idiota falar isso, mas eu tenho toc, nao consegui. tem um typo no nome da tua funcao de balanceamento de carga deveria ser roundRobin nao Roubin haha