Eaaaai galera como estão? Espero que estejam curtindo o conteúdo. Notei que no video esqueci de colocar o AbortController para o backend quando o frontend aborta a operação. Criei um segundo arquivo com a solução corrigida. Não esquece de deixar seu like no video e o star no repositorio, isso me ajuda demais! github.com/ErickWendel/webstreams-nodejs-and-browser-tutorial/blob/main/recorded/server/index-bug-resolvido.js
Conteúdo de alta qualidade, mostrando como usar as ferramentas corretas do Node pra criar soluções! Quem souber absorver bem este conteúdo tem um ouro nas mãos!
Brabo demais!!! Isso eleva o nível e disponibiliza um leque muito poderoso pra resolver problemas reais de maior escala. Já tinha visto um vídeo seu e um post lá no Linkedin mostrando um código, ai apliquei no trampo, foi um ganho muito grande lá no processo. Agora com esse acoplamento de web e node o bagulho fica sem limites mano. Grato demais pela aula!! Abraço
Parabéns cara, sua contribuição é louvável, conteúdo em português é muito pouco, ainda mais coisas mais avançadas, por isso tenho que aprender inglês, vlw
Excelente vídeo! Adorei o `--watch do node@19`. Fiquei de cara com esse lance de manipular as streams, mandar tudo pro front, tirar vantagem do abortController e tudo mais. Muito massa! Inclusive dei uma tentada aqui no desafio do fim do vídeo mas parece q to patinando 🤦🏽 hahaha. Acho q me falta traquejo com node fora do basicão REST. De todo modo, muito obrigado Erick pelo conteúdo. Vou ficar ligado nos vídeos!
E ae mano ... admiro teu trabalho! Espero que consiga chegar 50% desse teu conhecimento... Estou me esforçando cada dia mesmo iniciando agora nesse novo mundo! Agradeço por ter pessoas como vc que nos dá incentivo.
Foi meu primeiro contato com webstreams e conseguir entender sem me perder. As aplicações para essa abordagem são inúmeras. Muito obrigado pela aula, excelente didática!
Cara nunca programei em JS na vida kkk e vi seu video até o final, consegui absover o conceito e estou pensando em como aplicar com python. VALEU UM ABRAÇO
mano bom demais esse video! parabéns e obrigado! foda! tava com uma treta aqui no trabalho com problema de performance pra abrir arquivo JSON gigante na página e vou resolver com esse aproach que vc passou, valeu demais.
Os erros de gravação são os mais esperados. Kkkkkkkk Brincadeiras a parte, que conteúdo top mano. Só tenho a agradecer por esse ensinamento. Deus está te dando em dobro tudo o que entrega de conteúdo pra comunidade. Vc é brabo demais.
Excelente vídeo :) Seria possível fazer o caminho inverso com as mesmas ideias? O front enviando um arquivo pesado via stream seguindo o mesmo conceito? Seria ótimo um vídeo seu com isso. Obrigado
Conteudo top, a minha primeira liguagem foi o js, atualmente eu programo em golang mas sempre volto nos seus videos para me manter informado. Parabéns!!
00:00 - SIGN UP AE 00:28 - About video content 01:53 - Free content tips 02:21 - What problem do web streams solve? 04:41 - Demo: downloading and parsing csv data 07:04 - Initializing a Node.js project to create the Server 08:02 -Node.js version used 08:12 - Creating the server without frameworks 09:42 - Releasing public access to the server 12:26 - Reading CSV file with createReadStream 13:12 - Converting a readable stream for web using Readable 18:16 - Convert data type (CSV to JSON) with transform from web streams and Node.js streams 19:55 - Mapping only desired information from JSON with transform stream 24:12 - Differentiating the API from a REST, sending data on demand 25:15 - Informing how many items have already been processed 26:31 - The importance of using line breaks 27:36 - Initializing a Node.js project to create the App 29:21 - Front-end: building the cards to display the information 34:13 - Consuming the API data we created 34:59 - Canceling operations in Javascript with abort controller 35:56 - Consuming data from a readable stream 38:51 - Converting data received from API to JSON even with two chunks in the same stream 44:47 - Creating a writable stream to plot the results sent by the server 47:50 - Plotting the API information on the frontend 48:21 - Creating event listeners to start and stop streams 51:49 - Limiting characters on cards and creating a log to let you know that the stream has stopped 54:08 - Back pressing on project streams 55:11 - Real problems applying the project in this video 55:58 - Tooltips to become a Javascript expert 56:21 - Final thoughts on the project 57:25 - Blooper reels 58:13 - Like and share this video!
Os indianos vão vir aqui no vídeo aprender com vc. O cara é tão zika que consegue ensinar os caras que ensinam. Top demais! Queria um dia ter 1% do seu conhecimento. Obrigado Erick ✌️
Sensacional! Funcionou muito bem! Seguindo este exemplo, gostaria de saber como manipular diretamente um array pegando cada objeto dele, individualmente como chunk.
Esse canal sai do básico, tem canal por aqui que está mais de 5 anos resumindo documentação. Erick e Akita são os melhores para a comunidade de tech (devs) sem dúvidas fora do padrão de canais para vender cursos.
Tarde mestre, vi que você commitou uma solução pro 'bug' que na verdade é o comportamento normal do AbortController. Creio que se vc usar o método .abort('reason') o browser não estoura aquele 'erro', que acontece porque vc não passou nada pro método (tipo, abortou sem motivo). Vou fazer um fork e testar, mas creio que isso substituiria o if (!error.message.includes... Do mais, você é mostro! Seu conteúdo é diferenciado e mesmo assim, acessível. Parabéns, e obrigado!
boaaaa, na verdade a correção foi pq eu não estava abortando no Node.js quando a conexão encerrava, então ele ia ler o CSV inteiro para conseguir parar, ai só adicionei o abortController lá Mas excelente sobre o .abort, não cheguei a testa-lo assim. Pode subir um PR lá corrigindo esse index-bug-resolvido se rolar sem o tryCatch 🤩
Mano, eu quase sempre odeio assistir video aulas de programação pq acho muitas vezes chato, mas esse video eu assisti quase tudo sem problema, adoro teu jeito de explicar e deixar as coisas simples
Nem terminei de ver ainda e só pelo back já valeu o like e inscrição. Fica a recomendação/sugestão de uma v2 turbinada transformando a stream de retorno de uma query no banco, transformando ela usando message packer e mandando pro front. Será que rola? A performance vai ser maior com a transformação com message packer ou usando JSON puro? Parabéns pelo conteúdo, está excelente!
Caraca que cara bom, primeira vez que visito o canal, muito conhecimento e facil entendimento, mas só uma dúvida, entrei no seu video de apresentação do teu curso, e está em ingles, mas o curso é em ingles mesmo ?! ou só aquele video
Gerencio um putcha site usando apenas Django e uns JavaScript dentro das templates, isso não tem como ser feito com Ajax mandando a informação que chegou e como request data do Ajax recebo no Back end o resto dos dados um por um se repetindo e colocando na tela conforme o time que você quer, ou isso pesa muito para ser feito com Ajax e Django, achei muito boa essa ideia, mas gostaria de implementar em um servidor de Ajax, só não sei se valeria a pena usar pandas ou o próprio models do Django, legal desse método é o quão dinâmico fica sem travar
não necessariamente, readline só vai ajudar voce a ler linha a linha, mas nem sempre o linha a linha é uma quebra. No windows eles usam / se não me engano, ai pode quebrar alguns casos.
No cliente podemos usar webstreams com qualquer request ou mesmo ficheiro? Ou é preciso que o server tmb use streams? Ótimo conteúdo, sou português só vejo videos em inglês, com a exceção dos seus videos.
E ai Erick, beleza? Reproduzi algo parecido, porém abrindo um pool de connections do mysql para retornar da mesma forma. No meu caso, tô pegando: ERR_INVALID_STATE Type Error Controller is already closed? Alguma idéia?
Conteúdo foda! Valeu pela riquíssima aula Wendel! Tenho uma dúvida com relação ao split feito na linha 30 do `app/index.js`. Oq aconteceria se houver um ` ` no meio de alguma descrição do chunk, isso não sinalizaria erroneamente o fim de um item? Se sim, haveria alguma alternativa para o split correto do item, caso o chunk seja grande demais?
Fala Erick, blza? Com essa biblioteca streams é possível fazer uma requisição server-to-server? É muito comum de mesmo entre backends ser necessário enviar requests grandes (dados que vem de arquivos ou bancos de dados por exemplo)
Opa! Muito show esse conteúdo. Sabe se já tem suporte para outras tecnologias no backend? Java + Spring por exemplo como backend? E vc acha que webstream substitui totalmente websocket e SSE ou tem casos que estas outras tecnologias se encaixa melhor ?
Fala Erick beleza, então, estou upando um file pequeno até, mas no server está dando um 413 Request Entity Too Large, será que é problema da aplicação ou da cloud, valeu mesmo seus vídeos são otimos.
Conteúdo top! Teria algo sobre usar isso com Map Tile server? Pergunto pois queria implementar um map tile server pegando dados do PostGIS no lugar de um csv ou então de um bucket da GCP. Alguma ideia? Vi algumas implementações mas tem uma performance não tão boa. Tô usando Mapbox e protobuffer na api :) Valew
@@carlosricardoziegler2650 se voce consegue ler como stream então provavelmente consegue processar também. Tem que ver se a API deles retorna esses dados como stream
isso só funciona com um JSON local, ou qualquer um? Tô com um JSON pequeno (34 itens), mas a resposta tá demorando 4s só pra fazer a listagem para um array.
@@ErickWendelTraining A parte mesmo do front começa em 29:21? essa recepção dos dados n entendi como faria sem ser localmente, ou no caso tem q fazer aquela parte do Readable e no lugar do diretório "./animefly/csv" colocar a rota get. ou essa parte da API só o bak que faz?
Vídeo muito top!! Essa feature vai abrir muitas portas para as páginas web. Uma coisa que fiquei curioso, na função parseNDJSON o porque corre o risco da variável ndjsonBuffer ter algo não processado na hora do flush? Seria se faltasse o " " no final?
Eu ensinei isso nesse treinamento de node.js streams www.nodejsstreams.com/ Mas em resumo, Você verifica quantos bytes tem o arquivo de origem (fs.promises.stat), guarda numa variavel global e cria uma variavel para somar o numero de bytes que foi processado. Toda vez que passar pela writable você soma e verifica quanto essa variavel do numero de bytes processados representa do valor total do arquivo 🤩
Eaaaai galera como estão? Espero que estejam curtindo o conteúdo. Notei que no video esqueci de colocar o AbortController para o backend quando o frontend aborta a operação. Criei um segundo arquivo com a solução corrigida.
Não esquece de deixar seu like no video e o star no repositorio, isso me ajuda demais!
github.com/ErickWendel/webstreams-nodejs-and-browser-tutorial/blob/main/recorded/server/index-bug-resolvido.js
da pra fazer a mesma coisa que vc ensinou com vídeos? (mp4, mkv etc...)
ou funcionaria de uma forma diferente?
@ErickWendelTraining esse comentário não está fixado
@@HerumorNumenorean valeuuu
eX@@HerumorNumenorean R
Traz mais desse "como você faria para... com Node?". Ficou top demais, mano.
Ai simmm, vou trazer 🤩
Esse cara é fera! Conteúdo super importante pra quem procura programar de forma realmente performática.
Muito bom o conteúdo! Nesse nível não se encontra em outros locais no yt.
Orraaaaa. Esse não achei nem pela internet🤣🤣 o bom que já conheço nodejs streams então fui assimilando na tentativa e erro
Conteúdo de alta qualidade, mostrando como usar as ferramentas corretas do Node pra criar soluções! Quem souber absorver bem este conteúdo tem um ouro nas mãos!
Brabo demais!!! Isso eleva o nível e disponibiliza um leque muito poderoso pra resolver problemas reais de maior escala. Já tinha visto um vídeo seu e um post lá no Linkedin mostrando um código, ai apliquei no trampo, foi um ganho muito grande lá no processo. Agora com esse acoplamento de web e node o bagulho fica sem limites mano. Grato demais pela aula!! Abraço
Parabéns cara, sua contribuição é louvável, conteúdo em português é muito pouco, ainda mais coisas mais avançadas, por isso tenho que aprender inglês, vlw
Ai sim em, video em portgues com conteudo surreal top das galaxias. Vlw Erick, tu é o cara!!!
Como eu fico feliz que tu voltou a fazer video em português. Valeu.
opaaa ai sim!! to balanceando entre ptbr e em ingles agora 🤩
Excelente vídeo! Adorei o `--watch do node@19`. Fiquei de cara com esse lance de manipular as streams, mandar tudo pro front, tirar vantagem do abortController e tudo mais. Muito massa! Inclusive dei uma tentada aqui no desafio do fim do vídeo mas parece q to patinando 🤦🏽 hahaha. Acho q me falta traquejo com node fora do basicão REST. De todo modo, muito obrigado Erick pelo conteúdo. Vou ficar ligado nos vídeos!
E ae mano ... admiro teu trabalho! Espero que consiga chegar 50% desse teu conhecimento... Estou me esforçando cada dia mesmo iniciando agora nesse novo mundo! Agradeço por ter pessoas como vc que nos dá incentivo.
Sensacional mano! 1 hora pareceu 5 minutos kkkk valeu!!!
hahhahaha né! tmj manolo
Foi meu primeiro contato com webstreams e conseguir entender sem me perder. As aplicações para essa abordagem são inúmeras. Muito obrigado pela aula, excelente didática!
Obrigado algoritmo do youtube por me indicar esse canal!
Parabens pelo conteudo!
Top! Fui acompanhando o vídeo e fazendo junto, muito bom, parabéns pelo conteúdo.
Erick é um mito, os seus vídeos de performance me fizeram gostar de nodejs hahahahaha
hahaha adorei!! Bora que tem muito mais!
Sou DBA, não trabalho com JS mas acho legal saber que coisas assim existem.
Dahoraaaa
Cara nunca programei em JS na vida kkk e vi seu video até o final, consegui absover o conceito e estou pensando em como aplicar com python. VALEU UM ABRAÇO
Teu conteudo eh mto top.. sem firula falando coisa raiz de uma forma legal
O único canal BR que trás verdadeiramente conteúdo avançado em javascript!!!
mano bom demais esse video! parabéns e obrigado! foda! tava com uma treta aqui no trabalho com problema de performance pra abrir arquivo JSON gigante na página e vou resolver com esse aproach que vc passou, valeu demais.
Tudo bem, você venceu! Me inscrevi no seu canal... Você é incrível ❤️
TU É FERA! assisti tudo e espero que possa trazer a resolução do desafio no final :)
Didática ímpar! Você é fera e manja muito, vlw por ensinar
Sensacional como sempre mestrão, confesso que vou ter que assistir mais umas duas vezes pra fixar bem. Ta sênior demaaaaais!!!!
Ce loco! Esse cara é muito brabo, a comunidade agradece
Monsstrrooooooo! 🤘 Conteúdo de qualidade! Muito top como sempre!
Assunto de Seniorzãaoo em malandro!!
Top d+ Erick
Mano o Erick e o Fábio Akita são disparados os caras mais disruptivos nos conteúdos. Muito top!
Valeu Erick! Já até sei com qual CSV eu vou testar! Conteúdo SENSACIONAL
ai simmmm me diz como foi depois!!
Essas aulas me deixa emocionado
Os erros de gravação são os mais esperados.
Kkkkkkkk
Brincadeiras a parte, que conteúdo top mano.
Só tenho a agradecer por esse ensinamento.
Deus está te dando em dobro tudo o que entrega de conteúdo pra comunidade.
Vc é brabo demais.
Sempre trazendo conteúdos que só encontramos aqui, só aluno do JS Expert, se tiver que dar uma dica a alguém seria compre esse curso
Erick é foda demais, aprendi Node com ele em um mês o que não aprendi em 1 ano de cursos la da Udemy.
Muito bom, obrigado!
tmjjj e tenta fazer o desafio em!
Excelente vídeo :)
Seria possível fazer o caminho inverso com as mesmas ideias?
O front enviando um arquivo pesado via stream seguindo o mesmo conceito?
Seria ótimo um vídeo seu com isso.
Obrigado
Conteudo top, a minha primeira liguagem foi o js, atualmente eu programo em golang mas sempre volto nos seus videos para me manter informado. Parabéns!!
+1 inscrito
te conheci por esse vídeo, dei uma olhada no seu canal e me inscrevi, já tenho pelo menos uns 5 vídeos seu na lista :)
voltei pra falar que tou maratonando os videos do canal, assisti tanto video seu que eu ja perdi a conta kkkkk
00:00 - SIGN UP AE
00:28 - About video content
01:53 - Free content tips
02:21 - What problem do web streams solve?
04:41 - Demo: downloading and parsing csv data
07:04 - Initializing a Node.js project to create the Server
08:02 -Node.js version used
08:12 - Creating the server without frameworks
09:42 - Releasing public access to the server
12:26 - Reading CSV file with createReadStream
13:12 - Converting a readable stream for web using Readable
18:16 - Convert data type (CSV to JSON) with transform from web streams and Node.js streams
19:55 - Mapping only desired information from JSON with transform stream
24:12 - Differentiating the API from a REST, sending data on demand
25:15 - Informing how many items have already been processed
26:31 - The importance of using line breaks
27:36 - Initializing a Node.js project to create the App
29:21 - Front-end: building the cards to display the information
34:13 - Consuming the API data we created
34:59 - Canceling operations in Javascript with abort controller
35:56 - Consuming data from a readable stream
38:51 - Converting data received from API to JSON even with two chunks in the same stream
44:47 - Creating a writable stream to plot the results sent by the server
47:50 - Plotting the API information on the frontend
48:21 - Creating event listeners to start and stop streams
51:49 - Limiting characters on cards and creating a log to let you know that the stream has stopped
54:08 - Back pressing on project streams
55:11 - Real problems applying the project in this video
55:58 - Tooltips to become a Javascript expert
56:21 - Final thoughts on the project
57:25 - Blooper reels
58:13 - Like and share this video!
Ainda sou iniciante, mas achei essa aula fantástica
Parabéns cara, como sempre conteúdo muito bom.
Obrigado pelo conteúdo!!
Tmj demaaais
Obrigado Erick! muito bom o conteúdo!
Os indianos vão vir aqui no vídeo aprender com vc. O cara é tão zika que consegue ensinar os caras que ensinam.
Top demais!
Queria um dia ter 1% do seu conhecimento.
Obrigado Erick ✌️
Genial! Parabéns pelo conteúdo
Aí é Sênior =D
Sensacional! Funcionou muito bem! Seguindo este exemplo, gostaria de saber como manipular diretamente um array pegando cada objeto dele, individualmente como chunk.
Parabéns pelo conteúdo.
Erick frontend, aeeeeee é sênior demais
Conteúdo top demais!!!
Esse canal sai do básico, tem canal por aqui que está mais de 5 anos resumindo documentação. Erick e Akita são os melhores para a comunidade de tech (devs) sem dúvidas fora do padrão de canais para vender cursos.
Mano. Pode falar mais sobre Electron JS? Seria legal ver um projeto seu. 😅
Com next ok? Rsrs
Nem sou dev JavaScript mas achei o conteúdo muito útil
Que conteúdo bom. Um exemplo para mim. Como ficaria um código assim em C# ?
Conteúdo sensacional!
Que cara bom pqp
Sensacional
O moleque é bruto no javascript
Tarde mestre, vi que você commitou uma solução pro 'bug' que na verdade é o comportamento normal do AbortController. Creio que se vc usar o método .abort('reason') o browser não estoura aquele 'erro', que acontece porque vc não passou nada pro método (tipo, abortou sem motivo). Vou fazer um fork e testar, mas creio que isso substituiria o if (!error.message.includes...
Do mais, você é mostro! Seu conteúdo é diferenciado e mesmo assim, acessível. Parabéns, e obrigado!
boaaaa, na verdade a correção foi pq eu não estava abortando no Node.js quando a conexão encerrava, então ele ia ler o CSV inteiro para conseguir parar, ai só adicionei o abortController lá
Mas excelente sobre o .abort, não cheguei a testa-lo assim. Pode subir um PR lá corrigindo esse index-bug-resolvido se rolar sem o tryCatch 🤩
Isso é muito interessante
Mano, eu quase sempre odeio assistir video aulas de programação pq acho muitas vezes chato, mas esse video eu assisti quase tudo sem problema, adoro teu jeito de explicar e deixar as coisas simples
Powwwww fez meu dia melhor aqui! Haha muito obrigado pelo feedback! Bora pra cima!
O curso Fundamentos de Javascript - Aprendendo a programar quando vai esta disponível de novo?
FODA PRA CARAI
Nem terminei de ver ainda e só pelo back já valeu o like e inscrição.
Fica a recomendação/sugestão de uma v2 turbinada transformando a stream de retorno de uma query no banco, transformando ela usando message packer e mandando pro front. Será que rola? A performance vai ser maior com a transformação com message packer ou usando JSON puro?
Parabéns pelo conteúdo, está excelente!
Mano tu é top demais!
Carai que fera!
Excelente!!
Caraca que cara bom, primeira vez que visito o canal, muito conhecimento e facil entendimento, mas só uma dúvida, entrei no seu video de apresentação do teu curso, e está em ingles, mas o curso é em ingles mesmo ?! ou só aquele video
PORRAN, RANCOU BOXXXTA! kkkkk video 10/10
Gerencio um putcha site usando apenas Django e uns JavaScript dentro das templates, isso não tem como ser feito com Ajax mandando a informação que chegou e como request data do Ajax recebo no Back end o resto dos dados um por um se repetindo e colocando na tela conforme o time que você quer, ou isso pesa muito para ser feito com Ajax e Django, achei muito boa essa ideia, mas gostaria de implementar em um servidor de Ajax, só não sei se valeria a pena usar pandas ou o próprio models do Django, legal desse método é o quão dinâmico fica sem travar
Muito bom!!!
Magnifico.
Muito massa cara
Esse conteúdo de webstreams é abordado com mais detalhes no curso JS Expert?
Muito top cara, quanto tempo você gasta para produzir um conteúdo desse de praticamente 1h ?
Muito obrigado!! De umas 8-16 horas de preparação (construir scripts, Demonstrações, pesquisa) mais umas 4 de gravação
@@ErickWendelTraining sem contar a edição né haha' praticamente um dia ao total.
Muita dedicação, parabéns de verdade !!🎉🎉🎉
muito bom
Massa!
Top de mais.
Se você utilizasse o readline do lado do NodeJS, vc não garantiria que o JSON viria certo? sem precisar concatenar os chunks?
não necessariamente, readline só vai ajudar voce a ler linha a linha, mas nem sempre o linha a linha é uma quebra. No windows eles usam
/
se não me engano, ai pode quebrar alguns casos.
Pessoal como ficaria processar sob demanda um resultado de uma consulta do Banco de Dados (Postgres) pra gerar um csv ou xls? Daria pra fazer?
Rapaz, eu tenho esse exato exemplo no www.nodejsstreams.com/
Conteúdo animal!
Dúvida boba: Somente com a versão 19 do node pra realizar isso? Ou a 19 é pra seguir o tutorial?
Valeu, Erick!
19 para o tutorial, nas anteriores o -watch nao funciona, mas o resto tudo funciona
No cliente podemos usar webstreams com qualquer request ou mesmo ficheiro? Ou é preciso que o server tmb use streams? Ótimo conteúdo, sou português só vejo videos em inglês, com a exceção dos seus videos.
E ai Erick, beleza? Reproduzi algo parecido, porém abrindo um pool de connections do mysql para retornar da mesma forma. No meu caso, tô pegando: ERR_INVALID_STATE Type Error Controller is already closed? Alguma idéia?
sou junior 3, ainda não vi o vídeo, a solução que eu tentaria de primeirar seria paginar os dados
Conteúdo foda! Valeu pela riquíssima aula Wendel!
Tenho uma dúvida com relação ao split feito na linha 30 do `app/index.js`. Oq aconteceria se houver um `
` no meio de alguma descrição do chunk, isso não sinalizaria erroneamente o fim de um item? Se sim, haveria alguma alternativa para o split correto do item, caso o chunk seja grande demais?
Fala Erick, blza? Com essa biblioteca streams é possível fazer uma requisição server-to-server? É muito comum de mesmo entre backends ser necessário enviar requests grandes (dados que vem de arquivos ou bancos de dados por exemplo)
Opaaa, no www.nodejsstreams.com eu mostro exatamente isso 🤩🤘🏻
@@ErickWendelTraining opa! já vou ver como adquirir isso! hahahaha! abração!
Gostaria de saber se o TREINAMENTO SOBRE STREAMS e' em ingles e valor tambem e' em dolar ?
Opa! Muito show esse conteúdo. Sabe se já tem suporte para outras tecnologias no backend? Java + Spring por exemplo como backend?
E vc acha que webstream substitui totalmente websocket e SSE ou tem casos que estas outras tecnologias se encaixa melhor ?
Blza? Tb estou interessado, mas no meu caso seria .NET CORE.
Fala Erick beleza, então, estou upando um file pequeno até, mas no server está dando um 413 Request Entity Too Large, será que é problema da aplicação ou da cloud, valeu mesmo seus vídeos são otimos.
Conteúdo top! Teria algo sobre usar isso com Map Tile server? Pergunto pois queria implementar um map tile server pegando dados do PostGIS no lugar de um csv ou então de um bucket da GCP. Alguma ideia? Vi algumas implementações mas tem uma performance não tão boa. Tô usando Mapbox e protobuffer na api :) Valew
Não tenho ideia o que seja, acredito que esteja falando sobre gRPC certo?
@@ErickWendelTraining é uma api que fornece dados para mapa, onde ele recebe o zoom, x e y de um mapa e ele retorno os polygons. É bem interessante.
@@carlosricardoziegler2650 se voce consegue ler como stream então provavelmente consegue processar também. Tem que ver se a API deles retorna esses dados como stream
Mas e se eu quiser fazer o mesmo em um banco de dados sqlite3?
Opaaa, ensinei como fazer isso lá no www.nodejsstreams.com/
isso só funciona com um JSON local, ou qualquer um? Tô com um JSON pequeno (34 itens), mas a resposta tá demorando 4s só pra fazer a listagem para um array.
Sim qualquer um. 34 itens mas qual o tamanho desses itens? Quantidade não importa muito, mas a quantidade de sub itens nele sim
@@ErickWendelTraining agora que vc falou fui dar uma olhada, mas só são 8 sub itens
@@ErickWendelTraining A parte mesmo do front começa em 29:21? essa recepção dos dados n entendi como faria sem ser localmente, ou no caso tem q fazer aquela parte do Readable e no lugar do diretório "./animefly/csv" colocar a rota get. ou essa parte da API só o bak que faz?
@@gabriel-dg2bd então tem algo errado hehe
@@gabriel-dg2bd seria subir seu arquivo num S3 ou em uma API apenas e baixa-lo via fetch a partir da Url
Esse erro não vem do fetch? Tipo, não faltou só por um catch no fetch já que parece que funciona como um erro estourando?
Nao, ele vem da writable stream, coloquei aqui no comentário fixado a resolução 🤩
@@ErickWendelTraining top
Opa Erick, tranquilo? Esse underline que vc colocou tem o papel de que?? no .on('listening'), _ =>{}
Seria uma função?
Papel nenhum, é só uma firula pra ficar bonitinho pq caso só tenha um parâmetro na Arrow function vc pode omitir os parenteses
Vídeo muito top!! Essa feature vai abrir muitas portas para as páginas web.
Uma coisa que fiquei curioso, na função parseNDJSON o porque corre o risco da variável ndjsonBuffer ter algo não processado na hora do flush? Seria se faltasse o "
" no final?
Exatamente! Certifica que nunca vai ter dado pendente de ser executado (algo raro, mas que pode acontecer)
Valeuuuu
Como eu faria pra saber onde estou no processamento? Tipo, 20% processado, 30%... Alguém tem uma ideia rs
Eu ensinei isso nesse treinamento de node.js streams www.nodejsstreams.com/ Mas em resumo, Você verifica quantos bytes tem o arquivo de origem (fs.promises.stat), guarda numa variavel global e cria uma variavel para somar o numero de bytes que foi processado. Toda vez que passar pela writable você soma e verifica quanto essa variavel do numero de bytes processados representa do valor total do arquivo 🤩
@@ErickWendelTraining Teria esse curso em Pt-br?
kd o link do Telegram? 🤔
Na vdd travou meu browser kkkk
Ei, vc q tá lendo isso hoje... Eu sei q vc só ta aqui pela rinha de frontend, safado... eu tbm
Ah não, descobriram
kkk primeiro video que me veio ä mente quando vi o desafio.
hehehe já esperava vários nesse mesmo