Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 / if(kakao)2022
Vložit
- čas přidán 12. 09. 2024
- 수 천만 건 이상의 대량 배치처리를 하기 위한 최고의 노하우를 전달드리겠습니다.
카카오페이 정산플랫폼팀은 카카오페이의 빠른 성장과 더불어 늘어나는 데이터를 일괄처리하기 위하여 꾸준히 노력 하고 있습니다.
더 많은 데이터를 처리하기 위해 진화하는 서비스와 개발방식을 소개하고자 합니다.
#BatchPerformance #SpringBatch #SpringCloudDataFlow #Kubernetes #Redis
카카오페이 정산플랫폼팀 베니입니다. 서버 Performance 개선에 관심이 많습니다.
발표자료 보기
👉speakerdeck.co...
if(kakao)2022에 대한 자세한 정보는
👉 if.kakao.com
if(kakao)2022에 대한 문의는
👉 if@kakaocorp.com
#카카오 #이프카카오 #개발자컨퍼런스 #기술 #개발 #ifkakao2022
![[Data] Batch Performance 극한으로 끌어올리기: 1억 건 데이터 처리를 위한 노력 / if(kakao)dev2022](http://i.ytimg.com/vi/2IIwQDIi3ys/mqdefault.jpg)
40분간 발표하시느라 수고 많으셨습니다! 내용 굉장히 알차네요...!!! 안그래도 유저 데이터 늘어나면서 배치시간도 같이 늘어나고있는 상황이라 고민이 많았는데 배치 최적화를 하는데 큰 도움이 되었습니다
잘봤어요 감사합니다 ^^!!
40분에 대용량 배치에 관한 거의 모든 내용이 알차게 담겨있네요.
대용량 처리를 위해 얼마나 세부적인 내용까지 신경을 써야하는지 간접적으로 나마 깨닫게되었습니다.
알찬 영상 잘 보고갑니다.
잘 보았습니다! 고맙습니다!!
와우 발표 잘하세요 ~
와 내용 너무 좋아요 ㅠㅠ 감사합니다
좋은 자료 감사합니다
유용한 내용이 많네요! 공유 감사합니다 (_ _)
굿 입니다
JdbcCursorItemreader 를 대용량batch 에 사용할 경우 Connection Timeout 을 설정하는게 중요할텐데 혹시 몇 ms 가 적절한지 테스트된게 있을까요?
안녕하세요.
질문이 있습니다.
redis를 써서 네트워크 트래픽이 필요한것같은데요?!
자바에 hashmap등을 써서 300만개든 1000만개든 넣어서 쓸수 있을텐데
네트워크 처리가 아닌 in-memory로 처리하는 거죠
제경우 300만개이상에 계산을 해시에 넣고 자바에서 즉 in-memory로 쓰는데 문제가 없었는데...
단일 jvm안에서 한프로그램으로 돌리면 충분하지 않을까요? 제가 한 300만개 계산은 했을때 문제가 없었구요
메모리가 부족이 걱정되는 경우(1000만 정도는 문제 없을것 같은데)
1000만개이상 많다면 분산해서 (jvm 여러개 나누어서) 처리하고 (단 계산방법은 단순 복잡한 경우는 뭐 기타 처리를 해야겠지만 가능할 듯)
각 분산된 결과를 모아서 한번더 계산하면 될듯
굳이 redis를 써야 하는 이유가 궁금합니다.
잘 강의 들었습니다.
오...나도 1억건 해보고싶다..오..