데이터엔지니어 취업 포폴 Study 모집합니다ㅣ네이버, 카카오 데이터엔지니어 현직자 멘토님 (spark, pyspark, kibana, airflow)

#데이터엔지니어 #spark #pyspark
데이터엔지니어 현직자와 함께 데이터엔지니어링 파이프라인 전체를 함께 경험해보실분? (7.2 시작)
🚨 10% 할인받고, 얼리 수강신청하기 (선착순 8명)
metacodes.co.k...
[📊 B주제 : 국내 TOP 대기업 현직자와 함께 만드는 나만의 Data Engineering 포트폴리오]
📌부제 : 다양한 데이터 처리 플랫폼을 사용해 데이터 수집부터 모니터링까지 A to Z 경험하기
📌사용 데이터 : Git Archive (그 외 데이터 선택 가능)
📌실습 환경 : pyspark + jupyter notebook - docker 환경 제공
** 개인 노트북 용량 15GB 이상 필요, 메모리가 8GB 이하일 경우 플랫폼 실행이 힘들 수 있음
📌학습 언어 : Python3
📌학습 내용 :
데이터 수집, 정제 (pyspark, airflow), 저장 (elasticsearch), 시각화 (kibana) 파이프라인을 처음부터 끝까지 설계하고 구축하는 과정을 함께 합니다. 원하는 데이터를 주기적으로 수집하고 원하는 포맷으로 정제해서 저장하는 배치 파이프라인을 작성해봅니다.
혼자 경험하기 힘든 분산 데이터 플랫폼을 맛보기로 경험해볼 수 있습니다. Docker 를 사용해 필요한 실습 환경을 구축해봅니다.
🗓️ 일정 : 첫 수업 7월 2일(화), 오후 7시 30분 / Syllabus 참고
- 총7주, 14시간 과정 (2시간 씩 수업 7회)
📌필요 역량 : 기초 파이썬, 리눅스 커맨드라인 사용 경험
👍 수강 추천 대상 :
1. 데이터 수집, 분석, 저장 파이프라인을 만들어보고 싶으신 분
2. 분산 데이터 플랫폼을 경험해보고 싶으신 분
3. 데이터 엔지니어링 포트폴리오가 필요하신 분
🖐️ 수강 비추천대상 :
1. 데이터 처리 파이프라인에 익숙하신 분
2. 파이썬을 전혀 다루지 못하시는 분
3. 리눅스 터미널에 대한 경험이 전혀 없으신 분 (windows 를 사용하시는 경우 wsl 을 사용합니다)
🔖Syllabus
minzzz.notion....
🔖Syllabus
week1. spark 환경세팅
week2. 데이터 정제 - 1 / pyspark 동작 방식
week3. 데이터 정제 - 2/ spark 셔플링과 파티셔닝
week4. ES 환경 세팅/ ES 개요, 데이터 저장 로직
week5. Airflow/ dag 작성
week6. kibana/ 데이터 시각화/모니터링
week7. Final Project Presentation
🔗 참고사항 : 7주차에는 중간 과제 결과물을 합쳐서, 하나의 최종 프로젝트로 결과 발표 / 최종 발표 진행은 (개인/팀) 선택 가능
* 4주차/7주차는 오프라인으로 스터디가 진행됩니다. 선생님과 직접 스터디에 대해서 얘기 나누면서 더 유익한 시간을 가져볼 수 있습니다!
* 오프라인 참석이 어렵더라도 온라인으로 원격 참여가 가능하도록 세팅되어 있습니다.

[@mcodeM]

💥 데이터분석/ AI / 데이터엔지니어 Study 13기 모집 (9.3 시작 - 현재 얼리버드 접수중)
🙋 얼리버드 할인받고, 수강신청 하기!
docs.google.com/forms/d/1SbPxoa3zwkFWw9u6eZhNv959OwBmWR-qnNakQnb59Rc/edit
취업 / 이직에 도움이 되는 포폴 결과물을 만듭니다.
🧑‍🏫강사진
- 카이스트+네카라쿠배 AI 현직자
- 대기업, 스타트업 데이터 분석가
- 서울대 AI 대학원 출신 선생님
- 대기업 금융권 데이터 엔지니어
🗓 시작/진행 일정
* 총 7주, 14시간 과정 (매주 1회 2시간 수업)
✅ A 주제 - 이커머스 데이터 분석가 스터디 / 🆕신규주제
09.08 (일) - 오전 11시 시작
✅ B 주제 - 영상/이미지 분할 (컴퓨터 비전) 스터디 / 🆕신규주제
09.03 (화) - 오후 8시 시작

✅ C 주제 - 데이터 엔지니어 스터디 / 🆕 신규주제
09.05 (목) - 오후 8시 시작
✅ D 주제 - 신용카드 이상 거래 탐지 스터디 /🔥인기 주제 (6 기수 출강)
09.07 (토) - 오후 1시 시작

📋 수업방식
1) 온라인 줌 - 이론 수업/프로젝트 발표
- A주제 데이터 분석 스터디는 1주차에 오프라인 진행
- 오프라인 참석이 어려울 경우, 온라인 진행 가능 (해외 거주 학생도 다수 참여)
2) 매주 과제 제출 예정
3) 매 수업 녹화 강의 - 별도 제공
4) 디스코드 채널 통하여, 강의/프로젝트 관련 Q&A 가능
5) 모집인원
- 주제별 7 ~ 10명
- 신청자가 많을 경우 나중에 신청하신 분들은, 새로운 시간대로 제안 드릴 예정
📌수업결과
1) 딥러닝 / 컴퓨터 비전 / 데이터 엔지니어 / 데이터 분석 포트폴리오 생성
2) 수료증 발급
🏅프로젝트에 성실히 참여하고 결과물이 좋은 분들은 우수 수료증 별도 안대혀지급
[링크드인 "자격증/수료증"] 란에 게시 가능
3) 메타코드M 사이트 혜택
~ 50만원 상당의 직무별 전체 로드맵 Total 강의 1개 코스 대폭 할인 혜택(20만원에 결제 가능)
[ 데분/데사/AI 분야 - 4~6개 강의 묶음]
4) 메타코드 채용 협업 기업 추천 (우수 수료자에 한함)
📌 실제 참여자가 완성한 프로젝트 결과물
colab.research.google.com/drive/1qBEBfZJC7OubDzrpq8R5sPGDERi5jYw_#scrollTo=58iemOH9BaBM
colab.research.google.com/drive/1oDqTi2E-6bFwbe4RNxgX-BE5HQCQDqVG#scrollTo=a2031ae8
colab.research.google.com/drive/1dKAHP7hX_EBQmpg-nSRV38Zmxrs9knXI?usp=sharing
colab.research.google.com/drive/1M393VJr8Qz0VKf2Rj3-7tNcf5UXDlQtA
github.com/ngoolglory/project/blob/47e7c7aa9382e4331b291f02e92f8a651f2307d7/meta_code_project/Fraud_Detecting_Original.ipyn