ComfyUI Mask 자동화 제대로 이해하고 사용하기 - Segment Anything, YOLO, Object Detection and Segmentation
Vložit
- čas přidán 22. 08. 2024
- #comfyui #stablediffusion #yolo #objectdetection
스테이블 디퓨전-ComfyUI에서 자주 사용되는
Object Detection & Segmentation 기술에 대해 이해함으로써
워크플로우에서 자동 마스킹을 구현해봅니다.
📌 사용된 커스텀 노드 [개발자]
✅ ControlNet Aux [Fannovel16]
✅ SegmentAnything [storyicon]
✅ Impact Pack [ltdrdata]
✅ ComfyUI Essentials [cubiq]
📌 KakaoChannel : @aipoque120
📌 AIPOQUE Blog : aipoque.com
📌 Lecture : shop.aipoque.com
와...
ai쪽은 확실히 천외천이 있는 느낌이네요.
계속 이 채널이 더 높은 지식이 있네를 반복하다가 도착한 곳이 여기입니다.
감사합니다. 앞으로도 많은 관심 부탁드려요 :)
항상 잘보고 있습니다. 좋은 영상 만들어 주셔서 너무너무 감사드립니다.
항상 응원해주셔서 감사합니다. 큰 힘이 됩니다 :) 더 좋은 컨텐츠로 보답할 수 있도록 노력하겠습니다 ㅎㅎ
친절한 설명 감사합니다..
책 구매 했습니다. 리뷰 남기고 열람요청 가겠습니다! 구독 알림설정완!
감사합니다^^ 좋은 컨텐츠 제공드릴 수 있도록 계속 노력하겠습니다!
와 진짜 찾고있던 정보였는데 ㅠㅠ 너무 감사합니다
소개해주신 yolo 모델을 이용하면 영상에서 인물의 의상? 정확히는 몸만을 바꾸는 식의 활용도 가능할까요?
제가 comfyui에 관심을 가지기 시작한게 레딧에서 우연히 자신의 팔? 신체 일부를 나무(마치 마블의 그루트같이)로 바꾸는 셀피 영상을 올린 게시물을 봤기 때문이거든요! (물어보니 comfyui를 썼다고 하더라구용)
근데 아무리 검색을 해도 영상에서 배경과 얼굴을 유지하면서 몸만을 바꾸는 법이 없어서 절망했었는데... 이 영상을 보고 yolo의 옷부분을 마스크해주는 모델과 animatediff??를 활용하면 될지도 모르겠다는 생각이 들어요!
하지만 제가 너무 초보라..(아직 webui도 잘 못다뤄요 ㅠㅠ) 이게 가능성 있는 가설일지 궁금해서 질문 남겨봅니다!
네 comfyui에서 영상 불러온뒤 프레임별로 몸만 디텍션해서 인페인트 진행하시면 됩니다 ㅎㅎ
일관성 유지가 관건인데, ip adapter이용하면 어느정도 해결되지 싶네요 :)
말씀하신 내용을 새로 올린 영상의 인트로에 짧게 반영해봤습니다 ^^
@@AIPOQUE 아이고 ㅠㅠ 정말 감사합니다 진짜 이제 희망이 보이네요 진짜 감사합니다!!
sam2 로 마스크 영상 뽑았는데.
이미지 결합해서 영상 좀 만들어주세용
마스크 영상을 획득하셨으면, AnimateDiff와 인페인트 및 컨트롤넷을 활용해 마스킹 부위에만 인물이나, 사물을 생성하시면 될것 같습니다 :)
각 사물에 따라 RGB값이 무엇인지 어디서 찾아보나요? (이 영상의 경우 사람은 R:220 G:20 B:60 이라고 나와있는데, 에를들어 의자의 rgb값은 무엇인지 찾는 방벙비요
세그먼테이션 방식에 따라 결과 이미지의 컬러가 다르고, 컬러를 할당하는 로직도 달라서요, 정리된 자료가 혹시 있는지 찾아봐야할것 같습니다. 자주 사용하시는 객체가 있다면, 1장 이미지를 저장하신 뒤에, 직접 색상을 찍어보고 메모해두신 뒤 사용하시면 될것같아요!
간편한 기술이라서, 머릿속에서는 이렇게 응용하면 될거같은데? 같은 생각이 떠오르긴 하지만서, 기술적으로 옮기는 그게 후달려서 그냥 가이드 영상만 보고 기초 웤플로우만 만들어보고 응용은 좀 생각해봐야겠네요..ㅠㅜ
아무래도 익숙해지기 전까지는, 단편적인 기술을 알아도 연계해서 워크플로우 짜는데 시간이 필요하더라구요 ㅎㅎ 채널에서 응용 워크플로우도 조금씩 다뤄보도록 하겠습니다 :)
형님 워크플로우 좀요. 저 한국인이에요...