When will you grow up?

딥러닝 연구를 하다 보면 최첨단 기술을 소개하는 논문들을 마주하게 됩니다. 하지만 이 논문들을 처음부터 끝까지 이해하고, 이를 코드로 구현하는 것은 상당히 많은 시간과 노력이 필요합니다. 이런 고민을 덜어줄 멋진 프로젝트가 있어 소개합니다: Papers-in-100-Lines-of-Code.  Papers-in-100-Lines-of-Code란?이 프로젝트는 유명한 딥러닝 논문들을 단 100줄의 코드로 간결하게 재현하는 것을 목표로 합니다. 복잡한 알고리즘과 긴 코드 없이도 논문의 핵심 아이디어를 이해하고 재현할 수 있도록 설계된 코드를 제공합니다.즉, 이 리포지토리는 딥러닝 연구자나 학습자에게 다음과 같은 이점을 제공합니다:간결한 구현: 논문의 복잡한 내용을 최소한의 코드로 표현.빠른 이해: 논문의 주..

Multi-GPU Training 중 발생한 오류 해결 사례 공유최근 Multi-GPU Training을 진행하던 중 아래와 같은 오류가 발생하여 학습이 중단되는 상황을 겪었습니다. torch.distributed.elastic.multiprocessing.errors.ChildFailedError 이 오류를 해결하기 위해 다양한 방법을 시도해 보았고, 결국 마지막 방법으로 문제를 해결할 수 있었습니다. 이 글에서는 오류를 해결하기 위해 시도했던 과정과 해결 방법을 공유하고자 합니다. 1. 오류 발생 원인 추정이 오류의 원인은 보통 다음과 같은 상황에서 발생할 수 있습니다:RAM 부족GPU Memory 부족PyTorch 버전 문제Batch Size 설정 문제위 원인들을 하나씩 점검하며 해결 방법을 적용해..

몽키패치(Monkey Patch)는 실행 중인 프로그램의 동작을 변경하기 위해 기존의 코드나 메소드를 동적으로 수정하거나 재정의하는 기법입니다. 파이썬에서는 클래스나 함수의 속성을 런타임에 변경할 수 있기 때문에 몽키패치가 자주 사용됩니다. PyTorch에서도 특정 기능을 커스터마이징하거나 디버깅, 실험적인 코드 변경 등을 위해 몽키패치를 활용할 수 있습니다. 몽키패치의 기본 원리파이썬의 동적 속성 변경을 활용해 기존 모듈이나 클래스의 메서드를 재정의하거나 새로운 속성을 추가합니다. 아래는 간단한 예시입니다.class MyClass: def original_method(self): print("Original Method")# 기존 메서드를 변경def monkey_patched_meth..

최근에 FLUX 1.1[pro]를 제치고 새로운 강자로 떠오르는 이미지 생성모델이 나왔다.  출저 : https://artificialanalysis.ai/text-to-image Text to Image Models and Providers Leaderboard | Artificial AnalysisAnalysis of Text to Image AI models and providers across quality, generation time and price. Analysis to help you choose the best Text to Image model and provider for your use-case.artificialanalysis.ai 처음에는 red_panda라고 NAME이 나와서..

GOT-OCR2.0은 광학 문자 인식(OCR) 분야에 새로운 AI 모델입니다. 이 모델은 기존 OCR 시스템의 한계를 극복하고 문서 처리 능력을 크게 향상시켰습니다. OCR-2.0의 특징- 엔드투엔드 모델: 복잡한 파이프라인 대신 통합된 아키텍처 - 낮은 학습 및 추론 비용: 합리적인 파라미터 수로 효율성 확보 - 다양성: 일반 텍스트뿐만 아니라 수식, 악보, 차트 등 다양한 시각적 "문자" 인식 가능  일단, 그럼 한글 성능을 살펴보자 해당 내용은 나무위키 문서를 캡쳐했다. 입력 plain texts OCR mode 추론 결과  당연히, StepFun, Megvii Technology, University of Chinese Academy of Sciences, Tsinghua University 개발..

매년 발생하는 스탠포 AI Index 보고서!!보다보면, 현재 AI 트렌드 및 미래를 생각해볼 수 있다.간략하게 요약해본다. 2024 AI Index 보고서는 인공지능의 사회적, 경제적 영향과 기술적 발전을 분석한 포괄적인 보고서입니다. 이번 보고서에서는 AI 훈련 비용 증가, 생성형 AI 투자 확대, 그리고 책임 있는 AI 개발의 필요성 등을 다룹니다.   주요 내용 요약:1. 기술 성과: AI는 이미지 분류 등에서 인간을 능가하지만, 복잡한 문제 해결 능력은 여전히 부족합니다. 2. 모델 개발: 2023년 산업과 학계의 협력으로 다양한 머신러닝 모델이 탄생했습니다. 3. 훈련 비용: GPT-4 훈련에 약 7,800만 달러가 들었고, Google의 Gemini Ultra에는 1억 9,100만 달러가 투..

10월 22일, 이미지 생성 모델인 SD3.5 ( Stable Diffusion 3.5 ) 모델이 공개되었습니다. Flux 모델이 대부분 사용되는 시점에 stability에서 모델을 발표해서 부라부라 사용후기 및 내용을 간략하게 포스팅을 하게되었다. 요약  Stable Diffusion 3.5는 Stability AI에서 새롭게 선보인 AI 기반 이미지 생성 기술로, 여러 모델 변형을 포함하고 있다. 주요 모델로는 Stable Diffusion 3.5 Large, Stable Diffusion 3.5 Large Turbo, 그리고 10월 29일에 출시 예정인 Stable Diffusion 3.5 Medium이 있는데 기대가 된다.  주요 특징 및 개선 사항모델 변형: - Stable Diffusion 3..

Yolo 모델이 벌써 11까지 나왔다.Ultralytics에서 지원되는 yolo 모델을 보면 YOLOv3 ~ YOLOv11/ SAM,SAM2, FastSAM, YOLO-World까지 다양한 모델들을 지원한다.아마 많은 사람들이 사용하는 이유중 하나는 간편하게 학습을 할 수 있고 지속적으로 코드 관리는 한다는 점이 있을 것이다.  성능을 살펴보면 기존의 YOLOv10보다 좋은것을 확인할 수 있다 mAP 기준https://github.com/ultralytics/ultralytics  YOLO11의 주요 특징향상된 성능: YOLOv8m 대비 22% 적은 매개변수로 더 높은 mAP 점수 달성다양한 작업 지원: 객체 감지, 분류, 포즈 추정, 인스턴스 분할 등개선된 아키텍처: 더 정확한 특징 추출과 처리 속도 ..

요즘 gpu를 대체할 것이라는 얘기가 나오는 cerebras inference를 간단히 살펴보자. CEO 겸 Co-Funder인 Andrew Feldman은 SeaMicro 회사 전 CEO였으며   초고밀도 컴퓨터 서버 산업 회사를 AMD에 엑싯한 경험을 가지고 있는 CEO이다.    cerebras.ai 홈페이지를 들어가보면 다음과 같은 문구를 확인할 수 있다. The world’s fastest inference.20x faster than GPUs, 1/5 the cost. Nvidia GPU보다 가격은 1/5 인데, 추론 속도는 20배 빠르다? 이건 못참지! 위 그림을 보면 Llama-3.1-8b 기준으로도 초당 1,837 토큰을 추론한다고한다. 어마어마하다.과연 정말인지 TRY CHAT을 통해 ..

Reddit에 재밌는 글이 있어서 포스팅,  https://www.reddit.com/r/StableDiffusion/comments/1exw2m4/sd_31_is_coming/?%24deep_link=true&correlation_id=21f2da84-8060-4063-8f6e-6241a1763d25&post_fullname=t3_1exw2m4&post_index=0&ref=email_digest&ref_campaign=email_digest&ref_source=email&utm_content=post_title&%243p=e_as&_branch_match_id=1285749299433919656&utm_medium=Email+Amazon+SES&_branch_referrer=H4sIAAAAAAAAA2..