When will you grow up?

딥러닝 연구를 하다 보면 최첨단 기술을 소개하는 논문들을 마주하게 됩니다. 하지만 이 논문들을 처음부터 끝까지 이해하고, 이를 코드로 구현하는 것은 상당히 많은 시간과 노력이 필요합니다. 이런 고민을 덜어줄 멋진 프로젝트가 있어 소개합니다: Papers-in-100-Lines-of-Code.  Papers-in-100-Lines-of-Code란?이 프로젝트는 유명한 딥러닝 논문들을 단 100줄의 코드로 간결하게 재현하는 것을 목표로 합니다. 복잡한 알고리즘과 긴 코드 없이도 논문의 핵심 아이디어를 이해하고 재현할 수 있도록 설계된 코드를 제공합니다.즉, 이 리포지토리는 딥러닝 연구자나 학습자에게 다음과 같은 이점을 제공합니다:간결한 구현: 논문의 복잡한 내용을 최소한의 코드로 표현.빠른 이해: 논문의 주..

Multi-GPU Training 중 발생한 오류 해결 사례 공유최근 Multi-GPU Training을 진행하던 중 아래와 같은 오류가 발생하여 학습이 중단되는 상황을 겪었습니다. torch.distributed.elastic.multiprocessing.errors.ChildFailedError 이 오류를 해결하기 위해 다양한 방법을 시도해 보았고, 결국 마지막 방법으로 문제를 해결할 수 있었습니다. 이 글에서는 오류를 해결하기 위해 시도했던 과정과 해결 방법을 공유하고자 합니다. 1. 오류 발생 원인 추정이 오류의 원인은 보통 다음과 같은 상황에서 발생할 수 있습니다:RAM 부족GPU Memory 부족PyTorch 버전 문제Batch Size 설정 문제위 원인들을 하나씩 점검하며 해결 방법을 적용해..

몽키패치(Monkey Patch)는 실행 중인 프로그램의 동작을 변경하기 위해 기존의 코드나 메소드를 동적으로 수정하거나 재정의하는 기법입니다. 파이썬에서는 클래스나 함수의 속성을 런타임에 변경할 수 있기 때문에 몽키패치가 자주 사용됩니다. PyTorch에서도 특정 기능을 커스터마이징하거나 디버깅, 실험적인 코드 변경 등을 위해 몽키패치를 활용할 수 있습니다. 몽키패치의 기본 원리파이썬의 동적 속성 변경을 활용해 기존 모듈이나 클래스의 메서드를 재정의하거나 새로운 속성을 추가합니다. 아래는 간단한 예시입니다.class MyClass: def original_method(self): print("Original Method")# 기존 메서드를 변경def monkey_patched_meth..

최근에 FLUX 1.1[pro]를 제치고 새로운 강자로 떠오르는 이미지 생성모델이 나왔다.  출저 : https://artificialanalysis.ai/text-to-image Text to Image Models and Providers Leaderboard | Artificial AnalysisAnalysis of Text to Image AI models and providers across quality, generation time and price. Analysis to help you choose the best Text to Image model and provider for your use-case.artificialanalysis.ai 처음에는 red_panda라고 NAME이 나와서..

GOT-OCR2.0은 광학 문자 인식(OCR) 분야에 새로운 AI 모델입니다. 이 모델은 기존 OCR 시스템의 한계를 극복하고 문서 처리 능력을 크게 향상시켰습니다. OCR-2.0의 특징- 엔드투엔드 모델: 복잡한 파이프라인 대신 통합된 아키텍처 - 낮은 학습 및 추론 비용: 합리적인 파라미터 수로 효율성 확보 - 다양성: 일반 텍스트뿐만 아니라 수식, 악보, 차트 등 다양한 시각적 "문자" 인식 가능  일단, 그럼 한글 성능을 살펴보자 해당 내용은 나무위키 문서를 캡쳐했다. 입력 plain texts OCR mode 추론 결과  당연히, StepFun, Megvii Technology, University of Chinese Academy of Sciences, Tsinghua University 개발..

매년 발생하는 스탠포 AI Index 보고서!!보다보면, 현재 AI 트렌드 및 미래를 생각해볼 수 있다.간략하게 요약해본다. 2024 AI Index 보고서는 인공지능의 사회적, 경제적 영향과 기술적 발전을 분석한 포괄적인 보고서입니다. 이번 보고서에서는 AI 훈련 비용 증가, 생성형 AI 투자 확대, 그리고 책임 있는 AI 개발의 필요성 등을 다룹니다.   주요 내용 요약:1. 기술 성과: AI는 이미지 분류 등에서 인간을 능가하지만, 복잡한 문제 해결 능력은 여전히 부족합니다. 2. 모델 개발: 2023년 산업과 학계의 협력으로 다양한 머신러닝 모델이 탄생했습니다. 3. 훈련 비용: GPT-4 훈련에 약 7,800만 달러가 들었고, Google의 Gemini Ultra에는 1억 9,100만 달러가 투..

10월 22일, 이미지 생성 모델인 SD3.5 ( Stable Diffusion 3.5 ) 모델이 공개되었습니다. Flux 모델이 대부분 사용되는 시점에 stability에서 모델을 발표해서 부라부라 사용후기 및 내용을 간략하게 포스팅을 하게되었다. 요약  Stable Diffusion 3.5는 Stability AI에서 새롭게 선보인 AI 기반 이미지 생성 기술로, 여러 모델 변형을 포함하고 있다. 주요 모델로는 Stable Diffusion 3.5 Large, Stable Diffusion 3.5 Large Turbo, 그리고 10월 29일에 출시 예정인 Stable Diffusion 3.5 Medium이 있는데 기대가 된다.  주요 특징 및 개선 사항모델 변형: - Stable Diffusion 3..

NVIDIA, MIT, Tsinghua University 연구진이 공동 연구한 Sana,최대 4096 x 4096 해상도의 이미지를 효율적으로 생성할 수 있는 Text to Image 프레임워크??!  특히, 관심을 많이 가지고 있는 Flux 모델에 비해 100배 빠른 속도로 생성이 가능하고 16G GPU에서도 1024x1024 기준으로 1초 미만으로 이미지를 생성할 수 있다는점! "번역"Sana-0.6B 모델은 최신 대형 확산 모델(예: Flux-12B)과 비교해 20배 작은 크기로 100배 이상 빠른 처리량을 보여줍니다1 . 16GB 노트북 GPU에서 1024 × 1024 해상도 이미지를 1초 미만으로 생성할 수 있습니다  주요 특징은 다음과 같습니다.- 깊은 압축 오토인코더: 기존 8배 압축에서 ..

Yolo 모델이 벌써 11까지 나왔다.Ultralytics에서 지원되는 yolo 모델을 보면 YOLOv3 ~ YOLOv11/ SAM,SAM2, FastSAM, YOLO-World까지 다양한 모델들을 지원한다.아마 많은 사람들이 사용하는 이유중 하나는 간편하게 학습을 할 수 있고 지속적으로 코드 관리는 한다는 점이 있을 것이다.  성능을 살펴보면 기존의 YOLOv10보다 좋은것을 확인할 수 있다 mAP 기준https://github.com/ultralytics/ultralytics  YOLO11의 주요 특징향상된 성능: YOLOv8m 대비 22% 적은 매개변수로 더 높은 mAP 점수 달성다양한 작업 지원: 객체 감지, 분류, 포즈 추정, 인스턴스 분할 등개선된 아키텍처: 더 정확한 특징 추출과 처리 속도 ..

요즘 생성형 AI 관련된 내용일 정말 많이 올라오는데 특히, 자연어처리 와 더불어 LLM 관련된 내용이 정말 많이 올라오는데  반면 비전 관련된 책은 부족했다. 하지만 이렇게 비전관점에서 생성형 AI 책이 나오면서 많은 관심을 가질 수 있을 것 같다. 저자 서문에 따르면 비전 생성 모델에 대해 처음 공부할 때 도움이 될 기본 모델과 연구에서 대표적으로 활용되는 예시 모델의 전반적인 이론과 실습을 모두 다 잡는다고 나와있다. 실제로 목차와 내용을 살펴보니 간단한 배경지식 수학 내용부터 시작하여 GAN, Diffusion Based 모델까지 소개를 하고있다. 책 한권으로 모든 내용은 확인할 수 없겠지만 전반적인 개요와 사용법까지 익힐 수 있을것 같다. 제일 중요한 어디서부터 공부할 지 막막한 분들을 위해 정..