When will you grow up?

요즘 생성형 AI 관련된 내용일 정말 많이 올라오는데 특히, 자연어처리 와 더불어 LLM 관련된 내용이 정말 많이 올라오는데  반면 비전 관련된 책은 부족했다. 하지만 이렇게 비전관점에서 생성형 AI 책이 나오면서 많은 관심을 가질 수 있을 것 같다. 저자 서문에 따르면 비전 생성 모델에 대해 처음 공부할 때 도움이 될 기본 모델과 연구에서 대표적으로 활용되는 예시 모델의 전반적인 이론과 실습을 모두 다 잡는다고 나와있다. 실제로 목차와 내용을 살펴보니 간단한 배경지식 수학 내용부터 시작하여 GAN, Diffusion Based 모델까지 소개를 하고있다. 책 한권으로 모든 내용은 확인할 수 없겠지만 전반적인 개요와 사용법까지 익힐 수 있을것 같다. 제일 중요한 어디서부터 공부할 지 막막한 분들을 위해 정..

딥러닝 등 다양하게 Nvidia GPU를 사용하다보면, GPU를 모니터링을 해야할 경우가 많은데, 여기서 다양한 방법을 소개합니다.  1. Python을 사용한 pynvml 라이브러리pynvml은 NVIDIA Management Library (NVML) 인터페이스를 Python에서 사용할 수 있도록 하는 라이브러리입니다. 이를 통해 GPU 사용량을 코드로 확인할 수 있습니다.# 설치pip install nvidia-ml-py31.1 사용 예시import pynvml# NVML 초기화pynvml.nvmlInit()# GPU 장치 개수 확인device_count = pynvml.nvmlDeviceGetCount()for i in range(device_count): handle = pynvml.nvm..

요즘 gpu를 대체할 것이라는 얘기가 나오는 cerebras inference를 간단히 살펴보자. CEO 겸 Co-Funder인 Andrew Feldman은 SeaMicro 회사 전 CEO였으며   초고밀도 컴퓨터 서버 산업 회사를 AMD에 엑싯한 경험을 가지고 있는 CEO이다.    cerebras.ai 홈페이지를 들어가보면 다음과 같은 문구를 확인할 수 있다. The world’s fastest inference.20x faster than GPUs, 1/5 the cost. Nvidia GPU보다 가격은 1/5 인데, 추론 속도는 20배 빠르다? 이건 못참지! 위 그림을 보면 Llama-3.1-8b 기준으로도 초당 1,837 토큰을 추론한다고한다. 어마어마하다.과연 정말인지 TRY CHAT을 통해 ..