GPU보다 20배 추론 속도를 가진 Cerebras

요즘 gpu를 대체할 것이라는 얘기가 나오는 cerebras inference를 간단히 살펴보자.

 

CEO 겸 Co-Funder인 Andrew Feldman은 SeaMicro 회사 전 CEO였으며   초고밀도 컴퓨터 서버 산업 회사를 AMD에 엑싯한 경험을 가지고 있는 CEO이다. 

 

 

https://cerebras.ai/

 

cerebras.ai 홈페이지를 들어가보면 다음과 같은 문구를 확인할 수 있다.

The world’s fastest inference.
20x faster than GPUs, 1/5 the cost.

Nvidia GPU보다 가격은 1/5 인데, 추론 속도는 20배 빠르다? 이건 못참지!

 

위 그림을 보면 Llama-3.1-8b 기준으로도 초당 1,837 토큰을 추론한다고한다. 어마어마하다.

과연 정말인지 TRY CHAT을 통해 사용해보자.

 

Llama3.1-70B 결과

 

위 이미지는 70b 기준으로도 정말 빠른 답변을 해주는것을 확인할 수 있다. 만약 GPT 계열 말고 Diffusion 계열도 지원한다고하면 정말 빠르게 이미지 생성, 동영상 생성하여 현업에서도 많이 도입될 수 있을거라 생각된다.

 

 

현재 지원되는 모델 리스트는 다음 Github에서 확인할 수 있다.

https://github.com/Cerebras/modelzoo