비슷한 모델 대비 출력 속도 최대 4배
무료 다운·수정 가능…반복 작업 특화
무료 다운·수정 가능…반복 작업 특화
|
엔비디아는 이날 경량 AI '네모트론 3.5 라이트닝'을 공개하며 이 제품을 개인용 컴퓨터(PC)의 단일 그래픽처리장치(GPU)에서도 구동할 수 있다고 소개했다고 CNBC가 보도했다.
이 모델은 총 300억개의 매개변수(파라미터)를 보유하고 있지만 토큰 처리 시에는 30억개만 활성화된다. 다른 기업들은 엔비디아에 허가나 비용 지불 없이 이를 무료로 다운로드하고 사용하면서 수정할 수 있다.
과학기술 매체 인터레스팅 엔지니어링은 이 모델이 비슷한 규모의 모델보다 최대 4배 빠른 출력 속도를 제공해 AI 에이전트의 반복적으로 처리하는 방식의 실무 작업에 특화됐다고 설명했다.
예를 들어 정보를 검색하고 프로그램을 실행하고 결과를 확인한 뒤 다음 작업을 지시하는 과정 등을 빠르게 처리하도록 설계됐다.
네모트론 3.5 라이트닝에는 단순하고 반복적인 업무를 맡기고 복잡한 판단이 필요한 업무는 대형 AI 모델을 사용하도록 해 비용과 처리 시간을 절약할 수 있다고 했다.
엔비디아 관계자는 11일 네모트론 3.5 라이트닝 개발 과정에서 상위 모델을 이용한 데이터 학습 기법인 증류를 활용해 대형 네모트론 모델의 성능을 경향 모델에 부여했다고 밝혔다.
젠슨 황 엔비디아 최고경영자(CEO)는 지난달 말 소셜미디어를 통해 다른 주요 기술업계 관계자들과 함께 미국 행정부에 오픈소스 모델을 지원해달라며 "혁신을 해외로 내몰 수 있는 성급한 규제를 피해야 한다"고 촉구했다.
또 황 CEO는 지난달 22일 공개된 악시오스 인터뷰에서 "무료 AI는 하드웨어 산업에 큰 도움이 될 것"이라며 "무료 AI는 반도체 산업에도 호재가 될 것"이라고 말했다.
엔비디아는 매개변수 1조개짜리 초대형 AI 모델 '네모트론4'를 개발하고 있다고 정보기술(IT) 매체 더인포메이션이 11일 보도했다.
