대규모 언어 모델을 개발하려면 시간과 GPU 리소스에 상당한 투자가 필요하며 이는 곧 높은 비용으로 이어집니다. 모델이 클수록 이러한 문제는 더욱 두드러집니다.  최근 Yandex는 GPU 리소스 소비 및 교육 시간을 크게 줄여 LLM 교육에 혁신을 가져올 오픈 소스 도구인   새로운 솔루션을 도입했습니다. 700억 개의 매개변수가 포함된 모델이 포함된 사전 학습 시나리오에서 YaFSDP를 사용하면 약 150개의 GPU 리소스를 절약할 수 있습니다. 이는 가상 GPU 제공업체나 플랫폼에 따라 월간 약 50만 ~ 150만 달러의 잠재적 절감 효과를 의미합니다. YaFSDP라는  Yandex는 YaFSDP를 공개적으로 제공했습니다.  .   GitHub   분산 LLM 교육의 과제  여러 GPU에 걸쳐 LLM을 교육하려면 비효율성과 높은 메모리 소비로 이어지는 복잡한 작업이 필요합니다. 주요 문제 중 하나는 GPU 간에 막대한 양의 데이터를 주고 받아야 한다는 것입니다. 예를 들어, 일반적인 all_reduce 작업에서는 네트워크 매개변수의 두 배에 해당하는 그래디언트 데이터 양을 전달해야 합니다. Llama 70B 모델의 경우 반복당 280GB의 데이터를 전송한다는 의미입니다.  게다가 가중치, 경사도, 최적화 상태가 GPU 전체에 중복되어 엄청난 메모리 부하를 초래합니다. Llama 70B 모델과 Adam 옵티마이저는 대부분의 GPU의 일반적인 80GB 메모리 용량을 훨씬 초과하는 1TB 이상의 메모리를 필요로 합니다. 이러한 중복으로 인해 훈련 프로세스가 심각하게 느려지고 적당한 크기의 모델이라도 GPU 메모리에 맞추는 것이 종종 비실용적이 됩니다.   YaFSDP 소개  Yandex의 YaFSDP는 이러한 과제에 대한 매우 효과적인 솔루션을 제공합니다. YaFSDP는 메모리 소비 최적화 및 통신 병목 현상 제거에 중점을 두어 LLM 교육의 효율성을 향상시킵니다. 개별 매개변수 대신 레이어를 분할하고 효율적인 통신을 유지하며 중복 작업을 방지하는 방식으로 작동합니다. 또한 YaFSDP는 필요한 모든 데이터에 대한 버퍼를 사전 할당하여 토치 할당자가 비효율성을 초래하지 않도록 합니다.  YaFSDP는 중간 가중치 및 기울기를 위해 두 개의 버퍼를 활용하여 작동합니다. 홀수 레이어는 하나의 버퍼를 사용하고 짝수 레이어는 다른 버퍼를 사용합니다.   서로 다른 레이어의 가중치는 동일한 메모리에 저장됩니다. 레이어의 구조가 동일하면 항상 동일합니다. 레이어 X가 필요할 때 버퍼에 레이어 X의 가중치가 포함되어 있는지 확인하는 것이 중요합니다. 모든 매개변수는 버퍼 내의 해당 메모리 청크에 저장됩니다.    메모리 소비  훈련 중에 주요 메모리 소비자는 가중치, 기울기, 최적화 상태, 버퍼 및 활성화입니다. YaFSDP는 이러한 요소가 저장되고 액세스되는 방식을 최적화하여 메모리 소비를 크게 줄입니다.    : 이는 프로세스 수에 따라 달라지며 프로세스 수가 증가함에 따라 메모리 소비가 0에 가까워지는 경향이 있습니다. YaFSDP는 GPU 전체에 걸쳐 이러한 구성 요소를 샤딩함으로써 중복을 최소화하고 메모리 사용량을 줄입니다. 가중치, 그라디언트 및 최적화 상태    일정한 양의 메모리를 사용하고 계산 중에 중간 값을 저장합니다. 버퍼는    모델 크기와 GPU당 처리되는 토큰 수에 따라 달라집니다. 활성화는   활성화 체크포인트  활성화 체크포인트(Activation Checkpointing)는 순방향 패스(Forward Pass) 동안 필요한 활성화만 저장하고 역방향 패스(Backward Pass) 동안 이를 다시 계산하는 기술이다. 필수 데이터만 저장되므로 메모리 공간이 크게 줄어듭니다. 예를 들어 배치 크기가 8192개 토큰인 Llama 2 70B 모델을 훈련할 때 활성화 스토리지를 110GB에서 5GB로 줄일 수 있습니다.  그러나 이 접근 방식은 YaFSDP에서 메모리 최적화로 인해 가능한 일부 계층에 대한 활성화 체크포인트를 사용하지 않음으로써 방지할 수 있는 추가 계산 오버헤드를 도입합니다.   통신 최적화  YaFSDP는 필요한 경우에만 데이터가 전송되도록 하고 통신과 계산을 겹쳐서 GPU 통신 효율성을 향상시킵니다. CUDA 스트림을 활용하여 동시 계산 및 통신을 효과적으로 관리합니다.  이 도구는 계산 스트림과 통신 스트림이라는 두 가지 스트림을 사용합니다. 이벤트는 이러한 스트림을 동기화하여 교착 상태가 발생하지 않고 작업이 올바른 순서로 실행되도록 합니다.   세 번째 레이어의 순방향 패스는 all_gather 작업이 완료될 때까지 시작되지 않습니다(조건 1). 마찬가지로, 세 번째 레이어의 all_gather 작업은 동일한 버퍼를 사용하는 첫 번째 레이어의 정방향 전달이 완료될 때까지 시작되지 않습니다(조건 2). 이 방식에는 순환이 없으므로 교착 상태가 불가능합니다.   실험 결과 및 성능 향상  YaFSDP의 구현으로 훈련 효율성이 눈에 띄게 향상되었습니다. 700억 개의 매개변수가 있는 모델을 사용한 사전 학습 시나리오에서 YaFSDP는 약 150개의 GPU 리소스를 절약할 수 있었습니다. 이는 가상 GPU 공급자 또는 플랫폼에 따라 50만 달러에서 150만 달러에 이르는 상당한 월별 비용 절감으로 이어집니다.  YaFSDP는 FSDP와 같은 기존 방법에 비해 훈련 시간을 최대 26% 단축하고 메모리 사용을 최적화하여 더 큰 모델을 보다 효율적으로 훈련할 수 있습니다.   Yandex는 YaFSDP를 공개적으로 제공했습니다.  . ML 엔지니어는 이 도구를 활용하여 LLM 교육 프로세스의 효율성을 높일 수 있습니다. Yandex는 YaFSDP를 오픈 소스화함으로써 AI 커뮤니티에서 혁신과 협업을 촉진하여 개발자가 모델을 더 빠르고 비용 효율적으로 교육할 수 있도록 하는 것을 목표로 합니다.   GitHub  YaFSDP는 LLM 교육의 중요한 발전을 나타냅니다. 메모리 소비 및 통신 비효율성이라는 중요한 문제를 해결하면 대규모 언어 모델을 더 빠르고 효율적으로 훈련할 수 있습니다.

이 오디오는 이야기의 원래 언어로 제작되었습니다!

YaFSDP - GPU 사용량을 20%까지 줄이는 LLM 교육 도구 - 출시됨

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

성공적인 클라우드 마이그레이션을 위한 전체 가이드: 전략 및 모범 사례

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

Crypto Growth: 효과적인 사용자 페르소나 만들기

텔레그램: 크립토 아일랜드에서 본토로 연결되는 다리

성공적인 클라우드 마이그레이션을 위한 전체 가이드: 전략 및 모범 사례

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

Crypto Growth: 효과적인 사용자 페르소나 만들기

텔레그램: 크립토 아일랜드에서 본토로 연결되는 다리

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps