„Hugging Face“ rugsėjo 10 d. aprašė eksperimentą, kuriame TRL v1.14 „AsyncGRPOTrainer“ mokė 1,5 mlrd. parametrų „Qwen2.5-Math“ modelio LoRA adapterį atskirame darbe, o du vLLM darbai generavo atsakymus. Kelių megabaitų adapteris tarp mašinų keliavo per visiems darbams prijungtą „Storage Bucket“, todėl nereikėjo NCCL ryšio ar bendro mazgo.
Vietinis tarpinis serveris pridėjo autentifikaciją, siuntė užklausas ten, kur jau buvo tinkama KV talpykla, ir išplatino kiekvieną adapterio atnaujinimą abiem replikoms. Autoriai teigia, kad 500 žingsnių bandymo trukmė po penkių konfigūracijos iteracijų sumažėjo nuo 3 val. 27 min. iki 53 min.
Kodėl tai svarbu?
INVIS vertinimu, tai praktiškas būdas mažoms komandoms atskirti mokymą nuo generavimo ir mastelį didinti be vientiso kelių mazgų GPU klasterio, tačiau rezultatai priklauso nuo konkretaus modelio, duomenų ir infrastruktūros.
Redakcijos pastaba
Originali lietuviška santrauka pagal oficialų „Hugging Face“ techninį pranešimą. Tekstą rengiant ir tikrinant naudotas DI. Iliustracija sukurta DI.
