„Third Moment Research“ kuria sistemą, kuri stebi agentų elgesį, aptinka pasikartojančias silpnybes ir generuoja sintetinius bandymų scenarijus. Bendrovės tyrimų aplinkoje agentai lygiagrečiai tikrina hipotezes, vertina rezultatus ir renkasi kitus eksperimentus; išorinis valdymo sluoksnis nusprendžia darbą kartoti, sustabdyti ar perduoti žmogui.
Viename optimizavimo pavyzdyje „Codex“ aptiko talpyklos ir atminties sutankinimo pakeitimus, sutrumpinusius strategijos retrospektyvų testą nuo maždaug trijų valandų iki 3–5 minučių. Prieš paleidžiant simuliacijas, „Daybreak“ tikrina, ar agentai negalėtų ištrūkti iš savo aplinkos ir pasiekti platesnio tinklo.
Kodėl tai svarbu?
INVIS vertinimu, istorija rodo, kad ilgos agentų sesijos priklauso ne tik nuo modelio, bet ir nuo orkestravimo, sąnaudų kontrolės bei izoliavimo. Skaičiai yra pačios bendrovės patirtis, pateikta „OpenAI“, o ne nepriklausomas etaloninis bandymas.
