IBM Research tyrėjai išplėtė atvirojo kodo „ALTK-Evolve“ įrankyną „Consistency Analyzer“ moduliu. Analizatorius naudoja vieną įrašytą agento trajektoriją. Kiekviename jos sprendimo žingsnyje vienu papildomu modelio kvietimu jis numatytai sugeneruoja penkis atsakymus ir pažymi vietas, kuriose pasirinkimas lengvai pasikeičia. Metodui nereikia logitų, teisingų atsakymų rinkinio ar pakartotinio visos užduoties vykdymo.
„AppWorld“ bandyme GPT-4.1 pagrįstas „ReAct“ agentas vidutiniškai sėkmingai atliko 77,4 proc. paleidimų, tačiau visas penkias pakartotines užduoties versijas įveikė tik 53 proc. atvejų. Iš nestabilių žingsnių sukurtos gairės padidino šį rodiklį iki 69 proc., o nuoseklumo atotrūkį sumažino nuo 24,4 iki 12 procentinių punktų.
Kodėl tai svarbu?
INVIS vertinimas: agentų kokybę verta matuoti ne tik vidutiniu tikslumu. Pakartojamumas parodo, ar sistema patikima realiame procese, kuriame antras bandymas negali priklausyti nuo sėkmės.
