Markdown izdanje

AI-translated from English; not yet reviewed by a fluent editor.

# SageMaker višekoračni RL: šta tim za pretragu treba da proveri pre obučavanja

> AWS prijavljuje poboljšanje na tri od četiri izdvojena testa pretrage za svoj Qwen3.6-27B agent. Ovaj vodič objašnjava podešavanje SageMaker-a, troškove i evaluaciju koje treba obaviti pre probe.

By BIG CHANGE Editorial

Published: 2026-10-04T17:55:25.736Z
Updated: 2026-10-04T17:55:25.736Z
Canonical: https://bigchange.ai/blog/fine-tune-search-agent-sagemaker-multi-turn-rl

![Paired bar chart of AWS-reported held-out nDCG@10 for a Qwen3.6-27B search agent. Base to fine-tuned: WixQA 0.5725 to 0.6781; Wands 0.5762 to 0.6112; FreshStack 0.4112 to 0.4089, a small decline; BrowseComp-Plus 0.5136 to 0.6354.](https://bigchange.ai/api/media/file/aws-mtrl-held-out-ndcg-chart-v1.png)
BIG CHANGE graphic; data: AWS Machine Learning Blog

## Velika promena

U svom [vodiču od 2. oktobra](https://aws.amazon.com/blogs/machine-learning/fine-tune-a-search-agent-with-multi-turn-rl-on-amazon-sagemaker-ai/), AWS opisuje doobučavanje Qwen3.6-27B agenta za pretragu višekoračnim potkrepljujućim učenjem (MTRL) u SageMaker AI-ju. Grafikon iznad prikazuje AWS-ove prijavljene nDCG@10 rezultate na izdvojenim testovima: porasli su za WixQA, Wands i BrowseComp-Plus, a neznatno opali za FreshStack. BIG CHANGE je napravio grafikon na osnovu AWS-ovih brojki; nismo nezavisno testirali agenta niti ponovili rezultate. Ova tehnika obučava model na osnovu ishoda niza odluka u kojima se koriste alati.

Pre slanja zadatka, inženjer mašinskog učenja treba da utvrdi da li su model i region podržani, da li agent može da učestvuje u SageMaker-ovoj petlji izvršavanja, da li upiti i nagrade predstavljaju predviđeni zadatak pretrage i da li poseban skup za evaluaciju može da otkrije pogoršanje rezultata. Ovaj vodič se zasniva na AWS dokumentaciji; BIG CHANGE nije pokretao AWS zadatke niti pozivao njegove API-je.

## Šta MTRL menja u petlji obučavanja

Za nadgledano doobučavanje timu su potrebni primeri trajektorija koji pokazuju željeno ponašanje. Prema AWS-ovom opisu MTRL-a, SageMaker umesto toga šalje upite agentu, agent u više koraka poziva politiku modela i njegove alate, a po završetku izvršavanja vraća nagradu. Model se ažurira na osnovu te povratne informacije. U pretrazi nagrada može da oceni konačno rangiranje, pa se raniji izbori upita optimizuju u kontekstu cele sesije pretrage.

Ova razlika je važna kada pozivi alata zavise od prethodnih rezultata. Ako model napravi loš prvi upit, dobije slabe rezultate i treba da ga preoblikuje, nagrada na kraju zadatka može da odrazi da li je niz koraka na kraju pronašao relevantne dokumente. I dalje treba definisati šta znači „relevantno“ i napraviti agenta koji može da poziva alate za pretragu tog tima.

## Najpre proverite pristup, model i region

Primer od 2. oktobra pokrenut je u regionu US West (Oregon), `us-west-2`, i u njemu je doobučen Qwen3.6-27B. U [tabeli SageMaker MTRL-a sa podržanim modelima](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl.html), proverenoj 4. oktobra 2026, navedena su četiri modela u šest kombinacija modela i regiona: Nova Lite 2.0 i GPT-OSS-20B u regionu US East (N. Virginia), `us-east-1`, kao i u regionu US West (Oregon), `us-west-2`; Gemma-4-31B-it i Qwen 3.6 27B podržani su samo u Oregonu. Proverite aktuelnu tabelu u regionu u kom nameravate da napravite zadatak; prisustvo modela na spisku ne znači da je dostupan i drugde.

Timu je potreban i AWS nalog, kao i SageMaker Studio domen ako koristi Studio interfejs, S3 pristup za skupove podataka i rezultate i IAM uloge podešene za novi MTRL zadatak i pozive izvršnog okruženja. U AWS dokumentu sa preduslovima piše da pozivalac mora da ima `CreateJob` i srodne dozvole za zadatke, kao i dozvolu da prosledi izvršnu ulogu usluzi `job.sagemaker.amazonaws.com`. Izvršnoj ulozi je potrebna politika `AmazonSageMakerJobFullAccess` i taj servisni nalog u politici poverenja. Ulozi izvršnog okruženja agenta potrebna je `AmazonSageMakerJobRuntimeAccess`; AgentCore izvršnom okruženju potrebna je i sopstvena veza poverenja. Izbor izvršnog okruženja u Studio-u zahteva dozvole za izlistavanje AgentCore-a. AWS navodi da postojeći široki pristup SageMaker-u sam po sebi ne uključuje sve ove nove dozvole za zadatke.

Dokumentovana su dva načina za povezivanje agenta. Prvi je da se agent postavi u Bedrock AgentCore radi upravljanog hostinga; AWS navodi da ovo najbolje funkcioniše sa agentima napravljenim pomoću Strands-a. Drugi je hostovanje prilagođenog agenta i povezivanje preko Lambda prosleđivača. Agent prima upite za izvršavanje, poziva politiku modela preko SageMaker-ovog izvršnog okruženja zadatka, aktivira alate za pretragu, završava svako izvršavanje i vraća nagradu. AWS SDK dekorator obavlja veliki deo integracije; prilagođeni okviri mogu direktno da pozovu API-je izvršnog okruženja. Ako Lambda funkcija ima nestandardno ime, AWS navodi da će njen ARN možda morati da se doda izričito u politiku dozvola. Korisnički upravljani VPC ili KMS ključ zahteva dodatno podešavanje.

## Pripremite upite i nagradu za stvarni zadatak pretrage

SageMaker-ov vodič za resurse prihvata Parquet, JSON Lines, JSON ili CSV. Traži kolonu pod nazivom `prompt`; ako je nema, koristi prvu kolonu i prosleđuje njenu vrednost agentu bez izmena. Usluga ne raščlanjuje, ne proverava niti transformiše sadržaj upita. U pretrazi koja koristi alate, upit može da sadrži poruke iz razgovora, metapodatke zadatka, specifikaciju nagrade i podešavanje alata u formatu koji agent očekuje. AWS upozorava da se upiti prosleđuju bez pregleda, pa je tim i dalje odgovoran za zaštitu osetljivih podataka; odgovarajuća zaštita, kao što je šifrovanje, treba da bude ugrađena u skladište i putanju do agenta.

Nagrada je cilj koji model optimizuje. AWS-ov primer koristi nDCG@10 za konačni skup pronađenih dokumenata i dodeljuje nagradu -1 ako agent dostigne ograničenje broja koraka ili tokena za uzorkovanje. To je konkretna polazna tačka za rangiranu pretragu, ali izbor evaluacije ima posledice: potrebne su pouzdane oznake relevantnosti ili drugi odbranjiv način ocenjivanja. Proverite i da nagrada ne podstiče površno poboljšanje rangiranja na štetu kvaliteta odgovora, kašnjenja ili troškova alata.

U blogu piše da je mešavina za obučavanje obuhvatala FRAMES, BRIGHT, Enterprise RAG, ESCI, Musique i MLQA, pri čemu je pet odsto primera iz svakog skupa podataka izdvojeno za validaciju. Testni skup koji nije korišćen za obučavanje obuhvatao je FreshStack, WixQA, BrowseComp-Plus i Wands. Ti javni ili sintetički skupovi podataka ne mogu da zamene evaluaciju na privatnom korpusu i raspodeli upita koje tim namerava da obradi.

## Pošaljite mali zadatak koji se lako proverava

U [AWS blogu od 2. oktobra ](https://aws.amazon.com/blogs/machine-learning/fine-tune-a-search-agent-with-multi-turn-rl-on-amazon-sagemaker-ai/)korišćeni su drugačiji uvoz SDK-a i nazivi argumenata u primeru koda. Aktuelni [referentni vodič za SageMaker zadatke obučavanja ](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-job.html)prikazuje ovakav oblik API-ja za Bedrock AgentCore izvršno okruženje. Primer koristi aktuelni identifikator modela GPT-OSS-20B naveden u AWS dokumentaciji. Izaberite model dostupan u ciljnom regionu i proverite ažurnu tabelu podržanih modela pre prilagođavanja primera. Aktuelni primer zahteva i MLflow app ARN, role ARN i prihvatanje EULA licence.

```python
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

trainer = MultiTurnRLTrainer(
    model="openai-reasoning-gpt-oss-20b",
    agent_env="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent-runtime",
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12
job = trainer.train(wait=True)
```

Ovo je primer iz aktuelne AWS dokumentacije, a ne naredba koju je BIG CHANGE testirao. AWS-ov blog od 2. oktobra koristi drugačije argumente za `sagemaker.modules.train` uvoz `model_id` , `agent_endpoint` , `training_dataset_s3_uri` i `output_s3_uri` . Pošto se razlikuju od aktuelnog vodiča za zadatke, za novu implementaciju pratite aktuelni referentni dokument i proverite verziju SDK-a i zahteve modela u svom okruženju; nismo utvrdili da li primer iz bloga odražava stariju verziju SDK-a ili nedoslednost u dokumentaciji. Studio interfejs je još jedan dokumentovan način slanja: izaberite podržani JumpStart model, odaberite Multi-Turn Reinforcement Learning, podesite AgentCore izvršno okruženje ili Lambda prosleđivač, navedite podatke za obučavanje i pošaljite.

Za prvo pokretanje zabeležite model, region, verziju skupa podataka, nagradu, ograničenja, hiperparametre i putanju do rezultata kako bi kasnija evaluacija mogla da se uporedi sa istom osnovnom vrednošću. Ako koristite korisnički upravljani VPC, zaseban AWS vodič zahteva privatne podmreže u dve zone dostupnosti, VPC krajnje tačke za S3 i CloudWatch Logs i, prema potrebi, krajnju tačku AgentCore-a ili Lambda-e; MLflow-u je potrebna krajnja tačka ako se koristi. Izvršnoj ulozi su potrebne dozvole za upravljanje ENI-jem. Opcionalna putanja sa korisnički upravljanim KMS-om zahteva dodatne dozvole i podešavanje politike ključa za pozivaoca, izvršnu ulogu i izvršno okruženje; podrazumevano se podaci u mirovanju šifruju AWS-ovim KMS ključem. Pre korišćenja bilo koje konfiguracije pročitajte vodiče za VPC i šifrovanje. Pre slanja proverite kvote naloga: AWS podrazumevano navodi po jedan istovremeni MTRL zadatak doobučavanja i evaluacije, a oba se mogu podesiti preko Service Quotas-a. Ograničenja učestalosti API-ja za upravljanje zadacima ne mogu da se menjaju.

## Pre puštanja u rad proverite izdvojene upite

AWS dokumentacija za evaluaciju preporučuje da se upiti za evaluaciju ne koriste za obučavanje, da format upita ostane isti, da budu pokriveni važni alati i njihove kombinacije, da se uključe raniji neuspešni slučajevi i da se zaštiti osetljiv sadržaj. SageMaker evaluator može da testira kandidata na skupu upita i prikaže nagradu, pass@k i metrike trajektorija. Dokumentacija pokazuje kako da se evaluira doobučeni model, uz mogućnost evaluacije osnovnog modela u istom postupku poređenja.

Evaluacioni protokol odredite pre obučavanja. Sačuvajte fiksan izdvojeni skup koji predstavlja upite, dozvole i promene dokumenata sa kojima će se agent susretati u radu. Uporedite osnovni i doobučeni model koristeći iste alate, ograničenja i kod za ocenjivanje. Ne pregledajte samo prosečan rezultat pretrage već i neuspehe zadataka, broj koraka, kašnjenje, potrošnju tokena i slučajeve u kojima relevantni dokumenti nestaju sa vrha rangiranja. Dokumentacija pokazuje kako se šalje AWS evaluacioni zadatak; ona ne dokazuje da jedna metrika sama može da opiše kvalitet pretrage u produkciji.

AWS-ov članak prijavljuje sledeće rezultate na izdvojenim testovima:

| Skup podataka (broj pitanja) | Osnovni nDCG@10 | Doobučeni nDCG@10 | Stopa neuspeha osnovnog modela | Stopa neuspeha doobučenog modela |
| --- | --- | --- | --- | --- |
| WixQA (400) | 0.5725 | 0.6781 | 0.67% | 0.17% |
| Wands (147) | 0.5762 | 0.6112 | 0.00% | 0.00% |
| FreshStack (672) | 0.4112 | 0.4089 | 0.20% | 0.05% |
| BrowseComp-Plus (830) | 0.5136 | 0.6354 | 22.89% | 0.68% |

Tabela pokazuje rast nDCG@10 u tri skupa i mali pad za FreshStack. AWS pripisuje nižu stopu neuspeha za BrowseComp-Plus kazni za dostizanje ograničenja broja koraka ili tokena. Blog ne navodi intervale pouzdanosti niti analizu statističke značajnosti ovih brojki. Takođe prijavljuje da je doobučeni model u proseku imao 4,5 naspram 4,3 koraka za WixQA, odnosno 2,9 naspram 2,2 za Wands, pa broj koraka nije uvek bio manji. Ove rezultate treba posmatrati kao eksperiment koji je prijavio dobavljač, a ne kao nezavisnu proveru ili dokaz da će se poboljšati rezultati na drugom korpusu.

## Planirajte budžet za celu probu

AWS dokumentacija za MTRL opisuje tri stavke troškova obučavanja: prefil tokene obrađene kao ulaz, tokene generisane tokom izvršavanja i ažuriranja modela. Stranica sa cenama navodi stope za pojedinačne modele; procena zavisi i od njih, količine izvršavanja, dužine sekvenci, broja epoha i trajanja rada. U primeru iz članka nije objavljen ukupan račun, a dokumentacija ne daje jednu univerzalnu cenu probe. Proverite trenutnu cenu za izabrani model i region i procenu zasnujte na očekivanoj potrošnji zadatka, umesto na pretpostavci o fiksnom trošku.

U procenu uključite i prateće troškove: S3 skladište i zahteve za obučavanje, validaciju, kontrolne tačke i rezultate; AgentCore izvršno okruženje ili Lambda-u i prateću infrastrukturu za pretragu tokom izvršavanja; evidentiranje i MLflow; evaluaciju na izdvojenom skupu; i sve krajnje tačke ili Bedrock postavljanja posle obučavanja. AWS-ov članak posebno savetuje da zaustavite ili izbrišete aktivan MTRL zadatak, uklonite nepotrebne S3 artefakte modela i obrišete evaluacione krajnje tačke kako bi se izbeglo dalje naplaćivanje. Postavljanje krajnje tačke je posebna odluka i kategorija troška u odnosu na obučavanje.

## Odlučite da li da nastavite

Ovaj tok rada je najrelevantniji kada zadatak pretrage zahteva više međusobno zavisnih poziva alata i tim može da oceni konačan ishod. Proba će biti korisna za odlučivanje samo ako postoji podržana kombinacija modela i regiona, integracija agenta radi, podaci za upite su reprezentativni, nagrada odražava zadatak, postoji poređenje na izdvojenom skupu i procena troška obuhvata prateće usluge. Dobar rezultat na četiri AWS testa razlog je da se metoda ispita, a ne da se pretpostavi isti efekat na drugom indeksu, mešavini upita ili granici dozvola.

**Izvori i dodatna literatura**

- [AWS Machine Learning Blog: „Fine-tune a search agent with multi-turn RL on Amazon SageMaker AI“ (2. oktobar 2026.)](https://aws.amazon.com/blogs/machine-learning/fine-tune-a-search-agent-with-multi-turn-rl-on-amazon-sagemaker-ai/) — uputstvo dobavljača, podešavanje, izbor skupova podataka i prijavljeni rezultati evaluacije.
- [Amazon SageMaker AI: Multi-turn reinforcement learning](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl.html) — aktuelni podržani modeli, regioni i stavke naplate.
- [Preduslovi](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-prereqs.html),[Priprema agenta](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-agent.html),[Podešavanje VPC-a](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-vpc.html) i[šifrovanje podataka u mirovanju](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-encryption-at-rest.html) — dozvole, izbor izvršnog okruženja, integracija i opciono podešavanje mreže i šifrovanja.
- [Kreiranje resursa](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-assets.html),[slanje zadatka za obučavanje](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-job.html),[evaluacija](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-evaluation.html),[hiperparametri](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-hyperparams.html) i[kvote](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-quotas.html) — aktuelna uputstva za implementaciju.
- [Cene SageMaker AI-ja](https://aws.amazon.com/sagemaker/ai/pricing/) — aktuelni detalji cena za prilagođavanje modela; cene se menjaju i zavise od modela i regiona.

*Napomena o izveštavanju: Pregledana je samo dokumentacija. BIG CHANGE nije pristupao AWS nalogu, slao niti pregledao SageMaker zadatak, pozivao AWS API-je niti nezavisno ponovio prijavljene metrike. AWS je napisao uputstvo za implementaciju i prijavio sopstveni eksperiment.*

## Sources

- [AWS Machine Learning Blog: Fine-tune a search agent with multi-turn RL on Amazon SageMaker AI (2. oktobar 2026.)](https://aws.amazon.com/blogs/machine-learning/fine-tune-a-search-agent-with-multi-turn-rl-on-amazon-sagemaker-ai/) — AWS-ovo uputstvo za implementaciju, izbor skupova podataka i evaluacija na izdvojenim podacima koju je prijavio dobavljač.
- [Amazon SageMaker AI: Multi-turn reinforcement learning](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl.html) — Aktuelne kombinacije modela i regiona, pregled toka rada i stavke naplate obučavanja.
- [SageMaker AI MTRL preduslovi i podešavanje agenta](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-prereqs.html) — Potrebne dozvole, izbor izvršnog okruženja, integracija agenta i opciono podešavanje mreže i šifrovanja.
- [SageMaker AI MTRL dokumentacija za obučavanje i evaluaciju](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-assets.html) — Aktuelni ulazni podaci i tok rada; članak sadrži i veze ka uputstvima za zadatak obučavanja i evaluaciju.
- [Slanje SageMaker AI MTRL zadatka za obučavanje](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-job.html) — Aktuelni Python SDK uvoz, nazivi argumenata, primer za AgentCore i postupak slanja preko Studio interfejsa; provereno 4. oktobra 2026.
- [Cene SageMaker AI-ja](https://aws.amazon.com/sagemaker/ai/pricing/) — Aktuelni podaci o cenama po modelu; cena zavisi od modela i regiona.