Markdown издање

AI-translated from English; not yet reviewed by a fluent editor.

# SageMaker вишекорачни RL: шта тим за претрагу треба да провери пре обучавања

> AWS пријављује побољшање на три од четири издвојена теста претраге за свој Qwen3.6-27B агент. Овај водич објашњава подешавање SageMaker-а, трошкове и евалуацију које треба обавити пре пробе.

By BIG CHANGE Editorial

Published: 2026-10-04T17:55:25.736Z
Updated: 2026-10-04T17:55:25.736Z
Canonical: https://bigchange.ai/blog/fine-tune-search-agent-sagemaker-multi-turn-rl

![Paired bar chart of AWS-reported held-out nDCG@10 for a Qwen3.6-27B search agent. Base to fine-tuned: WixQA 0.5725 to 0.6781; Wands 0.5762 to 0.6112; FreshStack 0.4112 to 0.4089, a small decline; BrowseComp-Plus 0.5136 to 0.6354.](https://bigchange.ai/api/media/file/aws-mtrl-held-out-ndcg-chart-v1.png)
BIG CHANGE graphic; data: AWS Machine Learning Blog

## Велика промена

У свом [водичу од 2. октобра](https://aws.amazon.com/blogs/machine-learning/fine-tune-a-search-agent-with-multi-turn-rl-on-amazon-sagemaker-ai/), AWS описује дообучавање Qwen3.6-27B агента за претрагу вишекорачним поткрепљујућим учењем (MTRL) у SageMaker AI-ју. Графикон изнад приказује AWS-ове пријављене nDCG@10 резултате на издвојеним тестовима: порасли су за WixQA, Wands и BrowseComp-Plus, а незнатно опали за FreshStack. BIG CHANGE је направио графикон на основу AWS-ових бројки; нисмо независно тестирали агента нити поновили резултате. Ова техника обучава модел на основу исхода низа одлука у којима се користе алати.

Пре слања задатка, инжењер машинског учења треба да утврди да ли су модел и регион подржани, да ли агент може да учествује у SageMaker-овој петљи извршавања, да ли упити и награде представљају предвиђени задатак претраге и да ли посебан скуп за евалуацију може да открије погоршање резултата. Овај водич се заснива на AWS документацији; BIG CHANGE није покретао AWS задатке нити позивао његове API-је.

## Шта MTRL мења у петљи обучавања

За надгледано дообучавање тиму су потребни примери трајекторија који показују жељено понашање. Према AWS-овом опису MTRL-а, SageMaker уместо тога шаље упите агенту, агент у више корака позива политику модела и његове алате, а по завршетку извршавања враћа награду. Модел се ажурира на основу те повратне информације. У претрази награда може да оцени коначно рангирање, па се ранији избори упита оптимизују у контексту целе сесије претраге.

Ова разлика је важна када позиви алата зависе од претходних резултата. Ако модел направи лош први упит, добије слабе резултате и треба да га преобликује, награда на крају задатка може да одрази да ли је низ корака на крају пронашао релевантне документе. И даље треба дефинисати шта значи „релевантно“ и направити агента који може да позива алате за претрагу тог тима.

## Најпре проверите приступ, модел и регион

Пример од 2. октобра покренут је у региону US West (Oregon), `us-west-2`, и у њему је дообучен Qwen3.6-27B. У [табели SageMaker MTRL-а са подржаним моделима](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl.html), провереној 4. октобра 2026, наведена су четири модела у шест комбинација модела и региона: Nova Lite 2.0 и GPT-OSS-20B у региону US East (N. Virginia), `us-east-1`, као и у региону US West (Oregon), `us-west-2`; Gemma-4-31B-it и Qwen 3.6 27B подржани су само у Орегону. Проверите актуелну табелу у региону у ком намеравате да направите задатак; присуство модела на списку не значи да је доступан и другде.

Тиму је потребан и AWS налог, као и SageMaker Studio домен ако користи Studio интерфејс, S3 приступ за скупове података и резултате и IAM улоге подешене за нови MTRL задатак и позиве извршног окружења. У AWS документу са предусловима пише да позивалац мора да има `CreateJob` и сродне дозволе за задатке, као и дозволу да проследи извршну улогу услузи `job.sagemaker.amazonaws.com`. Извршној улози је потребна политика `AmazonSageMakerJobFullAccess` и тај сервисни налог у политици поверења. Улози извршног окружења агента потребна је `AmazonSageMakerJobRuntimeAccess`; AgentCore извршном окружењу потребна је и сопствена веза поверења. Избор извршног окружења у Studio-у захтева дозволе за излиставање AgentCore-а. AWS наводи да постојећи широки приступ SageMaker-у сам по себи не укључује све ове нове дозволе за задатке.

Документована су два начина за повезивање агента. Први је да се агент постави у Bedrock AgentCore ради управљаног хостинга; AWS наводи да ово најбоље функционише са агентима направљеним помоћу Strands-а. Други је хостовање прилагођеног агента и повезивање преко Lambda прослеђивача. Агент прима упите за извршавање, позива политику модела преко SageMaker-овог извршног окружења задатка, активира алате за претрагу, завршава свако извршавање и враћа награду. AWS SDK декоратор обавља велики део интеграције; прилагођени оквири могу директно да позову API-је извршног окружења. Ако Lambda функција има нестандардно име, AWS наводи да ће њен ARN можда морати да се дода изричито у политику дозвола. Кориснички управљани VPC или KMS кључ захтева додатно подешавање.

## Припремите упите и награду за стварни задатак претраге

SageMaker-ов водич за ресурсе прихвата Parquet, JSON Lines, JSON или CSV. Тражи колону под називом `prompt`; ако је нема, користи прву колону и прослеђује њену вредност агенту без измена. Услуга не рашчлањује, не проверава нити трансформише садржај упита. У претрази која користи алате, упит може да садржи поруке из разговора, метаподатке задатка, спецификацију награде и подешавање алата у формату који агент очекује. AWS упозорава да се упити прослеђују без прегледа, па је тим и даље одговоран за заштиту осетљивих података; одговарајућа заштита, као што је шифровање, треба да буде уграђена у складиште и путању до агента.

Награда је циљ који модел оптимизује. AWS-ов пример користи nDCG@10 за коначни скуп пронађених докумената и додељује награду -1 ако агент достигне ограничење броја корака или токена за узорковање. То је конкретна полазна тачка за рангирану претрагу, али избор евалуације има последице: потребне су поуздане ознаке релевантности или други одбрањив начин оцењивања. Проверите и да награда не подстиче површно побољшање рангирања на штету квалитета одговора, кашњења или трошкова алата.

У блогу пише да је мешавина за обучавање обухватала FRAMES, BRIGHT, Enterprise RAG, ESCI, Musique и MLQA, при чему је пет одсто примера из сваког скупа података издвојено за валидацију. Тестни скуп који није коришћен за обучавање обухватао је FreshStack, WixQA, BrowseComp-Plus и Wands. Ти јавни или синтетички скупови података не могу да замене евалуацију на приватном корпусу и расподели упита које тим намерава да обради.

## Пошаљите мали задатак који се лако проверава

У [AWS блогу од 2. октобра ](https://aws.amazon.com/blogs/machine-learning/fine-tune-a-search-agent-with-multi-turn-rl-on-amazon-sagemaker-ai/)коришћени су другачији увоз SDK-а и називи аргумената у примеру кода. Актуелни [референтни водич за SageMaker задатке обучавања ](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-job.html)приказује овакав облик API-ја за Bedrock AgentCore извршно окружење. Пример користи актуелни идентификатор модела GPT-OSS-20B наведен у AWS документацији. Изаберите модел доступан у циљном региону и проверите ажурну табелу подржаних модела пре прилагођавања примера. Актуелни пример захтева и MLflow app ARN, role ARN и прихватање EULA лиценце.

```python
from sagemaker.train.multi_turn_rl_trainer import MultiTurnRLTrainer

trainer = MultiTurnRLTrainer(
    model="openai-reasoning-gpt-oss-20b",
    agent_env="arn:aws:bedrock-agentcore:us-west-2:123456789012:runtime/my-agent-runtime",
    training_dataset="s3://my-bucket/prompts/prompts.parquet",
    mlflow_app_arn="arn:aws:sagemaker:us-west-2:123456789012:mlflow-app/mlflow-app-id",
    s3_output_path="s3://my-bucket/output/",
    role="arn:aws:iam::123456789012:role/SageMakerRole",
    accept_eula=True,
)

trainer.hyperparameters.max_epochs = 1
trainer.hyperparameters.global_batch_size = 32
trainer.hyperparameters.max_steps = 12
job = trainer.train(wait=True)
```

Ово је пример из актуелне AWS документације, а не наредба коју је BIG CHANGE тестирао. AWS-ов блог од 2. октобра користи другачије аргументе за `sagemaker.modules.train` увоз `model_id` , `agent_endpoint` , `training_dataset_s3_uri` и `output_s3_uri` . Пошто се разликују од актуелног водича за задатке, за нову имплементацију пратите актуелни референтни документ и проверите верзију SDK-а и захтеве модела у свом окружењу; нисмо утврдили да ли пример из блога одражава старију верзију SDK-а или недоследност у документацији. Studio интерфејс је још један документован начин слања: изаберите подржани JumpStart модел, одаберите Multi-Turn Reinforcement Learning, подесите AgentCore извршно окружење или Lambda прослеђивач, наведите податке за обучавање и пошаљите.

За прво покретање забележите модел, регион, верзију скупа података, награду, ограничења, хиперпараметре и путању до резултата како би каснија евалуација могла да се упореди са истом основном вредношћу. Ако користите кориснички управљани VPC, засебан AWS водич захтева приватне подмреже у две зоне доступности, VPC крајње тачке за S3 и CloudWatch Logs и, према потреби, крајњу тачку AgentCore-а или Lambda-е; MLflow-у је потребна крајња тачка ако се користи. Извршној улози су потребне дозволе за управљање ENI-јем. Опционална путања са кориснички управљаним KMS-ом захтева додатне дозволе и подешавање политике кључа за позиваоца, извршну улогу и извршно окружење; подразумевано се подаци у мировању шифрују AWS-овим KMS кључем. Пре коришћења било које конфигурације прочитајте водиче за VPC и шифровање. Пре слања проверите квоте налога: AWS подразумевано наводи по један истовремени MTRL задатак дообучавања и евалуације, а оба се могу подесити преко Service Quotas-а. Ограничења учесталости API-ја за управљање задацима не могу да се мењају.

## Пре пуштања у рад проверите издвојене упите

AWS документација за евалуацију препоручује да се упити за евалуацију не користе за обучавање, да формат упита остане исти, да буду покривени важни алати и њихове комбинације, да се укључе ранији неуспешни случајеви и да се заштити осетљив садржај. SageMaker евалуатор може да тестира кандидата на скупу упита и прикаже награду, pass@k и метрике трајекторија. Документација показује како да се евалуира дообучени модел, уз могућност евалуације основног модела у истом поступку поређења.

Евалуациони протокол одредите пре обучавања. Сачувајте фиксан издвојени скуп који представља упите, дозволе и промене докумената са којима ће се агент сусретати у раду. Упоредите основни и дообучени модел користећи исте алате, ограничења и код за оцењивање. Не прегледајте само просечан резултат претраге већ и неуспехе задатака, број корака, кашњење, потрошњу токена и случајеве у којима релевантни документи нестају са врха рангирања. Документација показује како се шаље AWS евалуациони задатак; она не доказује да једна метрика сама може да опише квалитет претраге у продукцији.

AWS-ов чланак пријављује следеће резултате на издвојеним тестовима:

| Скуп података (број питања) | Основни nDCG@10 | Дообучени nDCG@10 | Стопа неуспеха основног модела | Стопа неуспеха дообученог модела |
| --- | --- | --- | --- | --- |
| WixQA (400) | 0.5725 | 0.6781 | 0.67% | 0.17% |
| Wands (147) | 0.5762 | 0.6112 | 0.00% | 0.00% |
| FreshStack (672) | 0.4112 | 0.4089 | 0.20% | 0.05% |
| BrowseComp-Plus (830) | 0.5136 | 0.6354 | 22.89% | 0.68% |

Табела показује раст nDCG@10 у три скупа и мали пад за FreshStack. AWS приписује нижу стопу неуспеха за BrowseComp-Plus казни за достизање ограничења броја корака или токена. Блог не наводи интервале поузданости нити анализу статистичке значајности ових бројки. Такође пријављује да је дообучени модел у просеку имао 4,5 наспрам 4,3 корака за WixQA, односно 2,9 наспрам 2,2 за Wands, па број корака није увек био мањи. Ове резултате треба посматрати као експеримент који је пријавио добављач, а не као независну проверу или доказ да ће се побољшати резултати на другом корпусу.

## Планирајте буџет за целу пробу

AWS документација за MTRL описује три ставке трошкова обучавања: префил токене обрађене као улаз, токене генерисане током извршавања и ажурирања модела. Страница са ценама наводи стопе за појединачне моделе; процена зависи и од њих, количине извршавања, дужине секвенци, броја епоха и трајања рада. У примеру из чланка није објављен укупан рачун, а документација не даје једну универзалну цену пробе. Проверите тренутну цену за изабрани модел и регион и процену заснујте на очекиваној потрошњи задатка, уместо на претпоставци о фиксном трошку.

У процену укључите и пратеће трошкове: S3 складиште и захтеве за обучавање, валидацију, контролне тачке и резултате; AgentCore извршно окружење или Lambda-у и пратећу инфраструктуру за претрагу током извршавања; евидентирање и MLflow; евалуацију на издвојеном скупу; и све крајње тачке или Bedrock постављања после обучавања. AWS-ов чланак посебно саветује да зауставите или избришете активан MTRL задатак, уклоните непотребне S3 артефакте модела и обришете евалуационе крајње тачке како би се избегло даље наплаћивање. Постављање крајње тачке је посебна одлука и категорија трошка у односу на обучавање.

## Одлучите да ли да наставите

Овај ток рада је најрелевантнији када задатак претраге захтева више међусобно зависних позива алата и тим може да оцени коначан исход. Проба ће бити корисна за одлучивање само ако постоји подржана комбинација модела и региона, интеграција агента ради, подаци за упите су репрезентативни, награда одражава задатак, постоји поређење на издвојеном скупу и процена трошка обухвата пратеће услуге. Добар резултат на четири AWS теста разлог је да се метода испита, а не да се претпостави исти ефекат на другом индексу, мешавини упита или граници дозвола.

**Извори и додатна литература**

- [AWS Machine Learning Blog: „Fine-tune a search agent with multi-turn RL on Amazon SageMaker AI“ (2. октобар 2026.)](https://aws.amazon.com/blogs/machine-learning/fine-tune-a-search-agent-with-multi-turn-rl-on-amazon-sagemaker-ai/) — упутство добављача, подешавање, избор скупова података и пријављени резултати евалуације.
- [Amazon SageMaker AI: Multi-turn reinforcement learning](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl.html) — актуелни подржани модели, региони и ставке наплате.
- [Предуслови](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-prereqs.html),[Припрема агента](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-agent.html),[Подешавање VPC-а](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-vpc.html) и[шифровање података у мировању](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-encryption-at-rest.html) — дозволе, избор извршног окружења, интеграција и опционо подешавање мреже и шифровања.
- [Креирање ресурса](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-assets.html),[слање задатка за обучавање](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-job.html),[евалуација](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-evaluation.html),[хиперпараметри](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-hyperparams.html) и[квоте](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-quotas.html) — актуелна упутства за имплементацију.
- [Цене SageMaker AI-ја](https://aws.amazon.com/sagemaker/ai/pricing/) — актуелни детаљи цена за прилагођавање модела; цене се мењају и зависе од модела и региона.

*Напомена о извештавању: Прегледана је само документација. BIG CHANGE није приступао AWS налогу, слао нити прегледао SageMaker задатак, позивао AWS API-је нити независно поновио пријављене метрике. AWS је написао упутство за имплементацију и пријавио сопствени експеримент.*

## Sources

- [AWS Machine Learning Blog: Fine-tune a search agent with multi-turn RL on Amazon SageMaker AI (2. октобар 2026.)](https://aws.amazon.com/blogs/machine-learning/fine-tune-a-search-agent-with-multi-turn-rl-on-amazon-sagemaker-ai/) — AWS-ово упутство за имплементацију, избор скупова података и евалуација на издвојеним подацима коју је пријавио добављач.
- [Amazon SageMaker AI: Multi-turn reinforcement learning](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl.html) — Актуелне комбинације модела и региона, преглед тока рада и ставке наплате обучавања.
- [SageMaker AI MTRL предуслови и подешавање агента](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-prereqs.html) — Потребне дозволе, избор извршног окружења, интеграција агента и опционо подешавање мреже и шифровања.
- [SageMaker AI MTRL документација за обучавање и евалуацију](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-assets.html) — Актуелни улазни подаци и ток рада; чланак садржи и везе ка упутствима за задатак обучавања и евалуацију.
- [Слање SageMaker AI MTRL задатка за обучавање](https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-mtrl-job.html) — Актуелни Python SDK увоз, називи аргумената, пример за AgentCore и поступак слања преко Studio интерфејса; проверено 4. октобра 2026.
- [Цене SageMaker AI-ја](https://aws.amazon.com/sagemaker/ai/pricing/) — Актуелни подаци о ценама по моделу; цена зависи од модела и региона.