AWS在re:Invent 2021大會(huì)中發(fā)表的機(jī)器學(xué)習(xí)SageMaker無服務(wù)器推理（SageMaker Serverless Inference）服務(wù)，現(xiàn)在已經(jīng)正式上線。用戶可以使用該服務(wù)快速部署機(jī)器學(xué)習(xí)模型，執(zhí)行推理工作負(fù)載，而不需要配置和管理底層基礎(chǔ)設(shè)施。
當(dāng)用戶在SageMaker部署模型時(shí)，只需要選擇無服務(wù)器選項(xiàng)，SageMaker就會(huì)根據(jù)推理請(qǐng)求的數(shù)量，自動(dòng)配置、擴(kuò)展和縮減運(yùn)算容量，AWS提到，用戶僅需要針對(duì)處理推理請(qǐng)求的運(yùn)算容量，和資料量支付費(fèi)用，不需要對(duì)空閑時(shí)間付費(fèi)，因此很適合用于間歇性或是不可預(yù)測流量的應(yīng)用程式。
從re:Invent 2021大會(huì)發(fā)布以來，AWS持續(xù)更新SageMaker無服務(wù)器推理，加入了對(duì)Python SDK的支援，抽象模型部署來簡化開發(fā)者的工作，同時(shí)支援模型注冊(cè)表，讓開發(fā)者可以整合無服務(wù)器推理端點(diǎn)和MLOps工作流程。AWS也加大每個(gè)端點(diǎn)并行觸發(fā)的上限，從50提升到200，使得用戶可以將SageMaker無服務(wù)器推理用于高流量工作負(fù)載。
