肉球でキーボード

MLエンジニアの技術ブログです

2022-12-01から1ヶ月間の記事一覧

AWS PrivateLinkを介したSageMaker Endpointへのリクエスト手順

PrivateLinkによる低レイテンシー推論 SageMaker 公式ドキュメントで、SageMaker Endpointの低レイテンシー推論のベストプラクティスとして、PrivateLinkの利用が紹介されています。 低レイテンシーのリアルタイム推論AWS PrivateLink - Amazon SageMaker リ…

SageMaker Endpointのレイテンシーを負荷試験ツールlocustで計測する

この記事はMLOps Advent Calendar 2022にリンクしてます。 SageMaker Endpointのレイテンシーを、負荷試験ツールLocustで計測してみました。 本文中のコード: https://github.com/nsakki55/code-for-blogpost/tree/main/sagemaker_endpoint_latency_check 記…