2022-01-01から1年間の記事一覧
PrivateLinkによる低レイテンシー推論 SageMaker 公式ドキュメントで、SageMaker Endpointの低レイテンシー推論のベストプラクティスとして、PrivateLinkの利用が紹介されています。 低レイテンシーのリアルタイム推論AWS PrivateLink - Amazon SageMaker リ…
この記事はMLOps Advent Calendar 2022にリンクしてます。 SageMaker Endpointのレイテンシーを、負荷試験ツールLocustで計測してみました。 本文中のコード: https://github.com/nsakki55/code-for-blogpost/tree/main/sagemaker_endpoint_latency_check 記…
SageMaker Model MonitorとSageMaker Clarifyを使用して、ML監視を実践してみます。 本文中コード: https://github.com/nsakki55/code-for-blogpost/tree/main/sagemaker_model_monitoring ML監視 MLモデルの予測性能は、データと密接に関わっています。 本…
はじめに 現場で役立つシステム設計の原則 ~変更を楽で安全にするオブジェクト指向の実践技法~ のJavaで書かれたサンプルコードをPythonで書いてみました。 本書はシステム設計の名著として有名で、コード・システムを綺麗に維持し続けるためのテクニックが…
「推薦システム実践入門」を読んだので、感想・各章の内容についてまとめてみます www.oreilly.co.jp 全体を通しての感想 著者の方々が現役のデータサイエンティスト・MLエンジニアというだけあり、サブタイトルの「仕事で使える導入ガイド」に相応しい「実…
AWS Certified Machine Learning – Specialty(以下、MLS)を取得したので、MLエンジニアに取って役に立つ試験なのか、自分の勉強手順について書いてみます。 AWS Certified Machine Learning – Specialty mls icon AWS認定試験のうち、AWS上で機械学習を用い…
SageMaker Hyperparameter Tuning JobでWarm Startを実行してみます 本文中のコードです github.com 目次 目次 データセット・モデル SageMaker Hyperparameter Tuningについて Estimator作成 学習データの準備 学習スクリプト Estimatorクラスの作成 親Tuni…
特徴量の異なる2つの予測モデルのABテスト環境を、SageMaeker推論エンドポイントを用いて作ってみます。 本文中のコードです github.com 目次 目次 データ・モデル 学習 データ準備 学習スクリプト 学習ジョブの実行 モデル登録 推論スクリプト モデル登録 …
本文中のコードです github.com やりたいこと boto3 で実行したECS Taskが成功・失敗したか実行側で判定したい ECS Task のCloud Watchログをポーリングし続けて、実行ログを標準出力し続けたい 実装したコード task_arn, ecs_cluster を引数に受け取り、ECS…
SageMaker で学習ジョブを実行する ~独自スクリプト~ - nsakki55 のアウトプットブログの続きです 記事中のコード github.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライブラリをコンテナベースで管理し、学習に必要なイン…
SageMaker で学習ジョブを実行する ~組み込みアルゴリズム~ - nsakki55 のアウトプットブログの続きの内容です 記事中のコード github.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライブラリをコンテナベースで管理し、学習…
SageMaker で学習ジョブを実行する手順をまとめます。 記事中の実行コード: https://github.com/nsakki55/code-for-blogpost/tree/main/sagemaker_training/built-in-algorithm SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライ…
SageMaker Feature Store の使用方法の一連の流れを解説します。 記事中での実行コード github.com Feature Store とは まずはML界隈で知られるFeature Store の概念について説明します。 Feature Store は「機械学習で使用される特徴量の一元管理を行うため…
Amazon Sagemaker Processing を実際にサンプルデータを用いて動かす方法を解説します。 記事中のコード↓ github.com Amazon Sagemaker Processingとは Sagemaker Processing はAWSの機械学習マネージドサービスSageMakerの中で、データの処理・モデルの評価…
