nsakki55 のアウトプットブログ

MLエンジニアの技術周りの備忘録です

AWS

AWS Certified Machine Learning - Specialtyを受けた感想と勉強内容

AWS

AWS Certified Machine Learning – Specialty(以下、MLS)を取得したので、MLエンジニアに取って役に立つ試験なのか、自分の勉強手順について書いてみます。 AWS Certified Machine Learning – Specialty mls icon AWS認定試験のうち、AWS上で機械学習を用い…

SageMakerでハイパーパラメータチューニングをWarmStartで実行してみる

SageMaker Hyperparameter Tuning JobでWarm Startを実行してみます 本文中のコードです github.com 目次 目次 データセット・モデル SageMaker Hyperparameter Tuningについて Estimator作成 学習データの準備 学習スクリプト Estimatorクラスの作成 親Tuni…

SageMakerでさくっとABテスト環境を作ってみる

特徴量の異なる2つの予測モデルのABテスト環境を、SageMaeker推論エンドポイントを用いて作ってみます。 本文中のコードです github.com 目次 目次 データ・モデル 学習 データ準備 学習スクリプト 学習ジョブの実行 モデル登録 推論スクリプト モデル登録 …

実行中のECS TaskのCloudWatchログを標準出力し、タスクの正常終了を判定する

本文中のコードです github.com やりたいこと boto3 で実行したECS Taskが成功・失敗したか実行側で判定したい ECS Task のCloud Watchログをポーリングし続けて、実行ログを標準出力し続けたい 実装したコード task_arn, ecs_cluster を引数に受け取り、ECS…

SageMaker で学習ジョブを実行する ~独自コンテナ~

SageMaker で学習ジョブを実行する ~独自スクリプト~ - nsakki55 のアウトプットブログの続きです 記事中のコード github.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライブラリをコンテナベースで管理し、学習に必要なイン…

SageMaker で学習ジョブを実行する ~独自スクリプト~

SageMaker で学習ジョブを実行する ~組み込みアルゴリズム~ - nsakki55 のアウトプットブログの続きの内容です 記事中のコード github.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライブラリをコンテナベースで管理し、学習…

SageMaker で学習ジョブを実行する ~組み込みアルゴリズム~

SageMaker で学習ジョブを実行する手順をまとめます。 記事中の実行コード https://github.com/nsakki55/code-for-blogpost/blob/main/sagemaker_training/built-in-algorithm.ipynbgithub.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なス…

SageMaker Feature Store を使ってみる

SageMaker Feature Store の使用方法の一連の流れを解説します。 記事中での実行コード github.com Feature Store とは まずはML界隈で知られるFeature Store の概念について説明します。 Feature Store は「機械学習で使用される特徴量の一元管理を行うため…

Sagemaker Processing 解説

Amazon Sagemaker Processing を実際にサンプルデータを用いて動かす方法を解説します。 記事中のコード↓ github.com Amazon Sagemaker Processingとは Sagemaker Processing はAWSの機械学習マネージドサービスSageMakerの中で、データの処理・モデルの評価…