特徴量の異なる2つの予測モデルのABテスト環境を、SageMaeker推論エンドポイントを用いて作ってみます。 本文中のコードです github.com 目次 目次 データ・モデル 学習 データ準備 学習スクリプト 学習ジョブの実行 モデル登録 推論スクリプト モデル登録 …

本文中のコードです github.com やりたいこと boto3 で実行したECS Taskが成功・失敗したか実行側で判定したい ECS Task のCloud Watchログをポーリングし続けて、実行ログを標準出力し続けたい 実装したコード task_arn, ecs_cluster を引数に受け取り、ECS…

SageMaker で学習ジョブを実行する ~独自スクリプト~ - nsakki55 のアウトプットブログの続きです 記事中のコード github.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライブラリをコンテナベースで管理し、学習に必要なイン…

SageMaker で学習ジョブを実行する ~組み込みアルゴリズム~ - nsakki55 のアウトプットブログの続きの内容です 記事中のコード github.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライブラリをコンテナベースで管理し、学習…

SageMaker で学習ジョブを実行する手順をまとめます。 記事中の実行コード: https://github.com/nsakki55/code-for-blogpost/tree/main/sagemaker_training/built-in-algorithm SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライ…

SageMaker Feature Store の使用方法の一連の流れを解説します。 記事中での実行コード github.com Feature Store とは まずはML界隈で知られるFeature Store の概念について説明します。 Feature Store は「機械学習で使用される特徴量の一元管理を行うため…

Amazon Sagemaker Processing を実際にサンプルデータを用いて動かす方法を解説します。 記事中のコード↓ github.com Amazon Sagemaker Processingとは Sagemaker Processing はAWSの機械学習マネージドサービスSageMakerの中で、データの処理・モデルの評価…

やりたいこと Digdag では条件式を用いて、タスクを分岐させることができます。 if>: Conditional execution — Digdag 0.10.4 documentation 公式ドキュメントでは, if>: {boolean} として条件分義を行うように指示があります。 +run_if_param_is_false: if>…

やりたいこと digdag ではタスク内部で使用する変数を _export を用いて定義します。あるタスクで設定した変数を、次のタスクに受け渡すやり方の実現方法に困ったので書き留めておきます。 具体的に実現したいことを説明するために、_exportで定義した変数を…

private 変数とは？ Python には外部からアクセスができない厳密な意味で private な機能は用意されていません。 代わりに、アンダースコアを属性名の先頭につけることで、プログラマに private な属性であることを明示する機構があります。 PEP8 の命名方法…

pymock でモック化した際に、モックが呼び出された時の特定の引数の値を取得する機会があったのでやり方を紹介します。 やりたいこと 以下のような、外部で定義した関数(例: calc_sum)を呼び出す処理を行うメソッド(例: process_{one, two})をテストする際に…

Mac で g++ でコンパイルされた setup.py を実行しようとすると、clang でコンパイルされ困ったので、解決策を書き留めておきます。 ハマった内容 Cython で書かれた python パッケージを setup.py でインストールする際に、Mac の Xcode 付属のclang がコン…

情熱プログラマー ソフトウェア開発者の幸せな生き方 | Chad Fowler, でびあんぐる |本 | 通販 | Amazon エンジニアなら読んでおけと言われ、名著と名高い「情熱プログラマー」を読んだ感想です。 自分は元々大学の学部では物理学を学んでいて、アルバイトで…