nsakki55 のアウトプットブログ

MLエンジニアの技術周りの備忘録です

「推薦システム実践入門」を読みました

「推薦システム実践入門」を読んだので、感想・各章の内容についてまとめてみます www.oreilly.co.jp 全体を通しての感想 著者の方々が現役のデータサイエンティスト・MLエンジニアというだけあり、サブタイトルの「仕事で使える導入ガイド」に相応しい「実…

AWS Certified Machine Learning - Specialtyを受けた感想と勉強内容

AWS

AWS Certified Machine Learning – Specialty(以下、MLS)を取得したので、MLエンジニアに取って役に立つ試験なのか、自分の勉強手順について書いてみます。 AWS Certified Machine Learning – Specialty mls icon AWS認定試験のうち、AWS上で機械学習を用い…

SageMakerでハイパーパラメータチューニングをWarmStartで実行してみる

SageMaker Hyperparameter Tuning JobでWarm Startを実行してみます 本文中のコードです github.com 目次 目次 データセット・モデル SageMaker Hyperparameter Tuningについて Estimator作成 学習データの準備 学習スクリプト Estimatorクラスの作成 親Tuni…

SageMakerでさくっとABテスト環境を作ってみる

特徴量の異なる2つの予測モデルのABテスト環境を、SageMaeker推論エンドポイントを用いて作ってみます。 本文中のコードです github.com 目次 目次 データ・モデル 学習 データ準備 学習スクリプト 学習ジョブの実行 モデル登録 推論スクリプト モデル登録 …

実行中のECS TaskのCloudWatchログを標準出力し、タスクの正常終了を判定する

本文中のコードです github.com やりたいこと boto3 で実行したECS Taskが成功・失敗したか実行側で判定したい ECS Task のCloud Watchログをポーリングし続けて、実行ログを標準出力し続けたい 実装したコード task_arn, ecs_cluster を引数に受け取り、ECS…

SageMaker で学習ジョブを実行する ~独自コンテナ~

SageMaker で学習ジョブを実行する ~独自スクリプト~ - nsakki55 のアウトプットブログの続きです 記事中のコード github.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライブラリをコンテナベースで管理し、学習に必要なイン…

SageMaker で学習ジョブを実行する ~独自スクリプト~

SageMaker で学習ジョブを実行する ~組み込みアルゴリズム~ - nsakki55 のアウトプットブログの続きの内容です 記事中のコード github.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なスクリプトやライブラリをコンテナベースで管理し、学習…

SageMaker で学習ジョブを実行する ~組み込みアルゴリズム~

SageMaker で学習ジョブを実行する手順をまとめます。 記事中の実行コード https://github.com/nsakki55/code-for-blogpost/blob/main/sagemaker_training/built-in-algorithm.ipynbgithub.com SagaMaker を用いたモデルの学習 SageMaker では学習に必要なス…

SageMaker Feature Store を使ってみる

SageMaker Feature Store の使用方法の一連の流れを解説します。 記事中での実行コード github.com Feature Store とは まずはML界隈で知られるFeature Store の概念について説明します。 Feature Store は「機械学習で使用される特徴量の一元管理を行うため…

Sagemaker Processing 解説

Amazon Sagemaker Processing を実際にサンプルデータを用いて動かす方法を解説します。 記事中のコード↓ github.com Amazon Sagemaker Processingとは Sagemaker Processing はAWSの機械学習マネージドサービスSageMakerの中で、データの処理・モデルの評価…

Digdag の条件式に変数を使用する場合の注意点

やりたいこと Digdag では条件式を用いて、タスクを分岐させることができます。 if>: Conditional execution — Digdag 0.10.4 documentation 公式ドキュメントでは, if>: {boolean} として条件分義を行うように指示があります。 +run_if_param_is_false: if>…

digdagのタスク間で変数を受け渡す方法

やりたいこと digdag ではタスク内部で使用する変数を _export を用いて定義します。あるタスクで設定した変数を、次のタスクに受け渡すやり方の実現方法に困ったので書き留めておきます。 具体的に実現したいことを説明するために、_exportで定義した変数を…

python のプライベート変数を使う場面

private 変数とは? Python には外部からアクセスができない厳密な意味で private な機能は用意されていません。 代わりに、アンダースコアを属性名の先頭につけることで、プログラマに private な属性であることを明示する機構があります。 PEP8 の命名方法…

pymock でモック化した関数の特定の引数の値を取得する方法

pymock でモック化した際に、モックが呼び出された時の特定の引数の値を取得する機会があったのでやり方を紹介します。 やりたいこと 以下のような、外部で定義した関数(例: calc_sum)を呼び出す処理を行うメソッド(例: process_{one, two})をテストする際に…

setup.py をg++で明示的にコンパイルする

Mac で g++ でコンパイルされた setup.py を実行しようとすると、clang でコンパイルされ困ったので、解決策を書き留めておきます。 ハマった内容 Cython で書かれた python パッケージを setup.py でインストールする際に、Mac の Xcode 付属のclang がコン…

これからエンジニアとしてのキャリアを歩み始める自分が、「情熱プログラマー」を読んでみての所感

情熱プログラマー ソフトウェア開発者の幸せな生き方 | Chad Fowler, でびあんぐる |本 | 通販 | Amazon エンジニアなら読んでおけと言われ、名著と名高い「情熱プログラマー」を読んだ感想です。 自分は元々大学の学部では物理学を学んでいて、アルバイトで…