概要 PrefectではFlow内部で別のFlowを実行する、Sub Flowという概念があります。 Flows - Prefect Docs 例えばMLの学習パイプラインを 学習データの取得 前処理 学習 のように処理に分ける場合、各処理を1つのFlowとしてグループ化できます。 Sub Flowを呼…

概要 PrefectではInfrastructure blockにECS Task Blockを指定することで、FlowをECS Taskで実行することができます。 本記事では、FlowをECS Taskで実行する2パターンの手順を紹介します。 本文中コード: https://github.com/nsakki55/prefect-ecs-task-flo…

本文中のコードです github.com やりたいこと boto3 で実行したECS Taskが成功・失敗したか実行側で判定したい ECS Task のCloud Watchログをポーリングし続けて、実行ログを標準出力し続けたい 実装したコード task_arn, ecs_cluster を引数に受け取り、ECS…