AWS Glue ワークフローの個人的注意事項

カテゴリ : Glue
公開日 : 2021/07/07 更新日 : 2021/07/07

• ワークフローに組み込むトリガーは、トリガー作成時のみ設定可能。
  作成済みトリガーは組み込めない。
  （設定をコピーしてトリガーを新規作成しそれを組み込む形になる）
• CloudFormationでトリガー作成と同時にワークフローへ組み込むことが可能。
  以下のようなコード。（一部抜粋）
  ワークフローをコードで表現するのは面倒だができなくはない。

  GlueTrigger1:
    Type: AWS::Glue::Trigger
    Properties:
      WorkflowName: 【ワークフロー名】

• マネジメントコンソール上のワークフロー一覧の「最終実行ステータス」や
  ワークフローの履歴内「実行ステータス」に表示される「完了」は、
  ワークフローに組み込まれた最初のトリガー実行が成功したという意味。
  つまり途中のジョブやクローラが失敗しようが「完了」と表示される。
• ただし、履歴内で実行IDを選択し「実行の詳細を表示する」ボタンから詳細を確認すると失敗状況が確認できる。
• 上記のため、ワークフローのステータス監視は現実的ではない。
  ジョブやクローラ単位でEventBridgeから監視する方が比較的良い。 EventBridgeの設定、インフラコードは気が向いたら書く。
• AWS CLIの「get-workflow」でワークフローの設定をJSONで取得できるが、
  読んでも理解しづらいうえにワークフロー作成時に使えるわけでもない。 構成を最初からコード化した方がマシ。

関連

Share