ETL Pipeline統合: main.py設定駆動実行への改修

[yu23ki14]

ETL Pipeline統合: main.py設定駆動実行への改修

関連Issue: #154 (ETLの柔軟性向上)

概要

現在の固定処理フローから設定ファイルベースの動的パイプライン実行に変更するため、main.pyを改修します。

実装内容

1. main.py改修

def main():
    config_name = sys.argv[1] if len(sys.argv) > 1 else "default"
    config = load_pipeline_config(config_name)
    
    executor = PipelineExecutor(config)
    executor.execute()

2. 設定ファイル例作成

• config/pipeline_configs/language_first.yaml
• config/pipeline_configs/post_first.yaml
• config/pipeline_configs/default.yaml

3. 既存コードの移行完了

• legacy/ディレクトリへの移動完了
• 新システムでの動作確認

4. AWS CDK対応

• 環境変数での設定指定対応
• コンテナ実行時の設定注入

技術要件

• 既存機能の互換性維持
• AWS環境での実行対応
• 設定検証機能
• 詳細なログ出力

受け入れ条件

• main.pyが設定駆動型に改修されている
• 設定ファイル例が作成されている
• 既存機能が正常に動作する
• AWS CDK環境での実行ができる
• ドキュメントが更新されている
• 統合テストが実装されている