ETL Pipeline基盤整備: 既存コードのコンポーネント化開始 #157
Description
ETL Pipeline基盤整備: 既存コードのコンポーネント化
関連Issue: #154 (ETLの柔軟性向上)
概要
既存のextract.py, transform.py, load.pyの機能をPipelineComponentベースのモジュール化されたコンポーネントに変換します。
実装内容
1. 既存コードのコンポーネント分割
NoteExtractorComponent: Community Notes取得機能PostExtractorComponent: X API Post取得機能DataTransformerComponent: データ変換・AI処理機能DataLoaderComponent: S3アップロード機能
2. 段階的移行戦略
- 既存ファイルをlegacy/ディレクトリに移動
- 新コンポーネントで既存機能を再実装
- 互換性レイヤーの実装
3. 設定対応
- 各コンポーネントの設定パラメータ定義
- 既存設定値との互換性確保
技術要件
- PipelineComponent基底クラス継承
- 既存機能の完全互換性
- 段階的移行可能な設計
- テストカバレッジ維持
受け入れ条件
- 主要コンポーネントクラスが実装されている
- 既存機能が正常に動作する
- 段階的移行が可能
- テストが実装されている
- ドキュメントが更新されている