ETL Pipeline Extract段階でのフィルタ統合 #161
Description
ETL Pipeline Extract段階でのフィルタ統合
関連Issue: #154 (ETLの柔軟性向上)
概要
Extract段階でCommunity Noteのフィルタリングを行い、フィルタ済みのNoteに対してのみPost取得を実行する機能を実装します。
実装内容
1. NoteExtractorComponentの拡張
- フィルタ統合機能
- フィルタ結果のログ出力
- フィルタ前後の件数比較
2. PostExtractorComponentの改修
- フィルタ済みNote IDリストでの取得
- API呼び出し最適化
- コスト効率の改善
3. フィルタ実行フロー
Notes取得 → フィルタ適用 → フィルタ済みNotes → Post取得
技術要件
- 既存Extract機能との互換性
- フィルタチェーンの統合
- API呼び出し削減効果の測定
- ログ機能の充実
受け入れ条件
- Extract段階でのフィルタリングが実装されている
- フィルタ済みNoteに対するPost取得が動作する
- API呼び出し削減効果が確認できる
- 詳細なログが出力される
- 統合テストが実装されている