ETL Pipeline 基本フィルタ実装: Language, Keyword, Status フィルタ

[yu23ki14]

ETL Pipeline 基本フィルタ実装

関連Issue: #154 (ETLの柔軟性向上)

概要

Post取得コスト削減のための基本的なフィルタクラス（Language, Keyword, Status）を実装します。

実装内容

1. LanguageFilter実装

• AIサービスを使用した言語検出
• 対象言語での絞り込み
• バッチ処理対応

2. KeywordFilter実装

• テキストマッチング機能
• 正規表現対応
• 大文字小文字の区別設定

3. StatusFilter実装

• Community Note ステータスでの絞り込み
• HELPFUL, NOT_HELPFUL, NEEDS_MORE_RATINGS対応

4. 設定ファイル対応

filter_presets:
  japanese_only:
    - type: "language"
      params:
        target_languages: ["ja"]

技術要件

• Filter基底クラス継承
• 設定ファイル対応
• AI連携機能
• エラーハンドリング

受け入れ条件

• LanguageFilterが実装されている
• KeywordFilterが実装されている
• StatusFilterが実装されている
• 設定ファイルからの設定読み込みができる
• 各フィルタの単体テストが実装されている