ETL Pipeline 設定ファイルフォーマット確定

[yu23ki14]

ETL Pipeline 設定ファイルフォーマット確定

関連Issue: #154 (ETLの柔軟性向上)

概要

パイプライン実行とフィルタリングの設定ファイルフォーマットを確定し、実用的な設定例を作成します。

実装内容

1. パイプライン設定フォーマット定義

pipeline_name: "language_first_pattern"
components:
  - name: "note_extractor"
    type: "NoteExtractorComponent"
    config:
      days_ago: 7
  - name: "language_filter"
    type: "LanguageFilterComponent"
    config:
      target_languages: ["ja"]

2. フィルタ設定フォーマット定義

filter_presets:
  japanese_healthcare:
    - type: "language"
      params:
        target_languages: ["ja"]
    - type: "keyword"
      params:
        keywords: ["医療", "健康", "ワクチン"]

3. 実用的な設定例作成

• 言語優先パターン設定
• 全取得パターン設定
• カスタムフィルタ組み合わせ例

技術要件

• YAMLスキーマ定義
• 設定検証ルール
• デフォルト値設定
• 環境変数置換対応

受け入れ条件

• 設定ファイルスキーマが定義されている
• 実用的な設定例が作成されている
• 設定検証機能が実装されている
• ドキュメントが整備されている