Skip to content

Truncation problem in span classifier inference (& long documents) #635

@bigabig

Description

@bigabig

Aktuell werden lange Dokumente bei Inference vom Span Classifier truncated. D.h. lange Dokumente werden ggf. nicht vollständig analysiert! Truncation ist mittels Chunking schon beim Training korrekt gelöst, vielleicht können wir die Logik einfach bei der Inference übernehmen

Metadata

Metadata

Assignees

No one assigned

    Labels

    backendThis issue is related to the backend

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions