Scrapping of Letni kino MDB #67
Conversation
- Scrapper downloads pdf from program page then runs pdftotext on it
and parse information eventually.
- Pyocr was not possible to use due to wrong parsing of image
- There is binary of pdftotext which was compiled on Heroku and added
to the source code
|
Díky moc! 🎈 Přidal jsem CONTRIBUTING.md, ať si tu můžeme povídat česky. Tohle vypadá hodně dobře! Škoda, že by nevyšlo nějaké to OCR, protože těch "obrázkových" kin bylo víc (jsou někde zahrabané v issues). Prozkoumám to a dám vědět. Na Heroku by šel snad připravit nějaký speciální |
|
Chtěl jsem scrapnout další a narazil jsem na to samé, totiž, že to mají často jako obrázek. Zkoušel jsem si s Tesseractem hrát, ale i pro černý text na bílém pozadí to začne být v určité velikosti písma problém (např. 5/s, l/1 a podobné), nemluvě o horším kontrastu (purpurová - černá). |
|
Tak kontrast by šel ještě upravit přes nějaký filtr a grafickou knihovnu, ale ta špatná písmenka, to už je horší. Muselo by se to důsledně protáhnout přes fuzzywuzzy a normalizovat na existující název filmu (což se stejně plánuje, kina mívají na stránkách překlepy, chybné názvy, nebo to všechno píšou CAPSLOCKem). Potom je otázkou, zda se s takovou chybou vypořádá referenční vyhledávání (čti vyhledávání na ČSFD). No a na jemný pokus se zdá, že asi jo :-) Takže cesta by to možná, možná byla! |
|
Dívali jsme se na to i na sprintu a bavili se o tom, ale zatím je to u ledu, protože letní kina jsou nyní pasé a není momentálně žádné další kino, které by mělo program jako obrázek (původně byly dvě). Jak se nějaké objeví, začne to být opět aktuální, protože pro tyto případy nezafunguje #93. |
I found this article (http://theprogrammingbutler.com/blog/archives/2011/07/28/running-pdftotext-on-heroku/) about running pdf to text on heroku.
I tried some other possibilities like python libs dedicated to parsing pdf but the layout of result was broken.