Update Robots.txt generator (#2356)

* Update Robots.txt generator

* touchups

* Updated robots.txt

Author: pglombardo

lib/tasks/pwpush.rake

@@ -107,24 +107,14 @@ end
 desc "Generate robots.txt."
 task generate_robots_txt: :environment do
   include Rails.application.routes.url_helpers
-  contents = "User-Agent: *\n"
+  contents = "User-agent: *\n"
   contents += "Disallow: /p/\n"
   contents += "Disallow: /f/\n"
   contents += "Disallow: /r/\n"
   contents += "Allow: /p/new\n"
   contents += "Allow: /f/new\n"
   contents += "Allow: /r/new\n"
-
-  I18n.available_locales.each do |locale|
-    contents += "Disallow: /#{locale}/p/\n"
-    contents += "Disallow: /#{locale}/f/\n"
-    contents += "Disallow: /#{locale}/r/\n"
-    I18n.with_locale(locale) do
-      contents += "Allow: #{new_password_path}\n"
-      contents += "Allow: #{new_file_push_path}\n"
-      contents += "Allow: #{new_url_path}\n"
-    end
-  end
+  contents += "Allow: /pages/\n"
 
   File.write("./public/robots.txt", contents)
 

public/robots.txt

@@ -1,181 +1,8 @@
-User-Agent: *
+User-agent: *
 Disallow: /p/
 Disallow: /f/
 Disallow: /r/
 Allow: /p/new
 Allow: /f/new
 Allow: /r/new
-Disallow: /ca/p/
-Disallow: /ca/f/
-Disallow: /ca/r/
-Allow: /ca/p/nou
-Allow: /ca/f/nou
-Allow: /ca/r/nou
-Disallow: /cs/p/
-Disallow: /cs/f/
-Disallow: /cs/r/
-Allow: /cs/p/Nov%C3%BD
-Allow: /cs/f/Nov%C3%BD
-Allow: /cs/r/Nov%C3%BD
-Disallow: /da/p/
-Disallow: /da/f/
-Disallow: /da/r/
-Allow: /da/p/ny
-Allow: /da/f/ny
-Allow: /da/r/ny
-Disallow: /de/p/
-Disallow: /de/f/
-Disallow: /de/r/
-Allow: /de/p/neu
-Allow: /de/f/neu
-Allow: /de/r/neu
-Disallow: /en/p/
-Disallow: /en/f/
-Disallow: /en/r/
-Allow: /en/p/new
-Allow: /en/f/new
-Allow: /en/r/new
-Disallow: /es/p/
-Disallow: /es/f/
-Disallow: /es/r/
-Allow: /es/p/nuevo
-Allow: /es/f/nuevo
-Allow: /es/r/nuevo
-Disallow: /fi/p/
-Disallow: /fi/f/
-Disallow: /fi/r/
-Allow: /fi/p/Uusi
-Allow: /fi/f/Uusi
-Allow: /fi/r/Uusi
-Disallow: /fr/p/
-Disallow: /fr/f/
-Disallow: /fr/r/
-Allow: /fr/p/nouveau
-Allow: /fr/f/nouveau
-Allow: /fr/r/nouveau
-Disallow: /hi/p/
-Disallow: /hi/f/
-Disallow: /hi/r/
-Allow: /hi/p/%E0%A4%A8%E0%A4%AF%E0%A4%BE
-Allow: /hi/f/%E0%A4%A8%E0%A4%AF%E0%A4%BE
-Allow: /hi/r/%E0%A4%A8%E0%A4%AF%E0%A4%BE
-Disallow: /hu/p/
-Disallow: /hu/f/
-Disallow: /hu/r/
-Allow: /hu/p/%C3%BAj
-Allow: /hu/f/%C3%BAj
-Allow: /hu/r/%C3%BAj
-Disallow: /id/p/
-Disallow: /id/f/
-Disallow: /id/r/
-Allow: /id/p/baru
-Allow: /id/f/baru
-Allow: /id/r/baru
-Disallow: /is/p/
-Disallow: /is/f/
-Disallow: /is/r/
-Allow: /is/p/n%C3%BDr
-Allow: /is/f/n%C3%BDr
-Allow: /is/r/n%C3%BDr
-Disallow: /it/p/
-Disallow: /it/f/
-Disallow: /it/r/
-Allow: /it/p/nuovo
-Allow: /it/f/nuovo
-Allow: /it/r/nuovo
-Disallow: /ja/p/
-Disallow: /ja/f/
-Disallow: /ja/r/
-Allow: /ja/p/%E6%96%B0%E3%81%97%E3%81%84
-Allow: /ja/f/%E6%96%B0%E3%81%97%E3%81%84
-Allow: /ja/r/%E6%96%B0%E3%81%97%E3%81%84
-Disallow: /ko/p/
-Disallow: /ko/f/
-Disallow: /ko/r/
-Allow: /ko/p/%EC%83%88%EB%A1%9C%EC%9A%B4
-Allow: /ko/f/%EC%83%88%EB%A1%9C%EC%9A%B4
-Allow: /ko/r/%EC%83%88%EB%A1%9C%EC%9A%B4
-Disallow: /lv/p/
-Disallow: /lv/f/
-Disallow: /lv/r/
-Allow: /lv/p/jauns
-Allow: /lv/f/jauns
-Allow: /lv/r/jauns
-Disallow: /nl/p/
-Disallow: /nl/f/
-Disallow: /nl/r/
-Allow: /nl/p/nieuw
-Allow: /nl/f/nieuw
-Allow: /nl/r/nieuw
-Disallow: /no/p/
-Disallow: /no/f/
-Disallow: /no/r/
-Allow: /no/p/ny
-Allow: /no/f/ny
-Allow: /no/r/ny
-Disallow: /pl/p/
-Disallow: /pl/f/
-Disallow: /pl/r/
-Allow: /pl/p/nowy
-Allow: /pl/f/nowy
-Allow: /pl/r/nowy
-Disallow: /pt-BR/p/
-Disallow: /pt-BR/f/
-Disallow: /pt-BR/r/
-Allow: /pt-br/p/novo
-Allow: /pt-br/f/novo
-Allow: /pt-br/r/novo
-Disallow: /pt-PT/p/
-Disallow: /pt-PT/f/
-Disallow: /pt-PT/r/
-Allow: /pt-pt/p/novo
-Allow: /pt-pt/f/novo
-Allow: /pt-pt/r/novo
-Disallow: /ro/p/
-Disallow: /ro/f/
-Disallow: /ro/r/
-Allow: /ro/p/nou
-Allow: /ro/f/nou
-Allow: /ro/r/nou
-Disallow: /ru/p/
-Disallow: /ru/f/
-Disallow: /ru/r/
-Allow: /ru/p/%D0%BD%D0%BE%D0%B2%D1%8B%D0%B9
-Allow: /ru/f/%D0%BD%D0%BE%D0%B2%D1%8B%D0%B9
-Allow: /ru/r/%D0%BD%D0%BE%D0%B2%D1%8B%D0%B9
-Disallow: /sr/p/
-Disallow: /sr/f/
-Disallow: /sr/r/
-Allow: /sr/p/%D0%9D%D0%BE%D0%B2%D0%B0
-Allow: /sr/f/%D0%9D%D0%BE%D0%B2%D0%B0
-Allow: /sr/r/%D0%9D%D0%BE%D0%B2%D0%B0
-Disallow: /sv/p/
-Disallow: /sv/f/
-Disallow: /sv/r/
-Allow: /sv/p/ny
-Allow: /sv/f/ny
-Allow: /sv/r/ny
-Disallow: /th/p/
-Disallow: /th/f/
-Disallow: /th/r/
-Allow: /th/p/%E0%B9%83%E0%B8%AB%E0%B8%A1%E0%B9%88
-Allow: /th/f/%E0%B9%83%E0%B8%AB%E0%B8%A1%E0%B9%88
-Allow: /th/r/%E0%B9%83%E0%B8%AB%E0%B8%A1%E0%B9%88
-Disallow: /uk/p/
-Disallow: /uk/f/
-Disallow: /uk/r/
-Allow: /uk/p/%D0%BD%D0%BE%D0%B2%D0%B8%D0%B9
-Allow: /uk/f/%D0%BD%D0%BE%D0%B2%D0%B8%D0%B9
-Allow: /uk/r/%D0%BD%D0%BE%D0%B2%D0%B8%D0%B9
-Disallow: /ur/p/
-Disallow: /ur/f/
-Disallow: /ur/r/
-Allow: /ur/p/%D9%86%D8%A6%DB%8C
-Allow: /ur/f/%D9%86%D8%A6%DB%8C
-Allow: /ur/r/%D9%86%D8%A6%DB%8C
-Disallow: /zh-CN/p/
-Disallow: /zh-CN/f/
-Disallow: /zh-CN/r/
-Allow: /zh-cn/p/%E6%96%B0%E7%9A%84
-Allow: /zh-cn/f/%E6%96%B0%E7%9A%84
-Allow: /zh-cn/r/%E6%96%B0%E7%9A%84
+Allow: /pages/