Changing data folder structure

Author: apiad

score.py score_test.py

@@ -81,8 +81,9 @@ def update(dict_1, dict_2):
         submit = os.path.join(sys.argv[1], 'res')
         output = sys.argv[2]
     else:
-        gold = 'gold'
-        submit = 'submit'
+        print('(!) Using `trial/submit` as test files and `trial/gold` as reference files.')
+        gold = 'trial/gold'
+        submit = 'trial/submit'
         output = '.'
 
     totals1 = collections.defaultdict(lambda: 0)
@@ -102,9 +103,9 @@ def update(dict_1, dict_2):
             scenario3 = evaluate_3(name, gold, submit)
             update(scenario3, totals3)
 
-    pprint.pprint(('Scenario 1', totals1))
-    pprint.pprint(('Scenario 2', totals2))
-    pprint.pprint(('Scenario 3', totals3))
+    # pprint.pprint(('Scenario 1', totals1))
+    # pprint.pprint(('Scenario 2', totals2))
+    # pprint.pprint(('Scenario 3', totals3))
 
     correct_1 = sum([totals1['correct_A'], totals1['correct_B'], totals1['correct_C'], 0.5 * totals1['partial_A']])
     subtotal_1 = sum([totals1['partial_A'], totals1['correct_A'], totals1['correct_B'], totals1['incorrect_B'], totals1['correct_C']])
@@ -129,6 +130,17 @@ def update(dict_1, dict_2):
 
     macro = sum([abc_f1, bc_f1, c_f1]) / 3
 
+    print('abc_prec:%.5f' % abc_prec)
+    print('abc_rec:%.5f' % abc_rec)
+    print('abc_f1:%.5f' % abc_f1)
+    print('bc_prec:%.5f' % bc_prec)
+    print('bc_rec:%.5f' % bc_rec)
+    print('bc_f1:%.5f' % bc_f1)
+    print('c_prec:%.5f' % c_prec)
+    print('c_rec:%.5f' % c_rec)
+    print('c_f1:%.5f' % c_f1)
+    print('macro:%.5f' % macro)
+
     with open(os.path.join(output, 'scores.txt'), 'w') as fp:
         fp.write('abc_prec:%.5f\n'% abc_prec)
         fp.write('abc_rec:%.5f\n' % abc_rec)

evaluate.py score_training.py

@@ -167,13 +167,10 @@ def evaluate_links(gold_links_file, dev_links_file, sentences, gold_phrases, dev
     print("F1: %.2f" % f1)
 
 
-def evaluate(file):
-    gold = sys.argv[1] if len(sys.argv) > 1 else "gold"
-    dev = sys.argv[2] if len(sys.argv) > 2 else "dev"
-
-    input_file = abspath(join(gold, 'input_%s.txt' % file))
-    gold_phrases_file = abspath(join(gold, 'output_A_%s.txt' % file))
-    dev_phrases_file = abspath(join(dev, 'output_A_%s.txt' % file))
+def evaluate(file, folder):
+    input_file = abspath(join(folder, 'input', 'input_%s.txt' % file))
+    gold_phrases_file = abspath(join(folder, 'gold', 'output_A_%s.txt' % file))
+    dev_phrases_file = abspath(join(folder, 'dev', 'output_A_%s.txt' % file))
 
     if not exists(input_file):
         raise ValueError("Input file '%s' not found." % input_file)
@@ -186,8 +183,8 @@ def evaluate(file):
 
     l = evaluate_phrases(input_file, gold_phrases_file, dev_phrases_file)
 
-    gold_labels_file = abspath(join(gold, 'output_B_%s.txt' % file))
-    dev_labels_file = abspath(join(dev, 'output_B_%s.txt' % file))
+    gold_labels_file = abspath(join(folder, 'gold', 'output_B_%s.txt' % file))
+    dev_labels_file = abspath(join(folder, 'dev', 'output_B_%s.txt' % file))
 
     if not exists(gold_labels_file):
         raise ValueError("Gold phrases file '%s' not found." % gold_phrases_file)
@@ -197,8 +194,8 @@ def evaluate(file):
     else:
         evaluate_labels(gold_labels_file, dev_labels_file, *l)
 
-    ref_links_file = abspath(join(gold, 'output_C_%s.txt' % file))
-    eval_links_file = abspath(join(dev, 'output_C_%s.txt' % file))
+    ref_links_file = abspath(join(folder, 'gold', 'output_C_%s.txt' % file))
+    eval_links_file = abspath(join(folder, 'dev', 'output_C_%s.txt' % file))
 
     if not exists(eval_links_file):
         print("\n(!) Skipping Task C: file '%s' not found. Assuming task is not completed yet." % eval_links_file)
@@ -207,9 +204,8 @@ def evaluate(file):
 
 
 if __name__ == '__main__':
-    gold = sys.argv[1] if len(sys.argv) > 1 else "gold"
-    dev = sys.argv[2] if len(sys.argv) > 2 else "dev"
+    folder = sys.argv[1] if len(sys.argv) > 1 else "training"
 
-    for fname in os.listdir(gold):
+    for fname in os.listdir(os.path.join(folder, 'input')):
         if fname.startswith("input_"):
-            evaluate(fname[6:-4])
+            evaluate(fname[6:-4], folder)

dev/.gitkeep test/input/scenario1-ABC/.gitkeep

@@ -0,0 +1,31 @@
+Un aborto es un procedimiento para interrumpir un embarazo.
+Se utilizan medicinas o cirugía para retirar el embrión o el feto y la placenta del útero.
+El procedimiento es realizado por un profesional de la salud con licencia.
+La decisión de interrumpir un embarazo es muy personal.
+Si piensa someterse a un aborto, la mayoría de los profesionales de la salud sugieren asesoría psicológica.
+
+La adopción lleva un hijo nacido de unos padres, a una nueva familia.
+Los padres naturales pueden tener muchos motivos para dar a sus hijos en adopción.
+Al final, suele ser porque desean una vida para sus niños que sea mejor que la que ellos pudieran ofrecerles.
+Los niños elegibles para ser adoptados provienen de muchos entornos distintos.
+Algunos están en hogares sustitutos, que son hogares temporales.
+Otros niños viven en orfanatos o con familiares naturales, hasta que puedan ser adoptados.
+Existen diferentes tipos de adopción.
+Si la adopción es internacional o nacional, dependerá si el niño nació dentro de los Estados Unidos o no.
+
+El cáncer comienza en las células, que constituyen los ladrillos del cuerpo.
+Normalmente, el cuerpo forma células nuevas a medida que se necesitan para reemplazar a las células envejecidas que mueren.
+Algunas veces, este proceso no resulta ser el esperado.
+Crecen células nuevas que no son necesarias y las células envejecidas no mueren cuando deberían.
+Estas células adicionales pueden formar una masa llamada tumor.
+Los tumores pueden ser benignos o malignos. Los tumores benignos no son cáncer, mientras que los malignos sí lo son.
+Las células de los tumores malignos pueden invadir los tejidos cercanos.
+También pueden desprenderse y diseminarse a otras partes del cuerpo.
+El cáncer no es solo una enfermedad, sino varias.
+Existen más de 100 tipos de cáncer.
+La mayoría de éstos se nombran por su lugar de origen.
+Por ejemplo, el cáncer de pulmón comienza en el pulmón y el cáncer de seno comienza en el seno.
+La diseminación de un cáncer desde una parte del cuerpo a otra se denomina metástasis.
+Los síntomas y el tratamiento dependen del tipo de cáncer y de lo avanzada que esté la enfermedad.
+La mayoría de los tratamientos incluye cirugía, radiación y/o quimioterapia.
+Algunos pueden también incluir terapia hormonal, inmunoterapia u otros tipos de terapia biológica, o trasplante de células madre.

testing/scenario1-ABC/.gitkeep test/input/scenario2-BC/.gitkeep

@@ -0,0 +1,31 @@
+Un aborto es un procedimiento para interrumpir un embarazo.
+Se utilizan medicinas o cirugía para retirar el embrión o el feto y la placenta del útero.
+El procedimiento es realizado por un profesional de la salud con licencia.
+La decisión de interrumpir un embarazo es muy personal.
+Si piensa someterse a un aborto, la mayoría de los profesionales de la salud sugieren asesoría psicológica.
+
+La adopción lleva un hijo nacido de unos padres, a una nueva familia.
+Los padres naturales pueden tener muchos motivos para dar a sus hijos en adopción.
+Al final, suele ser porque desean una vida para sus niños que sea mejor que la que ellos pudieran ofrecerles.
+Los niños elegibles para ser adoptados provienen de muchos entornos distintos.
+Algunos están en hogares sustitutos, que son hogares temporales.
+Otros niños viven en orfanatos o con familiares naturales, hasta que puedan ser adoptados.
+Existen diferentes tipos de adopción.
+Si la adopción es internacional o nacional, dependerá si el niño nació dentro de los Estados Unidos o no.
+
+El cáncer comienza en las células, que constituyen los ladrillos del cuerpo.
+Normalmente, el cuerpo forma células nuevas a medida que se necesitan para reemplazar a las células envejecidas que mueren.
+Algunas veces, este proceso no resulta ser el esperado.
+Crecen células nuevas que no son necesarias y las células envejecidas no mueren cuando deberían.
+Estas células adicionales pueden formar una masa llamada tumor.
+Los tumores pueden ser benignos o malignos. Los tumores benignos no son cáncer, mientras que los malignos sí lo son.
+Las células de los tumores malignos pueden invadir los tejidos cercanos.
+También pueden desprenderse y diseminarse a otras partes del cuerpo.
+El cáncer no es solo una enfermedad, sino varias.
+Existen más de 100 tipos de cáncer.
+La mayoría de éstos se nombran por su lugar de origen.
+Por ejemplo, el cáncer de pulmón comienza en el pulmón y el cáncer de seno comienza en el seno.
+La diseminación de un cáncer desde una parte del cuerpo a otra se denomina metástasis.
+Los síntomas y el tratamiento dependen del tipo de cáncer y de lo avanzada que esté la enfermedad.
+La mayoría de los tratamientos incluye cirugía, radiación y/o quimioterapia.
+Algunos pueden también incluir terapia hormonal, inmunoterapia u otros tipos de terapia biológica, o trasplante de células madre.

testing/scenario2-BC/.gitkeep test/input/scenario3-C/.gitkeep

@@ -0,0 +1,31 @@
+Un aborto es un procedimiento para interrumpir un embarazo.
+Se utilizan medicinas o cirugía para retirar el embrión o el feto y la placenta del útero.
+El procedimiento es realizado por un profesional de la salud con licencia.
+La decisión de interrumpir un embarazo es muy personal.
+Si piensa someterse a un aborto, la mayoría de los profesionales de la salud sugieren asesoría psicológica.
+
+La adopción lleva un hijo nacido de unos padres, a una nueva familia.
+Los padres naturales pueden tener muchos motivos para dar a sus hijos en adopción.
+Al final, suele ser porque desean una vida para sus niños que sea mejor que la que ellos pudieran ofrecerles.
+Los niños elegibles para ser adoptados provienen de muchos entornos distintos.
+Algunos están en hogares sustitutos, que son hogares temporales.
+Otros niños viven en orfanatos o con familiares naturales, hasta que puedan ser adoptados.
+Existen diferentes tipos de adopción.
+Si la adopción es internacional o nacional, dependerá si el niño nació dentro de los Estados Unidos o no.
+
+El cáncer comienza en las células, que constituyen los ladrillos del cuerpo.
+Normalmente, el cuerpo forma células nuevas a medida que se necesitan para reemplazar a las células envejecidas que mueren.
+Algunas veces, este proceso no resulta ser el esperado.
+Crecen células nuevas que no son necesarias y las células envejecidas no mueren cuando deberían.
+Estas células adicionales pueden formar una masa llamada tumor.
+Los tumores pueden ser benignos o malignos. Los tumores benignos no son cáncer, mientras que los malignos sí lo son.
+Las células de los tumores malignos pueden invadir los tejidos cercanos.
+También pueden desprenderse y diseminarse a otras partes del cuerpo.
+El cáncer no es solo una enfermedad, sino varias.
+Existen más de 100 tipos de cáncer.
+La mayoría de éstos se nombran por su lugar de origen.
+Por ejemplo, el cáncer de pulmón comienza en el pulmón y el cáncer de seno comienza en el seno.
+La diseminación de un cáncer desde una parte del cuerpo a otra se denomina metástasis.
+Los síntomas y el tratamiento dependen del tipo de cáncer y de lo avanzada que esté la enfermedad.
+La mayoría de los tratamientos incluye cirugía, radiación y/o quimioterapia.
+Algunos pueden también incluir terapia hormonal, inmunoterapia u otros tipos de terapia biológica, o trasplante de células madre.

testing/scenario3-C/.gitkeep test/submit/scenario1-ABC/.gitkeep

@@ -0,0 +1,145 @@
+1	35	46
+2	50	58
+3	3	9
+5	72	81
+6	84	91
+7	108	115
+8	121	125
+9	131	139
+10	144	149
+11	97	104
+12	63	71
+13	188	199
+15	171	180
+16	154	167
+17	216	224
+18	256	264
+19	241	252
+20	272	280
+21	229	237
+22	368	376
+24	333	346
+26	307	313
+27	292	301
+28	359	367
+29	285	291
+30	394	402
+31	412	416
+32	417	423
+33	432	438
+34	452	459
+35	446	451
+36	403	408
+37	465	471
+39	515	518
+40	525	530
+41	534	542
+42	489	494
+43	502	509
+44	658	663
+45	713	721
+46	722	731
+48	693	702
+49	750	768
+50	778	796
+51	804	809
+52	819	828
+53	810	815
+54	835	845
+55	874	877
+56	878	887
+57	917	925
+58	908	913
+59	933	941
+60	945	958
+61	961	969
+62	1012	1026
+63	987	991
+64	992	997
+65	971	980
+66	1037	1043
+67	1044	1052
+68	1060	1067
+71	1103	1109
+70	1127	1133
+72	1140	1147
+73	1140	1154
+74	1134	1139
+75	1203	1210
+76	1203	1222
+77	1227	1233
+78	1186	1196
+79	1364	1370
+80	1298	1305
+81	1306	1312
+82	1320	1323
+83	1324	1334
+84	1341	1348
+85	1349	1360
+86	1291	1297
+87	1421	1427
+88	1432	1436
+89	1445	1450
+90	1394	1401
+93	1475	1483
+94	1486	1494
+92	1456	1463
+96	1520	1523
+97	1524	1530
+98	1549	1557
+101	1612	1619
+102	1573	1580
+103	1624	1631
+108	1885	1893
+109	1900	1906
+110	1942	1946
+112	1927	1935
+113	1912	1918
+115	1868	1874
+116	1951	1963
+117	1970	1976
+118	2023	2033
+121	2122	2132
+122	2039	2047
+123	2053	2064
+124	2065	2073
+126	2152	2164
+127	2165	2172
+128	2173	2180
+129	2182	2191
+130	2196	2209
+131	2234	2241
+132	2242	2258
+133	2260	2273
+134	2291	2308
+135	2312	2322
+136	2326	2339
+137	368	388
+4	16	29
+14	188	211
+23	465	481
+38	741	746
+114	1868	1884
+111	1912	1926
+138	2291	2298
+139	2282	2287
+140	2242	2249
+141	778	785
+142	750	757
+143	333	358
+25	706	712
+69	664	673
+144	683	692
+47	733	740
+145	846	855
+91	1402	1413
+146	1500	1507
+95	1500	1516
+99	1588	1595
+147	1588	1604
+100	1632	1640
+104	2014	2022
+105	2086	2092
+106	2078	2082
+107	2101	2109
+119	2326	2333