/export/mt/ws99/tools/bin/corpus_analyze.prl run by on Mon Aug 2 20:50:55 1999 Analysis of rd_lem_norm-train.snt: ================================================================================ CORPUS DATA: rd_lem_norm-train.snt contains 39947 sentences (39786 unique). -------------------------------------------------------------------------------- TOKENS TYPES (C > 1)* -------------------------------------------------------------------------------- SOURCE: rd_lem_norm-train.snt 542759 27642 (16469) TARGET: rd_lem_norm-train.snt 658374 28623 (16541) -------------------------------------------------------------------------------- *The number of types which appear more than once. ================================================================================ CO-OCCURENCE DATA: -------------------------------------------------------------------------------- TOTAL UNIQUE (C > 1)* -------------------------------------------------------------------------------- rd_lem_norm-train.snt 10435991 2751017 (753625) -------------------------------------------------------------------------------- *The number of co-occurences which appear more than once. ================================================================================ SENTENCE LENGTH DATA: -------------------------------------------------------------------------------- rd_lem_norm-train.snt SOURCE: AVERAGE SENTENCE LENGTH: 13.5869777455128 LENGTH COUNT (* = 38 SENTENCES) 1 : 167 **** 2 : 604 *************** 3 : 763 ******************** 4 : 1017 ************************** 5 : 1397 ************************************ 6 : 1591 ***************************************** 7 : 1720 ********************************************* 8 : 1921 ************************************************** 9 : 2143 ******************************************************** 10 : 2242 *********************************************************** 11 : 2237 ********************************************************** 12 : 2233 ********************************************************** 13 : 2262 *********************************************************** 14 : 2262 *********************************************************** 15 : 2217 ********************************************************** 16 : 2098 ******************************************************* 17 : 1994 **************************************************** 18 : 1827 ************************************************ 19 : 1589 ***************************************** 20 : 1460 ************************************** 21 : 1224 ******************************** 22 : 1072 **************************** 23 : 930 ************************ 24 : 719 ****************** 25 : 628 **************** 26 : 448 *********** 27 : 353 ********* 28 : 260 ****** 29 : 217 ***** 30 : 184 **** TARGET: AVERAGE SENTENCE LENGTH: 16.4811875735349 LENGTH COUNT (* = 38 SENTENCES) 1 : 54 * 2 : 225 ***** 3 : 510 ************* 4 : 609 **************** 5 : 829 ********************* 6 : 1133 ***************************** 7 : 1275 ********************************* 8 : 1500 *************************************** 9 : 1508 *************************************** 10 : 1667 ******************************************* 11 : 1733 ********************************************* 12 : 1833 ************************************************ 13 : 1811 *********************************************** 14 : 1812 *********************************************** 15 : 1785 ********************************************** 16 : 1852 ************************************************ 17 : 1789 *********************************************** 18 : 1799 *********************************************** 19 : 1734 ********************************************* 20 : 1647 ******************************************* 21 : 1624 ****************************************** 22 : 1575 ***************************************** 23 : 1452 ************************************** 24 : 1378 ************************************ 25 : 1285 ********************************* 26 : 1274 ********************************* 27 : 1110 ***************************** 28 : 1046 *************************** 29 : 983 ************************* 30 : 950 ************************* ================================================================================