A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | Model | Best Layer | WMT16 To-English Pearson Correlation | Rank | Max Length | |||||||||||||||||||||
2 | bert-base-uncased | 9 | 0.6925 | 51 | 510 | |||||||||||||||||||||
3 | bert-large-uncased | 18 | 0.7210 | 28 | 510 | |||||||||||||||||||||
4 | bert-base-cased-finetuned-mrpc | 9 | 0.6722 | 74 | 510 | |||||||||||||||||||||
5 | bert-base-multilingual-cased | 9 | 0.6681 | 81 | 510 | |||||||||||||||||||||
6 | roberta-base | 10 | 0.7063 | 38 | 510 | |||||||||||||||||||||
7 | roberta-large | 17 | 0.7386 | 20 | 510 | |||||||||||||||||||||
8 | roberta-large-mnli | 19 | 0.7536 | 6 | 510 | |||||||||||||||||||||
9 | roberta-base-openai-detector | 7 | 0.7048 | 41 | 510 | |||||||||||||||||||||
10 | roberta-large-openai-detector | 15 | 0.7463 | 14 | 510 | |||||||||||||||||||||
11 | xlnet-base-cased | 5 | 0.6630 | 86 | 1000000000000 | |||||||||||||||||||||
12 | xlnet-large-cased | 7 | 0.6599 | 87 | 1000000000000 | |||||||||||||||||||||
13 | xlm-mlm-en-2048 | 6 | 0.6513 | 103 | 510 | |||||||||||||||||||||
14 | xlm-mlm-100-1280 | 10 | 0.6475 | 108 | 510 | |||||||||||||||||||||
15 | scibert-scivocab-uncased | 8 | 0.6590 | 89 | 510 | |||||||||||||||||||||
16 | scibert-scivocab-cased | 9 | 0.6536 | 98 | 510 | |||||||||||||||||||||
17 | scibert-basevocab-uncased | 9 | 0.6749 | 72 | 510 | |||||||||||||||||||||
18 | scibert-basevocab-cased | 9 | 0.6525 | 102 | 510 | |||||||||||||||||||||
19 | distilroberta-base | 5 | 0.6798 | 63 | 510 | |||||||||||||||||||||
20 | distilbert-base-uncased | 5 | 0.6757 | 68 | 510 | |||||||||||||||||||||
21 | distilbert-base-uncased-distilled-squad | 4 | 0.6718 | 75 | 510 | |||||||||||||||||||||
22 | distilbert-base-multilingual-cased | 5 | 0.6178 | 126 | 510 | |||||||||||||||||||||
23 | albert-base-v1 | 10 | 0.6542 | 97 | 510 | |||||||||||||||||||||
24 | albert-large-v1 | 17 | 0.6756 | 69 | 510 | |||||||||||||||||||||
25 | albert-xlarge-v1 | 16 | 0.7032 | 43 | 510 | |||||||||||||||||||||
26 | albert-xxlarge-v1 | 8 | 0.7509 | 10 | 510 | |||||||||||||||||||||
27 | albert-base-v2 | 9 | 0.6682 | 80 | 510 | |||||||||||||||||||||
28 | albert-large-v2 | 14 | 0.7009 | 44 | 510 | |||||||||||||||||||||
29 | albert-xlarge-v2 | 13 | 0.7317 | 23 | 510 | |||||||||||||||||||||
30 | albert-xxlarge-v2 | 8 | 0.7505 | 11 | 510 | |||||||||||||||||||||
31 | xlm-roberta-base | 9 | 0.6507 | 104 | 510 | |||||||||||||||||||||
32 | xlm-roberta-large | 17 | 0.6942 | 48 | 510 | |||||||||||||||||||||
33 | google/electra-small-generator | 9 | 0.6659 | 82 | 510 | |||||||||||||||||||||
34 | google/electra-small-discriminator | 11 | 0.6535 | 100 | 510 | |||||||||||||||||||||
35 | google/electra-base-generator | 10 | 0.6730 | 73 | 510 | |||||||||||||||||||||
36 | google/electra-base-discriminator | 9 | 0.7032 | 42 | 510 | |||||||||||||||||||||
37 | google/electra-large-generator | 18 | 0.6813 | 61 | 510 | |||||||||||||||||||||
38 | google/electra-large-discriminator | 14 | 0.6897 | 55 | 510 | |||||||||||||||||||||
39 | google/bert_uncased_L-2_H-128_A-2 | 1 | 0.5888 | 133 | 510 | |||||||||||||||||||||
40 | google/bert_uncased_L-2_H-256_A-4 | 1 | 0.6115 | 130 | 510 | |||||||||||||||||||||
41 | google/bert_uncased_L-2_H-512_A-8 | 1 | 0.6177 | 127 | 510 | |||||||||||||||||||||
42 | google/bert_uncased_L-2_H-768_A-12 | 2 | 0.6191 | 123 | 510 | |||||||||||||||||||||
43 | google/bert_uncased_L-4_H-128_A-2 | 3 | 0.6076 | 131 | 510 | |||||||||||||||||||||
44 | google/bert_uncased_L-4_H-256_A-4 | 3 | 0.6205 | 121 | 510 | |||||||||||||||||||||
45 | google/bert_uncased_L-4_H-512_A-8 | 3 | 0.6375 | 117 | 510 | |||||||||||||||||||||
46 | google/bert_uncased_L-4_H-768_A-12 | 3 | 0.6562 | 94 | 510 | |||||||||||||||||||||
47 | google/bert_uncased_L-6_H-128_A-2 | 5 | 0.6200 | 122 | 510 | |||||||||||||||||||||
48 | google/bert_uncased_L-6_H-256_A-4 | 5 | 0.6278 | 120 | 510 | |||||||||||||||||||||
49 | google/bert_uncased_L-6_H-512_A-8 | 5 | 0.6420 | 113 | 510 | |||||||||||||||||||||
50 | google/bert_uncased_L-6_H-768_A-12 | 5 | 0.6762 | 66 | 510 | |||||||||||||||||||||
51 | google/bert_uncased_L-8_H-128_A-2 | 7 | 0.6187 | 124 | 510 | |||||||||||||||||||||
52 | google/bert_uncased_L-8_H-256_A-4 | 7 | 0.6448 | 110 | 510 | |||||||||||||||||||||
53 | google/bert_uncased_L-8_H-512_A-8 | 6 | 0.6490 | 105 | 510 | |||||||||||||||||||||
54 | google/bert_uncased_L-8_H-768_A-12 | 7 | 0.6705 | 77 | 510 | |||||||||||||||||||||
55 | google/bert_uncased_L-10_H-128_A-2 | 8 | 0.6127 | 129 | 510 | |||||||||||||||||||||
56 | google/bert_uncased_L-10_H-256_A-4 | 8 | 0.6376 | 116 | 510 | |||||||||||||||||||||
57 | google/bert_uncased_L-10_H-512_A-8 | 9 | 0.6579 | 93 | 510 | |||||||||||||||||||||
58 | google/bert_uncased_L-10_H-768_A-12 | 8 | 0.6861 | 56 | 510 | |||||||||||||||||||||
59 | google/bert_uncased_L-12_H-128_A-2 | 10 | 0.6184 | 125 | 510 | |||||||||||||||||||||
60 | google/bert_uncased_L-12_H-256_A-4 | 11 | 0.6374 | 118 | 510 | |||||||||||||||||||||
61 | google/bert_uncased_L-12_H-512_A-8 | 10 | 0.6588 | 91 | 510 | |||||||||||||||||||||
62 | google/bert_uncased_L-12_H-768_A-12 | 9 | 0.6759 | 67 | 510 | |||||||||||||||||||||
63 | amazon/bort | 0 | 0.4193 | 140 | 510 | |||||||||||||||||||||
64 | facebook/bart-base | 6 | 0.7122 | 32 | 1022 | |||||||||||||||||||||
65 | facebook/bart-large | 10 | 0.7449 | 15 | 1022 | |||||||||||||||||||||
66 | facebook/bart-large-cnn | 10 | 0.7393 | 19 | 1022 | |||||||||||||||||||||
67 | facebook/bart-large-mnli | 11 | 0.7532 | 7 | 1022 | |||||||||||||||||||||
68 | facebook/bart-large-xsum | 9 | 0.7496 | 13 | 1022 | |||||||||||||||||||||
69 | t5-small | 6 | 0.6814 | 60 | 511 | |||||||||||||||||||||
70 | t5-base | 11 | 0.7096 | 34 | 511 | |||||||||||||||||||||
71 | t5-large | 23 | 0.7244 | 27 | 511 | |||||||||||||||||||||
72 | vinai/bertweet-base | 9 | 0.6529 | 101 | 126 | |||||||||||||||||||||
73 | microsoft/deberta-base | 9 | 0.7088 | 36 | 510 | |||||||||||||||||||||
74 | microsoft/deberta-base-mnli | 9 | 0.7395 | 17 | 510 | |||||||||||||||||||||
75 | microsoft/deberta-large | 16 | 0.7512 | 9 | 510 | |||||||||||||||||||||
76 | microsoft/deberta-large-mnli | 18 | 0.7736 | 3 | 510 | |||||||||||||||||||||
77 | microsoft/deberta-xlarge | 18 | 0.7569 | 5 | 510 | |||||||||||||||||||||
78 | microsoft/deberta-xlarge-mnli | 40 | 0.7781 | 1 | 510 | |||||||||||||||||||||
79 | YituTech/conv-bert-base | 10 | 0.7058 | 39 | 510 | |||||||||||||||||||||
80 | YituTech/conv-bert-small | 10 | 0.6544 | 95 | 510 | |||||||||||||||||||||
81 | YituTech/conv-bert-medium-small | 9 | 0.6590 | 90 | 510 | |||||||||||||||||||||
82 | microsoft/mpnet-base | 8 | 0.7250 | 26 | 510 | |||||||||||||||||||||
83 | squeezebert/squeezebert-uncased | 9 | 0.6544 | 96 | 510 | |||||||||||||||||||||
84 | squeezebert/squeezebert-mnli | 9 | 0.6655 | 83 | 510 | |||||||||||||||||||||
85 | squeezebert/squeezebert-mnli-headless | 9 | 0.6655 | 83 | 510 | |||||||||||||||||||||
86 | tuner007/pegasus_paraphrase | 15 | 0.7188 | 30 | 59 | |||||||||||||||||||||
87 | google/pegasus-large | 8 | 0.6396 | 115 | 1023 | |||||||||||||||||||||
88 | google/pegasus-xsum | 11 | 0.6837 | 58 | 511 | |||||||||||||||||||||
89 | sshleifer/tiny-mbart | 2 | 0.0282 | 141 | 1022 | |||||||||||||||||||||
90 | facebook/mbart-large-cc25 | 12 | 0.6583 | 92 | 1022 | |||||||||||||||||||||
91 | facebook/mbart-large-50 | 12 | 0.6465 | 109 | 1022 | |||||||||||||||||||||
92 | facebook/mbart-large-en-ro | 12 | 0.6791 | 64 | 1022 | |||||||||||||||||||||
93 | facebook/mbart-large-50-many-to-many-mmt | 12 | 0.6904 | 53 | 1022 | |||||||||||||||||||||
94 | facebook/mbart-large-50-one-to-many-mmt | 12 | 0.6848 | 57 | 1022 | |||||||||||||||||||||
95 | allenai/led-base-16384 | 6 | 0.7122 | 31 | 16382 | |||||||||||||||||||||
96 | facebook/blenderbot_small-90M | 7 | 0.6489 | 106 | 512 | |||||||||||||||||||||
97 | facebook/blenderbot-400M-distill | 2 | 0.5875 | 134 | 127 | |||||||||||||||||||||
98 | microsoft/prophetnet-large-uncased | 4 | 0.5865 | 135 | 511 | |||||||||||||||||||||
99 | microsoft/prophetnet-large-uncased-cnndm | 7 | 0.6478 | 107 | 511 | |||||||||||||||||||||
100 | microsoft/xprophetnet-large-wiki100-cased | 7 | 0.5852 | 136 | 511 |