Я пробую предварительно обученные модели Аллена НЛП для вопросов и ответов.
Онлайн-демонстрация находится здесь: https://demo.allennlp.org/reading-comprehension
Я создал скрипт на Python, чтобы опробовать различные модели.
Вот сводка тестов на моем ноутбуке
- Macbook Pro (2017 г.)
- Четырехъядерный процессор Intel i7 с тактовой частотой 2,9 ГГц
- 16 Гб памяти
| Benchmark | transformer-qa | bidaf-model | bidaf-elmo-model |
|---|---|---|---|
| loading time | 31.6 seconds | 1.6 seconds | 13.8 seconds |
| questions | |||
| Who stars in The Matrix? | 794 ms | 62 ms | 1,798 ms |
| where does polar bear live | 2,211 ms | 96 ms | 7,125 ms |
| how much does a polar bear weigh | 2,435 ms | 98 ms | 7,082 ms |
| what is lightning | 1,361 ms | 69 ms | 3,173 ms |
| How many lightning bolts strike earth | 1,019 ms | 47 ms | 2,885 ms |
Глядя на результат, я вижу, что все 3 модели дают хорошие ответы. Мне нравится модель transformer-qa, но для ее предсказания требуется время (порядка секунд).
Есть ли способ ускорить время предсказания?
Благодарность!
