add onnxruntime python host benchmark

[FenixFly]

No description provided.

[valentina-kustikova]

@FenixFly, два вопроса есть:

1. Где html-таблицы результатов?
2. Ждать здесь результаты для версии 1.16.0 при запуске через докер? По смыслу надо и то, и другое...
3. Почему у моделей стоит формат исходного фреймворка везде pytorch, а не onnx?

[FenixFly]

@valentina-kustikova

1. HTML конвертер не может создавать таблицу для результатов бенчмаркинга ONNX (пример текущей работы пришлю в телерам).
2. 1.16 в докере будут попозже, для этого желательно обновить докер onnx до 1.16

[valentina-kustikova]

@valentina-kustikova

1. HTML конвертер не может создавать таблицу для результатов бенчмаркинга ONNX (пример текущей работы пришлю в телерам).

Ок, надо посмотреть.

2. 1.16 в докере будут попозже, для этого желательно обновить докер onnx до 1.16

Посмотрела таблицы с результатами. Какие-то странные местами скачки есть между моделями. Даже если взять 1.14 на хосте и в докере, по многим моделям расхождение очень небольшое, а по каким-то просто огромное, особенно это видно для int8-моделей. Взять bvlcalexnet-12 с весами int8, запуск на i3, в докере - ~91fps, на хосте - ~156. Я бы поняла, если это наблюдалось на всех таких моделях, но это не так, на последних двух моделях вообще в докер-образе работает быстрее, чем на хосте. Надо посмотреть внимательно на результаты, возможно перезапустить отдельные эксперименты, чтобы разобраться с такими эффектами.

[valentina-kustikova]

@FenixFly, а почему у моделей стоит формат исходного фреймворка везде pytorch, а не onnx?

[FenixFly]

@valentina-kustikova перезапустил бенчмаркинг ONNX, результаты на слабой машине почти не отличаются, на 80-поточном сервере есть отличие, хотя там точно никого не было.

[valentina-kustikova]

@FenixFly, в таблице с результатами запуска в docker-образе не указана информация о вычислительных узлах.

@ismukhin, подскажите, пожалуйста, когда выполняли валидацию onnx-моделей, то они тоже не работали на пачки, большей 1?

[ismukhin]

@FenixFly, в таблице с результатами запуска в docker-образе не указана информация о вычислительных узлах.

@ismukhin, подскажите, пожалуйста, когда выполняли валидацию onnx-моделей, то они тоже не работали на пачки, большей 1?

Я делал запуск по одному изображению. Запуск с пачкой больше 1, вроде как, не проверял.

[valentina-kustikova]

@FenixFly, еще у меня вопрос возник, какая метрика пишется в csv, FPS или Batch FPS?

[ismukhin]

@FenixFly, в таблице с результатами запуска в docker-образе не указана информация о вычислительных узлах.

@ismukhin, подскажите, пожалуйста, когда выполняли валидацию onnx-моделей, то они тоже не работали на пачки, большей 1?

Я проверил - всё работает. Командная строка: python3 ./inference_onnx_runtime.py -m ../../resnet50-v2-7.onnx -i ../../img/apple.JPEG,../../img/bird.JPEG,../../img/ship.JPEG -t classification -b 3

[valentina-kustikova]

@FenixFly, в таблице с результатами запуска в docker-образе не указана информация о вычислительных узлах.
@ismukhin, подскажите, пожалуйста, когда выполняли валидацию onnx-моделей, то они тоже не работали на пачки, большей 1?

Я проверил - всё работает. Командная строка: python3 ./inference_onnx_runtime.py -m ../../resnet50-v2-7.onnx -i ../../img/apple.JPEG,../../img/bird.JPEG,../../img/ship.JPEG -t classification -b 3

@ismukhin, спасибо!

@FenixFly, в этом случае нужно добавить результаты экспериментов с пачками, превышающими 1.

[FenixFly]

@valentina-kustikova Проверил модели из таблицы провалидированных моделей на поддержку. Действительно, модели
mobilenetv2-12 и resnet152-v1-7 поддерживают изменение пачки, поэтому я добавил для них результаты с пачкой 8. Для остальных моделей в коде модели зашит входной шейп [1,3,224,224], и бенчмарк падает когда я пытаюсь на вход подать пачку 8. Еще добавил в таблицу результатов docker названия процессоров вручную.