Add 2022.2 results

[FenixFly]

No description provided.

[valentina-kustikova]

@FenixFly, таблица с результатами качества содержит не все результаты. Полный перечень по предыдущей версии здесь.

[valentina-kustikova]

@FenixFly, вопросы по результатам запуска в docker:

1. Модель person-detection-retail-0002 везде не отработала.
2. Модель retinanet-tf местами тоже не отработала.
   В чем причина? Вылетела по таймауту?

[valentina-kustikova]

@FenixFly, вопросы по результатам запуска на хосте:

1. alexnet на i3 на CPU (FP32) в асинхронном режиме вообще не запускалась. Надо запустить.
2. Есть целый набор моделей (vgg16, vgg19, retinanet-tf и другие), для которых результат производительности N\A. Надо разобраться последовательно с каждым запуском, что произошло и по возможности перезапустить эксперименты с этими моделями.

[FenixFly]

@FenixFly, таблица с результатами качества содержит не все результаты. Полный перечень по предыдущей версии здесь.

мы договаривались, что я запускаю тесты качества на tower. Чтобы таблица была такая же, я могу запустить на i7, но придется пересчитывать все, я не могу отдельно CPU тесты выкинуть.

[valentina-kustikova]

@FenixFly, таблица с результатами качества содержит не все результаты. Полный перечень по предыдущей версии здесь.

мы договаривались, что я запускаю тесты качества на tower. Чтобы таблица была такая же, я могу запустить на i7, но придется пересчитывать все, я не могу отдельно CPU тесты выкинуть.

Но в текущем варианте у нас полностью отсутствует качество для ряда моделей. Поэтому придется запускать. А почему нельзя выкинуть тесты на CPU? У меня ведь именно такая была идея, чтобы ускорить процесс валидации.

[FenixFly]

@FenixFly, таблица с результатами качества содержит не все результаты. Полный перечень по предыдущей версии здесь.

мы договаривались, что я запускаю тесты качества на tower. Чтобы таблица была такая же, я могу запустить на i7, но придется пересчитывать все, я не могу отдельно CPU тесты выкинуть.

Но в текущем варианте у нас полностью отсутствует качество для ряда моделей. Поэтому придется запускать. А почему нельзя выкинуть тесты на CPU? У меня ведь именно такая была идея, чтобы ускорить процесс валидации.

Потому что сейчас конфиг для AC это 4000+ строк кода, и понадобится надерное день, чтобы из него исключить CPU тесты, + не факт что получится без ошибок

[valentina-kustikova]

@FenixFly, таблица с результатами качества содержит не все результаты. Полный перечень по предыдущей версии здесь.

мы договаривались, что я запускаю тесты качества на tower. Чтобы таблица была такая же, я могу запустить на i7, но придется пересчитывать все, я не могу отдельно CPU тесты выкинуть.

Но в текущем варианте у нас полностью отсутствует качество для ряда моделей. Поэтому придется запускать. А почему нельзя выкинуть тесты на CPU? У меня ведь именно такая была идея, чтобы ускорить процесс валидации.

Потому что сейчас конфиг для AC это 4000+ строк кода, и понадобится надерное день, чтобы из него исключить CPU тесты, + не факт что получится без ошибок

А поправить конфиг через ConfigMaker не получится?

[FenixFly]

@FenixFly, таблица с результатами качества содержит не все результаты. Полный перечень по предыдущей версии здесь.

мы договаривались, что я запускаю тесты качества на tower. Чтобы таблица была такая же, я могу запустить на i7, но придется пересчитывать все, я не могу отдельно CPU тесты выкинуть.

Но в текущем варианте у нас полностью отсутствует качество для ряда моделей. Поэтому придется запускать. А почему нельзя выкинуть тесты на CPU? У меня ведь именно такая была идея, чтобы ускорить процесс валидации.

Потому что сейчас конфиг для AC это 4000+ строк кода, и понадобится надерное день, чтобы из него исключить CPU тесты, + не факт что получится без ошибок

А поправить конфиг через ConfigMaker не получится?

Конфиг мейкер его открыл, правда слэши портит из линуксовых на виндовые, но да, теперь 140 строк. Попробую через него. Запустил на i7 без CPU тестов.

[FenixFly]

@FenixFly, вопросы по результатам запуска в docker:

1. Модель person-detection-retail-0002 везде не отработала.

2. Модель retinanet-tf местами тоже не отработала.
   В чем причина? Вылетела по таймауту?

retinanet падает уходит в вечный цикл при загрузке (чаще всего в тестах с пачкой 8, но на MYRIAD и с пачкой 1 )
person-detection-retail-0002 сейчас единственная в нашем тестировании intel модель с несколькими входами, подозреваю что что-то сломалось при переходе на OpenVINO API 2.0. Думаю надо вешать issue

[FenixFly]

@valentina-kustikova перезапустил тесты, обновил таблицы для хоста

От ошибок в semantic-segmentation-adas-0001, road-segmentation-adas-0001 и single-image-super-resolution-1033 избавиться не удалось

Start inference test on model: semantic-segmentation-adas-0001
Command line is: python3 /home/itmm/dli-jenkins-worker/dl-benchmark/src/inference/inference_async_mode.py -m /mnt/models/intel/semantic-segmentation-adas-0001/FP16/semantic-segmentation-adas-0001.xml -w /mnt/models/intel/semantic-segmentation-adas-0001/FP16/semantic-segmentation-adas-0001.bin -i /tmp/itlab-vision-dl-benchmark-data/Datasets/Cityscapes -b 8 -d MYRIAD -ni 1000 --raw_output true
[ INFO ] Inference Engine initialization
[ INFO ] Loading model files:
	 /mnt/models/intel/semantic-segmentation-adas-0001/FP16/semantic-segmentation-adas-0001.xml
	 /mnt/models/intel/semantic-segmentation-adas-0001/FP16/semantic-segmentation-adas-0001.bin
[ INFO ] Shape for input layer data: 1x3x1024x2048
[ INFO ] Prepare input data
[ INFO ] Create executable network
[ ERROR ] Traceback (most recent call last):
  File "/home/itmm/dli-jenkins-worker/dl-benchmark/src/inference/inference_async_mode.py", line 215, in main
    compiled_model = utils.compile_model(core, model, args.device, args.priority)
  File "/home/itmm/dli-jenkins-worker/dl-benchmark/src/inference/utils.py", line 119, in compile_model
    compiled_model = core.compile_model(model, device, properties)
  File "/opt/intel/openvino_2022.2.0.7713/python/python3.8/openvino/runtime/ie_api.py", line 387, in compile_model
    super().compile_model(model, device_name, {} if config is None else config),
RuntimeError: Failed to allocate graph: NC_OUT_OF_MEMORY


Creating separate process for the test
Executing process
Start inference test on model: single-image-super-resolution-1033
Command line is: python3 /home/itmm/dli-jenkins-worker/dl-benchmark/src/inference/inference_async_mode.py -m /mnt/models/intel/single-image-super-resolution-1033/FP16/single-image-super-resolution-1033.xml -w /mnt/models/intel/single-image-super-resolution-1033/FP16/single-image-super-resolution-1033.bin -i 0:/tmp/itlab-vision-dl-benchmark-data/Datasets/single-image-super-resolution-1033/input_name_0/img_001_SRF_3_LR.png 1:/tmp/itlab-vision-dl-benchmark-data/Datasets/single-image-super-resolution-1033/input_name_1/img_001_SRF_3_HR.png -b 8 -d MYRIAD -ni 1000 --raw_output true
[ INFO ] Inference Engine initialization
[ INFO ] Loading model files:
	 /mnt/models/intel/single-image-super-resolution-1033/FP16/single-image-super-resolution-1033.xml
	 /mnt/models/intel/single-image-super-resolution-1033/FP16/single-image-super-resolution-1033.bin
[ INFO ] Shape for input layer 0: 1x3x360x640
[ INFO ] Shape for input layer 1: 1x3x1080x1920
[ INFO ] Prepare input data
[ INFO ] Create executable network
[ ERROR ] Traceback (most recent call last):
  File "/home/itmm/dli-jenkins-worker/dl-benchmark/src/inference/inference_async_mode.py", line 215, in main
    compiled_model = utils.compile_model(core, model, args.device, args.priority)
  File "/home/itmm/dli-jenkins-worker/dl-benchmark/src/inference/utils.py", line 119, in compile_model
    compiled_model = core.compile_model(model, device, properties)
  File "/opt/intel/openvino_2022.2.0.7713/python/python3.8/openvino/runtime/ie_api.py", line 387, in compile_model
    super().compile_model(model, device_name, {} if config is None else config),
RuntimeError: Failed to allocate graph: NC_ERROR

[valentina-kustikova]

@FenixFly, а откуда здесь результаты бенчмаркинга onnxruntime?

[FenixFly]

@FenixFly, а откуда здесь результаты бенчмаркинга onnxruntime?

Извиняюсь, они в другой пул-реквест должны попасть

[valentina-kustikova]

@FenixFly, а откуда здесь результаты бенчмаркинга onnxruntime?

Извиняюсь, они в другой пул-реквест должны попасть

Прибей, пожалуйста, здесь, а в пулл-реквесте с результатами onnx снова добавишь.

[FenixFly]

@FenixFly, а откуда здесь результаты бенчмаркинга onnxruntime?

Извиняюсь, они в другой пул-реквест должны попасть

Прибей, пожалуйста, здесь, а в пулл-реквесте с результатами onnx снова добавишь.

убрал