[TVM] Model converters, tvm_pytorch features and inference tvm #436
Conversation
src/inference/tvm_auxiliary.py
Outdated
| @@ -116,3 +119,6 @@ def prepare_output(result, task, output_names, not_softmax=False): | |||
| else: | |||
| result = softmax(result.asnumpy()) | |||
| return {output_names[0]: result} | |||
| if task == 'detection': | |||
| print(result.asnumpy()) | |||
| return {output_names[0]: result.asnumpy()} | |||
There was a problem hiding this comment.
Предлагаю все изменения с моделями детектирования вынести в отдельный пулл-реквест.
|
@FenixFly, @n-berezina-nn, посмотрите, пожалуйста, текущие изменения, чтобы мы могли залить в основную ветку. |
| target = self.tvm.target.Target(target_str) | ||
| dev = self.tvm.cpu(0) | ||
| else: | ||
| raise ValueError('Another devices are not supported at this moment') |
There was a problem hiding this comment.
| raise ValueError('Another devices are not supported at this moment') | |
| raise ValueError(f'Device {device} is not supported. Supported devices: CPU') |
| dest='input_name') | ||
| parser.add_argument('-d', '--device', | ||
| help='Specify the target device to infer on CPU or ' | ||
| 'NVIDIA_GPU (CPU by default)', |
There was a problem hiding this comment.
Судя по дальнейшему коду поддерживается только CPU. Если это так, то тогда имеет смысл убрать упоминание об NVIDIA GPU из help.
| scripted_model = self.torch.jit.trace(model, input_data).eval() | ||
| return scripted_model | ||
| else: | ||
| log.info(f'Loading model {model_name} from module') |
There was a problem hiding this comment.
большая вложенность кода. возможно имеет смысл разбить на несколько вспомогательных методов.
|
|
||
| elif ((model_path is not None) and (weights is not None)): | ||
| log.info(f'Deserializing network from file ({model_path}, {weights})') | ||
| with warnings.catch_warnings(): |
There was a problem hiding this comment.
Зачем нужно искуственно подавлять warnings? они часто содержат полезную информацию и не влияют на результат. Если для этого нет причин, кроме кажущейся красоты логов, я бы предложила это убрать.
There was a problem hiding this comment.
Убрал подавление warnings
|
Предлагаю использовать один универсальный ланчер tvm с входным параметром типа конвертера, так как в этих ланчерах мало уникальных изменений |
ismukhin
dismissed stale reviews from FenixFly and valentina-kustikova
via
65fa7c9
|
@spartanezka, @FenixFly, @n-berezina-nn, посмотрите, пожалуйста, еще раз. Спасибо! |
|
@ismukhin, поняла, что надо еще обновить |
TODO:
ONNXPyTorchMXNetCaffeTVMCaffe(Python3.7.x)