我一直在使用TensorRT和TensorFlow-TRT来加速我的DL算法的推理。
然后我听说了:
两者“似乎”加速了DL。但是我很难理解它们。谁能简单地向我解释它们?像这样:
TensorRT:这是NVIDIA开发的库。它优化了GPU中的推理。这样可提供低延迟,高吞吐量并减少内存消耗。
谢谢
Trax
是Google创建的深度学习框架,并由Google Brain团队广泛使用。它配备作为替代TensorFlow
,并PyTorch
当谈到实现艺术的现成的,货架状态深度学习模型,例如变压器,伯特等,原则上对于自然语言处理领域。
Trax
建立在TensorFlow
和之上JAX
。JAX
是Numpy的增强和优化版本。关于JAX
和的重要区别NumPy
是,前者使用称为XLA(高级线性代数)的库,该库允许在NumPy
代码上运行代码GPU
,TPU
而不是CPU
像在普通代码上运行代码那样运行代码NumPy
,从而加快了计算速度。
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句