错误 mkl-service + Intel(R) MKL MKL_THREADING_LAYER=INTEL is incompatible with libgomp.so.1 ... 解决方案

本文最后更新于:2022年8月5日 晚上

当使用pytorch 多卡训练时可能会报错 mkl-service + Intel(R) MKL MKL_THREADING_LAYER=INTEL is incompatible ...,本文记录解决方案。

问题原因

出现问题的条件

  • 在 pytorch 1.5 + 以上的版本
  • 在多卡训练
  • 在import torch 在 import numpy 之前

原因

如果在 numpy 之前导入了 torch,那么这里的子进程将获得一个 GNU 线程层(即使父进程没有定义变量)

但是如果 numpy 在 Torch 之前被导入,子进程将获得一个 INTEL 线程层,这种情况会导致线程之间打架

  • 错误信息
1
Error: mkl-service + Intel® MKL: MKL_THREADING_LAYER=INTEL is incompatible with libgomp.so.1 library. Try to import numpy first or set the threading layer accordingly. Set MKL_SERVICE_FORCE_INTEL to force it.

解决方案

方案一

降级pytorch

  • 降级 pytorch 到1.5 一下

方案二

谁会接受降级啊

使用单卡训练

方案三

单卡batch size 不够大啊

  • 在python 程序入口 import numpy
  • 可以极大程度上减少 error 信息输出

方案四

正儿八经的

  • 在环境变量添加
1
'MKL_SERVICE_FORCE_INTEL' = '1'

Linux 中

1
export MKL_SERVICE_FORCE_INTEL=1

可以使得程序继续运行,但错误信息还是会报

  • 再加入
1
'MKL_THREADING_LAYER' = 'GNU' 

据说可以避免报错

参考资料


错误 mkl-service + Intel(R) MKL MKL_THREADING_LAYER=INTEL is incompatible with libgomp.so.1 ... 解决方案
https://www.zywvvd.com/notes/study/deep-learning/bug-fix/mkl-service-err-message/mkl-service-err-message/
作者
Yiwei Zhang
发布于
2021年8月19日
许可协议