В IBM DSX у меня есть экземпляр службы spark, на котором я установил несколько более новых версий пакетов, таких как numpy.
У меня возникла проблема с импортом numpy. Следующий код:
import numpy
вызывает это сообщение об ошибке:
ImportError: /gpfs/fs01/user/USERID/.local/lib/python2.7/site-packages/numpy/core/multiarray.so: undefined symbol: PyUnicodeUCS2_AsUTF8String
Раньше импорт работал.
Это происходит из-за несоответствия представления символов Unicode между используемым Python и импортируемым пакетом. Решение состоит в том, чтобы использовать модули расширения, скомпилированные с двоичным файлом Python, созданным с использованием того же размера для символов Unicode. Вы можете обновить пакеты Python2, установленные в блокнотах IBM Data Science Expereince, следующим образом:
!pip freeze --user > requirements.txt
!while read p; do pip install --user "${p}" --ignore-installed ; done <./requirements.txt
Перезапустите ядро ноутбука в качестве меры предосторожности.
