Я знаю, что это было затронуто рядом других вопросов (Невозможно загрузить файлы с помощью модулей pickle и multipile), но я не вижу, как их решения применимы к моей ситуации.
Это моя структура проекта (максимально минимальная):
classify-updater/
├── main.py
└── updater
├── __init__.py
└── updater.py
classify
└── main.py
In classify-updater/main.py
:
import sys
from sklearn.feature_extraction.text import CountVectorizer
from updater.updater import Updater
def main(argv):
vectorizer = CountVectorizer(stop_words='english')
updater = Updater(vectorizer)
updater.update()
if __name__ == "__main__":
main(sys.argv)
In classify-updater/updater/updater.py
:
import dill
class Updater:
def __init__(vectorizer):
vectorizer.preprocessor = lambda doc: doc.text.encode('ascii', 'ignore')
self.vectorizer = vectorizer
def update(self):
pickled_vectorizer = dill.dumps(self.vectorizer)
# Save to Google Cloud Storage
In classify/main.py
import dill
import sys
def main(argv):
# Load from Google Cloud Storage
vectorizer = dill.loads(vectorizer_blob)
if __name__ == "__main__":
main(sys.argv)
Это приводит к ImportError
.
Traceback (most recent call last):
File "classify.py", line 102, in <module>
app.main(sys.argv)
File "classify.py", line 50, in main
vectorizer = self.fetch_vectorizer()
File "classify.py", line 86, in fetch_vectorizer
vectorizer = dill.loads(vectorizer_blob.download_as_string())
File "/usr/local/lib/python2.7/site-packages/dill/dill.py", line 299, in loads
return load(file)
File "/usr/local/lib/python2.7/site-packages/dill/dill.py", line 288, in load
obj = pik.load()
File "/usr/local/Cellar/python/2.7.13_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 864, in load
dispatch[key](self)
File "/usr/local/Cellar/python/2.7.13_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1096, in load_global
klass = self.find_class(module, name)
File "/usr/local/lib/python2.7/site-packages/dill/dill.py", line 445, in find_class
return StockUnpickler.find_class(self, module, name)
File "/usr/local/Cellar/python/2.7.13_1/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1130, in find_class
__import__(module)
ImportError: No module named updater.updater
В другом месте было объяснено, что pickle нуждается в определении класса для загрузки объекта, но я не вижу, откуда берется ссылка на модуль средства обновления, поскольку я обрабатываю только экземпляр векторизатора.
Я сильно упростил этот пример. С точки зрения нашей кодовой базы, эти два пакета довольно далеко друг от друга. Импорт одного модуля в другой может оказаться невозможным. Есть ли способ обойти это?
PYTHONPATH
, а затем импортировать его. Нет обходного пути. Боюсь (насколько мне известно) вам потребуется импортировать программу обновления. - person cs95   schedule 28.07.2017