возврат массивов numpy через pybind11

Несколько комментариев (потом рабочая реализация).

• Обертки объектов C ++ в pybind11 вокруг типов Python (например, pybind11::object, pybind11::list и, в данном случае, pybind11::array_t<T>) на самом деле являются просто оболочками вокруг указателя на базовый объект Python. В этом отношении они уже берут на себя роль обертки общего указателя, и поэтому нет смысла заключать это в unique_ptr: возврат объекта py::array_t<T> напрямую уже по сути просто возвращает прославленный указатель.
• pybind11::array_t может быть сконструирован непосредственно из указателя данных, поэтому вы можете пропустить py::buffer_info промежуточный шаг и просто передать форму и шаги непосредственно конструктору pybind11::array_t. Созданный таким образом массив numpy не будет владеть своими собственными данными, он будет просто ссылаться на них (то есть для флага numpy owndata будет установлено значение false).
• Владение памятью может быть привязано к сроку службы объекта Python, но вы все еще находитесь на крючке, чтобы правильно освободить память. Pybind11 предоставляет класс py::capsule, который поможет вам в этом. Что вы хотите сделать, так это сделать так, чтобы массив numpy зависел от этой капсулы в качестве родительского класса, указав его в качестве аргумента base для array_t. Это заставит массив numpy ссылаться на него, сохраняя его живым, пока сам массив жив, и вызовет функцию очистки, когда на него больше не ссылаются.
• Флаг c_style в более старых (до 2.2) выпусках влиял только на новые массивы, т.е. когда не передавался указатель значения. Это было исправлено в версии 2.2, чтобы также повлиять на автоматические шаги, если вы укажете только формы, но не шаги. Это не имеет никакого эффекта, если вы сами укажете шаги (как я это делаю в приведенном ниже примере).

Итак, сложив части вместе, этот код представляет собой полный модуль pybind11, который демонстрирует, как вы можете выполнить то, что ищете (и включает некоторые выходные данные C ++, чтобы продемонстрировать, что действительно работает правильно):

#include <iostream>
#include <pybind11/pybind11.h>
#include <pybind11/numpy.h>

namespace py = pybind11;

PYBIND11_PLUGIN(numpywrap) {
    py::module m("numpywrap");
    m.def("f", []() {
        // Allocate and initialize some data; make this big so
        // we can see the impact on the process memory use:
        constexpr size_t size = 100*1000*1000;
        double *foo = new double[size];
        for (size_t i = 0; i < size; i++) {
            foo[i] = (double) i;
        }

        // Create a Python object that will free the allocated
        // memory when destroyed:
        py::capsule free_when_done(foo, [](void *f) {
            double *foo = reinterpret_cast<double *>(f);
            std::cerr << "Element [0] = " << foo[0] << "\n";
            std::cerr << "freeing memory @ " << f << "\n";
            delete[] foo;
        });

        return py::array_t<double>(
            {100, 1000, 1000}, // shape
            {1000*1000*8, 1000*8, 8}, // C-style contiguous strides for double
            foo, // the data pointer
            free_when_done); // numpy array references this parent
    });
    return m.ptr();
}

Его компиляция и вызов из Python показывает, что он работает:

>>> import numpywrap
>>> z = numpywrap.f()
>>> # the python process is now taking up a bit more than 800MB memory
>>> z[1,1,1]
1001001.0
>>> z[0,0,100]
100.0
>>> z[99,999,999]
99999999.0
>>> z[0,0,0] = 3.141592
>>> del z
Element [0] = 3.14159
freeing memory @ 0x7fd769f12010
>>> # python process memory size has dropped back down