Как использовать привязку для передачи функции-члена в качестве указателя на функцию?

Вы пытаетесь передать экземпляр класса, где ожидается указатель на функцию, хотя такого преобразования не существует.

Вы можете сделать что-то вроде этого:

class ProgramMessageHandler
{
  static void  myMessageHandler(QtMsgType, const QMessageLogContext &, const QString &);
};

в main.cpp (например):

...
qInstallMessageHandler(ProgramMessageHander::myMessageHandler);
...

Вам все еще, возможно, придется иметь дело с некоторыми проблемами, как в одноэлементных классах, но я думаю, что имеет смысл иметь один обработчик сообщений или, по крайней мере, один диспетчер, который каким-то образом перенаправлял бы разные сообщения соответствующим обработчикам. Надеюсь это поможет

Результатом std::bind является объект функции, и, как говорится в сообщении об ошибке, вы не можете преобразовать объект функции в указатель функции. Указатель функции не может хранить указатель this, как std::function, вы не можете просто «заставить его туда».

Единственный способ сделать что-то близкое к тому, что вы хотите, — это использовать синглтон для хранения указателя this:

class ProgramMessageHandler {
private:
  static ProgramMessageHandler* currentHandler;
  void handleMessagesImpl(const std::string& message);
public:
  void setAsMessageHandlerForProgram(){
    currentHandler = this;
    qInstallMessageHandler(handleMessages);
  }
  static void handleMessages(const std::string& message) { 
    if (currentHandler) 
      currentHandler->handleMessagesImpl(message);
  }
};

ProgramMessageHandler* ProgramMessageHandler::currentHandler = nullptr;

int main() {
  ProgramMessageHandler handler;
  handler.setAsMessageHandlerForProgram();

  // trigger messages...
}

Прямая демонстрация.