Туннелирование HTTPS-прокси с модулем ssl

Это должно работать, если строка CONNECT переписана следующим образом:

CONNECT = "CONNECT %s:%s HTTP/1.0\r\nConnection: close\r\n\r\n" % (server, port)

Не уверен, почему это работает, но, возможно, это как-то связано с используемым мной прокси. Вот пример кода:

from OpenSSL import SSL
import socket

def verify_cb(conn, cert, errun, depth, ok):
        return True

server = 'mail.google.com'
port = 443
PROXY_ADDR = ("proxy.example.com", 3128)
CONNECT = "CONNECT %s:%s HTTP/1.0\r\nConnection: close\r\n\r\n" % (server, port)

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(PROXY_ADDR)
s.send(CONNECT)
print s.recv(4096)      

ctx = SSL.Context(SSL.SSLv23_METHOD)
ctx.set_verify(SSL.VERIFY_PEER, verify_cb)
ss = SSL.Connection(ctx, s)

ss.set_connect_state()
ss.do_handshake()
cert = ss.get_peer_certificate()
print cert.get_subject()
ss.shutdown()
ss.close()

Обратите внимание, как сначала открывается сокет, а затем открытый сокет помещается в контекст SSL. Затем я вручную инициализирую рукопожатие SSL. И вывод:

HTTP/1.1 200 Соединение установлено

‹X509Имя объекта '/C=US/ST=California/L=Mountain View/O=Google Inc/CN=mail.google.com'›

Он основан на pyOpenSSL, потому что мне также нужно было получить недействительные сертификаты, а встроенный модуль ssl Python всегда будет пытаться проверить сертификат, если он получен.

Судя по API библиотеки OpenSSL и GnuTLS, наложение SSLSocket на SSLSocket на самом деле невозможно напрямую, поскольку они предоставляют специальные функции чтения/записи для реализации шифрования, которые они не могут использовать сами при обертывании уже существующего SSLSocket. .

Таким образом, ошибка вызвана тем, что внутренний SSLSocket читает напрямую из системного сокета, а не из внешнего SSLSocket. Это заканчивается отправкой данных, не принадлежащих внешнему сеансу SSL, что заканчивается плохо и наверняка никогда не возвращает действительный ServerHello.

Делая вывод из этого, я бы сказал, что нет простого способа реализовать то, что вы (и, собственно, я) хотели бы достичь.

Наконец-то мне удалось расширить ответы @kravietz и @02strich.

Вот код

import threading
import select
import socket
import ssl

server = 'mail.google.com'
port = 443
PROXY = ("localhost", 4433)
CONNECT = "CONNECT %s:%s HTTP/1.0\r\nConnection: close\r\n\r\n" % (server, port)


class ForwardedSocket(threading.Thread):
    def __init__(self, s, **kwargs):
        threading.Thread.__init__(self)
        self.dest = s
        self.oursraw, self.theirsraw = socket.socketpair(socket.AF_UNIX, socket.SOCK_STREAM)
        self.theirs = socket.socket(_sock=self.theirsraw)
        self.start()
        self.ours = ssl.wrap_socket(socket.socket(_sock=self.oursraw), **kwargs)

    def run(self):
        rl, wl, xl = select.select([self.dest, self.theirs], [], [], 1)
        print rl, wl, xl
        # FIXME write may block
        if self.theirs in rl:
            self.dest.send(self.theirs.recv(4096))
        if self.dest in rl:
            self.theirs.send(self.dest.recv(4096))

    def recv(self, *args):
        return self.ours.recv(*args)

    def send(self, *args):
        return self.outs.recv(*args)


def test():
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.connect(PROXY)
    s = ssl.wrap_socket(s, ciphers="ALL:aNULL:eNULL")
    s.send(CONNECT)
    resp = s.read(4096)
    print (resp, )

    fs = ForwardedSocket(s, ciphers="ALL:aNULL:eNULL")
    fs.send("foobar")

Не против кастомного cihpers=, это только потому, что я не хотел иметь дело с сертификатами.

И есть вывод ssl depth-1, показывающий CONNECT, мой ответ на него ssagd и согласование ssl depth-2 и бинарный мусор:

[dima@bmg ~]$ openssl s_server  -nocert -cipher "ALL:aNULL:eNULL"
Using default temp DH parameters
Using default temp ECDH parameters
ACCEPT
-----BEGIN SSL SESSION PARAMETERS-----
MHUCAQECAgMDBALAGQQgmn6XfJt8ru+edj6BXljltJf43Sz6AmacYM/dSmrhgl4E
MOztEauhPoixCwS84DL29MD/OxuxuvG5tnkN59ikoqtfrnCKsk8Y9JtUU9zuaDFV
ZaEGAgRSnJ81ogQCAgEspAYEBAEAAAA=
-----END SSL SESSION PARAMETERS-----
Shared ciphers: [snipped]
CIPHER is AECDH-AES256-SHA
Secure Renegotiation IS supported
CONNECT mail.google.com:443 HTTP/1.0
Connection: close

sagq
�u\�0�,�(�$��
�"�!��kj98���� �m:��2�.�*�&���=5�����
��/�+�'�#��     ����g@32��ED���l4�F�1�-�)�%���</�A������
                                                        ��      ������
                                                                      �;��A��q�J&O��y�l

Не похоже, что что-то не так с тем, что вы делаете; безусловно, можно вызвать wrap_socket() для существующего SSLSocket.

Ошибка «неизвестный протокол» может возникнуть (помимо других причин), если есть дополнительные данные, ожидающие чтения в сокете в точке, которую вы вызываете wrap_socket(), например, дополнительная \r\n или ошибка HTTP (из-за отсутствия сертификата на стороне сервера , например). Вы уверены, что прочитали все, что было доступно на тот момент?

Если вы можете заставить первый канал SSL использовать «простой» шифр RSA (т. е. не-Diffie-Hellman), вы можете использовать Wireshark для расшифровки потока, чтобы увидеть, что происходит.

Опираясь на ответ @kravietz. Вот версия, которая работает в Python3 через прокси Squid:

from OpenSSL import SSL
import socket

def verify_cb(conn, cert, errun, depth, ok):
        return True

server = 'mail.google.com'
port = 443
PROXY_ADDR = ("<proxy_server>", 3128)
CONNECT = "CONNECT %s:%s HTTP/1.0\r\nConnection: close\r\n\r\n" % (server, port)

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(PROXY_ADDR)
s.send(str.encode(CONNECT))
s.recv(4096)

ctx = SSL.Context(SSL.SSLv23_METHOD)
ctx.set_verify(SSL.VERIFY_PEER, verify_cb)
ss = SSL.Connection(ctx, s)

ss.set_connect_state()
ss.do_handshake()
cert = ss.get_peer_certificate()
print(cert.get_subject())
ss.shutdown()
ss.close()

Это работает и в Python 2.