Каналы Java.nio и TLS

Вам необходимо использовать SSLEngine, как описано в Неблокирующий ввод-вывод с SSLEngine. Упомянутые вами библиотеки используют его или используют библиотеки, которые его используют.

(Обратите внимание, что это, как известно, сложно использовать.)

Вы можете найти эти ссылки интересными:

• Этот ответ (который также содержит ссылку на главу книги).
• Заметки Жана-Франсуа Аркана, который реализовал его в Grizzly.
• пример типа проблем, которые могут возникнуть при использовании асинхронного SSL / TLS.
• Знакомство с проблемами, упомянутыми в этих этом вопросе, также должно быть актуальным (в частности, как решать их в асинхронном режиме. ).
• Simple Framework также поддерживает асинхронный SSL / TLS.

Для дейтаграмм вам следует изучить использование DTLS вместо TLS. Я не уверен в статусе его реализации на Java, но вы можете покопаться в архивах списка рассылки java.openjdk.security.devel.

Вам необходимо использовать SSLEngine и выполните рукопожатие вручную, используя этот конечный автомат. SSL / TLS реализован поверх TCP, поэтому вы не можете использовать его непосредственно поверх DatagramChannel.

Статья Неблокирующий ввод-вывод с SSLEngine может быть полезным.

Как правильно отмечает Бруно, стандартный способ сделать это - использовать SSLEngine. Но этот класс серьезно трудно использовать.

Некоторое время назад я столкнулся с той же проблемой и в итоге написал свою собственную библиотеку. Есть несколько примеров и, конечно же, есть код внутри таких проектов, как Netty и т. Д. Но ни один из вариантов не является надежным или легко используемым повторно.

TLS Channel оборачивает SSLEngine в ByteBuffer и позволяет использовать его, как обычные SocketChannels.