как избежать потери памяти при сохранении символов UTF-8 (8 бит) в символе Java (16 бит). два в одном?

При преобразовании byte[] в String с использованием UTF-8 каждый байт (8 бит) становится 8-битным символом, закодированным в UTF-8.

Нет. При преобразовании byte[] в String с использованием UTF-8 каждый UTF-8 последовательность из 1–6 байтов преобразуется в последовательность UTF-16 из 1–2 16-битных символов.

Почти во всех случаях по всему миру эта последовательность UTF-16 содержит один символ.

В Западной Европе и Северной Америке для большинства текста используются только 8 бит этого 16-битного символа. Однако, если у вас есть знак евро, вам потребуется более 8 бит.

Для получения дополнительной информации см. Юникод. Или статью Джоэла Спольски.

Java хранит все свои «символы» внутри как двухбайтовые представления значения. Однако они не хранятся так же, как UTF-8. Например, максимальное поддерживаемое значение — «￿» (шестнадцатеричное FFFF, десятичное 65536) или 11111111 11111111 двоичное (два байта), но это будет 3-байтовый символ Unicode на диске.

Единственная возможная потеря - это действительно «однобайтовые» символы в памяти (большинство «языковых» символов ASCII фактически умещаются в 7 бит). Когда символы записываются на диск, они все равно будут в указанной кодировке (поэтому однобайтовые символы UTF-8 будут занимать только один байт).

Единственное место, где это имеет значение, - это куча JVM. Однако вам понадобятся тысячи и тысячи 8-битных символов, чтобы заметить реальную разницу в использовании кучи Java, которая будет намного перевешиваться всей дополнительной (хакерской) обработкой, которую вы сделали.

Миллион с лишним 8-битных символов в ОЗУ в любом случае «тратит впустую» около 1 МБ ...

Redis (фактический сервер) работает только с "двоично-безопасными" строками.

Я понимаю, что это означает, что вы можете использовать произвольные последовательности октетов для ключей/значений. Если вы можете использовать любую последовательность C char, не задумываясь о кодировке символов, то эквивалентом в Java является тип byte.

Строки в Java неявно UTF-16. Я имею в виду, что вы можете вставлять туда произвольные числа, но целью класса является представление символьных данных Unicode. Методы, выполняющие преобразования byte в char, выполняют операции перекодирования из известной кодировки в UTF-16.

Если Jedis обрабатывает ключи/значения как UTF-8, то он не будет поддерживать каждое значение, поддерживаемое Redis. Не каждая последовательность байтов допустима в UTF-8, поэтому кодировку нельзя использовать для двоичной безопасности. струны.

В зависимости от того, какой тип UTF-8 или UTF-16 потребляет больше памяти, зависит от данных. Например, символ евро (€) занимает три байта в UTF-8 и только два в UTF-16.

Просто для справки, я написал свою собственную небольшую реализацию интерконвертера byte[] ‹-> String, который работает путем приведения каждых 2 байтов к 1 символу. Это примерно на 30-40% быстрее и потребляет (возможно, меньше) половину памяти стандартного способа Java: new String(somebyte) и someString.getBytes().

Однако он несовместим с существующими строками, закодированными байтами, или строками, закодированными байтами. Кроме того, небезопасно вызывать метод из разных JVM для общих данных.

https://github.com/ib84/castriba

Может быть, это то, что вы хотите:

// Store them into the 16 bit datatype.
char c1_8bit = 'a';
char c2_8bit = 'h';
char two_chars = (c1_8bit << 8) + c2_8bit;

// extract them
char c1_8bit = two_chars >> 8;
char c2_8bit = two_chars & 0xFF;

Конечно, этот трюк работает только с символами ASCII (символы в диапазоне [0-255]). Почему? Потому что вы хотите хранить свои символы следующим образом:
xxxx xxxx yyyy yyyy с x — это символ 1, а y — это символ 2. Таким образом, это означает, что у вас есть только 8 бит на символ. И какое самое большое целое число вы можете получить с помощью 8 бит? Ответ: 255

255 = 0000 0000 1111 1111 (8 бит). И когда вы используете char> 255, у вас будет следующее:
256 = 0000 0001 0000 0000 (более 8 бит), что не соответствует 8 битам, которые вы предоставляете для 1 char.

Плюс: имейте в виду, что Java — это язык, разработанный умными людьми. Они знали, что делают. Подключите Java API