Как выбрать правильную кодовую страницу для декодирования контента, закодированного CArchive

Программа C ++, не поддерживающая Unicode, записывает данные как 0B C1 E5 EB C0 C7 20 37 35 35 35 C2 (длина строки, за которой следует bytes)

"ÁåëÀÇ 7555Â" - это представление bytes на кодовой странице 1252

На англоязычном компьютере следующий код возвращает "ÁåëÀÇ 7555Â". Это работает, если обе программы используют одну и ту же кодовую страницу:

string result = Encoding.Default.GetString(bytes);

Вы также можете напрямую использовать кодовую страницу 1252. Это гарантирует, что результат всегда будет "ÁåëÀÇ 7555Â" для этого конкретного набора байтов:

//result will be `"ÁåëÀÇ 7555Â"`, always
Encoding cp1252 = Encoding.GetEncoding(1252);
string result = cp1252.GetString(bytes);

string greek = "ελληνικά";
Encoding cp1253 = Encoding.GetEncoding(1253);
var bytes = cp1253.GetBytes(greek);

bytes будет аналогичен выводу программы C ++. Вы можете использовать ту же технику для извлечения текста:

//result will be "åëëçíéêÜ"
Encoding cp1252 = Encoding.GetEncoding(1252);
string result = cp1252.GetString(bytes);

Результат "åëëçíéêÜ". Но желаемый результат "ελληνικά"

//result will be "ελληνικά"
Encoding cp1253 = Encoding.GetEncoding(1253);
string greek_decoded = cp1253.GetString(bytes);

Итак, чтобы выполнить правильное преобразование, у вас должна быть исходная кодовая страница, которую программа C ++ использовала (я просто повторяю Ханса Пассанта)

Вы можете внести следующие изменения:

public override string ReadString()
{
    //Default code page if both programs use the same code page
    Encoding encoder = System.Text.Encoding.Default;

    //or find out what code page the C++ program is using
    //Encoding encoder = System.Text.Encoding.GetEncoding(codepage);

    //or use English code page to always get "ÁåëÀÇ 7555Â"...
    //Encoding encoder = System.Text.Encoding.GetEncoding(1252);
    //(not recommended)

    byte blen = ReadByte();
    if (blen < 0xff)
        return encoder.GetString(ReadBytes(blen));

    var slen = (ushort)ReadInt16();
    if (slen == 0xfffe)
        throw new NotSupportedException(
            ServerMessages.UnicodeStringsAreNotSupported());

    if (slen < 0xffff)
        return encoder.GetString(ReadBytes(blen));

    var ulen = (uint)ReadInt32();
    if (ulen < 0xffffffff)
    {
        var bytes = new byte[ulen];
        for (uint i = 0; i < ulen; i++)
            bytes[i] = ReadByte();
        return encoder.GetString(ReadBytes(blen));
    }

    throw new NotSupportedException(
        ServerMessages.EightByteLengthStringsAreNotSupported());
}

Дополнительные комментарии:

Программа MFC, отличная от Unicode, может принимать ввод на английском или русском, но не на обоих языках одновременно. Эти старые программы используют char для хранения до 255 букв на байт. 255 не хватит места для всех алфавитов английского, русского, греческого, арабского ...

Кодовая страница 1252 отображает символы в латинские алфавиты. В то время как кодовая страница 1253 отображает символы в греческий алфавит и так далее.

Следовательно, ваш файл MFC содержит только один язык одной кодовой страницы.

Для западноевропейских языков (английский, испанский, португальский, немецкий, французский, итальянский, шведский и т. Д.) Используется кодовая страница 1252. Если пользователи остаются в этой языковой группе, особых проблем возникнуть не должно. System.Text.Encoding.Default должно решить проблему, а еще лучше System.Text.Encoding.GetEncoding(variable_codepage)

В Windows есть несколько соответствующих кодовых страниц ANSI.

874 – Windows Thai
1250 – Windows Central and East European Latin 2
1251 – Windows Cyrillic
1252 – Windows West European Latin 1
1253 – Windows Greek
1254 – Windows Turkish
1255 – Windows Hebrew
1256 – Windows Arabic
1257 – Windows Baltic
1258 – Windows Vietnamese

Некоторые азиатские языки без Unicode не поддерживаются. Некоторые символы Unicode не поддерживаются в ANSI, с этим ничего не поделаешь.

Можно заставить программу, отличную от Unicode, использовать более одной кодовой страницы. Но это непрактично. Намного проще перейти на Unicode и сделать это правильно.

См. Также Минимум, который разработчики программного обеспечения должны знать о Unicode