Длина строки с умлаутами, поступающей из файловой системы.

Строка Ruby до сих пор поддерживает только символы ASCII. Таким образом, вы можете использовать гем - unicode для этого, когда у вас будут не-ascii символы . Посмотрите также здесь — width.

require "unicode"

s1 = "Propädeutikum"
s2 = "Propadeutikum"
Unicode::width(s1) # => 13
Unicode::width(s2) # => 13

Прочтите это сообщение Re: how to capitalize nonascii characters ?

Hi,

Да, пока используйте гем юникода. Операции со строками над символами, отличными от ASCII, — одна из тем предстоящего Ruby 2.2.

         matz.

В Юникоде некоторые символы, такие как ä, могут быть представлены двумя способами. Они могут состоять из одной кодовой точки, например, U+00E4 в случае ä, или могут состоять из «базового» символа, за которым сразу следует комбинированный символ, например a, за которым следует U+0308 (КОМБИНИРОВАНИЕ ДИАЭРЕЗИСА). В последнем случае комбинированный символ состоит из двух кодовых точек, а метод Ruby String#length возвращает только общее количество кодовых точек, поэтому вы можете получить разные значения для длин строк, которые кажутся одинаковыми.

s1 = "ä"        # single codepoint
s2 = "a"        # 'base' letter
s3 = "a\u0308"  # base letter + combining character

[s1, s2, s3].each do |s|
  puts "Letter:     #{s}"
  puts "Bytes:      #{s.bytes}"
  puts "Codepoints: #{s.codepoints}"
  puts "Length:     #{s.length}"
  puts
end

Выход:

Letter:     ä
Bytes:      [195, 164]
Codepoints: [228]
Length:     1

Letter:     a
Bytes:      [97]
Codepoints: [97]
Length:     1

Letter:     ä
Bytes:      [97, 204, 136]
Codepoints: [97, 776]
Length:     2

(bytes — это кодировка символов UTF-8. В UTF-8 некоторые символы кодируются как несколько байтов — это отдельная проблема, связанная с объединением символов.)

Сам Ruby (в настоящее время) не очень поддерживает решение таких проблем с юникодом, поэтому вам нужно использовать внешнюю библиотеку, такую ​​​​как UnicodeUtils. Идея length может стать довольно неясной, когда речь идет о разных языках (что считается «одним символом». Вы можете использовать метод display_width, который, вероятно, даст то, что вы хотите для латинских скриптов. Другая возможность - использовать нормализованная форма, обеспечивающая одинаковое представление всех символов либо все разложены на объединяющие символы или все (у которых они есть) с использованием одного символа:

require 'unicode_utils'

combined = "a\u0308"
single = "ä"

# nfc - normalized form composed - use a single code point if possible
puts UnicodeUtils.nfc(combined).length # => 1
puts UnicodeUtils.nfc(single).length   # => 1

# nfd - normalized form decomposed - always use combining characters
puts UnicodeUtils.nfd(combined).length # => 2
puts UnicodeUtils.nfd(single).length   # => 2

Аналогичен Мэтту, но может быть немного более эффективным.

"Propädeutikum".each_char.size
# => 13

t = Time.now
500000.times{
"Propädeutikum".each_char.size
}
puts Time.now - t
# => 0.364056992

t = Time.now
500000.times{
"Propädeutikum".chars.count
}
puts Time.now - t
# => 1.462392185

Может быть, у вас есть проблема с эквивалентностью Unicode и составными символами?

См. следующий пример. Оба текста выглядят одинаково, но кодируются по-разному:

#encoding: utf-8
text = "Myl\u00E8ne.png" #"Mylène.png"
text2 = "Myle\u0300ne.png" #"Mylène.png"

puts text   #Mylène.png
puts text2  #Mylène.png

puts text.size   #10
puts text2.size  #11

puts text.chars.count #10
puts text2.chars.count #11

Еще немного подробностей в мом ответе для кодирования странных символов.

Вы можете это проверить, если сравните кодовые точки ваших текстов с text.codepoints.to_a. В моем примере я получаю:

p text.codepoints.to_a   #[77, 121, 108, 232, 110, 101, 46, 112, 110, 103]
p text2.codepoints.to_a  #[77, 121, 108, 101, 768, 110, 101, 46, 112, 110, 103]