Как я могу обнаружить разрывы строк DOS в файле?

Вы можете искать в строке \r\n. Это конец строки в стиле DOS.

РЕДАКТИРОВАТЬ: взгляните на это

Python может автоматически определять, какое соглашение о новой строке используется в файле, благодаря «универсальному режиму новой строки» (U), и вы можете получить доступ к предположению Python через атрибут newlines файловых объектов:

f = open('myfile.txt', 'U')
f.readline()  # Reads a line
# The following now contains the newline ending of the first line:
# It can be "\r\n" (Windows), "\n" (Unix), "\r" (Mac OS pre-OS X).
# If no newline is found, it contains None.
print repr(f.newlines)

Это дает окончание новой строки первой строки (Unix, DOS и т. Д.), Если таковая имеется.

Как заметил Джон М., если случайно у вас есть патологический файл, в котором используется более одного кодирования новой строки, f.newlines - это кортеж со всеми кодировками новой строки, найденными до сих пор, после прочтения большого количества строк.

Ссылка: http://docs.python.org/2/library/functions.html#open

Если вы просто хотите преобразовать файл, вы можете просто сделать:

with open('myfile.txt', 'U') as infile:
    text = infile.read()  # Automatic ("Universal read") conversion of newlines to "\n"
with open('myfile.txt', 'w') as outfile:
    outfile.write(text)  # Writes newlines for the platform running the program

(Только для Python 2 только :) Если вы просто хотите читать текстовые файлы в формате DOS или Unix, это работает:

print open('myfile.txt', 'U').read()

То есть "универсальный" читатель файлов Python будет автоматически использовать разные маркеры конца строки, переводя их в "\ n".

http://docs.python.org/library/functions.html#open

(Спасибо, ручка!)

Как полный новичок в Python и просто для удовольствия, я попытался найти какой-нибудь минималистичный способ проверить это для одного файла. Кажется, это работает:

if "\r\n" in open("/path/file.txt","rb").read():
    print "DOS line endings found"

Изменить: упрощено в соответствии с комментарием Джона Мачина (не нужно использовать регулярные выражения).

Разрывы строк в dos - \r\n, только unix \n. Так что просто ищите \r\n.

Используя grep и bash:

grep -c -m 1 $'\r$' file

echo $'\r\n\r\n' | grep -c $'\r$'     # test

echo $'\r\n\r\n' | grep -c -m 1 $'\r$'  

Вы можете использовать следующую функцию (которая должна работать в Python 2 и Python 3), чтобы получить представление новой строки, используемое в существующем текстовом файле. Признаны все три возможных вида. Функция читает файл только до первого символа новой строки. Это быстрее и требует меньше памяти, когда у вас есть большие текстовые файлы, но он не обнаруживает смешанные окончания новой строки.

В Python 3 вы можете передать вывод этой функции в параметр newline функции open при записи файла. Таким образом, вы можете изменить контекст текстового файла без изменения его представления новой строки.

def get_newline(filename):
    with open(filename, "rb") as f:
        while True:
            c = f.read(1)
            if not c or c == b'\n':
                break
            if c == b'\r':
                if f.read(1) == b'\n':
                    return '\r\n'
                return '\r'
    return '\n'