Как git вычисляет хэши файлов?

Git ставит перед объектом префикс "blob", за которым следует длина (в виде удобочитаемого целого числа), за которым следует символ NUL.

$ echo -e 'blob 14\0Hello, World!' | shasum 8ab686eafeb1f44702738c8b0f24f2567c36da6d

Источник: http://alblue.bandlem.com/2011/08/git-tip-of-week-objects.html

Я лишь расширяю ответ на @Leif Gruenwoldt и подробно рассказываю, что находится в ссылка предоставлена ​​@Leif Gruenwoldt

Сделай сам ...

• Шаг 1. Создайте пустой текстовый документ (имя не имеет значения) в вашем репозитории.
• Шаг 2. Подготовьте и зафиксируйте документ.
• Шаг 3. Определите хэш большого двоичного объекта, выполнив git ls-tree HEAD
• Шаг 4. Найдите хэш большого двоичного объекта e69de29bb2d1d6434b8b29ae775ad8c2e48c5391
• Шаг 5. Избавьтесь от удивления и прочтите ниже.

Как GIT вычисляет хэши фиксации

    Commit Hash (SHA1) = SHA1("blob " + <size_of_file> + "\0" + <contents_of_file>)

Текст blob⎵ является постоянным префиксом, а \0 также является постоянным и является символом NULL. <size_of_file> и <contents_of_file> различаются в зависимости от файла.

См .: Какой формат файла у объекта фиксации git?

И все, ребята!

Но подождите! вы заметили, что <filename> не является параметром, используемым для вычисления хэша? Два файла потенциально могут иметь один и тот же хэш, если их содержимое одинаково безразлично к дате и времени создания и их имени. Это одна из причин, по которой Git обрабатывает перемещение и переименование лучше, чем другие системы контроля версий.

Сделай сам (внешнее)

• Шаг 6. Создайте еще один пустой файл с другим filename в том же каталоге.
• Шаг 7. Сравните хэши обоих файлов.

Примечание.

В ссылке не упоминается, как хешируется объект tree. Я не уверен в алгоритме и параметрах, однако, по моим наблюдениям, он, вероятно, вычисляет хэш на основе всех blobs и trees (вероятно, их хэшей), которые он содержит

git hash-object

Это быстрый способ проверить свой метод тестирования:

s='abc'
printf "$s" | git hash-object --stdin
printf "blob $(printf "$s" | wc -c)\0$s" | sha1sum

Выход:

f2ba8f84ab5c1bce84a7b441cb1959cfc7093b7f
f2ba8f84ab5c1bce84a7b441cb1959cfc7093b7f  -

где sha1sum находится в GNU Coreutils.

Затем все сводится к пониманию формата каждого типа объекта. Мы уже рассмотрели тривиальный blob, вот другие:

• совершить: Каков формат файла объект фиксации git?
• дерево: Каков внутренний формат объекта дерева git ?
• tag: Как создается объект тега Git SHA1?

На основании ответа Лейфа Грюнвольдта, вот функция оболочки, заменяющая _ 1_:

git-hash-object () { # substitute when the `git` command is not available
    local type=blob
    [ "$1" = "-t" ] && shift && type=$1 && shift
    # depending on eol/autocrlf settings, you may want to substitute CRLFs by LFs
    # by using `perl -pe 's/\r$//g'` instead of `cat` in the next 2 commands
    local size=$(cat $1 | wc -c | sed 's/ .*$//')
    ( echo -en "$type $size\0"; cat "$1" ) | sha1sum | sed 's/ .*$//'
}

Тестовое задание:

$ echo 'Hello, World!' > test.txt
$ git hash-object test.txt
8ab686eafeb1f44702738c8b0f24f2567c36da6d
$ git-hash-object test.txt
8ab686eafeb1f44702738c8b0f24f2567c36da6d

Мне это было нужно для некоторых модульных тестов в Python 3, поэтому я решил оставить его здесь.

def git_blob_hash(data):
    if isinstance(data, str):
        data = data.encode()
    data = b'blob ' + str(len(data)).encode() + b'\0' + data
    h = hashlib.sha1()
    h.update(data)
    return h.hexdigest()

Я везде придерживаюсь \n окончаний строк, но в некоторых случаях Git также может быть измените окончания строк перед вычислением этого хэша, поэтому вам может понадобиться _ 3_ тоже.