Как работают магнитные ссылки BitTorrent?

Магнитная ссылка BitTorrent идентифицирует торрент с помощью ¹ хеш-значения SHA-1 или усеченного SHA-256, известного как «infohash». Это то же значение, которое одноранговые узлы (клиенты) используют для идентификации торрентов при взаимодействии с трекерами или другими одноранговыми узлами. Традиционный файл .torrent содержит структуру данных с двумя ключами верхнего уровня: announce, идентифицирующий трекеры, используемые для загрузки, и info, содержащий имена файлов и хеши для торрента. «Infohash» - это хэш закодированных info данных.

Некоторые магнитные ссылки включают трекеры или веб-семена, но часто их нет. Ваш клиент может ничего не знать о торренте, кроме его хэша. Первое, что ему нужно, это найти других пиров, которые скачивают торрент. Для этого используется отдельная одноранговая сеть ², работающая с «распределенной хеш-таблицей» (DHT). DHT - это большой распределенный индекс, который сопоставляет торренты (идентифицируемые с помощью хэшей информации) со списками одноранговых узлов (идентифицируемых по IP-адресу и портам), которые участвуют в рое для этого торрента (загружают / скачивают данные или метаданные).

Когда клиент впервые подключается к сети DHT, он генерирует случайный 160-битный идентификатор из того же пространства, что и хэши информации. Затем он загружает свое соединение с сетью DHT, используя либо жестко запрограммированные адреса клиентов, контролируемых разработчиком клиента, либо клиентов, поддерживающих DHT, которые ранее встречались в потоке торрентов. Когда он хочет участвовать в рое для данного торрента, он ищет в сети DHT несколько других клиентов, чьи идентификаторы как можно ближе ³ к infohash. Он уведомляет этих клиентов о том, что хотел бы участвовать в рое, и запрашивает у них информацию о подключении всех уже известных им пиров, которые участвуют в рое.

Когда одноранговые узлы загружают / скачивают определенный торрент, они пытаются рассказать друг другу обо всех других узлах, о которых они знают, которые участвуют в одном и том же потоке торрентов. Это позволяет одноранговым узлам быстро узнавать друг друга, не подвергая трекер или DHT постоянным запросам. Как только вы узнаете о нескольких пирах из DHT, ваш клиент сможет запрашивать у этих партнеров информацию о подключении еще большего количества одноранговых узлов в торрент-рое, пока у вас не будут все необходимые узлы.

Наконец, мы можем запросить у этих пиров info метаданные торрента, содержащие имена файлов и список хэшей. После того, как мы загрузили эту информацию и проверили ее правильность с помощью известного infohash, мы оказались практически в том же положении, что и клиент, который начал с обычного файла .torrent и получил список пиров от включенного трекера.

Скачивание может начаться.

_{¹ infohash обычно имеет шестнадцатеричное кодирование, но некоторые старые клиенты использовали вместо него базу 32. v1 (urn:btih:) использует дайджест SHA-1 напрямую, а v2 (urn:bimh:) добавляет префикс multihash для идентификации алгоритм хеширования и длина дайджеста.
² Существуют две основные сети DHT: более простой «основной» DHT и более сложный протокол, используемый Azureus.
^{3 Расстояние измеряется с помощью XOR.}}

Дальнейшее чтение

• BEP-3: Спецификация протокола BitTorrent
• BEP-52: Спецификация протокола BitTorrent v2
• BEP-5: протокол DHT
• BEP-9: расширение для одноранговых узлов для отправки файлов метаданных
• BEP-10: протокол расширения
• BEP-11: Одноранговый обмен (PEX)
• Описание Azureus DHT

Обнаружение одноранговых узлов и обнаружение ресурсов (в вашем случае файлов) - это разные вещи.

Я больше знаком с JXTA, но все одноранговые сети работают на одних и тех же основных принципах.

Первое, что должно произойти, - это одноранговое обнаружение.

Peer Discovery

Большинство p2p-сетей являются «затравленными» сетями: при первом запуске одноранговый узел будет подключаться к хорошо известному (жестко запрограммированному) адресу, чтобы получить список работающих одноранговых узлов. Это может быть прямое заполнение, такое как подключение к dht.transmissionbt.com, как упомянуто в другом сообщении, или косвенное заполнение, как обычно делается с JXTA, когда одноранговый узел подключается к адресу, который доставляет только простой текстовый список сетевых адресов других одноранговых узлов.

После установления соединения с первым (несколькими) одноранговыми узлами, подключающийся одноранговый узел выполняет обнаружение других одноранговых узлов (отправляя запросы) и поддерживает их таблицу. Поскольку количество других одноранговых узлов может быть огромным, подключающийся одноранговый узел поддерживает только часть распределенной хэш-таблицы (DHT) одноранговых узлов. Алгоритм определения того, какую часть таблицы должен поддерживать подключающийся узел, зависит от сети. BitTorrent использует Kademlia со 160-битными идентификаторами / ключами.

Обнаружение ресурсов

После того, как несколько одноранговых узлов были обнаружены подключающимся узлом, последний отправляет им несколько запросов на обнаружение ресурсов. Магнитные ссылки идентифицируют эти ресурсы и построены таким образом, что они являются «подписью» для ресурса и гарантируют, что они однозначно идентифицируют запрошенный контент среди всех одноранговых узлов. Затем подключающийся одноранговый узел отправит запрос на обнаружение магнитной ссылки / ресурса одноранговым узлам вокруг него. DHT построен таким образом, что помогает определить, какие одноранговые узлы должны быть сначала запрошены для ресурса (подробнее читайте в Kademlia в Википедии). Если запрошенный одноранговый узел не удерживает запрошенный ресурс, он обычно «передает» запрос дополнительным одноранговым узлам, полученным из его собственного DHT.

Количество «переходов», на которые может быть передан запрос, обычно ограничено; 4 - обычное число для сетей типа JXTA.

Когда одноранговый узел удерживает ресурс, он отвечает с его полной информацией. Затем подключающийся одноранговый узел может подключиться к одноранговому узлу, владеющему ресурсом (напрямую или через ретранслятор - здесь я не буду вдаваться в подробности), и начать его получение.

Ресурсы / услуги в P2P-сетях не напрямую привязаны к сетевым адресам: они распределены, и в этом прелесть этих высокомасштабируемых сетей.

Меня самого интересовал тот же вопрос. Читая код для передачи, я обнаружил в libtrnasmission/tr-dht.c следующее:

3248:     bootstrap_from_name( "dht.transmissionbt.com", 6881,
                               bootstrap_af(session) );

Он пытается это 6 раз, ожидая между попытками 40 (!) Секунд. Думаю, вы можете проверить это, удалив файлы конфигурации (~/.config/transmission в unix) и заблокировав все коммуникации с dht.transmissionbt.com, и посмотреть, что произойдет (подождите не менее 240 секунд).

Таким образом, похоже, что у клиента есть встроенный узел начальной загрузки для начала. Конечно, как только он попал в сеть, ему больше не нужен этот узел начальной загрузки.

Когда я начал отвечать на ваш вопрос, я не понял, что вы спрашиваете, как работает схема магнита. Просто подумал, что вы хотите знать, как были созданы части, относящиеся к протоколу bittorrent.

Хеш, указанный в магнитном uri, является хешем информации торрента, закодированным в base32. Информационный хеш - это sha1-хэш зашифрованного информационного блока торрента.

Этот код Python демонстрирует, как его можно вычислить. .

Я написал (очень наивную) реализацию на C #, чтобы проверить это, поскольку у меня не было под рукой кодировщика, и он соответствует тому, что ожидается от клиента.

static string CalculateInfoHash(string path)
{
    // assumes info block is last entry in dictionary
    var infokey = "e4:info";
    var offset = File.ReadAllText(path).IndexOf(infokey) + infokey.Length;
    byte[] fileHash = File.ReadAllBytes(path).Skip(offset).ToArray();
    byte[] bytes;
    using (SHA1 sha1 = SHA1.Create())
        bytes = sha1.ComputeHash(fileHash, 0, fileHash.Length - 1); // need to remove last 'e' to compensate for bencoding
    return String.Join("", bytes.Select(b => b.ToString("X2")));
}

Насколько я понимаю, этот хеш не содержит никакой информации о том, как найти трекер, клиенту необходимо узнать это другими способами (предоставленный URL-адрес объявления). Это как раз то, что отличает один торрент на трекере от другого.

Все, что связано с протоколом bittorrent, по-прежнему вращается вокруг трекера. Это по-прежнему основное средство связи среди роя. Схема магнитного URI не была разработана специально для использования BitTorrent. Он используется любыми протоколами P2P в качестве альтернативной формы общения. Клиенты Bittorrent адаптированы для приема магнитных ссылок в качестве еще одного способа идентификации торрентов, так что вам больше не нужно загружать файлы .torrent. Магнитный uri по-прежнему должен указывать tracker, чтобы найти его, чтобы клиент мог участвовать. Он может содержать информацию о других протоколах, но не имеет отношения к протоколу bittorrent. Протокол bittorrent в конечном итоге не будет работать без трекеров.

Я наконец нашел спецификацию. Впервые гугл не помог. (wiki связана с bittorrent.com, который является основным сайтом. Я щелкнул ссылку разработчиков, обратил внимание на вкладку bittorrent.org справа, тогда это было легко. Сложно найти ссылки, когда вы не знаете, как они обозначены, и многие щелкает прочь).

Кажется, что у всех торрентов есть сеть пиров. Вы находите пиров с трекеров и удерживаете их между сеансами. Сеть позволяет находить сверстников и многое другое. Я не читал, как он используется с магнитными ссылками, но похоже, что это не определено, как свежий клиент находит сверстников. Возможно, некоторые из них встроены, или они используют свой домашний сервер или известные трекеры, встроенные в клиент, чтобы получить первый одноранговый узел в сети.

список пиров, вероятно, заполняется из торрента, который обновляет клиент (например, есть торрент для utorrent, который его обновляет). пока все используют один и тот же клиент, это должно быть хорошо, потому что у вас нет другого выбора, кроме как поделиться обновлением.