Более быстрый способ выбора строк и применения функции

РЕДАКТИРОВАТЬ: Как и ожидалось, фактическое желаемое поведение немного отличалось от того, что я предполагал. Я буду обновлять свой ответ, чтобы отразить это, это должна быть небольшая настройка.

С чего начать. Ваш код чрезвычайно унидиоматичен. Я совершенно уверен, что идиоматический код Pandas не займет часы, чтобы получить результат. Непонятно даже, зачем вы вообще используете Pandas. Как вы увидите в моем решении ниже, использование Pandas делает вещи намного более неудобными и неуклюжими, чем они должны быть.

Конечно, это может быть не желаемый результат, так как вопрос неоднозначный и непонятный.

from io import StringIO

import numpy as np
import pandas as pd

raw_str = \
    '''
    key  x     y

    1   87.4375 28.921875
    1   97.4375 23.921875
    1   97.4375 23.921875
    1   97.4375 23.921875
    1   97.4375 23.921875
    2   86.4375 24.921875
    2   85.4375 24.921875
    2   93.4375 29.921875
    2   86.4375 24.921875
    2   85.4375 24.921875
    2   93.4375 29.921875
    '''

df = pd.read_csv(StringIO(raw_str), delim_whitespace=True)

rows_list = []

for k, v in df.groupby('key'):
    coords = v[['x', 'y']].to_numpy()
    coords_shifted = np.roll(coords, shift=-1, axis=0)
    dist = np.linalg.norm(coords[:-1] - coords_shifted[:-1], axis=1).sum()
    rows_list.append((k, dist))

res_df = pd.DataFrame(data=rows_list, columns=['key', 'distance'])

print(res_df)

res_df:

   key   distance
0    1  11.180340
1    2  29.470288

# Random data (1m rows, 1000 keys)

np.random.seed(0)

rows = 1_000_000
keys = 1000
keys = np.random.randint(low=1, high=keys, size=rows)
x = np.random.rand(rows) * 360
y = np.random.rand(rows) * 360
df = pd.DataFrame({'key': keys, 'x': x, 'y': y})

Решение

Это вычисляет расстояние между последующими точками в каждой ключевой группе, а затем суммирует общее расстояние для каждой клавиши. Основываясь на образце данных с 1 миллионом строк выше, это занимает около 0,8 секунды.

df.sort_values('key', kind='mergesort', inplace=True)  # `mergesort` is the only stable algorithm.
distances = (
    df
    .apply(lambda s: s.diff().pow(2)).sum(axis=1).pow(0.5)  # Calculate distances b/w endpoints.
    .groupby(df['key'])
    .apply(lambda s: s.iloc[1:].sum())  # Sum the distances between endpoints by key.
)

>>> distances.head()
key
1    198431.901333
2    192694.829351
3    176125.208567
4    186942.057497
5    182029.077809
dtype: float64

ОЖИДАЕМЫЙ ВЫВОД Используя исходный фрейм данных OP, приведенное выше решение дает ожидаемый результат:

>>> distances
key
1    11.180340
2    29.470288
dtype: float64

Комментарии к вашему коду

Глядя на свой код в решении 1, вы перебираете _все_ значения ключей (for key in orig_df.key.values:). В приведенном выше примере данных это будет 11 циклов. Затем для каждого цикла вы используете .loc, чтобы найти значения для этого ключа. Обратите внимание, что каждая .loc операция возвращает одну и ту же группу на основе ключа, а не строки.

Предполагая, что key=2, ваши данные выглядят так:

         x1       x2         y1         y2
5   86.4375  85.4375  24.921875  24.921875
6   85.4375  93.4375  24.921875  29.921875
7   93.4375  86.4375  29.921875  24.921875
8   86.4375  85.4375  24.921875  24.921875
9   85.4375  93.4375  24.921875  29.921875
10  93.4375      NaN  29.921875        NaN

Итак, результат np.sqrt( np.square(x1 - x2) + np.square(y1 - y2)) таков:

5     1.000000
6     9.433981
7     8.602325
8     1.000000
9     9.433981
10         NaN
dtype: float64

Где вы затем неправильно суммируете столбец. Вам нужно суммировать каждую строку, определяющую ось (.sum(axis=1). Кроме того, я не уверен, что ваш сдвиг в правильном направлении, но это зависит от того, как структурированы ваши исходные данные. В конце концов, это, вероятно, не имеет значения, но это зависит от того, как вы собираетесь использовать результаты.

В качестве второстепенного момента нет необходимости брать абсолютное значение в вашей функции, так как сумма двух возведенных в квадрат значений всегда будет неотрицательной, и, следовательно, квадратный корень суммы будет таким же.