Объединить два файла CSV и сопоставить данные

Решение Alteryx:

1. Перетащите два файла .csv на свой холст (на моем рисунке они показаны как book1.csv и book2.csv; Alteryx создаст для вас инструменты «Ввод»).
2. Перетащите инструмент «Объединить» и соедините два файла .csv с его входами; выберите «ID» в качестве поля соединения; отменить выбор «Right_ID» в качестве вывода, поскольку это просто дубликат «ID»
3. Перетащите инструмент «Сводка» и соедините выход инструмента «Объединить» с входом инструмента «Сводка»; выберите все три выхода и добавьте как «группу по»... затем добавьте столбец идентификатора с «количеством»
4. Перетащите инструмент обзора и соедините выходные данные сводки с входными данными инструмента обзора.
5. запустить рабочий процесс

После всего этого щелкните инструмент обзора, и вы должны увидеть то, что видно на моем снимке экрана: (на котором показаны только первые десять строк вывода):

+1 за участие в волонтерском проекте - я думаю, что любой, кто знает данные, может оказать большое влияние в поддержку своей любимой группы или дела.

Я бы просто вытащил 2 файла в Power BI как 2 отдельные таблицы (получить данные/из файла). Создайте связь между двумя таблицами на основе идентификатора (он может быть сгенерирован автоматически). Должно быть один ко многим.

Затем я бы добавил вычисляемый столбец в таблицу Book1, чтобы объединить связанные значения ITEM, например.

Items =
CALCULATE (
    CONCATENATEX (
        DISTINCT ( 'Book2'[ITEM] ),
        'Book2'[ITEM],
        ", ",
        'Book2'[ITEM], ASC
    )
)

Теперь вы можете использовать это поле Элементы в визуальных элементах (например, в таблице) вместе с Количество идентификаторов, чтобы получить частоту.

Добавление темы к копии таблицы (например, в поле столбцов матрицы) создаст ваш сгруппированный сценарий, или вы можете добавить слайсер темы.

Поскольку вы будете сравнивать подмножества разного размера, я бы изменил Количество идентификаторов на Показать значение как % от общей суммы.

Немного другое решение с использованием Alteryx.

В этом наборе данных очень мало повторяющихся групп из 3 или 4 элементов. Вы можете выполнить анализ сходства двух элементов и получить вероятность групп из 3 или 4 элементов, или вы можете посчитать группы из 3 и 4 элементов по отдельности. Я полагаю, что вам нужно последнее, поскольку вероятность получить виноград с апельсинами может зависеть от того, есть ли у вас бананы в тележке или нет.

Во всяком случае, я не присоединялся к теме, пока не нашел все свои комбинации. Я нашел все комбинации, взяв декартово соединение двух, затем трех, затем четырех из исходного набора. Затем я удалил все дубликаты, следя за тем, чтобы элементы всегда располагались в алфавитном порядке в каждой строке. Затем я подсчитал появление каждой комбинации. По тому же шаблону можно добавить больше объединений для подсчета групп из 5, 6, 7...

Как только у вас будет подсчет вхождений, я присоединюсь к испытуемым, проведу этот анализ для каждой группы и сравним с общими результатами.

• Я должен сообщить, что работаю на Alteryx.

Прежде всего, если вы используете Windows, просто перейдите в каталог, содержащий CSV, и напишите следующую команду:

copy pattern newfileName.csv
#example 
copy *.csv merged.csv

теперь вы создали один CSV-файл, файл слишком велик, теперь вы не можете его обработать один раз, в зависимости от вашего языка программирования вы можете использовать соответствующий способ, для python вы можете использовать генераторы для обработки построчно или панды, вы можете читать фрагмент по частям будет легко.

Я надеюсь, что это поможет вам.