Код с некоторыми комментариями. Похоже, вы заимствовали соглашение о вызовах 64-разрядной версии Linux, передав первый параметр в RDI. В Windows вы передаете первый параметр в RCX. См. соглашение о 64-разрядных вызовах для Microsoft Windows. Вам нужно использовать movabsq для перемещения 64-битного адреса метки в 64-битный регистр. Вы также должны убедиться, что правильно выровняли стек (16-байтовая граница); выделить не менее 32 байт для теневого пространства; и я добавил кадр стека.

.extern puts
.global main
.text
main:
    push %rbp
    mov %rsp, %rbp         /* Setup stack frame */
    subq $0x20, %rsp       /* Allocate space for 32 bytes shadow space 
                              no additional bytes to align stack are needed
                              since return address and rbp on stack maintain
                              16 byte alignment */ 
    movabsq $msg, %rcx     /* Loads a 64 bit register with a label's address
                              Windows 64-bit calling convention
                              passes param 1 in rcx */
    call puts
    xor %rax, %rax         /* Return value */
    mov %rbp, %rsp
    pop %rbp               /* Remove current stackframe */
    ret

.data
msg:
    .asciz "hello world"   /* Remember to zero terminate the string */

Переименуйте ваш ассемблерный файл с расширением .s вместо .asm и соберите и слинкуйте с:

gcc -o test.exe test.s

Не переименовывая .asm в .s, вы можете обнаружить, что GCC в Cygwin перепутает ваш ассемблерный файл со скриптом компоновщика.

Версия без рамки стека

Этот код похож на код выше, но кадр стека удален. В этой версии был удален код пролога и эпилога RBP/RSP. Нам еще нужно выровнять стек. Поскольку мы больше не помещаем RBP в стек, нам нужно выделить 32 байта теневого пространства в стеке и еще 8 байтов, чтобы вернуть стек в 16-байтовое выравнивание. Это выравнивание и выделение теневого пространства необходимо выполнить перед выполнением вызовов других функций (например, Win32 API и библиотеки C) из наших функций. Неправильная настройка стека может привести к тому, что вызовы других функций будут загадочным образом прерываться или вести себя неожиданно. Соглашение о вызовах 64-разрядной Windows охватывает это по ссылке, которую я предоставил ранее в начале этого ответа.

Модифицированный код:

.extern puts
.global main
.text
main:
    subq $0x28, %rsp       /* Allocate space for 32 bytes shadow space
                              Additional 8 bytes to align stack are needed
                              since 8 byte return address on stack no longer
                              makes the stack 16 byte aligned. 32+8=0x28 */
    movabsq $msg, %rcx     /* Loads a 64 bit register with a label's address
                              Windows 64-bit calling convention
                              passes param 1 in rcx */
    call puts
    xor %rax, %rax         /* Return value */
    addq $0x28, %rsp       /* Restore stack pointer to state it was in prior
                              to executing this function so that `ret` won't fail */
    ret

.data
msg:
    .asciz "hello world"   /* Remember to zero terminate the string */

Есть ряд проблем с тем, что вы написали, и попытками исправить это. Во-первых, как говорит Jester, если вы собираетесь использовать функцию библиотеки C, ваша точка входа должна называться main. Это дает библиотеке времени выполнения C возможность инициализировать себя до того, как она вызовет main. Когда вы изменили точку входа на main, вы также не объявили ее глобальной. Это означало, что компоновщик не смог его найти, и поэтому вы получили ошибку о том, что не нашли WinMain. Из-за того, как написана библиотека времени выполнения Cygwin, в конечном итоге ищет несколько разных символов в качестве точки входа, WinMain является одним из них, и в конечном итоге он жалуется, что не находит. Однако, если вы не пишете приложение Win32, вам следует использовать main.

Наконец, сообщение relocation truncated to fit: R_X86_64_32S against '.text' исходит из инструкции mov $msg, %rdi. Ассемблер GNU интерпретирует эту инструкцию как берущую только 32-битный непосредственный операнд слева, однако msg является 64-битным адресом, поэтому он заканчивается «усечением до соответствия». Решение состоит в том, чтобы использовать movabs $msg,%rdi, который использует 64-битную непосредственную адресацию, или, что еще лучше, lea msg(%rip),%rdi, который использует относительную адресацию RIP.