É, o gpsp tem alguns probleminhas de compatibilidade com homebrews. Se puder tente com os núcleos mGBA ou VBA-M. Com relação ao VBA no pc não sei o que pode ser, se puder nos dizer a versão do que está utilizando a gente pode verificar qual o problema.
hmm, essa versão é um pouco antiga, se não me engano a última versão disponível do VBA original é 1.8.0 Beta3, mas o VBA original foi descontinuado, e hoje o que vem a ser a sequência dele é o VBA-M, que atualmente está na versão 2.1.11, ambas estão rodando o Green Memories sem problemas.
Pode conferir ambas as versões aqui:
https://www.emulator-zone.com/doc.php/gba/vboyadvance.html