Si exportas los modelos de los botones como PNG, puedes obtener un sprite con varios niveles de transparencia y evitar el problema de los bordes.
Otra opcion es que crees un sprite con los bordes suavizados en escala de grises y despues utilices la funcion sprite_set_alpha_from_sprite() sobre el original a modo de mascara... pero creo que igualmente necesitarias de hacer la conversion previa a mapa de bits.
Resumiendo: si quieres un buen antialias, la mejor opcion pasa por convertir previamente el modelo, en un sprite 2D.
Otra opcion es que crees un sprite con los bordes suavizados en escala de grises y despues utilices la funcion sprite_set_alpha_from_sprite() sobre el original a modo de mascara... pero creo que igualmente necesitarias de hacer la conversion previa a mapa de bits.
Resumiendo: si quieres un buen antialias, la mejor opcion pasa por convertir previamente el modelo, en un sprite 2D.