Wie gesagt hier erwartet java-apns das .p12 privater Schlüssel, nicht die .pem-Datei.
Die Anweisungen zum Erstellen einer .p12-Datei auf einem Mac befinden sich im ersten Link. Wenn Sie das openssl-Tool unter Linux verwenden, können Sie es mit folgendem Befehl erstellen:
%Vor%