Die zu bearbeiten Dateien liegen unter

/etc/pve/local/

Dort die beiden Dateien entsprechend ersetzen

pico pve-ssl.key
pico pve-ssl.pem

Bei letzterem sollte man das Cert-Bundle für NGINX verwenden. Anschließend muss noch der PVEProxy neu gestartet werden:

/etc/init.d/pveproxy restart

Fertig.