En la web de Mujeres TIC nos ofrecen este dibujo muy representativo de estos dos formatos de imagen:

Ambos formatos tienen sus ventajas e inconvenientes. PNG siempre será más fiel a la imagen original, no tiene perdidas de calidad entre sucesivos guardados y permite jugar con canales alpha (transparencias). Por su parte, el nivel de compresión que ofrece JPEG para imágenes reales es superior, ademas de ser un formato muy extendido y compatible con todas las plataformas y navegadores.

PD: La imagen está en formato JPG. XD