La MG 34 fue empleada como ametralladora principal de la infantería durante los años 1930, y permaneció como arma defensiva antiaérea y en tanques. Se intentó que fuese sustituida en su servicio con la infantería por la MG 42, pero nunca hubo suficientes cantidades del nuevo modelo para hacerlo, por lo que se continuó usando hasta el final de la Segunda Guerra Mundial. La MG 34 sustituía a la MG 13 y otras ametralladoras antiguas, aunque finalmente estas se siguieron utilizando debido a la alta demanda. Era un arma muy precisa debido a su cañón estriado.
El diseño principal de la MG 34 estuvo a cargo de Heinrich Vollmer de Mauser, basado en un diseño de la Rheinmetall, Solothurn 1930 (MG30), que acababa de entrar en servicio en Suiza. Los cambios más significativos fueron el traslado del mecanismo de alimentación a la posición más práctica a la izquierda de la entrada, y la adición de una cubierta alrededor del cañón. Se introdujeron cambios en el mecanismo de disparo, mejorando la cadencia de fuego a 800-900 proyectiles por minuto, muy superiores a las ametralladoras Bren británica o Browning estadounidense, que tenían una cadencia de tiro de unos 500 o 600 disparos por minuto.
La nueva arma fue aceptada y entró en servicio casi inmediatamente, siendo generalmente bien recibida por las tropas. Fue utilizada por la Legión Condor durante la Guerra Civil Española (1936-1939). En ese momento se introdujo una serie de características avanzadas, y llegaría a ser una referencia en el concepto de ametralladora de propósito general. Sin embargo, la MG 34 tenía un coste elevado, ya que su excesiva mecanización y la alta calidad de su diseño exigían estándares de fabricación muy precisos y materias primas (necesitaba 49 kg de acero) y no fue posible la producción de las grandes cantidades que necesitaba el ejército alemán.
También se demostró que era un arma impredecible, con facilidad para bloquearse debido a la suciedad (el alto nivel de ajuste de sus componentes hacía que el polvo y la arena los estropeasen con facilidad) y se congelaba con las temperaturas bajas de los inviernos de 1941, 1942 y 1943 durante la invasión de la Unión Soviética. La mayor parte de los fallos provenían del mecanismo de alimentación y era muy sensible a variaciones en la calidad de la munición.
Sin embargo su precisión y rendimiento compensaban sus defectos, por lo que se siguió usando hasta el final de la segunda guerra mundial.