Myndighetens verksamhet leds av ÖB och GD, generaldirektören, som ingår i Högkvarteret. Där finns även ledningar, staber och avdelningar med olika ansvarsområden, som leder verksamheten ute på förbanden. 

Under myndighetsledningen på Högkvarteret finns en väv av förband, skolor, centrum och andra enheter som sträcker sig över hela landet. 

Förbanden dels in i utbildningsförband och insatsförband. 

Utbildningsförbanden utgörs av regementen (armén) och flottiljer (flygvapnet och marinen), samt Amfibieregementet (marinen). Utöver dessa finns försvarsmaktsgemensamma förband som Trängregementet och Ledningsregementet.

Insatsförband är enheter som är beredda att sättas in i insatser utomlands eller i Sverige. 

Skolorna utbildar och fortbildar soldater, sjömän och officerare från alla delar av Försvarsmakten, både teoretiskt och praktiskt. Några av de större skolorna är Flygskolan, Tolkskolan, Försvarsmaktens tekniska skola, Markstridsskolan och officershögskolorna i Halmstad och Karlberg.

I Försvarsmaktens centrum samlas den högsta kunskapen och kompetensen inom olika områden. Försvarsmedicincentrum, Totalförsvarets ammunitions- och minröjningscentrum och Försvarsmaktens meteorologi- och oceanograficentrum är några av dessa.

Hos enheterna samlas stöd- och specialistfunktioner för hela Försvarsmakten. Exempel på enheter är Försvarsmaktens idrotts- och friskvårdsenhet, Combat Camera och Försvarsmaktens hundtjänstenhet.