Muzeja krājums veidojies līdz ar muzeja nodibināšanu 1916.gadā, un tā komplektēšana turpinās līdz mūsdienām. Pēc muzeja likvidācijas 1940.gadā un vēlākā posmā muzeja krājumu daļēji iznīcināja vai nodeva citu muzeju, arhīvu un iestāžu rīcībā. Tagad muzejs pamazām atgūst savu īpašumu, kas vēl ir saglabājies citu resoru pārziņā.
Krājuma lielāko un nozīmīgāko daļu veido priekšmeti par Latvijas militāri politisko vēsturi 20.gadsimtā, lai gan muzeja krājumā atrodas arī priekšmeti no 15.gadsimta. Atjaunojot Kara muzeju 1990.gadā, tautas atsaucības rezultātā muzeja krājums papildinājās ar priekšmetiem, kas padomju okupācijas gados ilgstoši bija slēpti un rūpīgi glabāti. Muzeja pamatkrājumā pašlaik ir vairāk nekā 25 400 vienības, kas sistematizētas 22 kolekcijās. Lielu daļu no šīm vienībām sastāda Dokumentu un fotogrāfiju kolekcijas, kuras iedalās 5 hronoloģiski tematiskās kolekcijās, atbilstoši pētnieciskā darba nodaļu struktūrai: 1) jaunāko laiku periods (sākot ar 19.gs otro pusi līdz 1. pasaules karam, 2) I pasaules kara periods (1914.- 1918.g.) un Pilsoņa kara, kā arī latviešu bēgļu gaitu Krievijā materiāli (līdz 1926.g.), 3) neatkarīgās Latvijas izveidošanās un pastāvēšanas periods (1918.- 1940.g.), 4) II pasaules kara periods un pēckara nacionālās bruņotās pretošanās materiāli (1939.- līdz 1950.g.vidum), 5) pēckara periods okupētajā Latvijā un latviešu trimdas, kā arī atjaunotās neatkarīgās Latvijas materiāli. Atsevišķi izveidota Fotonegatīvu kolekcija. Pārējie muzeja priekšmeti attiecīgi iekļauti Vēsturisko priekšmetu kolekcijā (formas tērpi, ekipējums un uzkabe, sadzīves priekšmeti u.c.), Numismātikas un faleristikas kolekcijā (nauda, apbalvojumi, nozīmes u.c.), Mākslas darbu kolekcijā, Ieroču kolekcijā, Banistikas kolekcijā (karogi, vimpeļi u,c,), Kartogrāfijas kolekcijā, Plakātu kolekcijā, Vēsturisko grāmatu, Preses kolekcijā, Filatēlijas kolekcijā (markas, aploksnes), Filokartijas kolekcijā (atklātnes).
