在彼得一世大帝的倡议下,军械库的建设始于1702年,皇帝亲自绘制了设计图纸。彼得一世建议不仅要把新大楼用于军械库,而且同时用于战利品以及古代武器的博物馆。军械库位于克里姆林宫内的北角,在圣三一塔和尼古拉塔之间。

由于抗瑞战争爆发以及资金缺乏,建设工作从1706年起终止,几次重新开建,1736年才竣工。1737年,莫斯科发生大火灾,军械库受损,建筑物的木制结构被烧得精光。军械库的重建工作于1786-1796年进行。1812年,从莫斯科撤退的法国军队炸毁了军械库,新一轮重建工作持续到1828年。

虽然建设时期很长,但是军械库的建设基本遵循了最初的设计方案。整个建筑从空中俯瞰呈梯形,内院宽敞,西北面和东北面与城墙衔接。正面可欣赏到精美雕塑。

1812年的卫国战争后,计划把军械库改成卫国战争博物馆,为此1819年所有被缴获的火炮被搬到大厦的前面,其中大多数是1812年卫国战争时期的火炮、迫击炮、榴弹炮。还有法国、奥地利、普鲁士、意大利、西班牙等国的武器。这些战利品都是莫斯科克里姆林宫博物馆的展品。目前,在军械库设有莫斯科克里姆林宫卫戍司令部的营房以及行政部门。