Urartular, Asurlular, Medler, Persler, Makedonlar, Romalılar, Sasaniler, Bizaslılar, Araplar, Selçuklular, Moğollar, Akkoyunlular, Karakoyunlular ve Osmanlının izleri mevcuttur.

Adının kökeni ile ilgili kesin bilgi yoktur.
İbranicede muşa; sulak otlak anlamındadır.
Arapçada muş; şeffaf anlamında,
Farsçada ise muş; nehirlerdeki küçük gemi anlamındadır.
Bir rivayete göre yöreye yerleşen bir İbrani kavmi bu adı vermiş olabilir.
Diğer bir rivayete göre Asur kaynaklarında Muşkiler olarak geçen bir topluluk nedeniyle bu ad verilmiş olabilir.

Bir söylentiye göre şehri Muşet adlı biri kurmuştur.
Başka bir rivayette Hz. Nuh'un torunu olan Muş ve oğulları tarafından kurulur şehir.
Anlatılan bir efsaneye göre de yöredeki lanetli halkı yiyerek yok eden dev bir farenin adıdır muş. Bu farenin yaşadığı dev mağara hala durmaktadır.
Yine ilk zamanlarda bazı kaynaklarda Muş ovası ve çevresi için Taraunitis, Taraun veya Daron adları geçer. Bu ad daha sonra Taran ve Tarûn olur.
Osmanlı döneminde önce Van Eyaletine sonra Bitlis Hanlığına bağlıdır. Daha sonra Erzurum Eyaletine bağlanır.
Cumhuriyet dönemi ile il olur.