Należy do najstarszych tego typu placówek w Europie. Zostało założone w 1820 r. z inicjatywy Towarzystwa Naukowego Płockiego. 21 września 1821 r. Komisja Rządowa Wyznań Religijnych i Oświecenia Publicznego Królestwa Polskiego zatwierdziła statut i nazwę placówki jako Muzeum Publiczne i Szkolne Województwa Płockiego. Statut ów mówił m.in.: “Każdą osobliwość natury, pomnik historyczny albo jako bądź rzecz naukom bądź przemysłowi przydatną Towarzystwo z wdzięcznością do składów swych przyjmie”. W tymże 1821 r. było ono trzecim muzeum publicznym w Królestwie po Puławach i Wilanowie, a jako pierwsze funkcjonowało na podstawie decyzji władz państwowych.
W latach 1831-1907 jego działalność została zawieszona. Ponowna organizacja muzeum nastąpiła w 1912 r. z inicjatywy prezesa TNP dr Aleksandra Bolesława Macieszy. Siedzibą Muzeum stała się kamienica kanonia przy pl. Narutowicza 8 (obecnie siedziba TNP). W latach 1912-28 placówka nosiła nazwę Muzeum Przyrodniczo-Ludoznawczego TNP, a do 1939 r. działała jako Muzeum Mazowsza Płockiego im. prof. Ignacego Mościckiego Prezydenta RP.
Na początku lat 30. zmieniono również (ze względu na stale wzrastającą ilość eksponatów) siedzibę na kamienicę “Dom Pod Opatrznością” przy pl. Narutowicza 2, gdzie mieściło się do roku 1972. W 1949 r. zostało upaństwowione i otrzymało miano Muzeum w Płocku, zaś w 1963 r. nadano mu obecną nazwę, czyli Muzeum Mazowieckie. Pięć lat później uzyskało rangę muzeum okręgowego.
Od 16 maja 1972 r. znajdowało się w dawnych budynkach pobenedyktyńskich na Wzgórzu Zamkowym (Tumskim), zaś obecnie ma nową siedzibę, przy ul. Tumskiej 8.
W jego zbiorach znajduje się ponad 80 000 eksponatów, w tym licząca prawie 12 000 obiektów kolekcja sztuki z przełomu wieków XIX i XX (historyzm, secesja, grafika i art deco). Właśnie sztuka secesyjna, malarstwo, grafika, plakat, rzeźba i rzemiosło artystyczne – stanowią specjalizację płockiego muzeum. Kolekcję specjalną stanowi ikonografia miasta Płocka: obrazy Vogla, Molinarego, Gierymskiego, Gersona i Karszowieckiego. Współgra z nią inna kolekcja, obejmująca 200 pozycji, ekspozycja dawnego malarstwa, takich autorów, jak: Chełmoński, Fałat, Hadziewicz, Krzyżanowski, Julian Kossak i Malczewski. Do najważniejszych należy także ekspozycja ukazująca historię i dzieje kultury Płocka i Mazowsza Płockiego.
Muzeum Mazowieckie na dzień dzisiejszy jest placówką wielodziałową o różnorodnym zakresie zainteresowań. W niektórych dziedzinach ogranicza się do problematyki regionalnej, zabezpieczając w zbiorach pamiątki związane z historią Płocka i Mazowsza, w innych wykracza nawet poza granice Polski. Największe zainteresowanie wzbudzają zgromadzone w dziale sztuki zbiory secesji, które należą do najokazalszych w Polsce. W kolekcji tej na wyróżnienie zasługują zespoły szkła, ceramiki, przedmiotów wykonanych z metali, biżuterii i strojów. W dziale sztuki zwraca także uwagę kolekcja artystycznych wyrobów z metali firm warszawskich (na przestrzeni wieków od XVIII do XX), zaś w dziale numizmatycznym: zespół medali secesyjnych oraz medalionów z końca XIX i początku XX stulecia.
W latach 70 i 80 znacznie wzrosła ranga płockiego muzeum, uzyskało ono specjalizację zbiorów w zakresie sztuki secesyjnej, odniosło wiele sukcesów wystawienniczych w kraju i za granicą. Osobnym działem są zbiory sztuki ludowej eksponowane w zabytkowym spichrzu mieszczącym się przy ul. Kazimierza Wielkiego nr 11. Zbiory te – liczące prawie 10 000 obiektów – obejmują kolekcję sztuki ludowej z terenów Mazowsza. Na wyróżnienie zasługują tu zespoły tkanin, strojów i rzeźby ludowej.
W skład Muzeum wchodzi też Muzeum Żydów Mazowieckich, mieszczące się w budynku dawnej synagogi.