Маріупольський краєзнавчий музей засновано 6 лютого 1920 року за ініціативою та під керівництвом І.П. Коваленка.
Протягом усього існування установа розташовується в історичній будівлі колишнього Катеринославського земського навчально-ремісничого будинку-притулку для інвалідів Першої світової війни.
В основу музейної колекції було покладено зібрання музеїв і бібліотек маріупольських гімназій, наочного приладдя будинку інвалідів. Щорічні експедиції, які проводили наукові співробітники у 20-30 роках ХХ століття, сприяли створенню археологічної, етнографічної, геологічної та інших музейних колекцій. 
За участю наукових співробітників музею були створені перші природні заповідники «Хомутівський степ» (1926 р.), «Білосарайська коса» (1927 р.), «Кам’яні Могили» (1927 р.), що знаходились у підпорядкуванні музею.
Нині музейна колекція складається з понад 55 тисяч музейних предметів. До найцінніших колекцій належать пам’ятки палеонтології: залишки стародавніх тварин, що мешкали колись у нашому краї, — мастодонта, шерстистого носорога, гіппаріона, відбитки викопних рослин — деревоподібних папоротей, хвощів.
Особливе місце посідає археологічна колекція. Це матеріали поселень, стоянок, поховань епохи енеоліту, бронзового, раннього залізного століть, кочівників. У фондах зберігаються унікальні матеріали Маріупольського неолітичного могильника епохи пізнього неоліту — прикраси, знаряддя праці, амулети. Окрасою середньовічної колекції є понад 30 кам’яних половецьких статуй. У музейному зібранні представлена колекція нумізматики та паперових грошових знаків різних країн. Найбільший інтерес представляє скарб срібних монет, який датується початком XVIII століття. Найбільш ранніми в скарбі є монети Івана Грозного. У складі колекції монети Стародавнього Риму, середньовічної Європи, Російської імперії тощо. 
Музей володіє невеликою, але змістовною колекцією, що відображає історію православ’я в регіоні. Вона включає богослужбові, церковні предмети, фото та документальні джерела, книги. До літургійного приладдя XVIII століття належать срібний потир, срібне карбоване кадило, плащаниця. Серед книг фоліанти XVII-XX ст.: Требник 1620-1645 років, надруковані в Греції Євангелія 1748 і 1811 років, напрестольне Євангеліє 1800 року, видане в Москві. У складі колекції й інше церковне приладдя: ікони, різноманітні складні, образки, хрести, лампадки, дзвони, кропило, кандило, кація, ладаниця та ін. Маріупольський краєзнавчий музей має кілька філій. У 1962 році при музеї на громадських засадах було відкрито картинну галерею, 
у якій демонструвалися роботи місцевих художників, у тому числі й О.І. Куїнджі. Через десять років відчинила двері виставкова зала імені нашого видатного земляка. 1969 року відкрився меморіальний будинок-музей О.О. Жданова, 1989 року перетворений на Музей народного побуту. Про культуру і побут маріупольських греків розповідають матеріали Музею історії та етнографії греків Приазов’я в Сартані, створеного на основі музею на громадських засадах 1992 року. У 2010 році відкрився Художній музей імені О.І. Куїнджі.