Awal sejarah Pasar Johar diawali pada 1860, persimpangan johar dahulu adalah sebuah alun – alun Semarang sedangkan sisi sebelah barat terdapat penjara. Awalnya Pasar Johar hanyalah tempat berjualan kecil untuk memenuhi kebutuhan orang – orang yang sedang membesuk tahanan dan menunggu jam besuk di bawah pohon sekitar Johar. Ada pendapat bahwa Pasar Johar adalah kawasan yang kumuh oleh tenda pedagang kemudian Sunan Pandanaran memerintahkan untuk menanami pohon Johar sebagai tempat berteduh.
Komoditas yang dijualsaat itu adalah hasil bumi seperti buah, jagung, ketela hingga pisang. Keberadaan pasar dibiarkan tanpa adanya penertiban dan bahkan pemerintahan kota menarik retribusi bagi pedagang di Johar. Hingga pada akhirnya pada 1931 pemerintah kota membangun Pasar Johar untuk menyatukan dikawasan tersebut yaitu Pasar Pedamaran, Johar, Beteng, Jurnatan serta Pekojan.
Baca Juga : Sejarah Sam Poo Kong
Keberadaan Johar yang strategis membuat pemerintah memperluas pasar tersnbut dan merobohkan bangunan penjara serta menebangi pohon – pohon johar. Pada 1933 pemerintah kota meminta seorang arsitek Belanda untuk membuat struktur bangunan dengan meminta konsep bangunan seperti di pasar Jatingaleh. Namun dengan pertimbangan kondisi iklim serta perilaku masyarakat Semarang, arsitekturpun diubah menyesuaikan hal tersebut dan terciptalah bangunan Pasar Johar yang luar biasa.
Kelebihan bangunan Pasar Johar adalah memungkinkan sirkulasi udara sehingga memungkinkan udara untuk berganti dan mengurangi hawa panas di dalam Pasar Johar. Pada 1955, Pasar Johar dianggap pasar terbesar di Asia Tenggara dengan arsitektur dan manajemen yang baik. Dalam perkembangannya, pedagang Pasar Johar tidak hanya terbatas dari orang Semarang namun juga orang luar Semarang.
