伊斯蘭教傳入上海始于元代。至元十二年（1275年）元將西域回回沙全率兵攻入華亭（今松江），隨軍而來的西域色目人兵士多回回。至元十四年（1277年）沙全升任松江府達(dá)魯花赤（“掌印者”），隨軍官兵及家屬遂定居松江。至正年間（1341~1368），松江建立了第一座清真寺——真教寺，成為伊斯蘭教傳入上海的標(biāo)志。

明初，朱元璋分封開國(guó)元?jiǎng)字械幕鼗貙㈩I(lǐng)鎮(zhèn)守食祿金山衛(wèi)和嘉定等地。上海回回人口有所增加，伊斯蘭教初步發(fā)展。

清嘉慶年間（1769~1820年），七寶鎮(zhèn)南街創(chuàng)建七寶清真寺。道光二十三年間（1843年）建草鞋灣清真寺。1864年設(shè)穿心街（今福佑路）清真寺。咸豐五年（1855年）建立浙江路回教堂（俗稱外國(guó)寺）。

十九世紀(jì)末至二十世紀(jì)初，上海工商業(yè)日趨繁榮，外省穆斯林紛紛來滬，先后設(shè)藥水弄、鴻壽坊、江寧路、重慶路、斜橋、韜朋路、粉州路等清真寺。習(xí)慣形成了上海穆斯林“大分散、小集中”的分布格局，其經(jīng)濟(jì)、文化、社會(huì)地位緩慢提高，振興伊斯蘭教意識(shí)逐漸加強(qiáng)。

辛亥前后到抗戰(zhàn)前，是伊斯蘭教全盛時(shí)期。1944年上海市回教堂理事會(huì)成立，這是近代中國(guó)成立的第一個(gè)伊斯蘭教團(tuán)體，

宗教學(xué)術(shù)團(tuán)體方面，由哈德成教長(zhǎng)等發(fā)起于民國(guó)14年（1925年）成立的上海中國(guó)回教學(xué)會(huì)，在推動(dòng)宗教教育改革，創(chuàng)辦《中國(guó)回教學(xué)會(huì)月（季）刊》，翻譯《古蘭經(jīng)》，創(chuàng)辦上海伊斯蘭師范學(xué)校和敦化中小學(xué)，設(shè)立獎(jiǎng)學(xué)金和圖書館，選送赴埃及留學(xué)生，資助著名教長(zhǎng)長(zhǎng)期出國(guó)考察，促進(jìn)中外穆斯林文化交流，起了很大的推動(dòng)作用。

民國(guó)26年（1937年）八一三凇滬戰(zhàn)爭(zhēng)爆發(fā)，上海的回教團(tuán)體和教長(zhǎng)們積極宣傳抗日救國(guó)，勉勵(lì)穆斯林投入前線和后方的抗日工作，并親身組織四處難民收容所，收容和賑濟(jì)數(shù)以千計(jì)的穆斯林難民。

1949年上海共有清真寺20 座，阿訇58人。當(dāng)時(shí)上海范圍內(nèi)穆斯林人口1.74萬余人。建國(guó)后，政府實(shí)行民族平等、信仰自由政策。1952年春，陳毅市長(zhǎng)視察小桃園清真寺，隨即將該寺列入對(duì)外開放單位。1957年以前，政府多次撥款修理了6座清真寺。

1959年4月，專門成立了上海市清真寺管理委員會(huì)。1962年8月召開上海市伊斯蘭教第一次代表會(huì)儀，成立了上海市伊斯蘭教協(xié)會(huì)，“文化大革命”期間，上海市伊斯蘭教協(xié)會(huì)被停止工作。

1978年中共十一屆三中全會(huì)以后，重新落實(shí)民族宗教政策。1979年6月，上海市伊斯蘭教協(xié)會(huì)恢復(fù)工作，各項(xiàng)活動(dòng)陸續(xù)開展。有7座清真寺（恢復(fù)開放，政府多次撥款修繕?biāo)山?、小桃園等清真寺。松江清真寺于1980年被定為市重點(diǎn)文物保護(hù)單位。至1999年，滬西、浦東兩座清真寺在政府的扶持下重建。