イスラム教徒でなくても、内部を見学することができ、男性は一階の礼拝堂を、女性は二階の礼拝堂を利用することができます。ただし、多人数での見学の場合は、事前に連絡する必要があります。また、見学の際には、肌の露出（半ズボンやミニスカートなど）がある場合は入場できないので、ご注意ください。
なお、モスクに隣接しているイスラーム文化センターでは、イスラム教徒でなくても参加できる勉強会が行われており、幅広い人々に対してイスラム教の基礎知識を提供しています。
日本でのモスク建設計画は、最初に東京で提案されたものの頓挫し、後に神戸で計画が具体化しました。神戸にモスクが必要とされたのは、第一次世界大戦中や戦後にイスラーム教徒が増えたためです。計画はインド人貿易商の来日をきっかけに進められ、インド人や神戸トルコ・タタール協会などからの寄付により実現しました。
主要な出資者の一人であるフェローズッディンは資金の半分以上を負担し、アフメド・アブドゥル・カリム兄弟社も大口出資しました。また、在朝鮮タタール人や在神エジプト領事、シリア商人、エジプト領事館員も寄付を行いました。
モスクの建設は鉄筋コンクリート造で設計されました。モスクの定礎式は1934年に行われ、日本初のモスク建設の事実は海外でも知られるようになりました。
1935年にモスクが完成し、献堂式が行われました。この式典にはインドやロシア、ドイツ、中国などからのイスラーム教徒が集まり、初めての金曜礼拝も行われました。
モスクの運営はスンナ派、ハナフィー学派と明記され、理事や監事は主にインド人とタタール人から選ばれました。モスクの近くで祝賀会が開かれ、多くの祝福の言葉や演説が行われました。
モスクは戦時中に一時的に日本海軍に接収されたこともありましたが、神戸大空襲や阪神・淡路大震災にも耐え、現在も存在しています。