Afyon Kalesinin altında Çavuş Başı Mahallesinde olan Kabe Mescidi’ni l397 yılında Hacı Mehmet Bin Yusuf yaptırmıştır.Söylentiye göre Kabe ölçüsünde yapıldığı için Kabe Mescidi ismini almıştır. Kar planlı mescidin üzeri küçük bir kubbe ile örtülüdür. Kesme bazalt taşından yapılmış olup duvarlarında antik dönemlere ait taşlar yer yer kullanılmıştır. Camiye batı yönündeki 11 basamaklı bir merdivenle çıkılan bir kapıdan girilmektedir. Giriş kapısının üzerinde üç satırlık 1397 tarihli kitabesi bulunmaktadır:
Cedde’de ve dehale el Cennete bed
Elhaç Muhammed bin elhaç Yusuf
Fi Muharrem âm...samanimie
Türkçe’si:
Bu mescidi yenileştirdi ve sevabı dolayısıyla cennete girdi
Hacı Muhammet bin Hacı Yusuf
800 Muharreminde
Girişin iki yanında ve kıble yönünde açılmış iki pencere ile içerisi aydınlatılmıştır. İç mekan badanalanmış olup herhangi bir bezemesi bulunmamaktadır. Mescidin güney batı yönündeki, beden duvarları üzerine yapılmış minaresine duvarların içinde açılmış dar bir merdivenle çıkılmaktadır
