Selçuklu Veziri Fahreddin Sahibata'nın oğlu, Afyon Sancak Beyi Nusreddin Hasan tarafından Karahisar Kalesi eteklerinde yaptırılan Ulu Cami'nin inşaatı 1272 yılında başladı. 1277 yılında tamamlanan Ulu Cami, moloz taş malzemeyle yamuk dikdörtgen biçiminde inşa edildi. İnşa edilirken kırma çatılı yapının üzeri düz toprak damla örtülürken, ortasına da aydınlık feneri yerleştirildi. Ulu Cami'nin 1947 yılındaki onarımı sırasında fener kapatılırken, 1983 yılında da çatısı çinko malzemeyle yapılarak, yenilendi. Kuzey, doğu ve batı yönlerinde üç girişi bulunan, batı cephesindeki girişten ibadet mekanına merdivenle inilen tarihi cami, iri mukarnas (İslam sanatındaki mimari yapılara ait geometrik bir bezeme çeşidi) başlıklı 40 ahşap direkle 9 sahına (bölüm) ayrıldı. Camideki, ahşap kirişler ve lambriler üzerinde bulunan geometrik, bitkisel, yazılı ve figürlü kalem işi süslemelerden günümüze ise çok azı ulaşabildi.Enfes Selçuklu taş işçiliği: Kesme beyaz kireç taşından mihrabı, yalın Selçuklu taş işçiliğine sahip olan Ulu Cami'nin geometrik motiflerle bezeli ahşap minberi Selçuklu ahşap işçiliğinin güzel örneklerinden birini gözler önüne seriyor. Ulu Cami, yüksek nitelikli ahşap ve taş işçiliğinin yanında bezemeli tuğla minaresi ve Selçuklu'dan günümüze ulaşan en eski ahşap direkli camilerden biri olması dolayısıyla Anadolu'nun önemli yapı taşlarından biri olarak göze çarpıyor.Ender camilerden biri: Yerel tarih araştırmacısı ve alan kılavuzu Hasan Özpınar, Ulu Cami'nin şehrin en eski camilerinden biri olduğunu belirterek, caminin 1272 ile 1277 yılları arasında Sahibata Fahrettin oğlu Nusreddin Hasan tarafından yapıldığını söyledi.Tarihi Karahisar Kalesi eteklerine caminin inşa edildiğini vurgulayan Özpınar, "Yaklaşık 750 yıldır ibadete açık olan bir camidir. Yapıldığı dönemlerde Hocabey veya Cami-i Kebir olarak bilinirdi. Daha sonraki yıllarda Ulu Cami olarak isimlendirilmiş. O gün bu gündür yine mimarisiyle Anadolu'da ender bulunan camilerden birisidir" dedi.Anadolu'da 5 tane var: Camiyi özel kılan ana temanın içerisindeki ahşap direkler olduğunu aktaran Özpınar, "40 ahşap direk üzerine oturtulmuş tarihi bir yapı. Anadolu'da bilebildiğimiz bu yönüyle 5 yapı var: Konya'nın Beyşehir ilçesinde Eşrefoğlu Cami, Eskişehir'in Sivrihisar ilçesinde Ulu Cami, Ankara'da Cenab-ı Ahmet Paşa Cami ile Kastamonu'da Kasaba Cami, Afyonkarahisar'daki Ulu Cami gibi benzer yapıdaki camilerimizdir" diye konuştu.Çivi kulanılmadan inşa edilmiş: Hasan Özpınar, şöyle dedi: "Cami yapıldığında üzeri toprakla örtülmüş. Yani çorak toprakla örtülmüş. 1948 yıllarında restorasyonu yapılmış ve üst kısmı açılarak toprak örtü kaldırılmış. Yerine bugün gördüğümüz çinko kaplama çatı yapılmış. Restorasyon sırasında çürüyen bazı parçalar değiştirilmiş. Direklerin başlıklarına baktığımız zaman özellikle ince işçilik görülmeye değer. 'Kündekari' dediğimiz farklı bir yapı stiliyle çivi kullanılmadan inşa edilmiş. Her biri birbiriyle farklı yapıdadır ve birbiriyle benzerlik göstermez."Tarihi dokusunu koruyor: 2003-2004 yıllarında caminin yeniden restore edildiğini aktaran Özpınar, "Bu restorasyon sırasında taban tahtaları söküldü. Ayrıca kapının hemen solunda bir cenaze ve mezar taşı bulundu. Kim olduğu araştırıldığı zamanda Ulu Cami'nin hemen karşısında 1900 yılı başlarında Afyon'da müftülük yapan 'Çil Hafız' isminde bir zat. Vefatında vasiyet etmiş ve 'Beni müminlerin ayaklarının altına defnedin' diye. Oraya defnedilmiş. Ayrıca camiye gelen ziyaretçi sayısı da her geçen gün artıyor. Hafta sonları binlerce ziyaretçi ağırlıyor. Gelen misafirlerimiz hem ibadet ediyor hem de tarihi dokuyu görme fırsatı buluyor. Direklerin başlarında dikkat ederseniz geometrik motifler ve bezeli ahşaplar 750 yıldır tarihi dokusunu koruyor" diye konuştu.İnsana huzur veriyor: Tarihi camiyi ziyarete eden Akif Saka, caminin muhteşem bir görünüme sahip olduğunu ve burada olmaktan mutlu olduğunu söyledi.Saka, "Ulu Cami çok güzel ve tarihi bir cami. Ben Amasya'nın Merzifon ilçesindenim ve bizim orada da böyle camiler var. Burada olmak insana huzur ve huşu veriyor. Bu camiyi yapanlar güzel bir ruh ile yapmış. Yeni yapılanlar soğuk ve ruhsuz" diye konuştu. İzmit'ten eşiyle Afyonkarahisar'a gelen ve camiyi ziyaret eden Mustafa Öztürk, caminin manevi bir havası olduğunu ve mimarisine hayran kaldığını söyledi.