Burada halıcılığın gelişmesi Milas’ta oturan Yahudilerin buraya ve Dereköy’e halı atölyesi kurmaları ile başlıyor,nevii şahsına münhasır ticari halı yaptırıyorlar. Daha sonraları Isparta’dan asıl mesleği öğretmenlik olan Mehmet bey geliyor ve buradaki halıcılığa sahip çıkmaya gayret ediyor. Yeni desen çalışmaları ile ünleniyor. Karacahisar da boyacı boyasının gelişmiş olması da dönme denilen boyacı bir Rum’un o köyden biri ile evlenmesi ve etrafına boyacılığı öğretmesi neticesinde oluyor.
Karacahisar eskiden Gavur Asarı ( Gavur Hisarı ) diye anılırmış . Bu bölgeye ilk gelen Türk aşiretleri Hatıplar,Hacı Osmanoğulları imiş bu yöreyi Tavaslıoğlunun Söğütçük içi diye adlandırmışlar.
Karacahisar ilk halı atölyesi Yahudiler tarafından köy odasına yakın bir yerde kurulmuş. Şirketin merkezi Milas taymış. Şirket ipi,deseni verir,sıyırdım hesabı işçilik ücreti ödermiş. Tezgah hanenin boyacısı Yeni Mehmet ( Mehmet Mahir ) isimli Rum dönmesi biriymiş.
Mazılıların kökünün Giritli olduğunu ifade edilir. Karacahisarlıların ise Tavas üzerinden gelen Karakeçeli Yörüklerinden olduğunu söylenir.
