Efsaneye göre İslam halifelerinden Hazreti Ali, atı Düldül'ün sırtında dağdan dağa seyahat ettiği anlatılır.
Anlatıya göre, Hz. Ali bir sefer sırasında Kahramanmaraş-Göksun arasındaki bir dağda mola verirken, atı Düldül'ün ayakları sert bir şekilde yere basınca, atın izlerinin bulunduğu bir kaya ortaya çıkar. Bu hikaye kulaktan kulağa dolaşarak günümüze ulaşmıştır.
Söz konusu dağın büyük bir kısmı kayalıktan oluşur ve bu efsaneden ilham alınarak bu kayalara "Ali Kayası" adı verilmiştir.
Eskiden Göksun-Kahramanmaraş yolunun Ali Kayası'nın yanından geçtiği bilinmektedir.
Benim gibi birçok kişi, bu efsaneyi duyduktan sonra Ali Kayası'nı ziyaret ettiğinde, Hz. Ali'nin atı Düldül'ün izlerini aramaktan kendini alamazdı.
Günümüzde Menzelet Barajı bölgesinde bulunan Ali Kayası, dağcılar için ilgi çekici bir turizm bölgesidir.