Gagasan didirikannya SMAIT Abu Bakar Yogyakarta muncul ketika Yayasan Pendidikan Abu Bakar yang dipimpin oleh Drs. Masruri mempunyai siswa SMPIT pada tahun kedua tepatnya tahun 2003. Dengan bermodal guru yang ada dan masih berbagi gedung dengan SMPIT Abu Bakar Yogyakarta, Yayasan Pendidikan Islam Abu Bakar mendirikan sekolah dengan nama SMAIT Abu Bakar.
Pada tanggal 23 April 2003 ijin operasional SMAIT Abu Bakar dikeluarkan. Kepala Sekolah pertama SMAIT Abu Bakar adalah Ustadz Drs. Ahmad Agus Sofwan, M.Si. SMAIT Abu Bakar menempati lokasi di Jl. Veteran Gg. Bekisar No. 716 Q Umbulharjo Yogyakarta dan jumlah siswa angkatan I adalah 7 orang (6 putra 1 putri).
Pada tahun 2004 SMAIT Abu Bakar dipimpin oleh Ustadz Harman, S. Pd. periode 2004-2008. Dengan jumlah siswa yang terus bertambah setiap tahunnya, pada tahun 2006 lokasi kampus SMAIT Abu Bakar dipindahkan ke Jl. Rejowinangun No. 28 E Pilahan, Kotagede, Yogyakarta. Kemudian pada tahun 2007 SMAIT Abu Bakar diakreditasi oleh Dinas Pendidikan Propinsi DIY dan Alhamdulillah medapat nilai A. Oleh karena itu sejak tahun 2007 SMAIT Abu Bakar dapat melaksanakan Ujian Nasional sendiri dampai sekarang. Pada tahun 2008, SMAIT Abu Bakar kembali dipimpin oleh Drs. Ahmad Agus Sofwan. Seiring berjalannya waktu, SMAIT Abu Bakar terus berkembang dan telah meraih prestasi yang cukup tinggi diantaranya Juara Karate tingkat DIY, MHQ, Juara I KIR, Juara I Mading se-DIY, Juara Umum Jambore Nasional dll.