不退寺主殿的中央供奉著觀世音菩薩.。這尊木製觀音像據說可追溯至九世紀中期，其左右側分別安置著五大明王的雕像，周圍則擺放了掛毯及其他歷史文物。主殿本身約在十二至十四世紀之間建造。1930年，主殿在拆解進行修繕時，在天花板上方和地板下方發現藏有佛像和經卷。

建築學上，主殿以內外殿之間的菱形雙重格子橫樑設計聞名。這種格子圖案稱為「業平格子」，據說曾經是貴族歌仙兼不退寺創始人在原業平（825-880）所穿的衣物裝飾。

從中央觀音像兩側的分隔房間來看，我們可得知寺院起源的線索。東側安置了一座伊勢神宮的末社，是日本最受崇敬的神社之一。在佛寺主殿內建置神道神社非常罕見，而這與業平建立不退寺的靈感來源故事不謀而合。據傳，天照大神顯現並賜予他一面神鏡，命令他確保這面神鏡妥善受到供奉。主殿西側則安放了一尊業平父親安保親王（792-842）的雕像。不退寺是為了紀念他而建。

這座寶塔建於鎌倉時代中期（1185-1333），是不退寺最古老的建築。這種寶塔設計通常為兩層，但據稱在1873至1923年間，這座寶塔因寺廟無人居住而失掉上層。寶塔內部有真言八祖（真言宗八家祖師）的畫作裝飾。每年5月28日，即在原業平（825-880）的逝世紀念日，該寶塔會對外開放一次。

1934年，寺方將塔樓拆解進行修繕時，在椽子上發現了一處銘文，顯示該寶塔曾存放數百尊由鎌倉時代著名雕刻家快慶（約1192年）製作的地藏菩薩像。

不退寺主入口在南大門的位置，建於1317年。這扇門明顯的建築特色包括精美的木製「蛙股」支柱，以及主要集中在中央橫梁上的雕刻裝飾。門兩側的灰泥牆面上有五條水平分隔線，表明了不退寺屬於奈良寺廟中最高的等級。這些標記還顯示出這座寺院與皇室的連結。

門扇的部分零件可追溯到鎌倉時代（1185-1333），還有一些零件則是在明治時代（1868-1912）完成更換。較舊的木板上佈滿小孔，過去曾認為是箭或子彈留下的痕跡，目前推測是當地農民在寺廟休息時，將小鐮刀插入門板所造成。