不退寺正殿正中供奉的佛像是观音菩萨，这尊木质观音像据说可以追溯至9世纪中期。其两侧安置着五大明王像，周围则悬挂着挂毯等历史文物。正殿建于12至14世纪之间。1930年重修正殿时，建筑被拆，在天花板上方和地板下发现了隐藏的佛像和经卷。

从建筑角度来看，正殿最显著的特点是内外殿之间的横梁上交叉的菱形双格子纹饰。这种被称为“业平格子”的图案据说曾装饰在寺院创建者、贵族诗人在原业平（825-880）的衣物上。

观音像两侧的隔间中藏有寺院起源的线索。东侧供奉了一座伊势神宫的末社，是日本最受崇敬的神社之一。在佛教寺院的正殿内存在神社非常罕见，这与业平在参访伊势神宫时受到启发创建寺院的传说不谋而合。据说业平在参拜伊势神宫时，天照大神显灵，赐予业平一面神镜，并命他妥善供奉。西侧供奉着业平之父阿保亲王（792-842）的塑像。不退寺就是为纪念他而建。

这座建于镰仓时代中期（1185-1333）的多宝塔是不退寺现存最古老的建筑。这类设计的宝塔通常为二层构造，但此塔的第二层据信在寺院无人看管的1873至1923年间遗失。多宝塔内部装饰有真言八祖（真言宗八位祖师）的绘画。多宝塔每年仅在5月28日，即在原业平（825-880）的忌日这一天对外开放。

1934年，多宝塔曾进行修缮。修缮时，在塔的椽木上发现了一块碑文，碑文显示，塔内曾供奉数百尊由镰仓时代著名雕刻家快庆（约1192年）所制作的地藏菩萨像。

不退寺的正门是南大门，建于1317年。这座门独特的建筑特征包括精巧的木制“蛙腿”形撑木（蛙股）和主要分布在中央横梁上的装饰性雕刻。门两侧的灰泥墙上标有五道横线。这些标记象征着不退寺在奈良寺庙中具有最高地位，同时也表明不退寺与皇室有着密切的联系。

门扉有一部分可追溯到镰仓时代（1185-1333），另一些则是在明治时代（1868-1912）更换的。古老的木板上遍布小孔。过去曾认为这些是被箭矢或子弹射出的痕迹，但如今更倾向于认为，这是当地农民在寺院休息时，将手镰插入门扉留下的印记。