江戸時代の大名墓所の形態をよく保存し、江戸周辺では最大規模の国指定史跡となっている。仏殿、灯籠、鐘楼は創建当時のもので、本堂・法堂、開祖堂、書院、三重塔、招福殿(招き猫)、地蔵堂、種月園(枯山水)や井伊家歴代の墓があり、世田谷を代表する古刹となっている。延宝5年(1677)完成の仏殿は、黄檗宗の影響がみられる禅宗の仏殿。
また、この寺には2代藩主井伊直孝が鷹狩りの折り、大雨の中、木の下で雨宿りしていたところ、住職の愛猫「タマ」の招きで落雷を逃れたという伝説がある。豪徳寺の招き猫は幸運を招くとあって、家内安全、商売繁盛、心願成就を願う招福殿への参詣者が多い。