扶贫楼的负责部门主要有 多个，具体如下：
国务院扶贫办：
这是最高级别的扶贫机构，负责全国范围内的扶贫开发工作。
省级扶贫办：
负责本省范围内的扶贫工作，接受国务院扶贫办的指导和监督。
市一级扶贫办：
负责本市范围内的扶贫工作，接受省级扶贫办的指导和监督。
县扶贫办：
负责本县范围内的扶贫工作，接受市一级扶贫办的指导和监督。
村委会：
在具体实施扶贫政策时，村委会也会参与贫困户的考核认证和申请扶贫政策危房改造等事宜。
此外，建设部门和相关职能部门也负责扶贫楼的质量监管工作。
综上所述，扶贫楼的管理涉及多个层级和部门的协同工作，以确保扶贫政策的有效实施和扶贫楼的质量安全。
