法律分析：一般个人与个人之间进行房屋租赁，很多都只是签订合同，甚至只有口头协议，不开具发票的，这样就难以确定税费的来源；如果是正规的商用楼宇出租，一般是要开具发票的，比较规范。房屋租赁费的发票应该由出租方来开具并且承担相应的税费，除非当时在签订合同时，有承诺所开具的房屋租赁发票的税费由方承担，如果做为承租方没有过错，出租方不应拒绝退还押金，实在要不回，只能通过法律手段来解决这件事。通常来说，假如出租方将该税项推给承租方缴纳，承租方一直不交的话，出了问题一般是要找出租方。因为房屋租赁税缴纳主体是出租房。
法律依据：《中华人民共和国税收征收管理法》
第一条 为了加强税收征收管理，规范税收征收和缴纳行为，保障国家税收收入，保护纳税人的合法权益，促进经济和社会发展，制定本法。
第二条 凡依法由税务机关征收的各种税收的征收管理，均适用本法。
第三条 税收的开征、停征以及减税、免税、退税、补税，依照法律的规定执行;法律授权国务院规定的，依照国务院制定的行政法规的规定执行。
任何机关、单位和个人不得违反法律、行政法规的规定，擅自作出税收开征、停征以及减税、免税、退税、补税和其他同税收法律、行政法规相抵触的决定。
第四条 法律、行政法规规定负有纳税义务的单位和个人为纳税人。
法律、行政法规规定负有代扣代缴、代收代缴税款义务的单位和个人为扣缴义务人。纳税人、扣缴义务人必须依照法律、行政法规的规定缴纳税款、代扣代缴、代收代缴税款。