如果祖父母的子女已经死亡或者其子女无力抚养，抚养义务由有负担能力的孙子女承担。根据《民法典》第一千零七十四条的规定，有负担能力的孙子女、外孙子女，对于子女已经死亡或者子女无力赡养的祖父母、外祖父母，有赡养的义务。
法律依据
《中华人民共和国民法典》第一千零七十四条
有负担能力的祖父母、外祖父母，对于父母已经死亡或者父母无力抚养的未成年孙子女、外孙子女，有抚养的义务。
有负担能力的孙子女、外孙子女，对于子女已经死亡或者子女无力赡养的祖父母、外祖父母，有赡养的义务。
第一千零七十五条
有负担能力的兄、姐，对于父母已经死亡或者父母无力抚养的未成年弟、妹，有扶养的义务。
由兄、姐扶养长大的有负担能力的弟、妹，对于缺乏劳动能力又缺乏生活来源的兄、姐，有扶养的义务。
