U Ôd¨iã@sHddlmZddlmZddlmZer4ddlmZdddœd d „Zd S) é)Ú annotations)Ú TYPE_CHECKINGé)Úis_torch_available)Únnz nn.ModuleÚbool)ÚmoduleÚreturncCs.tƒs dSddl}t||jjjƒp,t|ddƒS)NFrZ_is_fsdp_managed_module)rZtorch.distributed.fsdpÚ isinstanceZ distributedZfsdpZFullyShardedDataParallelÚgetattr)rÚtorch©r úB/tmp/pip-unpacked-wheel-bm_b0l5e/transformers/integrations/fsdp.pyÚis_fsdp_managed_modulesÿrN) Ú __future__rÚtypingrÚutilsrr rrr r r rÚs