Ond fe hawliodd tîm Dai Young bwynt bonws diolch i gais yn y funud olaf gan y prop Scott Andrews. Roedd Castres ar y blaen 12-0 wedi 27 munud diolch i dair gôl gosb gan Romain Teulet a gôl adlam Seremaia Baikeinuku.
Daeth pwyntiau cyntaf y Gleision wedi 28 munud pan lwyddodd y cefnwr Ben Blair gyda chic gosb.
Ond roedd Romain Teulet i adfer y bwlch o ddeuddeg pwynt bum munud yn ddiweddarach gyda'i bedwaredd gôl gosb lwyddiannus cyn i Blair ychwanegu ail gol gosb.
Castres oedd wedi rheoli'r chwarae yn ystod yr hanner cyntaf a doedd hi fawr o syndod mai'r tîm cartref groesodd am y cais agoriadol bedair munud cyn yr egwyl.
Yr asgellwr Vincent Inigo groesodd am y cais gyda Teulet yn trosi'n llwyddiannus.
Ac fe aeth pethau o ddrwg i waeth i'r Gleision ar drothwy'r egwyl gyda Marc Andreu yn croesi am yr ail gais ond method Toulet gyda'r trosiad y tro hwn.
Ond fe gafodd y Gleision y dechrau gorau posib i'r ail hanner ac fe aeth Tom James yn agos i groesi am eu cais agoriadol.
Ni fu'n rhaid iddynt ddisgwyl yn rhy hir am y cais hwnnw gyda Ma'ama Molitika yn torri trwy amddiffyn y tîm cartref cyn croesi.
Llwyddodd Ceri Sweeney gyda'r trosiad a bu'r Gleision yn parhau i bwyso wedi hynny gyda'r tîm cartref yn canolbwyntio ar amddiffyn eu mantais.
Ac yn y funud olaf fe sgoriodd yr ymwelwyr y cais sicrhaodd y pwynt bonws gyda'r eilydd Andrews, gyda chymorth Sam Warburton, yn croesi.
Castres: R Teulet; V Inigo, Y Audrin, S Bai, M Andreu; C McIntyre, S Tillous-Borde; Y Forestier, B Kayser, L Ducalcon, J Tekori, M Rolland, I Diarra, Y Caballero, C Masoe (capt).
Eilyddion: M Bonello, A Giorgadze, D Saayman, S Murray, S Malonga, T Sanchou, P Bernard, P Garci.
Gleision Caerdydd: B Blair; L Halfpenny, C Laulala, T Shanklin, C Czekaj; C Sweeney, R Rees; G Jenkins, T Thomas, F Filise, B Davies, D Jones, M Molitika, S Warburton, X Rush (capt).
Eilyddion: R Williams, J Yapp, S Andrews, P Tito, A Pretorius, L Williams, D Hewitt, T James.
Dyfarnwr: Alan Lewis (Iwerddon).