Sgoriodd asgellwr Cymru wedi 25 munud wrth iddo gasglu cic Casey Laulala a dangos digon o gyflymder a chryfder i wrthsefyll dau dacl gan yr ymwelwyr i gyrraedd y llinell gais.
Roedd Dan Parks eisoes wedi cicio dwy gôl gosb lwyddiannus, a tri phwynt arall o droed y maswr oedd unig sgôr y tîm cartref wedi cais Halfpenny.
Llwyddodd Seremaia Bai gyda dwy gic at y pyst i Castres, ac fe fachodd y Ffrancwyr bwynt bonws yn y funud olaf diolch i gôl gosb Pierre Bernard.
Ac mae'r pwynt yna yn golygu bod y Ffrancwyr yn aros uchben y Gleision yn yr ail safle gydag un gêm yn weddill.
Mae Northampton eisoes wedi ennill y grŵp ac yn camu ymlaen i rownd yr wyth olaf, ond bydd y Gleision yn gorffen yn ail pe baent yn curo Caeredin y penwythnos nesaf a Castes yn colli i'r Saints.
Gleision: Chris Czekaj; Leigh Halfpenny, Casey Laulala, Jamie Roberts, Richard Mustoe; Dan Parks, Tom Slater; John Yapp, Rhys Thomas, Taufa'ao Filise, Deiniol Jones, Paul Tito, Andries Pretorius, Martyn Williams, Ma'ama Molitika.
Eilyddion: Gareth Williams, Scott Andrews, Sam Hobbs, Bradley Davies, Ben White, Ceri Sweeney, Dafydd Hewitt, Tom James.
Castres Olympique: F Denos; M Nicolas, R Cabannes, S Bai, M Andreu; C McIntyre, A Albouy (capt); Y Forestier, M Bonello, D Saayman, M Rolland, K Kulemin, G Adamou, S Malonga, J Bornman.
Eilyddion: A Giorgadze, A Peikrishvili, L Ducalcon, J Tekori, C Masoe, R Teulet, P Bernard, Y Audrin.
Dyfarnwr: Andrew Small (Lloegr)