Er iddynt fod ar eu hôl hi ar yr egwyl fe sgoriodd Nikki Walker ac Alun Wyn Jones geisiau yn yr ail hanner wrth i'r Gweilch hawlio'r fuddugoliaeth.
Ac fe ddaeth Shane Williams ymlaen i'r maes fel eilydd yn yr ail hanner gan roi hwb i brif hyfforddwr Cymru Warren Gatland, oedd yn gwylio'r gêm.
Ond er gwaethaf eu buddugoliaeth ofer bu ymdrechion y rhanbarth i sicrhau lle yn rownd wyth olaf Cwpan Amlin ar ôl gorffen yn drydydd yn eu grŵp.
Gyda lle yn rownd yr wyth olaf eisoes yn ddiogel roedd 14 newid yn nhîm Toulon ond y Gweilch sicrhaodd pwyntiau cyntaf y gêm diolch i gôl gosb Dan Biggar.
Ond yr ymwelwyr hawliodd cais cyntaf y prynhawn bedair munud yn ddiweddarach gyda phasio chwim yn arwain at gais gan yr Albanwr Rory Lamont.
Roedd maswr Lloegr Jonny Wilkinson i drosi'r cais yn llwyddiannus gan roi'r fantais gynnar i'r Ffrancwyr.
Y capten Matt Henjak hawliodd eu hail gais wedi 19 munud yn dilyn gwaith da gan yr wythwr Fotu Auelua.
Ac fel yn achos y cais cyntaf roedd Wilkinson yn llwyddiannus gyda'r trosiad canlynol.
Roedd y Gweilch yn colli meddiant yn rhy hawdd a prin y bu'r tîm cartref yn bygwth yn ystod yr hanner cyntaf.
Fe ddaeth eu holl bwyntiau yn ystod y 40 munud agoriadol o droed Dan Biggar gyda'r maswr yn llwyddiannus gyda dwy gôl gosb arall.
Ychwanegodd Wilkinson gôl gosb at gyfanswm Toulon yn gynnar yn yr ail hanner gyda'r ymwelwyr ar y blaen o 17-9.
Ond roedd y Gweilch i daro'n ôl ac roedd yr asgellwr Richard Fussell i groesi'r llinell gais.
Ond fe benderfynodd y dyfarnwr Wayne Barnes ar ôl ymgynghori gyda'r dyfarnwr fideo i beidio â'i chaniatáu - diolch yn bennaf i waith amddiffynnol Wilkinson
Ac yntau wedi bod allan ers datgymalu ei ysgwydd ym mis Tachwedd, fe ddaeth Shane Williams ymlaen i'r maes fel eilydd.
A fflach o ysbrydoliaeth gan Williams arweiniodd at gais gyntaf y Gweilch, a sgoriwyd gan Nikki Walker i ddod â'i dîm yn gyfartal.
Roedd James Hook i lwyddo gyda'r trosiad i roi ei dîm ar y blaen am y tro cyntaf ers y deg munud agoriadol.
Ychwanegodd Hook gôl gosb cyn i Alun Wyn Jones dirio am gais sicrhaodd y fuddugoliaeth gyda phedair munud yn weddill
Er bod yr antur yn Ewrop ar ben am flwyddyn arall, fe lwyddodd y Gweilch i adfer hunan barch wedi wythnos anesmwyth.
Gweilch: Lee Byrne; Nikki Walker, Sonny Parker, James Hook, Richard Fussell; Dan Biggar, Rhys Webb; Duncan Jones, Richard Hibbard, Craig Mitchell, Ian Gough, Alun Wyn Jones (capt), Ryan Jones, Justin Tipuric, Jonathan Thomas.
Eilyddion: Huw Bennett, Ryan Bevington, Cai Griffiths, Jerry Collins, Marty Holah, Mike Phillips, Ashley Beck, Shane Williams.
Toulon: R Lamont, B Lapeyre, G Messina, M Kefu, T Brana, J Wilkinson, M Henjak [capt], S Taumoepeau, J Genevois, C Hayman, J Suta, D Senekal, O Missoup, T Sourice, F Auelua
Eilyddion: M Ivaldi, B Basteres, M Merabet, J van Niekerk, J El Abd, T May, L Magnaval, K Chesney
Dyfarnwr: Wayne Barnes (Lloegr)
