Roedd y Gweilch i lawr 13-3 ar un pwynt yn dilyn cais Stephen Ferris a chiciau O'Connor.
Ond brwydrodd yr ymwelwyr yn ôl i fod yn gyfartal wedi hanner awr wrth i Richard Fussell sgorio cais ar ei ymddangosiad cyntaf, gyda Dan Biggar yn trosi wedi dwy gôl gosb flaenorol.
Ymatebodd Ulster yn syth wrth i Darren Cave groesi am gais, ond 18-16 oedd hi ar yr hanner wrth i Biggar lwyddo at y pyst unwaith eto.
Ar ôl i O'Connor ymestyn y fantais, aeth y Gweilch ar y blaen am y tro cyntaf yn y gêm diolch i drosgais Biggar.
Rhannodd O'Connor a Biggar gôl gosb yr un, ond i maswr Ulster aeth y gair olaf wrth iddo gipio'r pwyntiau gyda'i chweched gic lwyddiannus drwy'r pyst.
Ulster: Adam D'Arcy; Tommy Seymour, Darren Cave, Ian Whitten, David McIlwaine; Niall O'Connor Paul Marshall; Bryan Young, Rory Best, Declan Fitzpatrick, Johann Muller Tim Barker, Stephen Ferris Willie Faloon, Pedrie Wannenburg.
Eilyddion: Nigel Brady, Tom Court, Paddy McAllister, Ryan Caldwell, Robbie Diack, Ian Porter, Paddy Wallace, Jonny Shiels.
Gweilch: Gareth Owen; Nikki Walker; Andrew Bishop, Sonny Parker; Richard Fussell; Dan Biggar, Jamie Nutbrown; Ryan Bevington, Mefin Davies, Craig Mitchell, Ian Gough, Ian Evans, Jerry Collins (capt), Marty Hollah, Jonathan Thomas
Eilyddion: Huw Bennett, Paul James, Cai Griffiths, James Goode, Ben Lewis, Rhys Webb, Lee Bryne, Shane Williams.
