Gallai cynllun newydd i uno Ynys Byr â chyngor Dinbych-y-Pysgod beryglu dyfodol y mynachdy, medd mynachod yr ynys.
Yn dilyn arolwg o ffiniau Sir Benfro, mae'r cyngor wedi penderfynu y dylid tynnu'r ynys dan reolaeth ward De Dinbych-y-Pysgod.
Mae trigolion De Dinbych-y-Pysgod yn dweud nad oes ganddyn nhw lais yn y sir oherwydd nad oes ward ar wahân iddyn nhw, ond mae'r mynachod yn dweud y byddai uno i greu ward newydd yn tarfu ar fywyd yr ynys.
Ar hyn o bryd, does dim gorfodaeth ar y mynachod i dalu trethi cymunedol, ac mae hynny, yn eu barn nhw, yn sicrhau elfen o'u hannibyniaeth.
Pe baen nhw'n cael eu tynnu i mewn i Gyngor Tref Dinbych-y-Pysgod, fe fyddai'n rhaid i'r mynachod dalu tua £55 y flwyddyn mewn trethi, heb elwa o ganlyniad.
Oherwydd eu bod yn byw ar yr ynys, i ffwrdd o weddill y gymuned, maen nhw'n dadlau nad yw materion yn y gymuned ehangach yn effeithio llawer arnynt.
Meddai un o'r mynachod: "Rydyn ni'n pleidleisio yn etholiadau'r sir ond does gennym ni ddim diddordeb yn Ninbych-y-Pysgod, gan nad yw'r un o'u gweithredoedd yn effeithio arnom ni mewn unrhyw ffordd."
Dywedodd yr Abad Daniel: "Mae'r holl ynys, gan gynnwys y mynachod a'r trigolion, wedi mynegu eu gwrthwynebiad llwyr i uno â chyngor Dinbych-y-Pysgod. Rydyn ni'n dymuno cynnal ein hannibyniaeth am y rheswm y gwyddoch chi amdano eisoes. Rydyn ni i gyd o'r un farn."
Mae Cyngor Sir Penfro yn dadlau bod angen arolwg o'r ffiniau bob 15 mlynedd, ac fe ddechreuodd yr arolwg diweddaraf yn 2007.
Dywedodd llefarydd ar ran y Cyngor: "Un o'r cynigion i'w drafod oedd bod Ynys Byr yn dod yn rhan o Dde Dinbych-y-Pysgod am resymau effeithlonrwydd a chyfleustra cynrychiolaeth llywodraeth leol.
"Ar hyn o bryd, does gan Ynys Byr ddim cynrychiolaeth llywodraeth leol, felly does gan drigolion ddim llais o safbwynt y gwasanaethau lleol maen nhw'n eu derbyn neu'r rai fyddai eu hangen arnynt, o bosib."
Mae disgwyl i adroddiad gael ei gyflwyno gerbron cabinet y cyngor o fewn y mis.