領導對我好傳出緋聞 如今對我的工作產生影響

現在公司里到處傳我和領導的緋聞,他們說領導之所以對我這么好 , 是因為我們之間有不可告人的秘密 , 但我們之間的關系并不是大家所想象的一樣 。我和領導是大學校友,再加上他研究生和我姐姐是同學 , 所以我們之間也算比較熟悉,所以才在工作中對我照顧有加,現在同事們到處亂說,我該怎么辦?
我是面試的時候才知道他在家公司的,當時他看到我之后也有點驚訝 , 但因為還在面試中 , 我們互相笑了下,并沒有打招呼 。之后我是憑借著自己的努力面試到這家公司的,而他也并沒有為我走后門,我們心里都清楚工作上還是要公私分明的 。

不過在我被錄取之后,他把我調到了他的身邊工作,算是成為了我的老師,再加上有姐姐這層關系在,我跟著他學習了不少職場上的生存知識,這也讓我在工作中成長的很快,進入公司不久就開始獨自負責一些項目 。
我知道他已經結婚了,所以沒有絲毫非分之想,只是把他當成哥哥和老師對待 , 甚至我還去他家里吃過飯 。領導的妻子之前我在姐姐的手機上看過她的照片,是個非常溫柔的女人,他們兩個人在一起很配,同樣領導的妻子也是姐姐研究生時的同學 。
因為這層關系,我和領導走的有點近,再加上我比和我同時進公司的同事成長的快,這讓一些嫉妒我的人開始在公司傳我和領導的緋聞 , 還描繪的有聲有色 , 好像我和領導就在他面前做一些見不得人的事情 。
【領導對我好傳出緋聞 如今對我的工作產生影響】一開始對于這些緋聞我并沒有理會,我覺得不用管很快就會過去了,但是現在卻越傳越嚴重,甚至已經影響到了我的工作,而這些傳聞都是莫須有的,現在我該怎么辦才好?