後來為什麼會變成無人居住的荒宅？傳言，從日本時代開始，一小隊日本兵到古樓時被鬼迷惑，開槍誤傷自己。光復後，駐紮古樓的一名炊事兵突然得病死亡。因此，有人說，古樓高度超過墳場的義檢山，地理上犯沖。另有人說，古樓主人和建築師有恩怨，建築師在地下暗埋符咒。更有人說，女僕不堪虐待，投井而死，因此陰魂不散，諸如此類的「鬼話」就此傳開。
其中據聞在夜裡會聽到日本軍隊操練聲，或是多位白衣女子在屋內遊蕩，而台灣多位靈學老師表示，因此地陰氣太強，容易吸引各界鬼魂形成巨大磁場，迄今已經無法排解怨氣，唯一辦法只有拆散房屋使其照到陽光。
其實，民雄鬼屋是一棟三層樓的建築，在當時算是非常富有的人才住的起，屋主姓劉，本來此地並非外界所傳，那戶人家一直都住的好好的，但為什麼最後卻有許多靈異事件產生，據傳，以前大戶人家都很喜歡僱請婢女和長工，主人對一名婢女非常有好感，進而談起戀愛。
最後兩個人終於擋不住乾材烈火、生米煮成熟飯，這時卻讓女主人知道了他們之間的關係，於是女主人犯起忌妒之心並虐待婢女，婢女因受不了虐待，傷心之餘便投院子裡的井自殺，以後大家在睡覺時她就會出現在男女主人的床邊，最後他們快崩潰了就趕緊搬了家。
不過，也有個傳聞是說，日據時代，劉家古厝原是一個大家族所有，在戰爭快結束時，這個老家的男主人不幸被徵召至南洋當軍夫，最後客死異鄉，於是故事就這樣展開了…。
有一位女傭人在餐廳看到，碗廚的門被緩緩的打開，晚餐的剩菜端了出來，彷彿有一個「透明人」似的，正在吃著菜，菜由盤子中飛起，停在空中，緩緩的蠕動著，然後慢慢的往下移動，最後消失不見，就如同一個人吃著東西，咀嚼，然後進入食道一般，想當然爾，女傭被嚇得魂不附體，一頭就鑽入自己的被窩，不敢再下床一步。
隔了幾天，男主人的屍體運了回來，女主人在家裡設置靈堂。第一天晚上，女主人便派那個女傭去守靈，她心中越想越怕、越想越毛，瞄了一眼遺像發現像中的人好像也正在瞄著她，為了克制自己心中的害怕，心上一橫便把掛在牆上的遺像拿了下來，反面放在桌子上自己並一屁股坐在像上，腳也曲了上來，雙手環抱著雙腳，面朝著棺木，便打起了瞌睡來。
突然，有一雙手，從像兩旁伸了出來，抓住女傭的大腿，女傭甚至來不及喊就…。 隔天早上，大家赫然發現，男主人的屍體竟然「坐在」桌子上，還壓在自己的遺像上，姿勢就如同那位女傭當時的坐姿一般，而棺材裡躺的…，沒錯！就是那名女傭。
接連的兩件怪事，使這個龐大的家族一時間人心惶惶，家中的傭人走掉了一半，女主人為了安定眾人的心，請法師來作法，才暫時的壓住了這件事。同年的暑假，女主人的女兒自美返國度假。一天中午，女兒打開水龍頭洗手時，發現水異常的寒冷，他把這件事告訴母親，女主人認為沒啥大不了，便找了個水管工人，上水塔去看看，不料，十分鐘後，水管工人臉色蒼白的跑了下來。
他說，走近水塔時，聽見了水塔內竟然傳出了一群人的講話聲，其中男女老幼都有，而且全都是罵人聲，他一害怕，便跑了下來。「鐵齒」的女主人依舊不信，便押著那位水管工再上樓去。
到了頂樓，水管工人因為太過害怕，堅持不肯靠近水塔，女主人也不強迫他，一個人就向水塔走了過去。當時，水管工人背對著水塔，只聽見女主人走了過去，推開了水塔上的水泥蓋。
過了一會，又聽見水泥蓋蓋上的聲音，水管工心想完了！ 這次鐵定要被臭罵了！ 當他轉過身去，赫然發現…背後竟然沒人，主人就這樣硬生生地不見了…。
對於被荒廢84年的古厝，周邊氛圍陰森、草叢林立不免傳出一些恐怖故事，儘管過去多麼富麗堂皇，經過歲月的洗禮，也蒙上一層神秘詭譎多般的色彩。無論這些傳言是否屬實，在農曆七月心驚膽跳的靈異傳聞多不可數，但卻沒人能證實其真實性。不免提醒大家，無論傳聞真實與否，仍是要對大自然抱持著尊敬的態度，平安的度過這個禁忌之月。
