運転者や歩行者の不注意、道路、交差点の構造上の問題をはじめとして事故が多発する原因は様々あるとは思うが、この交差点で多発する事故の何割かは幽霊が原因であるという奇妙な噂がある。
ここには平家（平氏）の落武者の亡霊が現れるという話が有る。
何故平家の落武者と分かるのかについては定かではないが、寿永3年（1184）2月、一ノ谷を目指して丹波路を進軍する源義経らとそれを迎え撃つべく三草山の西に布陣した平資盛らが三草山（兵庫県加東市）で交戦。突然の源氏の夜襲により平氏は敗走していることから、その時に死んだ平氏の武将なのかも知れない。
この平氏の落武者の亡霊なのか否かは定かではないが、車で事故を起こした人は口々に道路脇から突然鎧武者が現れたので驚いて（避けようとして）ハンドルを切った為に事故になってしまったと話していたという。
また、鎧武者ではなく鉄砲を持った人（身なりなど不明）が狙っていたと話す人も多くいたらしく、同じ様に驚いてハンドル操作を誤って事故になってしまったという話もある。

参考までに、過去市場東交差点付近で発生した人身事故件数は下記の通りである。