気にしなくていいと思いますし、個人の勝手なのでそれは言ってくる方が間違っているだけです。

大丈夫ですよ。たぶん、周りの人たちは適当に話し合わせて同調してるだけで、トピ主さんをお気の毒に思ってると思いますよ。自分がカレー屋さんだからって個人的な理由で、我慢する必要はないと思います。