友人でオタクの人がいるけど、数年前から１か月に一度遊ぶようになった。大体おもちゃ屋系に行くが、俺は友人ほどオタクではないから、ここ数ヶ月正直しんどくなって...。

中学時代からの友人でオタクの人がいるけど、数年前から１か月に一度遊ぶようになった。
大体おもちゃ屋系に行くが、俺は友人ほどオタクではないから、ここ数ヶ月正直しんどくなってきた。
友人は「（俺）君も行きたいところがあったら一緒に行くよ」と言ってくれて、「博物館に行きたい」と適当に言ったら断られた。
実は俺が友人と行きたいところが特にないんだよなしいて言えば公園くらい。公園はＯＫしてくれたけど。
友人とはオタク以外の人間的な価値観は合うし、俺の発達障の理解があるから絶縁するつもりはないが、これからの友人とのかかわりを少なくしたいと思っている自分がいて自己嫌悪に陥ってる。
誘いを長期間断ると不機嫌になるっぽいし、俺がファン？（芸能人ではないからファンと言うと語弊があるが）に思っている人に対してあまり気に入ってない態度を見せることがあるし、どうやって折り合いをつけていけばいいかわからない。
誰かアドバイスください。