僕は、みなさんに会えなかった間も浮気なんてしていませんでした。
↑
これ意味わからないんだけどどう捉えたらいいの？

普通、ペンに浮気してなかった？だよね。