大理石とラグは憶測だけじゃどうにもならん

付き合ってなかったという意味ではなく。
ダウンが見せてくる事の全てが実際はどういう事かは分かるわけではないという意味です。二人の間がどうだったかは分からないけど、今の状況、彼女の人柄等は普通の感覚で見ればそう間違わずに捉えられる所はないですかという意味です。