茶室に在釜と書かれている場合、気軽に入ってもよいものですか。

文字通りにとらえれば「よい」と思います。

ただし、お茶席の準備をせずに見かけた場合に入れるかというと、持ち物はなくても相応しい装いであるかどうかは配慮したほうがいいでしょう。例えば香水、ネイル、ジーンズや、肌露出の多い服であるなら、ご遠慮される方がよろしいと思います。

これは、お席主の方はよいと仰せでも、そのお茶席のために配慮してこられたお客様（相客）への気遣いとなります。

また、すでに予約や前売りで満席となっていても、お茶席の目印として掛けている場合もあります。