原則として不定詞の主語は文の主語と一致するので　I want a book to read. の場合，　これが一般的です。
There is 構文なので主語が明示されていないときは　There is a book to read. も　There is a book to be read. も可能で同じ意味になるようです。

お尋ねの文型　The book is easy to read. は「文法上の主語＝不定詞の目的語」という変わった形の文型をとる形容詞のパターンと決まっているからです。　不定詞の主語は推測されたように　for us のような一般的な人々でよいと思います。

ではなぜこのような文型が生まれたのか，　個人的な見解です。

形容詞的用法と副詞的用法の不定詞は，　名詞的用法と違って文の主語と不定詞の主語という意識が薄いのではないかと思います。　

名詞的用法で　I want to please him. と　I want to be pleased by him.　と　I　want him to please me. と　I want him to be pleased . は不定詞の主語と文の主語の関係を見ないと意味がとれません。　能動と受動の区別も重要です。

しかし　He is easy to please.  の場合，　to please は副詞句として　easy を修飾いればややこしい受身にしなくてもいいではないか，　という心理が働くのではないかと推測します。

つまり文法的な関係よりは意味を重視するのだと思います。

不定詞に受動態ができたのは不定詞にいろいろな文法的な意味合いをもたせた結果，半ば人工的に生まれたといってもいいと思うのです。　
使う側としてみれば，　誤解が生じなければそれでいい，　というではないでしょうか。
だから理屈で言えば He is easy to be pleased ですがそうしなくても意味は通じま
す。

「彼は責められるべきだ」は　He is to blame. ということを考えてみてはいかがで
しょうか。これは正確には　He is to be blamed. ですが，こうすると堅い言い方となって一般には好まれません。