shouldが「べき」「はず」なのはよく知られています。
では「should have 過去分詞」は「……べきだった」「……はずだった」？
概ね正しいですね。が，他にもあります。
※過去分詞をVppと表記します。「ピーピー」とでも読んで下さい（past participle=過去分詞）
（１）should have Vpp「Vすべきだった」（実際はしなかったことを含意）
You should have seen it.「あなたはそれを見るべきだった」（見なかった人に対して）
以下は否定形です。
You should not have gone there.「あなたはそこに行くべきではなかった」（行った人に対して）
「過去の行動への非難」と言うことができますが，嬉しいことをされた時に使うこともあります。
プレゼントを貰った時の
You shouldn’t have.「そんなことしてくれなくてもよかったのに」
です。「しなくてよいことをした」という意味ではneedn’t have Vppがあるのですが，上記のYou shouldn’t have.は決まり文句です。
（２）should have Vpp「Vしたはずだ」
She should have arrived there.「彼女はもうそこに着いたはずだ」
※出発した時間と，移動手段・移動距離から推量して，当然着いているだろうと予想しているわけです。
She should have arrived here.「彼女はもうここに着いたはずだ」
※当然着いているはずだが……えーっと，どこかな？といったニュアンス。
否定形だと，
She shouldn’t have arrived.「彼女は着いてないはずだ」
※さすがにまだ着いてないだろう，ということ。
（１）は過去の義務，（２）は過去の推量と言うことができますが，これで万全ではありません。
（３）イギリス英語において，would have Vppの意味
イギリス英語ではwouldをshouldと言うことがあります。
I would sayは「……といったところですかね」と意見を控えめにする表現ですが，イギリス英語ではI should sayと言うことがあり，I would like toもI should like toとなることがあります。I’d like toと言えば一緒に見えます。
ただし，イギリス英語でshouldがwouldの意味になりうるのは，１人称主語（I, we）の時です。２・３人称主語では（３）はありません。
１人称の時だけというルールは，shallが１人称の時はwillの意味（I shall return.）になり得ても，２・３人称主語ではwillと交換できない（You shall die.は「お前は死ね」という意味）のに似ていますね。
では，should have Vppがwould have Vppの意味になりうるとして，その意味は何でしょうか。
１つには，仮定法過去完了の結果節の形があります。
仮定法もいずれやりたいと思いますが，とりあえず過去の反実仮想を表す仮定法過去完了の式を書くと，
If S had Vpp, S’ would have V’pp. で，「仮にSがVしたならば，S’はV’しただろうに」となります。そしてイギリス英語でS’が１人称主語の時は，
If S had Vpp, I would have V’pp.
=If S had Vpp, I should have V’pp.「仮にSがVしたならば，私はV’しただろうに」
です。よって，should have Vppの（３）つめの意味は「Vしただろうに」（仮定法・イギリス英語・１人称主語の時）です。
私は以上の３択と理解していたのですが，もう１つあることを思い出しました。
（４）
It is natural/strange that he should think so.「彼がそう思うのは当然だ／奇妙だ」
It is natural/strange that he should have thought so.「彼がそう思ったのは当然だ／奇妙だ」
これは「価値判断のshould」とか「感情のshould」とか言われるもので，特にshouldに訳を当てなくて良いとされます。
敢えて当てるならば「……なんてこと」と言えるでしょう。
例えば，
It is strange [odd] that he should say such a thing.は，「彼がそんな事を言うなんてことは……それは，おかしい」と価値判断を下し，
It is natural that he should say such a thing.は，「彼がそんな事を言うなんてことは……それは，当然だよね」と価値判断を下すわけです。
ただ教科書どおり，無理に訳語を当てなくて良いでしょう。
ところで！
It is natural that he should have thought so.は，単なる過去形を用いて，
It is natural that he thought so. と言えないのでしょうか。
これは，言えるんですね。そもそも，
It is natural that he should think so.も，
It is natural that he thinks so. と言えます。
It is necessary that he should think so.=It is necessary that he think so. という，３単現のsを無視した言い方（仮定法現在という）を習った人は，
It is natural that he should think so. は正しい
It is natural that he think so. も正しい
It is natural that he thinks so. は誤り
と考えてしまいがちですが，naturalの場合は，
It is natural that he should think so. は正しい
It is natural that he think so. は誤り
It is natural that he thinks so. は正しい
なのです。それでは，
It is necessary that he should think so.=It is necessary that he think so.
It is natural that he should think so.=It is natural that he thinks so.
この違いは何なのでしょうか？necessaryとnaturalの違いに原因があるとしか考えられませんね！
（５）やっていないことは，活用しない。やったことは，活用する！
「原形」というのは活用が定まっていないという意味で「不定詞」とか「不定形」と言うのですが，実際にやっていないことは「不定形（原形）」で言う傾向があります。
Come here!・・・こちらに来い（まだ来ていない）（命令文）
He can come.・・・彼は来てもよい（まだ来ていない）（助動詞の後）
He must come.・・・彼は来なければならない（まだ来ていない）（助動詞の後）
It is necessary that he think so.・・・彼がそう考えることが必要だ（まだそう考えていない）（仮定法現在）
It is natural that he thinks so.・・・彼がそう考えるのは当然だ（実際にそう考えている！）（直説法現在）
実際にやってしまっていることに関しては，普通の現在形（直説法現在），実際にやってしまったことに関しては，普通の過去形（直説法過去）でいいのです。
だから「彼が怒ったのは当然だ」と言う時，実際に怒ったのは事実ですから
It is natural that he should have got angry. も正しいですが，
It is natural that he got angry. も正しいのです。
（６）最後に
長くなってしまいましたが，まとめると，should have Vppは，最低でも
①「Vするべきだった」（実際はしなかった）
②「Vしたはずだ」（推量，実際は不明）
③「Vしたであろうに」（イギリス英語・１人称主語・仮定法）
④「Vした（なんて）」（→おかしい，当然だ）
となります。①②は絶対に覚えておくべきで，③④は仮定法とかIt is naturalとか，特徴的な言い方の中なので見抜けやすいと思います。
しかし場合分けって楽しいですね！
