順番としてはマテリアルなのですが、ちょっと理解するのに時間がかかりそうなので、レンダリングとオブジェクトバッファ周りを先にやっていこうと思います。

シーンは前回使用したもので、空（sky）オブジェクトにHDRを設定したものに、立方体と球体を配置してあります。

アルファチャンネル付きでのレンダリング

ライティングに使用している空（sky）のオブジェクトは必要無いので、レンダリングしないように設定します。
LiveViewerWindowの左から5番目にあるSettingsをクリックして、設定ウィンドウを開きます。

設定ウィンドウのKemelsタブにあるAlpha channelにチェックを入れると、空のオブジェクトが表示されない状態になります。

レンダリング

次にCinema4Dのレンダリング設定を開き、レンダラーでOctaneRenderを選びます。

後はCinema4Dで普通にレンダリングするのと同じように、保存にチェックを入れ→保存先を指定→アルファチャンネルとストレートアルファにチェックを入れます。

Cinema4Dのレンダリングボタンを押せば、アルファ付きのレンダリング画像が出力されます。

オブジェクトバッファ

続いて球体のみ、立方体のみのアルファを出力してみます。
オブジェクトバッファはOctaneRenderではRender Passと言うようです。

最初に球体のオブジェクトを右クリックして、C4doctaneタグ→OctaneObjectTagを追加します。

次に追加したタグを選択し、Object layerタブのLayer IDを１にします（この数字がオブジェクトバッファの番号になります）

同じ要領で、立方体にもOctaneObjectTagを追加し、こちらはLayer IDを２にします。

レンダリング

次にCinema4Dのレンダリング設定を開き、OctaneRendererを選びます。
Render Passesのタブを開きEnableにチェックを入れます。（ここにチェックを入れると自動的にマルチパス→特殊効果にチェックが入ります）

Render Pass fileに保存先のフォルダー・ファイル名を指定します。
ファイルフォーマットについては私は個別にTiffファイルを出す設定にしましたが、ここは使用用途や編集アプリによってお好みで設定します。

最後に下の方のRender layer maskを開き、ID1とID2にチェックを入れます。
（ここにチェックを入れたLayer IDが保存されます）

設定が終わったらCinema4Dのレンダリングボタンを押せば、アルファ付きのレンダリング画像の他にオブジェクト別のマスク画像が出力されます。

※Cinema4Dのレンダリング設定→保存→マルチパス画像、にはチェックを入れなくても画像が保存されます。