DxtoryはDirectXやOpenGLといった、グラフィックアクセラレータを利用した、いわゆるPCゲームのキャプチャツールとして有名です。バッファ横取り型では国内最高のキャプチャツールではないでしょうか(外国産だとFrapsが非常に良い出来のツールだと思います)。

WindowsMedia Encoder(以下、WME)についてはあまりにも有名すぎるので省略します。
なお64bitOSの場合には64bit版のWMEを使用してください。

●Dxtoryの録画先はファイルだけではない

Dxtoryは通常AVIの書き出しに特化している気がします(ストライピング対応など)。ただし設定次第ではDirectShowフィルタに対してキャプチャデータのコピーを行うことができます。

録画設定のタブを開き、ファイルフォーマットを「DirectShow」に設定します。

詳細設定のタブを開き、「DirectShow設定…」を押します。
ここで設定する出力サイズとは、WMEに渡す際の画面サイズとなります。

Dxtory側の設定は以上です。音声については特に設定は必要ありません。

次にWME側の設定を行います。

入力ソースのビデオを「Dxtory Video Source」に設定してください。
オーディオについてはサウンドデバイスにも依るので、各自の環境に合わせてください。

圧縮についてですが、ゲーム画面そのままのサイズで配信するのは大きすぎるという場合にWME側で出力サイズを設定する方も多いと思われます。
一般的にWMEのリサイズは低速と言われ、それを補助するツールも存在しますが今回の場合は上記にあるDxtoryの「DirectShow設定」で配信したい画面サイズを指定し、WMEの圧縮設定では「ビデオ入力と同じ」にしておくのがベターでしょう。

一通りの設定が終わったら、Dxtoryでの録画を開始してください(DirectShow出力設定ではファイルが書きだされることは通常ありません)。
WMEの入力プレビューにゲーム画面が映りこむと思います。なお画面キャプチャと違い、他のウィンドウが映りこむこともないため他の作業の様子を見られずに済みます。また、そういった手法のキャプチャが極端に重くなるVistaにおいては、ほとんど無負荷での配信を行うことができます。

なお、Dxtoryはシェアウェアのため、未レジストの状態だとキャプチャ画面にロゴが映りこみます。それほど大きくは無いのでそのままでも支障はないと思いますが、使い続けようと思うほど便利だと感じたら、感謝のつもりでレジストしてしまいましょう。