リモートデスクトップの接続履歴はレジストリに保存されています。

HKEY_CURRENT_USER\Software\Microsoft\Terminal Server Client\Default

レジストリエディタで上記のエントリを開き、不要な接続情報を削除します。
[WIN] + R で regedit を実行するとレジストリエディタが起動します。

システムの設定を編集することになるので、慎重に行ってください。Undoはありません。