Pythonのsetup.pyでインストールしたパッケージをアンインストールする方法は、手動でファイルを削除するか、場合によってはpipを使用する2つのアプローチがあります。一般的に、python setup.py install --record files.txtでファイルリストを保存し、xargsやrmを使ってリストのファイルを削除するのが主な手順です。
python setup.py install --record files.txt
xargs rm -rf < files.txt
また、pip uninstall <パッケージ名>でアンインストールできる場合もありますが、すべてのsetup.pyインストールが対象ではない点に注意してください。