Зачем вам вообще графический интерфейс на сервере? Для описанных задач он совершенно не нужен. Для удалённого доступа замечательно подходит ssh. Для торрентов есть transmission, имеющий cli и web интерфейс.