In deinem Fall ist es wirklich besser mit EnumWindows das zu machen. Dann die PID holen mit GetWindowThreadProcessId und anschliessend den Prozess killen mit OpenProcess/TerminateProcess.

Wenn du nur den Tab in Firefox schliessen willst und nicht den ganzen Prozess, dann wird es etwas schwieriger. Da musste mit SendMessage eine spezielle Nachricht schicken. Wie genau die aussehen muss, kannste z.B. im Firefox Quellcode nachlesen...