Me refiero a que yo esté sin mirar la pestaña de hotmail, a mi bola, y cuando me llegue un correo, me suene algo en plan aviso al instante. ¿Hay algo así para PC?

Lo que buscas se llaman notificadores de correo.
Aquí en softonic hay una lista:
http://www.softonic.com/windows/notificadores

Yo tengo usado este: http://poppy-for-windows.software.informer.com/5.9/

Aunque también puedes hacer lo que te ha dicho Alphos y usar un cliente de correo, aunque yo prefiero el thunderbird al WLM.

Sincroniza tu cuenta de Hotmail a Outlook y listo.