Mirate esto:
http://www.elecash.org/blog/2004/11/03/efecto-lupa-x2/
Si quitas la imagen pequeña, verás que la que hace el efecto de lupa sigue más o menos esa teoría, lo que hay que hacer es basicamente reglas de tres.
Si estoy en el _ymouse 100 de 800 de ancho, ¿qué píxel será en un ancho de 80px? (que haría relación a la pantallita de abajo).
100 es a 800
como...
x es 80
100 * 80 / 800 = 10
Intenta hacer eso en un evento onMouseMove y listos.
Un saludo!!