La fórmula matemática se basaría en como quisieras realizar este efecto, depende de en que dirección con respecto al mouse quieres que se mueva tu objeto. Pero lo básico es crear un onEnterFrame con los cálculos de donde se encuentra el mouse y el movieClip y en caso de que se acerquen a una distancia "X" entonces debes mover el movie al lugar que hayas decidido.
Aquí tienes un pequeño ejemplo, no se si cumple tus espectativas:
Código ActionScript :
//---Valor que debe alejarse y valor al que permite acercarse
var alejarse:Number = 50;
var cerca:Number = 50;
var newX:Number = this.bola._x;
var newY:Number = this.bola._y;
//---Funcion de movimiento
this.bola.onEnterFrame = function():Void {
var difX:Number = this._x - _root._xmouse;
var difY:Number = this._y - _root._ymouse;
var hipot:Number = Math.sqrt(difX * difX + difY * difY);
if(hipot < cerca){
var incX:Number = difX * (hipot + alejarse) / hipot;
var incY:Number = difY * (hipot + alejarse) / hipot;
newX = this._x + incX;
newY = this._y + incY;
}
var X:Number = (newX - this._x) * .25;
var Y:Number = (newY - this._y) * .25;
this._x += X;
this._y += Y;
};