Ну это-то альфа-конверсия, она и так подразумевается где надо; а в конце всё равно не получается:

FM = (\g. \m. m g g) (\g'. \m'. m' g' g') M 
   = M (\g'. \m'. m' g' g') (\g'. \m'. m' g' g')
   фиг а не = M F, аппликация левоассоциативна

На самом деле чтобы сошлось надо

F = GG
G = \g m . m (g g)

но лучше не изобретать Y-подобный велосипед, а сразу им (Y) пользоваться, как lomeo.