Здравствуйте, raskin,

>> *почему* до сих пор нет ни одного компилятора использующего это эффективно?

R>Современное управление кешем неполно (у кеша всегда есть и своё мнение
R>кроме prefetchnta) и непереносимо, поэтому никто не заморачивается?

Вот именно. ИМХО для этого по-хорошему нужен JIT компилятор, а такое есть пока только под .NET, можно сказать. В зачаточном состоянии, скорее всего. Обычные компиляторы сколько лет до ума доводили.