Комментарии участников:
Проблема еще в том, что рост общей производительности за счет увеличения количества ядер — в большой степени искусственный. Т.к. не каждая задача поддается распараллеливанию, а если и поддается, то не факт, что разработчик будет этим заниматься (и не занимается, в подавляющем большинстве случаев, к сожалению).
Ну программирование под GPU это для извращенных мазохистов. Алгоритмический параллелизм это не сильно проблема- проблема в близости к железу, и необходимости программисту достаточно глубоко это все понимать, один коалесинг в CUDA чего стоит.