Google Android - это несложно

Допустим у GridView внутри 50 элементов, в каждом элементе есть несколько textview
Как по нажатию кнопки обратиться именно к 28 элементу, чтобы потом манипулировать с textview этого 28 элемента

Манипулировать нужно не с TextView, а данными, которые вы туда подставляете.
1) Меняете данные (те что скормили адаптеру)
2) notifyDataSetChanged() у адаптера.

Не понял. Можно пример?

getChildAt почему то срабатывает по номеру элемента, который начинается с верха экрана, а не с начала GridView

потому что все View для все данных не рисуются, только те что на экране... я повторяю, нужно работать с данными.
У вас есть адаптер, который на вход съедает массив, лист или еще что-то для него съедобное. Вот это и нужно менять.

Но уж если действительно хотите сделать так, как делать не нужно в большинстве случаев, можно посмотреть вот сюда:
http://stackoverflow.com/questions/3724 ... a-listview
Но я вам этого не говорил, и если что вы сами к такому пришли. Только вот если вы не измените данные, после прокрутки все вернется к первоначальному виду.