水墨畫是中國畫的一個分支，主要是由文人畫發展起來的，全部用墨色來畫，以用筆，用墨的技法為技巧，墨分五色，濃、淡、焦、幹、溼。水墨山水畫就是純用水墨不設顏色的山水畫體。作畫講究立意雋永，氣韻生動，並形成了整套以水墨為主體的表現技法。其筆法糸以勾斫、皴擦、點染為主導，長於結構和質感的表現；其墨法糸於墨的濃淡乾溼。潑破積烘為主導，有“水暈墨章”、“如兼五彩”的效果，長於體積和氣韻的珍現。在理論上強調有筆有墨，筆墨結合，以求達到變化超妙的境界。從古至今，水墨山水畫名家輩出，那麼，究竟誰是我們水墨山水畫的始祖呢？
有人認為東晉著名的大畫家顧愷之是我們水墨始祖，今天我們所能見到的最早的山水畫，應當是顧愷之的《女史箴圖》和《洛神賦圖》中的背景山水。雖然這兩幅畫是以表現人物為主體的，山水只是人物背景的襯托，但是，作為人物背景組成部分的山、獸、林、鳥卻結合得很完整，表現得也很真實。從這種意思上來說，顧愷之不但是中國人物畫的第一人，而且也稱得上是中國山水畫的祖師爺。
不過，更多的學者認為，水磨山水的開山始祖應該是唐代著名的山水詩人王維。王維是個大才子，除了寫詩外，琴棋書畫樣樣精通他年輕時積極進取，一直官至尚書右丞。後來因為張九齡被貶到荊州，朝政腐敗，不能再仕途得意的王維於是轉向山林，迴歸自然。深山老林中，朋友往來不便或者是詩人根本不願與他們交往，也沒什麼娛樂活動，於是王維就畫下那些充滿詩情畫意的山水田園詩。中國向來是詩畫一體的，詩中有畫，畫中有詩的境界最受推崇。王維的詩畫就是最好的例子，他的畫就像他的詩描寫的那樣，出現的都是空曠清幽的自然景色，他的山水畫和詩一樣沒有喧鬧的景物，僅用水墨渲染，體現出一種清幽淡遠意境，所以王維的畫裡是充滿了詩意的。
此外還有人提出，真正的開創者應當是六朝劉宋是的宗炳和王微，正是他們對透視法的闡發及中國空間意識特點的揭示，才透露了千古的秘密。
還有一種說法認為，在擁有五千年文明的古老中國，山水畫的起源很早，它的起源可以追溯到秦漢時期。據史書記載，秦漢時期已經有了山水畫，可惜沒有實物流傳下來。
雖然目前對水墨山水畫的始祖無法定論，但正是因為有了這些偉大的古人的付出，才使得中國畫更加博大精深、源遠流長。