1、科属区别。牛蒡属于菊科牛蒡型植物，产地在中国，牛蒡的另一个名字是东洋参，牛蒡在日本相当于人参，营养非常丰富，它的根和子都能用来入药;而山药是薯蓣科薯蓣属植物的一种，与牛蒡大不相同，山药历史悠久，是一种补虚的良药。
2、外表区别。牛蒡属于两年生的草本植物，牛蒡大约高1-2米，和树根非常相似，又直又长，很少有分叉出现，表明非常粗糙，相对山药而言，牛蒡形状更加细长;山药的根茎比较粗大，挺直生长，长度大约为一米，表面相对光滑，很脆，用手很容易就能掰断，掰断的切面十分粘稠。
3、食用部分区别。很多人以为牛蒡的食用部分同山药一样，都是地下茎部位，其实不是，牛蒡没有直长的地下茎，我们所吃的牛蒡是肥大的肉质根，牛蒡是一种可供食用的蔬菜，而山药被食用的部位是地下茎，所以，它们被食用的部位是有区别的。
4、营养成分区别。两种食物的营养都很丰富，但所含的营养物质大不相同，牛蒡中含有大量的菊糖、纤维素、蛋白质以及钙、铁、磷等人体必需的多种微量元素，同时，还有大量氨基酸，比胡萝卜高出280倍;山药的营养成分相对较为简单，山药中富含大量淀粉、蛋白素和胆碱等，还存在着大量的粘液质。
5、功效区别。由于两种食材的成分不同，所以它们的功效也不一样，牛蒡较寒，味苦，具有解毒消肿、疏风散热的作用，常吃能够有效预防风热感冒等疾病，还能缓解头晕、咽喉肿痛、咳嗽以及齿痛等症状;山药性平，味甘，具有补脾养胃、生津益肺的功效，对于脾胃虚弱、便溏腹泻的人能起到一定的作用。