司馬遼太郎氏の『坂の上の雲』のなかで、日露戦争の満州軍総司令官として登場します。

明治新政府で陸軍卿・陸軍大臣、近代的日本陸軍の建設に貢献しました。日露戦争での満州軍総司令官としての活躍は有名です。西郷隆盛の従兄弟であり、キヨソネ作西郷の肖像画の顔下半分は、大山巌の顔の下半分がモデルとされています。
また大山は『君が代』を国歌とすべきと発議した人としても知られています。彼は欧米各国がそれぞれ国歌を持っているということを聞き、英国陸軍の軍楽長Ｊ・Ｗ・フェントンに作曲を依頼したそうです。その後雅楽調で作曲され、フェントンの後任のドイツ人エッケルトが吹奏楽用に編曲したのが現在の曲だそうです。

西郷隆盛の従弟で幼い頃から西郷の影響を強く受けました。青年期には薩摩藩の精忠組に入り、藩の内紛騒動である寺田屋事件では危うく難を逃れたものの禁固三年の刑に処せらます。その後砲台の砲手となり、薩英戦争で火力の重要性を熟知した大山は、高名な江川太郎左衛門の兵学塾に学び、日本における砲兵の第一人者となります。

戊辰戦争では大砲隊を率いて各地で戦い負傷します。その傷が癒え渡仏し普仏戦争を観戦したのちスイスへ移りますが、明治６年に征韓論が起こり、鹿児島の私学校党との調停を命ぜられ帰国します。大山は西郷と直談判しますが、西郷を説得することはできませんでした。

西郷との間にどのような話合いが行われたかについて大山は誰にも語らず、今日も尚その内容は分かっていません。その後の西南戦争では政府軍の指揮官として私学校党と戦い、兄弟のように親しい西郷や郷里の友を敵にすることとなります。彼にとっては言葉にできないくらい辛い戦いであったことは疑いの余地がありません。西南戦争以後、快活明朗だった大山の性格は一転したといわれています。

靖国神社南方、靖国通りを挟んで向かい側に九段坂公園がありますが、そこにある騎乗姿の銅像です。内閣制度発足後は陸軍大臣、また、日清戦争では第二軍司令官、日露戦争では満州軍総司令官をつとめ、指揮官としての名声を得ました。