青山にとって内務技師最高の栄えあるポストは居心地のよいものではなかった。青山は本省勤務の経験がなく、土木現場一筋の「技術屋」である。内務省土木局長は事務官僚の最高ポストのひとつであり、内務技監はそれに次ぐ技術官僚の最重要ポストであるが、歴代工学博士号をもつ技師のみが就任してきた。青山は帝大卒の学士であって博士ではない。内務技師としては異色の経歴であり、当時、青山の技監就任は意外な人事と受け止められた。

内務技監となった青山は、就任の挨拶から一貫して官僚として自らを厳しく律するよう、同僚や部下の若手官僚に求めた。省内の派閥的動きにクギを刺したのである。

青山は内務省技術官僚の最高ポストにありながら軍部当局からマークされていた。当時技監青山を支えた技術官僚鈴木雅次は述懐する。

「内村鑑三の流れをくむその高邁なヒューマニズムが2・26事件前夜にあたる軍部順応の世相に、入れられなかったのは当然である。そして内務省首脳部の一員として、反戦的と思われる言行に対し、激しい批判の起こる気配がした」

1936（昭和11）年5月、土木学会に「土木技術者相互規約調査委員会」が設置され、技監青山は推されて委員長となる。8回の会合を重ねた後、37年12月新土木学会長大河内宗治に対して「土木技術者の信条及実践要綱」（下掲）を提出した。

要綱は、アメリカ土木学会の倫理綱領に倣ったものと指摘することも出来ようが、技術者青山の人生観そのものといってよく、簡潔にして名文である。会合での討議内容を当時の「土木学会誌」で読むと、軍国主義や国家主義的な表現が抑えられていく過程がうかがえる。

倫理綱領作成の目的について青山は、
1、土木技術者の使命感の確認、
2、土木技術者の品位の向上、
3、土木技術者の権威の保持、
を挙げている。

日本の工学会初の倫理綱領は戦時中から戦後にかけて忘れ去られる運命となり、その重要性が土木学会で再認識されるのは昭和40年代以降である。戦争や敗戦は土木技術者の倫理観も押しつぶした。

青山は1936（昭和11）年11月17日、内務技監を退任する。昭和10年度末、土木局長岡田文秀は、技術官僚首脳部の「人事刷新」を名目に大異動の断行を発表した。これに対して、岡田が技術官僚の意向を無視して人事権をタテに人事異動を強行したとして、技術官僚が激怒し内務省まれに見る一大内部対立に発展した。

内務省は帝大法学部卒の事務官僚の砦のひとつであり、1873（明治6）年の発足以来約70年の歴史の中で、土木局長となった官僚は43人を数えるが、この内技術官僚はわずかに2人（6代古市公威と最後の43代岩沢忠恭）だけである。

青山ら技術官僚首脳は憤然として撤回を強く求め、容れられないと見るや青山以下5人の技術官僚幹部（勅任官）の辞職願を岡田に突きつけるという異例の事態に発展した。「事件」は内務大臣潮恵之輔までも動き出す事態となった。青山は同僚や部下を説得し辞職願を撤回させ、自らは「事件」の責任を半ば取る形で内務省を去った。

戦後は郷里の磐田に帰り余生を送る。1947（昭和22）年秋、カスリーン台風の直撃により、利根川と北上川の流域では未曽有の大洪水が発生し、死者行方不明者1,930人に上った。この大水害のため、青山は昭和24年から建設省（当時）の要請により荒川計画高水量検討委員会の座長となって都市河川・荒川の洪水防止策を練り直す。

土木学会の「土木ニュース」昭和24年1月15日号のアンケートに71歳の青山は答えている。

1、今年やりたいと思うこと、やって欲しいと思うこと。
土木技術に対する認識と尊重と協力とをより広く社会に呼懸け求めて、人類福祉の増進に尽されん様に、又自らも尽したいと存じます。

2、最近読まれた図書の感想。
東京「理想社出版部」、The Epic of America by J.T.Adamsの木村松代、原田のぶ子さん達によって訳されたる米国史。北米合衆国の現在世界に重きをなして居る所以。民主主義政治の起源。米人の闘志を感激す。

3、今まで最も思い出となった仕事について。
中央アメリカパナマ運河工事。其工事に1904年から1911年迄、従事し、帰朝後今に至る迄（戦争中は中絶）2人の米国人同労者（Co-worker）と音信を交して居ること。（元内務技監）。

敗戦国日本の打ちひしがれた土木技術者にその原点（人類福祉の増進）に立ち返れと訴えている。青山は1950（昭和25）年土木学会名誉会員に推挙された。

1963（昭和38）年3月21日未明、「富士山が見えるところがいい」と磐田市河原町の自然の残る高台に建設した自宅で老衰のため息を引きとった。享年86。

逝去から1カ月後の4月21日、東京・学士会館で内村鑑三門下生と青山家の遺族らが集まり「青山士追悼会」が開かれた。元東大総長南原繁が信仰の友（内村門下）を代表して追悼文を読んだ。

「われわれの生れたこの地―洪水が襲い、疫病がはびこるこの大地―を、少しでも良くして、後代に残したいというのが、神から示された青山さんの生涯の使命であったのである。宗教的信仰さえもが大きなマス・コミの波に流されている時代に、彼はその一生、おそらく信仰について、1片の文章も書かず、1度の説教も試みたことはなかった。ただ黙々と、己が命ぜられた『地の仕事』に、すべてを打ち込んだと言っていい。

だが、彼は一介の技師ではなかったと同時に、また、いわゆる世のクリスチャンとは異なって、その信仰は地に着いていた。人間的な教養と日本的＝東洋的な趣味に豊かで、漢詩や俳句も愛誦した。それは青山家父祖伝来の精神かと思われるが、彼はよくその土台にキリスト教信仰を接木した人と称してよいであろう」

青山は「神から示された生涯の使命」を確実に実践し神のもと（御国）に帰っていった。