1927（昭和2）年6月、内務省土木局を震え上がらせる大事故が発生した。日本一の大河・信濃川に建設された大河津（おおこうづ）分水路の大堰が梅雨の激流に洗われて陥没し機能マヒに陥った。完成からわずかに5年後の大惨事であった。内務省の威信は地に落ち、たたきのめされた。新潟土木出張所長新開寿之助ら幹部は更迭となった。内務省は新開の後任に青山を充てた。

青山は、1927（昭和2）年12月16日新任の所長として赴任、現地での応急工事を続けた若手のエース技師宮本武之輔が翌28年1月、正式な現場責任者（主任）となって赴任した。青山が宮本の技量を求めたとされ、宮本も青山の所長就任を望んだ。青山と宮本のコンビが再度代表的な土木事業を手掛けることになった。

青山は大堰（自在堰）陥没の一報を聞いて、家族に「砂利を食べたからこんな無様なことになる」と吐き捨てるように言った。「砂利を食べる」とは「手抜き工事をした」との土木界の隠語だ。内務省土木試験場が実施した「信濃川大河津自在堰破壊ノ原因調」によると「設計ノ不備、工事施工ノ不適当、維持上周到ノ注意ヲ欠キタルコト」が原因であるとしている（旧建設省北陸地方建設局発刊『信濃川百年史』）。その後の調査で、自在堰の修復は不可能と判明し、宮本設計の堰を新たに建設することになった。文字通り一から出直しである。ずさんな工事と維持管理との批判は免れまい。

宮本の「日記」によると、彼は大混乱後の統一の取れていない現場を嘆き、意を決して労働者の中に入った。

宮本は3項目の「執務要綱」を作成し、職員全員に配布した。

1、秩序を重んじ融和団結を旨とすべし。
2、弊風を一新し鋭意能率の増進を計るべし。
3、精神の緊張を失わず至誠を以て事に当るべし。

宮本は猛暑の夏も吹雪の冬も先頭に立って仕事を指揮した。多才な宮本は、作業歌「信濃川補修工事の歌」、「信濃川補修工事の四季」、「信濃川分水四季」を自ら作詞し、現場の作業に合わせて労働者に大声で歌わせた。

青山は作業現場の活性化策として作業風景を映画カメラで撮影し、フィルムにおさめることを宮本に助言する。アメリカの陸軍工兵隊がパナマ運河開削工事で使った手法を取り入れてはどうかと勧めたのである。宮本は早速この活動写真のアイディアを採用。四季折々の作業現場を16ミリフィルムにおさめ、自らフィルムを編集し、タイトルまで付けて試写会「映画の夕べ」を開催した。文才に長けた宮本は新聞社の求めに応じて原稿を書き、工事の進捗状況を県民に積極的に広報した。青山はこれを認めた。

1931（昭和6）年4月22日、宮本の設計施工になる可動堰が完成した。宮本の活躍により、内務省が威信をかけた「雪辱戦」は短期決戦で勝利に帰した。自在堰に代わる可動堰をわずか4年で完成させたのである。大河津分水工事従事者は、延べ1,000万人、殉死者84人、負傷者124人の多数に上る。

青山は月に少なくとも2回は現場に足を運び作業員らを激励した。背広姿ながら脚にゲートルを巻いて腰に手ぬぐいかハンカチを下げる独特のスタイルは変わらなかった。設計や施工に少しでも疑問点や手抜かりが確認されると、厳しく指摘し直ちに改めるよう求めた。「国民や国家財政を考えよ」と叱責した。

1931（昭和6）年6月20日、信濃川・大河津自在堰補修工事竣工式・報告祭が可動堰近くで開かれた。

陥没した自在堰の中心線を通る右岸に竣工記念碑が建てられ除幕式が行われた。高さ4m、幅4.4mの可動堰ピア（橋脚）をかたどった御影石造りの記念碑である。鋳物師北原三佳がデザインした銘板の表面には日本語と万国共通語エスペラント語で碑文が刻まれている。表面には八咫烏（やたがらす）と山のデザインに「萬象ニ天意ヲ覚ル者ハ幸ナリ」、「FELIĈAJ ESTAS TIUJ, KIUJ VIDAS LA VOLON DE DIO EN NATURO」と刻まれている。北原は青山からの信頼が厚く、荒川放水路に続いて記念碑作製を依頼された。

裏面には杵つきウサギとさざ波のデザインに「人類ノ為メ國ノ為メ」「POR HOMARO KAJ PATRUJO」と刻まれている。この碑文にキリスト教徒青山の精神を感じる。

内村の非戦論を信じる青山は、軍国主義の坂を転がる軍部当局に間接的抵抗を示した。治安維持法はすでに施行され、思想弾圧の嵐が吹きすさんでいた。記念碑建立後、青山は警察当局の聴取を受けた、とされる。青山家の関係者によると、青山は新潟土木出張所長を最後に官界から去ろうと決意していた節がある。

青山は碑文の意味を問われると、「それぞれ自由に解釈して結構です」と微笑しながら答えるのが常だった。東大名誉教授の高橋裕は讃える。「この碑をはじめて仰いだときの感動は、いつまでも私を放さない。約10年前、卒業論文の勉強で同僚と信濃川に行っていた頃のことである。静かな気魄、高邁な理想、それまでに接したどの記念碑にも窺えないものが、そこにはあった。エスペラント語と日本語で、その文面は端正に刻まれていた」（「土木学会誌」より）。

青山は晩年に至るまで自在堰陥没の日にあたる6月24日には、大河津分水出張所宛に「天祐と所員の努力によって分水の無事を感謝す」との電報を送り続けた。

竣工式からわずか3カ月後の9月、満州事変が勃発。日本は15年間もの無謀な戦争に突入する。