本地域は木曽川、長良川の流域に発達した濃尾平野の一角に位置し、北から各務原市・岐阜市の一部・羽島郡岐南町・笠松町並びに羽島市の３市２町に跨る平坦な地域である。

本土地改良区の前身は、大正１５年に設立された蘇北普通水利組合、羽島中部普通水利組合であり、昭和２４年の「土地改良法」の施行に併い、土地改良区に組織変更されたものである。

昭和４２年に農業経営の安定をめざし、土地改良区の効率的な運営と農家負担の軽減を図るため蘇北土地改良区と羽島中部土地改良区が合併し、現在の羽島用水土地改良区となった。

羽島用水旧頭首工・各務原市上中屋地先

　

慶長１５年（１６１０）、家康の命により、木曽川左岸、犬山より下流１２里弥富までを「御囲堤」※（おかこいつづみ）と称する大堤防が築造されて以来木曽川の洪水はすべて美濃側の低地に向かって放流され、水害を一方的に受けねばならなかった。以来３００年の永きに亘り、美濃側の住民は「輪中堤」を構築し、各々地区内の水防に専念することになった。したがって洪水におびえ輪中堤の決潰を案じ、木曽川を悪魔の如く恐れ、水防に汲々として木曽川より用水を取水することなど到底考える余裕はなかった。水源は地区内の池の湧水、木曽川の浸透水、掘抜井戸にこれを求めており、その他天水に頼るほかなかった。

昭和７年（１９３２）、県営羽島用水改良事業により、各務原市上中屋地先に羽島用水の取水口が完成され現在の羽島用水の原形となった。

しかし、世界大戦を背景に木曽川、飛騨川の上流に水力発電ダムが数多く出来て土砂が流れてこなくなり、洪水による河床の低下、流心の移動によってたび重なる取水口までの導水路の掘削に莫大な出費を要するようになった。　そこで木津、宮田、羽島の三用水では、促進期成同盟会を結成して関係各方面へ強力に促進陳情を続行した結果、「国営濃尾用水事業」（昭和３２〜４２年）にて現在の犬山頭首工よりの安定した取水が可能となり、多年に亘る水不足も解消の堵についた。

羽島用水旧東西分水工・羽島郡笠松町田代地先

　

※御囲堤：

この堤防は、尾張藩を囲む形であったので「御囲堤」と呼ばれ、洪水対策とあわせて西国大名の侵入にそなえる軍略上の意味あいが強いものであった。そのため、「対岸美濃の諸堤は御囲堤より低きこと三尺たるべし」、「尾張側御囲堤の修理が相済む迄は、対岸他家の普請は遠慮すべし」という史上名高い伝承がある。