1944年8月29日，駐宿遷日軍七十二旅團一三五大隊為確保宿、泗水陸交通，派出金井中隊88人、偽宿遷保安第十一中隊及泗陽第四區(qū)漢奸武裝90余人，侵占宿、泗運河線上的小張莊，設立據(jù)點，控制林公渡口。
新四軍三師十旅為鞏固已得的勝利，配合鹽阜區(qū)沿海地區(qū)的攻勢，則針鋒相對，對敵交通線上已有和新設的據(jù)點不斷發(fā)起攻擊。7月15日，淮海部隊攻占泗陽北之兩遭圩據(jù)點。17日，攻克新安鎮(zhèn)東南之大新集。8月6日，在沭陽北之楊灣俘獲日軍汽車3輛及其駕駛員。敵之交通線不斷遭新四軍攻擊和破壞。
林公渡據(jù)點，西北距宿遷縣城32公里，東南距泗陽縣城20公里，北靠運河，南200米為舊黃河堤。該據(jù)點東西長約120米，南北寬約50米，有民房12座。敵在據(jù)點周圍構筑地堡、外壕、鹿砦、鐵絲網(wǎng)。據(jù)點外的鄰近房屋均被敵放火燒毀。
在敵占領林公渡口前，新四軍第十旅兼淮海軍分區(qū)根據(jù)8月20日偵察得悉，日偽不久即要在林公渡安設據(jù)點，確保運河水上交通，所以決定由吳信泉帶領參戰(zhàn)部隊的主要指揮員進行了現(xiàn)地勘察和預先戰(zhàn)場準備，動員群眾拆掉好墻，埋藏糧食。敵占領林公渡后，淮海軍分區(qū)即對據(jù)點的兵力部署和工事構筑等情況，進行了詳細偵察，并在林公渡東北30余公里之裴圩、里仁集一帶集中兵力，進行政治動員和戰(zhàn)前準備。9月5日，十旅召開黨委會議，決定趁敵立足未穩(wěn)而拔除之。部隊的具體戰(zhàn)斗部署是以二支隊六團配屬旅特務營兩個連、二支隊警衛(wèi)連和迫擊炮連為第一梯隊；以二支隊五團兩個連為二梯隊；以二支隊第四團配屬泗陽縣總隊占領陳圩有利位置，擔負阻擊泗陽方向可能出援林公渡之敵；以五團主力和宿遷縣總隊阻擊宿遷、洋河鎮(zhèn)方向可能出援之敵。
9月6日黃昏，攻擊部隊自裴圩、里仁集一線對林公渡據(jù)點實施奔襲，于7日拂曉前渡過運河突然將敵包圍。經過現(xiàn)場進一步偵察，決定以六團二、三連在據(jù)點西南擔任主攻；旅特務營兩個連和二支隊警衛(wèi)連在東面擔任助攻；一連位于據(jù)點西側運河岸邊為預備隊，并隨時準備截擊潰逃之敵；指揮所設在黃河堤上。各分隊受領任務后，積極進行準備，構筑工事，挖了數(shù)道通往敵據(jù)點前沿的交通壕。
當日上午，據(jù)點內日偽軍組織3次出擊。十旅部隊給予猛烈地反擊，敵傷亡30余人，被迫退守據(jù)點內待援。下午，宿遷縣城之日軍一三五大隊一部和偽軍進至洋河鎮(zhèn)以東，企圖解林公渡之圍，被五團主力和宿遷總隊在洋河鎮(zhèn)以東阻擊，殲敵一部，余敵被擊潰逃回洋河鎮(zhèn)，從此再不敢出援。
當晚，各部緊縮對林公渡據(jù)點的包圍，逼近其前沿。六團三連乘機從據(jù)點西側用集束手榴彈炸開鹿砦，沖入外壕，暗堡守敵以猛烈火力阻止部隊前進。新四軍以機槍封鎖敵暗堡射孔，突擊班用馬刀砍斷暗堡外圍鐵絲網(wǎng)，以勇猛動作躍上暗堡，從射孔投入手榴彈將其炸毀，突破了日軍前沿陣地。該連后續(xù)分隊搭梯子越過外壕，進入突破口，分兩路向西端三間房屋攻擊前進，將偽軍1個班殲滅，活捉3人，占領了三間房屋。據(jù)點北端院內日軍1個小隊，在火力掩護下進行反沖擊，將被占領的房屋點著起火。三連在二支隊迫擊炮連炮火支援下，奮勇將敵擊退，爾后就地挖掘塹壕，并依托房屋的廢墟，堅守了既得陣地。
8日17時10分，各攻擊分隊在炮火掩護下發(fā)起總攻。第三連從原陣地向西南方向猛烈攻擊，又占領了西側幾座房屋，擊斃日軍小隊長和日、偽軍10余名。此時，位于據(jù)點正南攻擊之第二連也已突破敵前沿，但遭敵暗堡密集火力壓制未能進入縱深；由東面攻擊之旅特務營二連和二支隊警衛(wèi)連，為敵猛烈火力所阻，3次沖擊未能奏效。敵我形成對峙。
22時許，攻擊部隊集中炮火摧毀敵火力發(fā)射點，隨即各分隊再次勇猛沖擊，二連乘機突入敵陣，占領南端一排房屋，斃傷日偽軍20余人。此時，三連、二連和由西南角進入戰(zhàn)斗的四連，共同由西向東發(fā)起進攻，穿墻打洞，近戰(zhàn)肉搏，展開了激烈的逐屋逐院爭奪戰(zhàn)。
9日2 時，將敵百余名壓縮在東北端三間房屋的指揮所院內和東南角兩個地堡中。炮兵集中火力向敵指揮所院內猛烈轟擊，旅特務營二連和二支隊警衛(wèi)連從東突入院內后，配合二、三、四連從兩翼發(fā)起沖擊。激戰(zhàn)中，敵金井中隊長被擊斃，守敵恐慌萬狀，加之彈藥消耗殆盡，便點燃房屋，向西突圍，當即被殲滅過半，殘敵沿運河狼狽向西潰逃。一連立即追擊。日軍已無彈藥，即上起刺刀，妄圖進行肉搏，拼出一條生路。一連戰(zhàn)士即以機槍、步槍猛烈的火力殺傷日軍。
經過一場激戰(zhàn)，將敵全部殲滅。拂曉前，勝利地拔除了林公渡據(jù)點，擊斃日軍金井中隊60余人，活捉日軍5名，斃俘偽軍90余人。