日本海自在1958到1960年完成第一代反潛驅逐艦──七艘綾波級之後，接著又在1960年代規劃建造下一代的反潛驅逐艦，成為山雲級。山雲級以 日本帝國海軍時代用於驅逐艦的「天文地理名」中的「雲部」來命名，在當時是日本海自最先進的驅逐艦， 是日本海自第一種引進飛剪式艦首、艦底固定式聲納、艦體穩定鰭、艦首主錨等新技術的艦艇，這些均被日本海自往後建造的艦艇沿用至今。日本海自在昭和37至 39年（1962至1964年，屬於第二次防衛力整備計畫期間）編列建造首批三艘山雲級，接下來轉而建造三艘加裝DASH無人反潛直昇機操作設備、取消 ASROC的修改型山雲級，稱為峰 雲級(DDK-116~118)。由於DASH隨後遭到廢除，因此海自在昭和44到49年（1969至1974年，介於第三、第四次防衛力整備計畫期間） 又編列建造第二批三艘山雲級（DDK-119~121）。相較於第一批三艘山雲級，第二批三艘山雲級艦體長度增加1m，排水量增加100噸，艦上裝備也做 了改良。

原本 海自打算從昭和49年（1974年）起開始建造一種新的2500噸型反潛驅逐艦（49DDK型），以第二批山雲級為基礎拉長艦體， 預留安裝戰鬥情報處理裝置以及美製基本點防禦防空飛彈（BPDMS）的空間，並改用複合燃氣渦輪或柴油機推進系統，而其餘偵測、聲納、武器系統大致與第二批山雲級相同；但由於1973年以阿贖罪日戰爭導致的石油危機與通貨膨脹，使日本海自不得不取消49DDK型，而在昭和49 年度編列的DDK也改用第二批山雲級的設計，成為山雲級的六號艦夕雲號（DDK-121）。

以往海自驅逐艦都使用蒸汽渦輪推進系統，而山雲級則首度嘗試使用全柴油機驅動，主要是希望藉由柴油機較低的油耗來增加續航力。山雲級參考後期型五十鈴級護航驅逐艦的推進系統 ，並將柴油主機的數量從五十鈴級的四部增加為六部；首艦山雲號（DDK-113）的系統發展自五十鈴級的四號艦大井號（DE-214），使用三井重工的柴油主機，包括四部V型12汽缸的三井重工1228V3BU-38V柴油機（單機功率4250馬力），以及兩部V型16汽缸、功率增加到5600馬力的三井重工1628V3BU-38V，而二號艦捲雲（DDK-114）開始則使用類似五十鈴級三號艦北上號（DE-213）的方案，使用六部三菱重工12UEV30/40N柴油主機（單機功率增為4650馬力）； 兩種方案都使用六部柴油主機，總功率26500軸馬力，是當時全世界總出力最高的全柴油機水面艦艇。由於三菱主機方案使用六部同型號的柴油機，可以簡化機 械設計與後勤，因此後五艘山雲級都使用這種推進系統。最初海自規劃山雲級的推進系統總功率為30000軸馬力，希望能達到32節的航速，但最後妥協降至 26500馬力，使其最大航速降至27節；不 過，由於山雲級使用ASROC、導向反潛魚雷作為主要反潛武器，在更遠的距離就能攻擊敵方潛艦，因此比較不需要高速追擊敵方潛艦。 山雲級的六部柴油機組分置於三個機艙（每個機艙設置兩部），其中前機艙的兩部柴油機與中機艙的左側柴油機負責驅動左側大軸，中機艙的右邊柴油機與後機艙兩 部柴油機負責驅動右側大軸；這樣的配置使得傳動系統較為複雜，使用第一（最大）戰速衝刺時，主機的噪音振動大增，甚至會將熟睡的人員吵醒，而過大的噪音也 會影響艦上電子裝備（尤其是聲納）的運作。前三艘山雲級使用兩部功率各400KW的柴油發電機，後期型三艘山雲級的兩部主柴油發電機功率增至500KW； 此外，還有一部200KW的緊急用柴油發電機。

山雲級擁有當年最先進的反潛裝備，是日本海自第一種配備美製ASROC反潛火箭的艦艇。山雲級艦身中段兩個煙囪之間安裝一座74式八 聯裝ASROC反潛火箭發射器(美製八聯裝MK-112 ASROC發射器的日本版)，提供本級艦中長程反潛火力，除發射器內的八枚之外無備用彈；近程反潛武器則包括兩組三聯裝68式324mm魚雷發射器(美製 三聯裝MK-32魚雷發射器的日本版)，以及位於艦首B砲位的一具瑞典波佛斯公司授權日本生產的四聯裝M/50 375mm反潛刺蝟砲 ，日本版型號為71式， 這是一種無導引反潛火箭推進反潛彈藥，最大射程約1.6km。艦上使用的324mm短魚雷包括美製MK-44以及後來的MK-46，以及日本國產的73 式。73式魚雷於1960年代開始發展，當時型號為G-9，技術特徵以美國MK-44魚雷相似，同樣採用海水電池動力，重230kg，航速40節，有效射 程6000m，採用同軸反轉雙螺旋槳推進器。 除了由艦上的68式魚雷發射器投擲之外，73式服役初期也裝備於日本購自美國的DASH無人反潛直昇機上。在1983年，日本海自為73式魚雷進行性能升 級，一直使用到2012年才全部除役。

山雲級的戰情中心（CIC）直接設置在艦橋後方，使得人員操作上的便利性大增；然而，這也意味山雲級的航行操作與作戰中樞集中在上層結構前部，萬一中彈很容易一舉喪失所有指揮控制機能。此外，艦橋頂部還設置防空指揮所（MK-56射控儀下方）。前三艘山雲級（DDK-113~115）使用OPS-11（美製AN/SPS-40的日本國產版）二維對空搜索雷達，後三艘山雲級（DDK-1119~121）則使用改良後的OPS-11B。聲納方面， 前三艘山雲級配備美製SQS-23聲納（工作頻率4.5~5.5KHz，工作距離9100m），後三艘山雲級配備日本NEC的OQS-3A艦體聲納（SQS-23的日本國產化版）；最後兩艘本級艦秋雲(DDK-120)、夕雲(DDK-121)則 進一步加裝美國授權日本EDO廠生產的SQS-35(J)可變深度聲納，日後也加裝於山雲號（DDK-113）、捲雲號（DDK-114）兩艦。除了上述 的反潛武裝外，本級艦其餘的武裝就只有分別位於艦首、艦尾的兩具雙聯裝68式（美國MK-33的日本版） 76mm 50倍徑快砲，射速45~50發/分 。前三艘山雲級使用的艦砲射控系統是MK-56（主射控儀）與MK-63（副射控儀）的組合，其中MK-56位於前部，結合一具SPG-34射控雷達，能 對目標進行自動追蹤，而MK-63位於後部，需要人工進行追蹤；進行反潛作戰時，具備自動化雷達追蹤能力的MK-56需要支援反潛火箭射控工作，此時只能 以人工追蹤的MK-63進行對空射擊，效能低落。後三艘山雲級則改用兩具日本自製的FCS-1B射控系統（72式射擊裝置1B型），都結合射控雷達並具備 自動追蹤能力。

從1995年起，日漸老化的山雲級開始除役，其中 山雲(TV-3506 ex-DDK-113)、捲雲(TV-3507 ex-DDK-114)、青雲(TV-3512 ex DDK-119)與秋雲(TV-3514 ex DDK-120)則分別在1991、1991、1999、2000年被改裝為專職的訓練艦，擔任日本海自十分重視的訓練工作，發揮服役末期的剩餘價值。轉為訓練艦時，青雲、秋雲在硬體上最主要的變更乃將第二個煙囪後方的上層構造物改為實習教室。由於不需擔負戰備，青雲、秋雲的乘員編制由原來220人減為130人，多出來的90個舖位便用來容納接受訓練的實習學員。 此外，本級艦朝雲號（ASU-7018 ex-DDK-115 ）在1993年轉為特務艦。

青雲與秋雲號分別在2003年6月與2005年2月除役，而山雲級的最後殘存艦──降編入地方隊的夕雲號（DDK-121）則在2005年6月除役，不僅意味著山雲級走入歷史，也代表反潛驅逐艦（DDK）這個艦種自此從海上自衛隊的陣容中消失。