Rođen je 30. listopada 1942. godine u Zagrebu, u kojem je počeo igrati rukomet. S Medveščakom je 1964. i 1965. godine osvojio naslove prvaka Jugoslavije. Dvaput je bio i pobjednik Kupa bivše države, 1965. i 1970. godine. S najdražim klubom, 1965. godine stigao je do finala Kupa europskih prvaka, a u završnom dvoboju Medveščak je poražen od bukureštanskog Dinama.
Za reprezentaciju Jugoslavije Milković je nastupio u 103 utakmice i postigao 310 pogodaka. Na Svjetskom prvenstvu 1964. godine s postignuta 32 pogotka podijelio je naslov najboljeg strijelca (s Mađarom Andreasom Fenyom i Rumunjom Ionaom Moserom). Šest godina kasnije, na Svjetskom prvenstvu 1970. u Francuskoj, s reprezentacijom bivše države osvojio je brončanu medalju.
Nakon što se oprostio od aktivnog igranja rukometa, postao je i uspješan trener. Počeo je u Medveščaku, a dugo godina trenirao je njemačke klubove, među kojima su VfL Günzburg, MTSV Schwabing, Bayer Leverkusen i THW Kiel.
Hrvatski olimpijski odbor (HOO) izražava duboku sućut obitelji, rodbini i prijateljima preminulog rukometnog velikana Josipa Milkovića!
