Mając 22 lata odkrył prawo przemiany prądu elektrycznego na ciepło, które przedstawił w formie matematycznej znanej dziś jako prawo Joule'a (zwane również prawem Joule'a-Lenza), które brzmi:
Ilość wytworzonego przez prąd elektryczny ciepła jest proporcjonalna do oporu danego przewodnika i kwadratu natężenia prądu i czasu jego przepływu.

Joule prowadził także badania nad bezpośrednią zamianą energii mechanicznej na ciepło oraz pośrednią poprzez sprężanie gazów. Wyznaczył równoważnik mechaniczny ciepła, a wraz z Williamem Thomsonem, odkrył tzw. zjawisko Joule'a-Thomsona. Za dokonanie tych prac otrzymał w roku 1878 nagrodę od królowej angielskiej w postaci stałej dożywotniej pensji.

Dzięki swoim odkryciom w 1850 r. został członkiem Towarzystwa Królewskiego w Londynie, a dla uczczenia jego nazwiska jednostkę pracy nazwano dżulem.
Prace Joule'a dotyczyły takich pojęć jak ciepło, temperatura, energia, termodynamika, elektromagnetyzm.