本來，電腦的英文原詞「computer」是指從事資料計算的人。而他們往往都需要藉助某些機械計算裝置或類比電腦。
這些早期計算裝置的祖先包括有算盤，以及可以追溯到公元前87年的被古希臘人用於計算行星移動的安提基特拉機械。隨著中世紀末期歐洲數學與工程學的再次繁榮，1623年德國博學家Wilhelm Schickard率先研製出了歐洲第一部計算裝置，這是一個能進行六位以內數加減法，並能通過鈴聲輸出答案的「計算鐘」。使用轉動齒輪來進行操作。
1642年法國數學家布萊士·帕斯卡在英國數學家威廉·奧特雷德所製作的「計算尺」的基礎上，將其加以改進，使能進行八位計算。還賣出了許多製品，成為當時一種時髦的商品。
1801年，法國人約瑟夫·瑪麗·雅卡爾對織布機的設計進行改進，使用一系列打孔的紙卡片來作為編織複雜圖案的程式。儘管這種被稱作「雅卡爾織布機」的機器並不被認為是一部真正的電腦，但是其可程式化性質使之被視為現代電腦發展過程中重要的一步。
查爾斯·巴貝奇於1820年構想和設計了第一部完全可程式化電腦。但由於技術條件、經費限制，以及無法忍耐對設計不停的修補，這部電腦在他有生之年始終未能問世。約到19世紀晚期，許多後來被證明對電腦科學有著重大意義的技術相繼出現，包括打孔卡片以及真空管。德裔美籍統計學家赫爾曼·何樂禮設計了一部制表用的機器，其中便應用打孔卡片來進行大規模自動資料處理。
在20世紀前半葉，為了迎合科學計算的需要，許多專門用途的、複雜度不斷增長的類比電腦被研製出來。這些電腦都是用它們所針對的特定問題的機械或電子模型作為計算基礎。1930－1940年代，電腦的效能逐漸強大並且通用性得到提升，現代電腦的關鍵特色被不斷地加入進來。
1936年，艾倫·圖靈提出了圖靈機。
1937年，年僅21歲的麻省理工學院研究生克勞德·夏農發表了論文《繼電器和開關電路的符號分析》，文中首次提及數位電子技術的應用。他向人們展示了如何使用開關來實現邏輯和數學運算。此後，他通過研究萬尼瓦爾·布希的微分模擬器進一步鞏固了他的想法。這是一個標誌著二進位電子電路設計和邏輯閘應用開始的重要時刻，而這些關鍵思想誕生的先驅，應當包括：阿爾蒙·斯特羅格，他為一個含有邏輯閘電路的裝置申請了專利；尼古拉·特斯拉，他早在1898年就曾申請含有邏輯閘的電路裝置；李·德富雷斯特，於1907年他用真空管代替了繼電器。
HP Jornada 690開啟了手機和電腦結合的早期概念，成為智慧型手機早期概念典範
沿著這樣一條上下求索的漫漫長途去定義所謂的「第一部電腦」可謂相當困難。1941年5月12日，德國工程師康拉德·楚澤完成了他的圖靈完全機電一體電腦「Z3」，這是第一部具有自動二進位數學計算特色以及可行的程式化功能的電腦，但還不是「電子」電腦。此外，其他值得注意的成就主要有：
1941年夏天誕生的阿塔納索夫-貝瑞電腦是世界上第一部電腦，它使用了真空管計算機，二進位數值，可復用記憶體；在英國於1943年被展示的神秘的巨像電腦（Colossus computer），儘管程式化能力極為有限，但是它使人們確信使用真空管既值得信賴，又能實現電氣化的再編程；哈佛大學的哈佛一型；以及基於二進位的ENIAC，全名為電子數值積分計算器，這是第一部通用意圖的電腦，但由於其結構設計不夠彈性化，導致對它的每一次再編程都要重新連接電子線路。
1940年代的第二次世界大戰中，為訓練轟炸機飛行員，美國海軍曾向麻省理工學院探詢，是否能夠開發出一款可以控制飛行模擬器的計算機。軍方當初的設想只是希望經由該計算機將飛行員類比操作產生的數據即時反映到儀表盤上。和以前的訓練系統林克訓練機不同，軍方計劃系統能儘可能真實地根據空氣動力學模型進行類比，以使其能適用於各種不同類型的飛機。於是麻省理工創造了旋風工程，其製造出了世界上第一臺能夠即時處理資料的旋風電腦，併發明了磁芯儲存裝置。這為個人電腦的發展做出了歷史性的貢獻。
開發埃尼阿克的小組針對其缺陷又進一步改善了設計，並最終呈現出今天我們所熟知的馮·紐曼結構（程式儲存體系結構）。這個體系是當今所有電腦的基礎。 20世紀40年代中晚期，大批基於此一體系的電腦開始研製，其中以英國最早。儘管第一部研製完成並投入運轉的是小規模實驗機（Small-Scale Experimental Machine，SSEM），但真正被開發出來的實用機很可能是延遲儲存電子自動計算機（EDSAC）。
在整個1950年代，真空管電腦居於統治地位。1958年9月12日在後來英特爾的創始人羅伯特·諾伊斯的領導下，發明了積體電路。
不久英特爾又推出了微處理器。1959年到1964年間設計的計算機一般稱為第二代計算機。
到了1960年代，電晶體電腦將其取而代之。電晶體體積更小，速度更快，價格更加低廉，效能更加可靠，這使得它們可以商品化生產。
1964年到1972年的計算機一般被稱為第三代計算機。大量使用積體電路，典型的機型是IBM360系列。
到了1970年代，積體電路技術的引入大大地降低了電腦生產成本，電腦也從此開始走向千家萬戶。1972年以後的計算機習慣上被稱為第四代計算機。基於大規模積體電路，及後來的超大規模積體電路。Intel 4004是美國英特爾公司 (Intel) 推出的第1款微處理器，也是全球第一款微處理器；1971年11月15日發布。1972年4月1日，英特爾推出8008微處理器。1976年，史蒂夫·賈伯斯和斯蒂夫·沃茲尼亞克創辦蘋果計算機公司。並推出其Apple I計算機。1977年5月Apple II型計算機發佈。1979年6月1日，英特爾發佈了8位元的8088微處理器。
1982年，微電腦開始普及，大量進入學校和家庭。1982年1月康懋達64計算機發佈，價格595美元。
1982年2月Intel 80286發佈。時脈提高到20MHz，並增加了保護模式，可存取640KB記憶體。支援1MB以上的虛擬記憶體。每秒執行270萬條指令，整合了134000個電晶體。
1990年11月，微軟發佈第一代MPC（Multimedia PC，多媒體個人電腦標準）：處理器至少為80286/12 MHz（後來增加到80386SX/16 MHz），有光碟機，傳輸率不少於150 KB/sec。
1994年10月10日英特爾發佈75MHz奔騰處理器。1995年11月1日，Pentium Pro發佈。主頻可達200MHz，每秒鐘完成4.4億條指令，整合了550萬個電晶體。1997年1月8日英特爾發佈Pentium MMX，對遊戲和多媒體功能進行了增強。
此後計算機的變化日新月異，1965年發表的摩爾定律不斷被認證，預測在2030年代以前依然適用