As origens da álgebra se encontram na antiga Babilônia, cujos matemáticos desenvolveram um sistema aritmético avançado, com o qual puderam fazer cálculos algébricos. Com esse sistema eles foram capazes de aplicar fórmulas e calcular soluções para incógnitas para uma classe de problemas que, hoje, seriam resolvidos como equações lineares, equações quadráticas e equações indeterminadas.

Por outro lado, a maioria dos matemáticos egípcios desta era e a maioria dos matemáticos indianos, gregos e chineses do primeiro milénio a.C. normalmente resolviam estas equações por métodos geométricos, como descrito no Papiro Rhind, Sulba Sutras, Elementos de Euclidese Os Nove Capítulos da Arte Matemática. Os estudos geométricos dos gregos, consolidado nos Elementos, deram a base para a generalização de fórmulas, indo além da solução de problemas particulares para sistemas gerais para especificar e resolver equações.

O nome "álgebra" surgiu do nome de um tratado escrito por Al-Khwarizmi, um matemático nascido na Pérsia por volta de 800 d.C. emKhwarizmi, atualmente no Uzbequistão, e que viveu em Bagdá na corte do califa Al Manum.

Abū ‘Abd Allāh Muḥammad ibn Mūsā al-Khwārizmī é considerado o fundador da álgebra como a conhecemos hoje. Seu trabalho intitulado: Al-Jabr wa-al-Muqabilah , isto é O livro sumário sobre cálculos por transposição e redução era um trabalho extremamente didático e com o objetivo de ensinar soluções para os problemas matemáticos cotidianos de então. A palavra Al-jabr da qual álgebra foi derivada significa"reunião", "conexão" ou "complementação". A palavra Al-jabr significa, ao pé da letra, a reunião de partes quebradas. Foi traduzida para o latim quase quatro séculos depois, com o título Ludus Algebrae et Almucgrabalaeque.

Na data de 1140, Robert de Chester traduziu o título árabe para o latim, como Liber Algebrae et almucabala. No século XVI é encontrado em inglês como Algiebar and Almachabel, e em várias outras formas, mas foi finalmente encurtado para Álgebra. As palavras significam "restauração e oposição".

No Kholâsat Al-Hisâb ("Essência da Aritmética"), Behâ Eddin (cerca de 1600 d.C.) escreve: "o membro que é afetado por um sinal de menos será aumentado e o mesmo adicionado ao outro membro, isto sendo álgebra; os termos homogêneos e iguais serão então cancelados, isto sendo al-muqâbala".

Os mouros levaram a palavra al-jabr para a Espanha, um algebrista sendo um restaurador ou alguém que conserta ossos quebrados. Por isso,Miguel de Cervantes em Dom Quixote (II, cap. 15) é feita menção a "um algebrista que atendeu ao infeliz Sansão". Em certo tempo não era raro ver sobre a entrada de uma barbearia as palavras "Algebrista y Sangrador" (Smith, Vol. 2, páginas 389-90).

O uso mais antigo da palavra álgebra no inglês em seu sentido matemático foi por Robert Recorde no The Pathwaie to Knowledge ("O Caminho para o Conhecimento") em 1551: "também a regra da falsa posição, que traz exemplos não somente comuns, mas alguns pertinentes à regra da Álgebra".

"Álgebras" (no plural) aparece em 1849 no Trigonometry and Double Algebra ("Trigonometria e Dupla Álgebra") de Augustus de Morgan:

É mais importante que o estudante tenha em mente que, com uma exceção, nenhuma palavra ou sinal de aritmética ou álgebra tem um átomo de significado ao longo deste capítulo, cujo objeto são os símbolos, e suas leis de combinação, dando uma álgebra simbólica (página 92) a qual pode daqui em diante se tornar a gramática de cem álgebras significativas e distintas. [Coleção de Matemática Histórica da Universidade de Michigan].

A expressão "uma álgebra" também é encontrada em 1849 no Trigonometry and Double Algebra ("Trigonometria e Dupla Álgebra") de Augustus de Morgan:

A linguagem ordinária tem métodos de assinalamento instantâneo de significado a termos contraditórios: e assim ela tem analogias mais fortes com uma álgebra (se houvesse uma tal coisa) na qual estão pré-organizadas regras para explicar novos símbolos contraditórios à medida que surgem, do que em uma [álgebra] na qual uma única instância deles demanda uma imediata revisão de todo o dicionário. [Coleção de Matemática Histórica da Universidade de Michigan].

Começou a ser usada na Europa para designar os sistemas de equações com uma ou mais incógnitas a partir do século XI.