Tecnico francese, figlio di un contadino, Baudot frequentò solo le elementari e trascorse l'adolescenza e la giovinezza lavorando nella fattoria paterna. Dopo il suo ingresso, come sostituto, nell'Amministrazione delle Linee Telegrafiche (16 luglio 1870), affascinato dagli aspetti scientifici della sua nuova professione, Baudot si dedicò a perfezionare la sua educazione, nel poco tempo libero lasciatogli dal lavoro presso la Posta centrale di Parigi.

Nel 1870 inventò il suo codice telegrafico, il primo realmente digitale, basato su due soli stati, sia logici ("1" e "0", unità che oggi chiamiamo "bit") sia fisici (corrente elettrica = "1", nessuna corrente elettrica = "0"). Nelle striscie perforate, un foro indica un Segno ("1" logico), la sua assenza uno Spazio ("0" logico).
Ciascun carattere Baudot consiste di 5 bit e perciò sono disponibili 32 diverse combinazioni, che non bastano da sole a rappresentare le 26 lettere dell'alfabeto latino, le 10 cifre e la punteggiatura. Usando due caratteri speciali, LTRS e FIGS, si ottengono 64 possibilità. LTRS (11111) precede i caratteri alfabetici, FIGS (11011) quelli numerici e quelli speciali, come la punteggiatura. Le naturali evoluzioni del codice Baudot sono stati i codici ASCII a 7 ed 8 bit che costituiscono la base del linguaggio dei computer moderni. Prima della metà del 20° secolo, il codice Baudot soppiantò il Morse come l'alfabeto telegrafico più usato. Infatti la sua combinazione di 5 unità di uguale durata rappresenta un sostanziale risparmio rispetto al sistema Morse di punti e linee. Il codice Baudot fu conosciuto come Codice Telegrafico Internazionale N. 1.

Il 17 giugno 1874 Baudot brevettò il suo primo apparato (brevetto n. 103.898, "Sistema di telegrafia rapida"), che oggi si chiamerebbe "sistema multiplex a divisione di tempo". La sua invenzione prendeva spunto dal sistema di stampa di uno strumento Hughes e da un distributore inventato da Bernard Meyer nel 1871 (il codice a 5 bit era stato originariamente concepito da Gauss e Weber). Baudot combinò questi elementi, insieme a delle sue idee originali, per produrre il sistema multiplex finale.

Il sistema di Baudot era composto da tre elementi principali: la tastiera, il distributore e la stampante su nastro di carta.
La tastiera assomigliava a quella di un pianoforte ed aveva 5 tasti, suddivisi in un gruppo di due tasti, a sinistra, ed uno di tre, a destra.
Il distributore era il cuore del sistema e ad esso erano collegate sia le tastiere sia i ricevitori. Ciascuna tastiera era collegata ad un insieme di spazzole rotanti che aprivano e chiudevano dei contatti su degli elementi conduttori fissi, chiamati segmenti. Le spazzole ruotavano grazie ad un motore elettrico o ad un meccanismo a pesi. Tipicamente un distributore aveva dalle quattro alle sei tastiere collegate, ciascuna col suo insieme di spazzole e segmenti.
Il ricevitore era dotato di 5 elettrocalamite, che memorizzavano il segnale ricevuto e di cui veniva decodificata automaticamente la combinazione per stampare direttamente il carattere risultante su una striscia di carta.
Dato che al distributore erano collegate quattro o più tastiere, ed il distributore di partenza e quello d'arrivo erano collegati da una sola linea, questo fu il primo sistema multiplex di successo nelle telecomunicazioni elettriche.

Il sistema funzionava in questo modo:
L'operatore digitava il codice sulla tastiera collegata al distributore, che bloccava i tasti finché le spazzole rotanti non passavano sopra i segmenti collegati alla tastiera stessa. La tastiera allora si sbloccava, emettendo un segnale acustico di avvertimento per l'operatore, ed era pronta per ricevere il successivo carattere. Questo suono era noto come segnale di cadenza. I due distributori di partenza e d'arrivo erano sincronizzati fra loro. Il ricevitore, all'altra estremità, stampava direttamente il messaggio su una striscia di carta.
Lavorare con la tastiera Baudot richiedeva molta abilità, perché la digitazione doveva essere assolutamente regolare e ritmica. La velocità operativa normale era di 180 lettere al minuto.

Il sistema Baudot fu accettato dall'amministrazione francese nel 1875 ed i primi test in linea avvennero il 12 novembre 1877, fra Parigi e Bordeaux. Entro la fine dello stesso anno iniziò un doppio servizio telegrafico Baudot sulla linea Parigi-Roma, lunga circa 1700 km.
Il 27 aprile 1894 Baudot stabilì, sempre su una linea singola, le comunicazioni fra la Borsa di Parigi e quella di Milano e, contemporaneamente, fra il centro di Milano e quello di Parigi.
Dopo la Francia, il sistema telegrafico Baudot entrò in servizio anche nelle altre nazioni: per prima l'Italia (1887, per il servizio interno), successivamente l'Olanda (1895), la Svizzera (1896), l'Austria ed il Brasile (1897), il Regno Unito (1898, esisteva dall'anno prima un semplice circuito delle Poste britanniche fra Londra e Parigi), la Germania (1900), la Russia (1904), l'India (1905), la Spagna (1906), il Belgio (1909), l'Argentina (1912) e la Romania (1913).

Le apparecchiature di Baudot furono installate all'Esposizione universale di Parigi del 1878 e gli valsero la grande medaglia d'oro, oltre alle unanimi congratulazioni degli ingegneri di tutto il mondo. Vendette questa medaglia nel 1880 per fare ulteriori ricerche nel campo della telegrafia, perché ricevette sempre uno scarso aiuto dall'Amministrazione Telegrafica francese e molto spesso dovette mettere di tasca propria i soldi per finanziare i suoi esperimenti.

L'inventore fu insignito della Legione d'Onore nel 1879 e promosso Controllore nel 1880; nel 1882 fu nominato infine Ingegnere ispettivo.

Baudot mori all'età di cinquantasette anni, dopo una lunga malattia.

L'unità di misura della velocità nelle trasmissioni telegrafiche è chiamata Baud in suo onore. Il Baud è stata la principale unità di misura delle trasmissioni dati prima di essere sostituita dai più accurati bps.