Цей символ в давні часи позначав коротке О, а ь - коротке і. Потім ці звуки зникли з усіх слов'янських мов. В російській за традицією деінде зберігається ь, наприклад в іменниках з основою на старий короткий і: ночь, дочь тощо, а також у занінченнях ешь/ишь. В решті випадків він переосмислився на знак м'якості, бо в принципі, коли коротке і зникло, воно залишило слід у вигляді м'якості приголосного.

За традицією зберігали й ъ в іменниках зі старою основою на короткий о, але більшовики це скасували. Тепер ъ не має сенсу, крім розділового, тобто замінити його апострофом - і він не потрібний. Після революції так експериментували, але все ж таки зберегли.

Чого більшовики не скасували традиційний ь, не знаю. Вчителі казали, щоб відрізняти чол.рід луч, ключ, тобто старі основи на о-коротке від ж.р. Дочь, печь - старі основи на і-коротке, але це фігня, бо ніяк не допомагає насправді, ніяких переваг не дає, хіба що іноземцю, який не може запам'ятати рід іменників.