точнее будет сказать "одиночными кавычками"

Согласно правил семантики, в php (да и в perl, javascript, vbscript, pascal, delphi, c/c++) это выглядит так:
$var = 12;
echo "$var";
Выведет на экран число 12.
$var = 12;
echo '$var';
Выведет на экран $var;
Так вот, в конструкции echo "$var"; если ввести ещё одни двойные кавычки, это будет означать что символьная часть закончена.
Выхода - два. Либо внутри использовать двойные кавычки, но с квотированием. Либо одинарные.
Для PHP есть ещё две функции - quotemeta и связка addslashes/stripslashes