算术单元
具有硬件乘法器和多功能运算单元，硬件乘法器可以在单个指令周期内完成乘法操作，这是DSP区别于通用的微处理器的一个重要标志。多功能运算单元可以完成加减、逻辑、移位、数据传送等操作。新一代DSP内部甚至还包含多个并行的运算单元，以提高其处理能力。针对滤波、相关、矩阵运算等需要大量乘和累加运算的特点，DSP的算术单元的乘法器和加法器，可以在一个时钟周期内完成相乘、累加两个运算。近年出现的一些DSP如ADSP2106X、DSP96000系列DSP可以同时进行乘、加、减运算，大大加快了FFT的蝶形运算速度。
总线结构
传统的通用处理器采用统一的程序和数据空间、共享的程序和数据总线结构，即所谓的冯.诺依曼结构。DSP普遍采用了数据总线和程序总线分离的哈佛结构或者改进的哈佛结构，极大地提高了指令执行速度。片内的多套总线可以同时进行取指令和多个数据存取操作，许多DSP片内嵌有DMA控制器，配合片内多总线结构，使数据块传送速度大大提高。
专用寻址单元
DSP面向数据密集型应用，伴随着频繁的数据访问，数据地址的计算也需要大量时间。DSP内部配置了专用的寻址单元，用于地址的修改和更新，它们可以在寻址访问前或访问后自动修改内容，以指向下一个要访问的地址。地址的修改和更新与算术单元并行工作，不需要额外的时间。DSP的地址产生器支持直接寻址、间接寻址操作，大部分DSP还支持位反转寻址（用于FFT算法）和循环寻址（用于数字滤波算法）。
片内存储器
针对数字信号处理的数据密集运算的需要，DSP对程序和数据访问的时间要求很高，为了减小指令和数据的传送时间，许多DSP内部集成了高速程序存储器和数据存储器，以提高程序和数据访问存储器的速度。
流水处理技术
DSP大多采用流水技术，即将一条指令的执行过程分解成取指、译码、取数、执行等若干个阶段，每个阶段称为一级流水。每条指令都由片内多个功能单元分别完成取指、译码、取数、执行等操作，从而在不提高时钟频率的条件下减少了每条指令的执行时间。