哈佛结构是一种将程序指令存储和数据存储分开的存储器结构。中央处理器首先到程序指令存储器中读取程序指令内容，解码后得到数据地址，再到相应的数据存储器中读取数据，并进行下一步的操作（通常是执行）。程序指令存储和数据存储分开，可以使指令和数据有不同的数据宽度，如Microchip公司的PIC16芯片的程序指令是14位宽度，而数据是8位宽度。
    哈佛结构的微处理器通常具有较高的执行效率。其程序指令和数据指令分开组织和存储的，执行时可以预先读取下一条指令。目前使用哈佛结构的中央处理器和微控制器有很多，除了上面提到的Microchip公司的PIC系列芯片，还有摩托罗拉公司的MC68系列、Zilog公司的Z8系列、ATMEL公司的AVR系列和安谋公司的ARM9、ARM10和ARM11，51单片机也属于哈佛结构
    冯?诺伊曼结构也称普林斯顿结构，是一种将程序指令存储器和数据存储器合并在一起的存储器结构。程序指令存储地址和数据存储地址指向同一个存储器的不同物理位置，因此程序指令和数据的宽度相同，如英特尔公司的8086中央处理器的程序指令和数据都是16位宽。
    目前使用冯?诺伊曼结构的中央处理器和微控制器有很多。除了上面提到的英特尔公司的8086，英特尔公司的其他中央处理器、安谋公司的ARM7、MIPS公司的MIPS处理器也采用了冯?诺伊曼结构。
     在DSP算法中，最大量的工作之一是与存储器交换信息，这其中包括作为输入信号的采样数据、滤波器系数和程序指令。例如，如果将保存在存储器中的2个数相乘，就需要从存储器中取3个二进制数，即2个要乘的数和1个描述如何去做的程序指令。图〔a)显示了一个传统的微处理器是如何做这项工作的。这被称为冯?诺依曼结构，是以一位数学家的名字命名的。冯?诺依曼结构中，只有一个存储器，通过一条总线来传送数据。乘两个数至少需要3个指令周期，即通过总线将这3个数从存储器中送到CPU。所以这种结构在面对高速、实时处理时，不可避免地造成总线拥挤。为此，哈佛大学提出了与冯?诺依曼结构完全不同的另一种计算机结构，人们习惯称之为哈佛结构，如图(b)所示。它根据数据和数据指令将存储器和总线分开。因此，总线操作是独立的，能同时取指令和数据，提高了速度。目前DSP内部一般采用的是哈佛结构，它在片内至少有4套总线：程序的数据总线，程序的地址总线，数据的数据总线和数据的地址总线。这种分离的程序总线和数据总线，可允许同时获取指令字(来自程序存储器)和操作数(来自数据存储器)，而互不干扰。这意味着在一个机器周期内可以同时准备好指令和操作数。有的DSP芯片内部还包含有其他总线，如DMA总线等，可实现单周期内完成更多的工作。这种多总线结构就好像在DSP内部架起了四通八达的高速公路，保障运算单元及时地取到需要的数据，提高运算速度。因此，对DSP来说，内部总线是个资源，总线越多，可以完成的功能就越复杂。超级哈佛结构(super Harvard architecture，缩写为SHARC)如图(c)所示，它在哈佛结构上增加了指令cache(缓存)和专用的I/O控制器。