Необхідність у використанні кеш-пам'яті пояснюється різницею в швидкості обміну інформацією між процесором і різними розділами пам'яті комп'ютера. Робота будь-якої програми починається з перенесення необхідних даних з відносно повільного жорсткого диска в ОЗП (оперативну пам'ять комп'ютера) в розділ динамічного довільного доступу. Звідти вони можуть бути передані в кеш-пам'ять L2 (пам'ять другого рівня), що розташовується в мікросхемі процесора або на спеціалізованій окремій мікросхемі SRAM, що володіє високою швидкістю передачі і знаходиться поруч з процесором. Нарешті, сама використовувана інформація може бути перенесена в кеш-пам'ять L1 (пам'ять першого рівня), що представляє із себе виділений розділ процессора.Размери кеш-пам'яті першого рівня складають всього близько 128 Кб, другого рівня -вже 512 Кб. Для порівняння, розмір оперативної пам'яті може становити 1 Гб.Виполненіе будь-якої команди відбувається за певною схемою: - аналіз даних регістрів інформаціі-- сканування даних кеш-пам'яті першого уровня-- перевірка інформації кеш-пам'яті другого уровня-- аналіз даних оперативної памяті-- звернення до пам'яті жорсткого діска.Время, що витрачається процесором на отримання необхідних даних, знаходиться в прямій залежності від місця збереження інформації. Так, звернення до кеш-пам'яті першого рівня займає від 1 до 3 циклів, другого рівня - від шести до дванадцяти циклів, а до оперативної пам'яті - десятки, а в деяких випадках - сотні циклів. Особливу роль кеш-пам'ять відіграє в процесі роботи серверів, тому трафік «процесор-пам'ять» досягає в цих випадках значних значеній.Структура кеш-пам'яті також служить завданням скорочення розриву між параметрами швидкості процесорів, зростаючих на 50 відсотків щороку, і швидкості обміну даними з оперативною пам'яттю, показники зростання яких складають всього 5 відсотків. Логічними кроками в цьому напрямку представляються ведуться розробки третього і четвертого рівнів кеш-пам'яті. Іншим можливим напрямом розвитку може стати перехід до програмного управління кешпам'яттю.