محاسبه‌ی فضا-زمان با شبکه‌های عصبی زمانی ۲۰۲۲
Space-Time Computing with Temporal Neural Networks 2022

درک و پیاده‌سازی الگوی محاسباتی مغز، تنها چالش بزرگ و واقعی پیش روی محققان کامپیوتر است. توانایی‌های محاسباتی مغز نه‌تنها بسیار فراتر از کامپیوترهای مرسوم است، بلکه بهره‌وری انرژی آن نیز حقیقتاً قابل توجه است. این کتاب که از دیدگاه یک طراح کامپیوتر نوشته شده و محققان کامپیوتر را هدف قرار داده است، قصد دارد هم پیشینه‌ای ارائه دهد و هم مسیری عملی برای مطالعه الگوی محاسباتی مغز ترسیم کند. این کتاب شامل ترکیبی از مفاهیم و ایده‌های برگرفته از علوم اعصاب محاسباتی، همراه با دیدگاه‌های نویسنده است.

به عنوان پیشینه، ویژگی‌های بیولوژیکی مرتبط از نظر خواص محاسباتی و ارتباطی‌شان توصیف شده‌اند. نئوکورتکس مغز از نورون‌های بسیار زیادی تشکیل شده است که از طریق پالس‌های ولتاژ محاسبه و ارتباط برقرار می‌کنند، و استدلال قوی وجود دارد که زمان‌بندی دقیق پالس‌ها یک عنصر اساسی در این الگو است. با الهام از ویژگی‌های بیولوژیکی، یک الگوی محاسباتی مبتنی بر ریاضیات ساخته شده است. ویژگی اصلی، نورون‌های پالس‌زن هستند که ارتباط و پردازش را در فضا-زمان انجام می‌دهند، با تاکید بر زمان. در این الگوها، زمان به عنوان یک منبع آزاد برای هر دو ارتباط و محاسبه استفاده می‌شود.

ابتدا مدل‌های نورون به طور کلی مورد بحث قرار می‌گیرند و یکی برای توسعه دقیق انتخاب می‌شود. با استفاده از مدل، محاسبات تک‌نورونی ابتدا مورد بررسی قرار می‌گیرد. ورودی‌های نورون به صورت الگوهای پالس کدگذاری می‌شوند و نورون برای شناسایی شباهت‌های الگوی ورودی آموزش داده می‌شود. نورون‌های منفرد، بلوک‌های سازنده‌ای برای ساخت دسته‌های بزرگتر هستند که به آنها “ستون” گفته می‌شود. این ستون‌ها به صورت غیرنظارتی آموزش داده می‌شوند و به طور جمعی برای انجام عملکرد شناختی اساسی خوشه‌بندی الگوها عمل می‌کنند. الگوهای ورودی مشابه به مجموعه‌ای بسیار کوچکتر از الگوهای خروجی مشابه نگاشت می‌شوند، در نتیجه الگوهای ورودی را به خوشه‌های قابل شناسایی تقسیم می‌کنند. سیستم‌های شناختی بزرگتر با ترکیب ستون‌ها در یک معماری سلسله مراتبی شکل می‌گیرند. این معماری‌های سطح بالاتر موضوع مطالعه مداوم هستند و پیشرفت‌های حاصله تا به امروز به تفصیل در فصل‌های بعدی شرح داده شده است. شبیه‌سازی نقش مهمی در توسعه مدل ایفا می‌کند و زیرساخت شبیه‌سازی توسعه‌یافته توسط نویسنده شرح داده شده است.

Understanding and implementing the brain’s computational paradigm is the one true grand challenge facing computer researchers. Not only are the brain’s computational capabilities far beyond those of conventional computers, its energy efficiency is truly remarkable. This book, written from the perspective of a computer designer and targeted at computer researchers, is intended to give both background and lay out a course of action for studying the brain’s computational paradigm. It contains a mix of concepts and ideas drawn from computational neuroscience, combined with those of the author.

As background, relevant biological features are described in terms of their computational and communication properties. The brain’s neocortex is constructed of massively interconnected neurons that compute and communicate via voltage spikes, and a strong argument can be made that precise spike timing is an essential element of the paradigm. Drawing from the biological features, a mathematics-based computational paradigm is constructed. The key feature is spiking neurons that perform communication and processing in space-time, with emphasis on time. In these paradigms, time is used as a freely available resource for both communication and computation.

Neuron models are first discussed in general, and one is chosen for detailed development. Using the model, single-neuron computation is first explored. Neuron inputs are encoded as spike patterns, and the neuron is trained to identify input pattern similarities. Individual neurons are building blocks for constructing larger ensembles, referred to as “columns”. These columns are trained in an unsupervised manner and operate collectively to perform the basic cognitive function of pattern clustering. Similar input patterns are mapped to a much smaller set of similar output patterns, thereby dividing the input patterns into identifiable clusters. Larger cognitive systems are formed by combining columns into a hierarchical architecture. These higher level architectures are the subject of ongoing study, and progress to date is described in detail in later chapters. Simulation plays a major role in model development, and the simulation infrastructure developed by the author is described.