Die offengelegte Erfindung steht im Zusammenhang mit den gemeinsam abgetretenen, ebenfalls schwebenden Anmeldungen mit den Seriennummern 08/485.217, 08/482.618, 08/481.749, 08/474.772, 08/485.053, 08/474.770, 08/472.222, 08/477.807, 08/483.748, 08/484.281, 08/482.628, 08/479.473, 08/485.062, 08/485.446 und 08/485.055, welche gleichzeitig mit der vorliegenden Anmeldung eingereicht wurden.The invention disclosed is complete in connection with the jointly assigned, also pending Registrations with the serial numbers 08 / 485.217, 08 / 482.618, 08 / 481.749, 08 / 474.772, 08 / 485.053, 08 / 474.770, 08 / 472.222, 08 / 477.807, 08 / 483.748, 08 / 484.281, 08 / 482.628, 08 / 479.473, 08 / 485.062, 08 / 485.446 and 08 / 485.055, which were filed simultaneously with the present application.
Die vorliegende Erfindung betrifft im allgemeinen Datenverarbeitungssysteme und im spezielleren ein Mehrfach-Verarbeitungssystem und ein zuverlässiges, systemweites Netzwerk, welches eine Anschlussfähigkeit für die Kommunikation zwischen Rechnern sowie für die Eingangs-/Ausgangskommunikation bereitstellt. Weiterhin ist das System entsprechend aufgebaut, um Fehlertoleranzfähigkeit aufzuweisen.The present invention relates to in general data processing systems and more particularly a multiple processing system and a reliable, system-wide network, which provides connectivity for communication between Computers as well as for provides the input / output communication. Furthermore is the system built accordingly to fault tolerance exhibit.
Das heutige fehlertolerante Rechenwesen geht zurück auf spezielle, militärische und kommunikationstechnische Systeme und hat sich mittlerweile zu universell einsetzbaren, hochverfügbaren, kommerziellen Systemen weiterentwickelt. Die Entwicklungsgeschichte fehlertoleranter Computer 1982 ist gut dokumentiert (siehe D. P. Siewiorek, R. S. Swarz, "The Theory and Practice of Reliable System Design," (Theorie und Praxis des Entwurfs zuverlässiger Systeme) Digital Press, 1982, und A. Avizienis, H. Kopetz, J. C. Laprie, Hrsg., "The Evolution of Fault Tolerant Computing," (Die Entwicklungsgeschichte des fehlertoleranten Rechenwesens) Wien: Springer-Verlag, 1987). Die ersten hochverfügbaren Systeme wurden in den 50er Jahren des vergangenen Jahrhunderts von IBM, Univac und Remington Rand für militärische Anwendungen entwickelt. In den 1960er Jahren begannen die NASA, IBM, SRI, das C. S.Today's fault-tolerant computing go back to special, military and communication technology systems and has become too universally applicable, highly available, commercial systems further developed. The development history of fault-tolerant computers 1982 is well documented (see D. P. Siewiorek, R. S. Swarz, "The Theory and Practice of Reliable System Design, " Design more reliable Systems) Digital Press, 1982, and A. Avizienis, H. Kopetz, J.C. Laprie, ed., "The Evolution of Fault Tolerant Computing," (The History of development of fault-tolerant computing) Vienna: Springer Verlag, 1987). The first high availability systems were in the 1950s by IBM, Univac and Remington Edge for military Applications developed. In the 1960s, NASA started IBM, SRI, the C. S.
Draper Laboratory und das Jet Propulsion Laboratory damit, das Prinzip der Fehlertoleranz bei der Entwicklung von Computern für die Lenksysteme von Luftfahrtanwendungen einzusetzen. In den 1960er Jahren erfolgte auch die Entwicklung der ersten elektronischen Vermittlungsanlagen von AT&T.Draper Laboratory and the Jet Propulsion Laboratory with it, the principle of fault tolerance in development of computers for use the steering systems of aviation applications. In the 1960s Years, the first electronic switching systems were also developed from AT&T.
Die ersten kommerziellen, fehlertoleranten Rechner wurden in den 1970er Jahren von Tandem Computers zum Einsatz in Anwendungen zur Verarbeitung von Online-Transaktionen eingeführt (J. Bartlett, "A Nonstop Kernal," in proc. Eighth Symposium on Operating System Principles (Protokoll zum Achten Symposion über Betriebssystem-Grundlagen), S. 22–29, Dez. 1981). Mehrere weitere kommerzielle fehlertolerante Systeme wurden in den 1980er Jahren eingeführt (0. Serlin, "Fault-Tolerant Systems in Commercial Applications" (Fehlertolerante Systeme in kommerziellen Anwendungen), Computer, S. 19–30, August 1984). Heutige kommerzielle, fehlertolerante Systeme umfassen Multiprozessoren mit verteiltem Speicher, transaktionsbasierte Systeme mit gemeinsam benutztem Speicher, fehlertolerante Systeme mit "pair and spare"-Hardware (siehe R. Freiburghouse, "Making Processing Failsafe" [Störungssichere Datenverarbeitungj, Mini-micro Systems, S. 255–264, Mai 1982; auch das U.S.-Patent Nr. 4.907.228 ist ein Beispiel für diese 'Pair and spare'-Technik und für das transaktionsbasierte System mit gemeinsam benutztem Speicher), und dreifach redundante Systeme wie zum Beispiel das "Integrity"-Rechnersystem, welches von der in Cupertino in Kalifornien beheimateten Gesellschaft Tandem Computers Incorporated, der Abtretungsempfängerin dieser Anmeldung und der darin offenbarten Erfindung, hergestellt wird.The first commercial, fault tolerant Computers were used by tandem computers in the 1970s introduced in online transaction processing applications (J. Bartlett, "A Nonstop Kernal, "in proc. Eighth Symposium on Operating System Principles (Minutes of the Eighth Symposium on Operating System Basics) Pp. 22-29, Dec. 1981). Several other commercial fault tolerant systems were introduced in the 1980s (0. Serlin, "Fault-Tolerant Systems in Commercial Applications " commercial applications), Computer, pp. 19-30, August 1984). today commercial, fault-tolerant systems include multiprocessors with distributed storage, transaction-based systems with common used memory, fault-tolerant systems with "pair and spare" hardware (see R. Freiburghouse, "Making Processing Failsafe" [Fail-safe data processingj, Mini-micro Systems, pp. 255-264, May 1982; U.S. Patent No. 4,907,228 is also an example of this 'Pair and spare' technique and for the transaction-based system with shared memory), and triple redundant systems such as the "Integrity" computer system, which is from the company based in Cupertino in California Tandem Computers Incorporated, the assignee of this Application and the invention disclosed therein.
Die meisten Anwendungen kommerzieller fehlertoleranter Computer fallen in die Kategorie der On-line-Transaktionsverarbeitung. Finanzinstitute sind für elektronische Geldüberweisungen, für die Steuerung von Geldautomaten und für Börsenhandelssysteme auf eine hohe Verfügbarkeit angewiesen. Die Hersteller von Waren verwenden fehlertolerante Rechner zur automatisierten Fabriksteuerung, zur Lagerverwaltung und für Online-Dokumentenzugriffssysteme. Als weitere Anwendungen von fehlertoleranten Rechner sind unter anderem Reservierungssysteme, Behörden-Datenbanken, Wettsysteme und Telekommunikationssysteme zu nennen.Most commercial applications fault-tolerant computers fall into the category of online transaction processing. Financial institutions are for electronic money transfers, for the Control of ATMs and exchange trading systems on one high availability reliant. The manufacturers of goods use fault-tolerant computers for automated factory control, warehouse management and online document access systems. Other applications of fault tolerant computers are below other reservation systems, government databases, betting systems and to call telecommunication systems.
Die Anbieter fehlertoleranter Rechner sind bestrebt, sowohl eine erhöhte Systemverfügbarkeit und einen kontinuierlichen Rechenbetrieb, als auch die Korrektheit der Daten selbst bei Auftreten von Fehlern zu gewährleisten. Je nach verwendeter Systemarchitektur läuft die auf dem System ausgeführte Anwendungssoftware (d. h. die "Prozesse") entweder trotz der aufgetretenen Fehler weiter, oder aber die Prozesse werden bei Auftreten eines Fehlers automatisch ab einem rezenten Sicherungspunkt neu gestartet. Manche fehlertoleranten Systeme sind mit einer ausreichenden Anzahl redundanter Komponenten versehen, die es dem System ermöglichen, sich unter Umgehung einer fehlerhaften Komponente neu zu konfigurieren, wobei jedoch die in dem fehlerhaften Modul ausgeführten Prozesse verloren gehen. Die Anbieter kommerzieller, fehlertoleranter Systeme sind mittlerweile dazu übergegangen, den Begriff der Fehlertoleranz in einem prozessor- und plattenübergreifenden Zusammenhang zu sehen. Um weitreichende Verbesserungen im Bereich der Zuverlässigkeit zu erzielen, muss auf sämtliche Fehlerquellen eingegangen werden, einschliesslich Netzteile, Lüfter und Verbindungen zwischen den Modulen.The providers of fault-tolerant computers strive to be both elevated system Availability and continuous computing, as well as correctness guarantee the data even if errors occur. Depending on the system architecture used, the application software running on the system runs (i.e. the "processes") either despite the errors that occurred, or the processes become automatic when an error occurs restarted from a recent save point. Some fault tolerant Systems have a sufficient number of redundant components which enable the system to to reconfigure itself bypassing a faulty component, however, the processes executed in the faulty module get lost. The providers of commercial, fault-tolerant systems have meanwhile started to the concept of fault tolerance in a processor and cross-plate See context. To make far-reaching improvements in the area reliability must achieve on all sources of error including power supplies, fans, and connections between the modules.
Die "NonStop"- und "Integrity"-Architekturen, welche von Tandem Computers Incorporated hergestellt werden (beide jeweils ausführlich in dem U.S.-Patent Nr. 4.228.496 und in den U.S.-Patenten Nr. 5.146.589 und 4.965.717 dargestellt, welche alle an den Abtretungsempfänger dieser Anmeldung abgetreten worden sind; Nonstop und Integrity sind eingetragene Warenzeichen von Tandem Computers Incorporated) stellen zwei aktuelle Ansätze im Bereich der kommerziellen, fehlertoleranten Datenverarbeitung dar. Das NonStop-System, das in seinen Grundzügen in dem oben bezeichneten U.S.-Patent Nr. 4.278.496 bedient sich einer Architektur, welche Mehrprozessorsysteme verwendet, die darauf ausgelegt sind, den Betrieb ungeachtet des Ausfalls einer einzelnen Hardware-Komponente fortzusetzen. Im Normalbetrieb verwendet jedes Prozessorsystem seine Hauptkomponenten eher unabhängig und gleichzeitig als in Form von "Hot Backups". Die Nonstop-Systemarchitektur kann aus bis zu 16 Prozessorsystemen bestehen, welche über einen Bus zum Datenaustausch zwischen Prozessoren miteinander verbunden sind. Jedes Prozessorsystem hat seinen eigenen Speicher, welcher eine Kopie des nachrichtenbasierten Betriebssystems enthält. Jedes Prozessorsystem steuert einen oder mehrere Eingabe/Ausgabebusse (E/A-Busse). Durch die Verwendung von Dual-Port-E/A-Controllern und -Geräten lassen sich mehrfache Übertragungswege zu jedem Gerät einrichten. Externe Speicherungen (in Bezug auf das Prozessorsystem), wie zum Beispiel Plattenspeicherungen, können gespiegelt werden, um stets über permanente, redundante Datenspeicherungen zu verfügen.The "NonStop" and "Integrity" architectures manufactured by Tandem Computers Incorporated (both detailed in U.S. Patent No. 4,228,496 and U.S. Patent Nos. 5,146,589 and 4,965,717, respectively), all of which have been assigned to the assignee of this application; Nonstop and Integrity are registered trademarks of Tandem Computers Incorporated) represent two current approaches in the field of commercial, fault-tolerant data processing. The NonStop system, which in its main features in the above-mentioned US Pat. No. 4,278,496, uses an architecture that uses multiprocessor systems that are designed to operate regardless of the failure of a single hardware component. In normal operation, each processor system uses its main components rather independently and at the same time than in the form of "hot backups". The non-stop system architecture can consist of up to 16 processor systems, which are interconnected via a bus for data exchange between processors. Each processor system has its own memory, which contains a copy of the message-based operating system. Each processor system controls one or more input / output buses (I / O buses). By using dual-port I / O controllers and devices, multiple transmission paths to each device can be set up. External storage (in relation to the processor system), such as disk storage, can be mirrored in order to always have permanent, redundant data storage.
Bei dieser Architektur ist jedes Systemmodul mit fehlererkennender Hardware ausgestattet, wodurch ein "schnellfehlender" Betrieb gewährleistet wird: der Betrieb wird bei Auftreten eines Fehlers angehalten, um ein Übergreifen des Fehlers auf andere Module zu verhindern. Fehler werden zum Beispiel durch Paritätsprüfung, Duplikatvergleich und Fehlererkennungscodes erkannt. Die Fehlererkennung fällt primär in den Aufgabenbereich der Hardware, während es sich bei der Fehlerkorrektur um eine Softwareaufgabe handelt.With this architecture, everyone is System module equipped with error-detecting hardware, which means a "Fast missing" operation guaranteed is: the operation is stopped when an error occurs to prevent spillover to prevent the error on other modules. For example, mistakes through parity check, duplicate comparison and error detection codes recognized. The error detection primarily falls into the Hardware scope while the error correction is a software task.
Weiterhin kann im Rahmen der NonStop-Multiprozessorarchitektur die Anwendungssoftware ("Prozess") auf dem System unter dem Betriebssystem als "Prozesspaare" laufen und einen Primärprozess und einen Sicherungsprozess beinhalten. Der Primärprozess läuft auf einem der Multiprozessoren, während der Datensicherungsprozess auf einem anderen Prozessor läuft. Der Datensicherungsprozess befindet sich gewöhnlich im Ruhezustand, aktualisiert seinen Zustand jedoch periodisch in Reaktion auf Sicherungspunkt-Nachrichten, welche vom Primärprozess übermittelt werden. Der Inhalt einer Sicherungspunkt-Nachricht kann die Form einer vollständigen Zustandsaktualisierung annehmen, oder auch nur die seit der vorangegangenen Sicherungspunkt-Nachricht vorgenommenen Änderungen umfassen. Ursprünglich wurden Sicherungspunkte in Anwendungsprogrammen manuell gesetzt, mittlerweile läuft der Anwendungscode jedoch meist unter einer Transaktionsverarbeitungssoftware, welche eine Korrektur mittels einer Kombination aus Sicherungspunkten und zweiphasigen Transaktions-Übergabeprotokollen gewährleistet.Furthermore, as part of the non-stop multiprocessor architecture the application software ("process") on the system under the operating system run as "process pairs" and a primary process and a backup process include. The primary process runs on one of the multiprocessors while the data backup process is running on a different processor. The Backup process is usually in hibernation, updated however, periodically in response to savepoint messages, which transmits from the primary process become. The content of a savepoint message can take the form of a complete Accept status update, or just the one since the previous one Changes made to savepoint message include. Were originally Security points set manually in application programs, meanwhile is running Application code, however, mostly under transaction processing software, which is a correction using a combination of save points and two-phase transaction handover protocols guaranteed.
Der Nachrichtenverkehr zwischen Prozessoren beinhaltet bei der NonStop-Architektur von Tandem das durch einen jeden Prozessor periodisch erfolgende Aussenden einer für alle Prozessoren des Systems, einschliesslich des sendenden Prozessors, bestimmten "Unter Spannung"-Nachricht, wodurch die anderen Prozessoren informiert werden, dass der sendende Prozessor noch in Betrieb ist. Fällt ein Prozessor aus, so wird dieser Ausfall dadurch angekündigt und identifizierbar, dass die periodische "Unter Spannung"-Nachricht des ausgefallenen Prozessors ausbleibt. In Reaktion darauf weist das Betriebssystem die entsprechenden Datensicherungsprozesse an, ab dem letzten Sicherungspunkt mit der Abarbeitung als Primärprozess zu beginnen. Es können Datensicherungsprozesse in einem anderen Prozessor gestartet werden, oder der Prozess kann ohne Backup fortgesetzt werden, bis die Hardware wieder repariert ist. Ein Beispiel für diese Technik findet sich im U.S.-Patent Nr. 4.817.091.Message traffic between processors in the non-stop architecture of tandem includes that through one each processor periodically sending out one for all processors of the system, including the sending processor "Live" message, which informs the other processors that the sending Processor is still running. falls a processor off, this failure is announced and identifiable that the periodic "live" message of the failed processor fails. In response, that points Operating system the corresponding data backup processes the last save point with processing as the primary process to start. It can Backup processes are started in another processor, or the process can continue without backup until the hardware is repaired again. An example of this technique can be found in U.S. Patent No. 4,817,091.
Jeder E/A-Controller wird von einem der beiden Prozessoren verwaltet, mit denen er verbunden ist. Die Verwaltung des Controllers wird periodisch zwischen den beiden Prozessoren hin- und hergeschaltet. Fällt der verwaltende Prozessor aus, so geht die Eigentümerschaft des Controllers automatisch an den anderen Prozessor über. Fällt der Controller aus, so wird der Datenzugriff durch einen anderen Controller aufrechterhalten.Each I / O controller is owned by one managed by the two processors to which it is connected. The Management of the controller is periodically between the two processors switched back and forth. Does the fall managing processor, so the ownership of the controller goes automatically to the other processor. Does the fall Controller off, the data access is by another controller maintained.
Über die erzielte Hardware-Fehlertoleranz hinaus bieten die Prozessorpaare der oben beschriebenen Architektur auch ein gewisses Ausmass an Software-Fehlertoleranz. Fällt ein Prozessor aufgrund eines Softwarefehlers aus, so ist der Datensicherungs-Prozessor häufig in der Lage, die Datenverarbeitung unbeeinträchtigt von dem betreffenden Fehler erfolgreich fortzusetzen. Die Softwareumgebung in dem Datensicherungs-Prozessor verfügt charakteristischerweise über andersgeartete Warteschlangenlängen, Tabellengrössen und Prozessmischungen. Da die meisten der von den Software-Qualitätssicherungstests nicht entdeckten Softwarefehler Grenzbedingungen betreffen, die von selten vorkommenden Daten abhängig sind, können die Datensicherungsprozesse in vielen Fällen erfolgreich abgeschlossen werden.about The processor pairs also offer the hardware fault tolerance achieved the architecture described above to a certain extent Software fault tolerance. Come in mind Processor due to a software error, the backup processor is often in able to process data unaffected by the concerned Failure to continue successfully. The software environment in the backup processor has characteristically about different queue lengths, table sizes and process mixes. Because most of the software quality assurance tests undetected software errors affect boundary conditions that The data backup processes can depend on rarely occurring data in many cases be successfully completed.
Im Gegensatz zu der oben beschriebenen Architektur stellt das Integrity-System ein Beispiel für einen anderen Ansatz der fehlertoleranten Datenverarbeitung dar. Das 1990 eingeführte 'Integrity' wurde für eine Standardversion des Unix-Betriebssystems entworfen ("Unix" ist ein eingetragenes Warenzeichen der in Delaware beheimateten Firma Unix Systems Laboratories, Inc.). In Systemen, in denen Kompatibilität ein Hauptziel darstellt, muss die Wahl logischerweise auf hardwaremässige Fehlerkorrektur fallen, da nur wenige Modifikationen an der Software erforderlich sind. Die Prozessoren und lokalen Speicher werden unter Verwendung eines TMR-Verfahrens (dreifache Redundanz) konfiguriert. Alle Prozessoren arbeiten dabei dieselbe Codeströme ab, die einzelnen Module sind jedoch, was ihre Taktgabe betrifft, unabhängig voneinander, um eine Fehlertoleranz bei den Taktgabeschaltungen zu ermöglichen. Die Ausführung der drei Ströme ist asynchron wobei es zu wechselseitigen Verschiebungen über mehrere Taktintervalle hinweg kommen kann. Die Ströme werden periodisch und bei jedem Zugriff auf den globalen Speicher resynchronisiert. Auf dem TMR-Controller-Board befindliche Wähler erkennen und maskieren Fehler in einem Prozessormodul. Der Speicher ist zwischen dem lokalen Speicher auf den in dreifacher Ausführung vorhandenen Prozessorbaugruppen und dem globalen Speicher auf den doppelt vorhandenen TMR-Controller-Baugruppen partitioniert. Die verdoppelten Abschnitte des Systems verwenden zur Fehlererkennung selbstprüfende Techniken. Jeder globale Speicher verfügt über zwei Ports und ist über eine Schnittstelle mit den Prozessoren und mit den E/A-Prozessoren (EAPs) verbunden. Standard VME-Peripheriegeräte-Controller sind durch ein Busschnittstellenmodul (BSM) an ein Buspaar angeschlossen. Fällt ein EAP aus, so kann eine Software unter Verwendung der BSMs die Steuerung aller Controller auf den verbleibenden EAP umschalten. Gespiegelte Plattenspeichereinheiten können mit zwei verschiedenen VME-Controllern verbunden werden.In contrast to the architecture described above, the Integrity system is an example of a different approach to fault-tolerant data processing. The 'Integrity' introduced in 1990 was designed for a standard version of the Unix operating system ("Unix" is a registered trademark of Delaware-based companies) Unix Systems Laboratories, Inc.). In systems where compatibility is a primary goal, the choice logically must be hardware-based error correction, since only a few modifications to the software are required. The processors and local memory are configured using triple redundancy (TMR). All processors process the same code streams, but the individual modules are independent of one another as far as their clocking is concerned, in order to enable fault tolerance in the clocking circuits. The execution of the three streams is asynchronous whereby there can be mutual shifts over several clock intervals. The streams are periodically resynchronized each time global memory is accessed. Voters on the TMR controller board recognize and mask errors in a processor module. The memory is partitioned between the local memory on the processor modules in triplicate and the global memory on the duplicate TMR controller modules. The doubled sections of the system use self-checking techniques for error detection. Each global memory has two ports and is connected to the processors and to the I / O processors (EAPs). Standard VME peripheral device controllers are connected to a bus pair by a bus interface module (BSM). If an EAP fails, software can use the BSMs to switch the control of all controllers to the remaining EAP. Mirrored disk storage units can be connected to two different VME controllers.
Bei dem Integrity-System werden sämtliche Hardwarefehler durch die redundante Hardware verdeckt. Die Komponenten werden nach Abschluss der Reparatur on-line wiedereingebaut.With the integrity system, everyone Hardware errors covered by the redundant hardware. The components will be reinstalled online after the repair is complete.
Die vorangegangenen Beispiele veranschaulichen gegenwärtige Ansätze, die darauf abzielen, Fehlertoleranz in Datenverarbeitungssysteme zu integrieren. Ansätze, bei denen die Fehlerkorrektur über die Software erfolgen, benötigen weniger redundante Hardware und bieten bis zu einem gewissen Mass die Möglichkeit einer Software-Fehlertoleranz. Hardware-Ansätze verwenden eine zusätzliche Hardware-Redundanz, um eine vollständige Kompatibilität mit Standard-Betriebssystemen zu ermöglichen und um Anwendungen in transparenter Weise auszuführen, die auf anderen Systemen entwickelt worden sind.The previous examples illustrate current Approaches, which aim at fault tolerance in data processing systems to integrate. Approaches, where the error correction over the software is done less redundant hardware and offer to some extent the possibility a software fault tolerance. Hardware approaches use an additional Hardware redundancy to ensure full compatibility with standard operating systems to enable and to run applications transparently on other systems have been developed.
Die weiter oben beschriebenen Systeme bieten somit fehlertolerante Datenverarbeitung entweder über Hardware(z. B. funktionellfehlend, unter Verwendung von Redundanz) oder über Software-Techniken (z. B. schnellfehlend, mit Fehlerkorrektur über die Software und unter Verwendung von Hardware mit hoher Datenintegrität). Von keinem der beschriebenen Systeme ist jedoch anzunehmen, dass es in der Lage ist, eine fehlertolerante Datenverarbeitung anzubieten, welche sowohl Hardwareansätze (funktionellfehlend) als auch Softwareansätze (schnellfehlend) in einem einzigen Datenverarbeitungssystem vereint.The systems described above thus offer fault-tolerant data processing either via hardware (e.g. B. functionally missing, using redundancy) or via software techniques (e.g. quickly missing, with error correction via the software and under Use of hardware with high data integrity). None of the described Systems is, however, supposed to be able to be fault tolerant To offer data processing, which both hardware approaches (functionally missing) as well as software approaches (quickly missing) combined in a single data processing system.
Verwendet werden Computersysteme wie die weiter oben beschriebenen häufig für den elektronischen Geschäftsverkehr: elektronischer Datenaustausch (EDI) und globale Nachrichtenvermittlung. Die Anforderungen, welche heute an diese Art des elektronischen Geschäftsverkehrs gestellt werden, machen aufgrund der steigenden Benutzeranzahl und der zunehmend komplexer werdenden Nachrichten eine immer grössere Leistungsfähigkeit in puncto Datendurchsatz erforderlich. Zum Beispiel Nur-Text-Kommunikation per E-Mail, das meistgenutzte Leistungsmerkmal im Internet, wächst Jahr für Jahr in beträchtlichem Ausmass. Das Internet wird zunehmend dazu verwendet, um Bild-, Ton- und Videodateien zu übertragen. Sprachspeicher- und Weiterleitungsdienste sind dabei, in alle Anwendungsbereiche vorzudringen und Desktop-Videokonferenzsysteme und Video – Nachrichtenvermittlungssysteme gewinnen in bestimmten Organisationen an Akzeptanz. Mit jedem Nachrichtenvermittlungstyp wird ein fortschreitend höherer Datendurchsatz erforderlich.Computer systems are used like those often described above for electronic commerce: electronic data interchange (EDI) and global messaging. The demands that are placed on this type of electronic today commerce due to the increasing number of users and the increasingly complex messages become ever more powerful required in terms of data throughput. For example, plain text communication via E-mail, the most used feature on the Internet, grows year on year for year in considerable Extent. The Internet is increasingly used to provide video, audio and transfer video files. Voice mail and forwarding services are in all areas of application to penetrate and desktop video conferencing systems and video messaging systems gain acceptance in certain organizations. With any type of messaging is becoming progressively higher Data throughput required.
In solchen Umgebungen werden parallele Architekturen verwendet, welche durch verschiedene Kommunikationsnetzwerke wie etwa lokale Netze (LANs) und dergleichen miteinander verbunden sind.In such environments, parallel Architectures used by different communication networks such as local area networks (LANs) and the like are.
Eine Hauptanforderung an eine Server-Architektur ist die Fähigkeit, grosse Datenmengen zu übertragen. Der Server muss über eine grosse Bandbreite verfügen, welche skalierbar ist, so dass in dem Mass, in dem sich das Datenvolumen erhöht und die Übertragungen komplexer werden, zusätzliche Durchgangsleistungskapazität hinzugefügt werden kann.A key requirement for a server architecture is the ability transfer large amounts of data. The server needs to have a wide range, which is scalable so that to the extent that the data volume elevated and the transmissions become more complex, additional Throughput capacity added can be.
Busarchitekturen begrenzen die für eine jede Systemkomponente verfügbare Bandbreite. Je grösser die Anzahl der mit dem Bus verbundenen Komponenten ist, umso geringer wird die für jede einzelne Komponente verfügbare Bandbreite.Bus architectures limit them for everyone System component available Bandwidth. The bigger the The lower the number of components connected to the bus will the for every single component available Bandwidth.
Darüber hinaus ist eine prompte Systemantwort ein Vorteil für sämtliche Anwendungen und eine Notwendigkeit für interaktive Anwendungen, sie erfordert eine sehr geringe Latenz, worunter ein Mass für die Zeitdauer zu verstehen ist, die benötigt wird, um Daten von der Quelle zum Ziel zu übertragen. Die mit der Antwortzeit in enger Verbindung stehende Latenz wirkt sich auf das Serviceniveau und die Mitarbeiterproduktivität aus.It is also prompt System response an advantage for all Applications and a need for interactive applications, it requires very little latency, including a measure of the length of time to understand what is needed to transfer data from the source to the destination. The one with the response time closely related latency affects the level of service and employee productivity.
In der EP 0636956 A2 wird eine Mehrfachprozessoranlage beschrieben, bei welcher die Inhalte eines Arbeitsspeichers eines ersten Prozessors systematisch in Form von Datenblöcken in aufeinanderfolgenden, reservierten Zeitschlitzen, welche zyklisch in die Programmausführung eingefügt werden, in den Arbeitsspeicher eines zweiten Prozessors übertragen werden. Ist ein Speicherbereich erst einmal kopiert, so werden sämtliche später vorgenommenen Aktualisierungen dieses Bereichs umgehend an den zweiten Prozessor übertragen, so dass der zweite Prozessor in Echtzeit auf dem aktuellen Stand gehalten wird.In the EP 0636956 A2 describes a multiple processor system in which the contents of a working memory of a first processor are systematically transferred to the working memory of a second processor in the form of data blocks in successive, reserved time slots, which are inserted cyclically into the program execution. Once a memory area has been copied, all updates made later to this area are immediately transmitted to the second processor, so that the second processor is kept up to date in real time.
Die vorliegende Erfindung schafft ein Verfahren zur Einrichtung eines synchronisierten, im wesentlichen im Gleichschritt laufenden Betriebs eines ersten und eines zweiten Prozessors gemäss Anspruch 1.The present invention provides a method of establishing a synchronized, essentially operation of a first and a second in step Processor according to Claim 1.
Gemäss einem Aspekt verwendet die Erfindung ein Verarbeitungssystem, welches sich aus mehreren Unterverarbeitungssystemen zusammensetzt. Jedes Unterverarbeitungssystem verfügt als Hauptverarbeitungselement über eine zentrale Verarbeitungseinheit (CPU), welche ihrerseits ein synchron im Gleichschritt laufendes Prozessorpaar umfasst, das jeden Befehl eines Befehlsstroms gleichzeitig ausführt. Jedes der Unterverarbeitungssysteme beinhaltet weiterhin ein Eingabe/Ausgabe (E/A)-System für das systemweite Netz zur Bereitstellung von redundanten Übertragungswegen zwischen verschiedenen Komponenten des grösseren Verarbeitungssystems, einschliesslich einer CPU und verschiedener Peripheriegeräte (z. B. Massespeichereinheiten, Drucker und dergleichen) eines Unterverarbeitungssystems, sowie zwischen den Subprozessoren, aus denen sich das grössere, Gesamtverarbeitungssystem zusammensetzen kann. Die Kommunikation zwischen jeder beliebigen Komponente des Verarbeitungssystems (z. B. einer CPU und einer anderen CPU, oder einer CPU und irgendeinem Peripheriegerät, ungeachtet dessen, zu welchem Unterverarbeitungssystem dieses gehören mag) wird durch die Bildung und Übertragung von paketierten Nachrichten durchgeführt, welche von der sendenden Komponente bzw. Ausgangskomponente (z. B. einer CPU) zu einem Zielelement (z. B. einem Peripheriegerät) geleitet werden, und zwar mittels einer systemweiten Netzstruktur bestehend aus einer Reihe von Routerelementen, die über eine aus einer Mehrzahl von Verbindungs-Links bestehende (im folgenden "TNet" genannte) Busstruktur untereinander verbunden sind. Die Routerelemente sind für die Auswahl der geeigneten bzw. verfügbaren Übertragungswege von einer sendenden Komponente des Verarbeitungssystems zu einer Zielkomponente verantwortlich, basierend auf in dem Datenpaket enthaltenen Informationen. Somit versorgt die Routing-Fähigkeit der Routerelemente das E/A-System der CPUs mit einem Signalübertragungsweg zu den Peripheriegeräten, ermöglicht jedoch gleichzeitig auch die Kommunikation zwischen Prozessoren.In one aspect, the invention uses a processing system that is composed of multiple sub-processing systems. Each sub-processing system has as a main processing element a central processing unit (CPU), which in turn is synchronously in step running processor pair that executes each instruction of an instruction stream simultaneously. Each of the sub-processing systems further includes an input / output (I / O) system for the system-wide network for providing redundant transmission paths between various components of the larger processing system, including a CPU and various peripheral devices (e.g. mass storage units, printers and the like) Subprocessing system, as well as between the subprocessors, from which the larger, overall processing system can be composed. Communication between any component of the processing system (e.g., a CPU and another CPU, or a CPU and any peripheral device, regardless of which subprocessing system it may belong to) is accomplished through the formation and transmission of packetized messages, which of the sending component or output component (e.g. a CPU) are routed to a target element (e.g. a peripheral device) by means of a system-wide network structure consisting of a series of router elements which are connected via a Existing bus structures on the left (hereinafter referred to as "TNet") are interconnected. The router elements are responsible for the selection of the suitable or available transmission paths from a sending component of the processing system to a target component, based on information contained in the data packet. The routing capability of the router elements thus provides the I / O system of the CPUs with a signal transmission path to the peripheral devices, but at the same time also enables communication between processors.
Wie weiter oben erwähnt, weist das hier beschriebene Verarbeitungssystem einen entsprechenden Aufbau auf, um durch eine schnellfehlende und eine funktionell fehlende Arbeitsweise einen fehlertoleranten Betrieb zu schaffen. Eine schnellfehlende Arbeitsweise wird durch das Anbringen von Möglichkeiten zur Fehlerprüfung an strategischen Punkten des Systems erreicht. So hat zum Beispiel jede CPU Möglichkeiten zur Fehlerprüfung an zahlreichen Stellen in den verschiedenen Datenwegen zwischen den (im Gleichschritt betriebenen) Prozessorelementen der CPU und dem ihr zugeordneten Speicher. Insbesondere bei dem Verarbeitungssystem gemäss der vorliegenden Erfindung erfolgt die Fehlerprüfung an einer Schnittstelle und in einer Weise, welche nur eine geringe Auswirkung auf die Leistung haben. Systeme nach dem Stand der Technik implementieren Fehlerprüfverfahren typischerweise insofern, als Prozessorpaare betrieben werden und der Daten- und Befehlsstrom zwischen den Prozessoren und einem Cachespeicher geprüft (verglichen) werden. Diese Technik der Fehlerprüfung neigte dazu, zu Verzögerungen bei den Zugriffszeiten zu führen. Ausserdem konnten bei dieser Art der Fehlerprüfung keine gegebenenfalls verfügbaren Standardbauteile verwendet werden (z. B. Prozessor/Cachespeicher-Kombinationen auf einem einzelnen Halbleiterchip oder -Modul). Bei dem beschriebenen System erfolgt die Fehlerprüfung der Prozessoren an Stellen mit niedrigerer Betriebsgeschwindigkeit, wie etwa an den Hauptspeicher- und E/A-Schnittstellen, welche mit niedrigeren Geschwindigkeiten betrieben werden als die Prozessor-Cachespeicher-Schnittstelle. Darüber hinaus wird die Fehlerprüfung an Orten durchgeführt, die es ermöglichen, Fehler aufzufinden, welche in den Prozessoren, in ihrem Cachespeicher und in den E/A- und Speicherschnittstellen auftreten können. Dies ermöglicht Vereinfachungen beim Entwurf der Speicher- und E/A-Schnittstellen, da keine Paritätsprüfungen und keine sonstigen Datenintegritätsprüfungen erforderlich sind.As mentioned above, points the processing system described here has a corresponding structure on to by a quick missing and a functionally missing Working method to create a fault-tolerant company. A quick missing How it works is by attaching opportunities for error checking strategic points of the system reached. For example any CPU possibilities for error checking at numerous points in the various data paths between the processor elements (operated in step) of the CPU and the memory allocated to it. Especially with the processing system according to According to the present invention, error checking takes place at an interface and in a way that has little impact on performance to have. State of the art systems implement error checking procedures typically in that processor pairs are operated and the data and command stream between the processors and a cache memory checked (compared). This technique of error checking tended to cause delays lead in access times. In addition, with this type of error checking, any standard components that might be available could not can be used (e.g. processor / cache combinations a single semiconductor chip or module). With the described The system checks for errors the processors in places with lower operating speed, such as on the main memory and I / O interfaces, which with operate at lower speeds than the processor cache interface. About that addition, the error checking performed in places that allow Find errors in the processors, in their cache and in the I / O and memory interfaces. This allows Simplifications in the design of the memory and I / O interfaces, since no parity checks and no other data integrity checks required are.
Die Fehlerprüfung des Kommunikationsflusses zwischen den Komponenten des Verarbeitungssystems erfolgt durch die Hinzufügung einer zyklischen Redundanzprüfung (CRC-Prüfung) zu den zwischen den Elementen des Systems übermittelten Nachrichtenpaketen. Der CRC eines jeden Nachrichtenpakets wird nicht nur am Bestimmungsort der Nachricht geprüft, sondern auch während die Nachricht zu ihrem Bestimmungsort unterwegs ist, und zwar von jedem Routerelement, welches dazu verwendet wird, das Datenpaket von seinem Ursprungsort zu seinem Bestimmungsort zu leiten. Entdeckt ein Routerelement, dass ein Nachrichtenpaket einen nicht korrekten CRC aufweist, so wird das Nachrichtenpaket als solches gekennzeichnet und einem Wartungs-Diagnose-System gemeldet. Dieses Merkmal stellt ein brauchbares Werkzeug zur Fehlerisolierung dar. Eine derartige Verwendung des CRC ist dazu geeignet, Nachrichtenpakete über den gesamten Datenweg hinweg zu schützen, da die Routerelemente den CRC weder modifizieren noch regenerieren, während das Datenpaket an durch sie hindurchgeleitet wird. Der CRC eines jeden Datenpakets wird an jeder Routerkreuzung einer Prüfung unterzogen. Ein Befehlssymbol – "This packet Good" (TPG) (Paket gut) bzw. "This Packet Bad" (TPB) (Paket schlecht) – wird zu jedem Paket hinzugefügt. Ein Wartungs-Diagnose-Prozessor kann diese Informationen verwenden, um ein Link oder Router-Element zu isolieren, welches einen Fehler eingeschleust hat, selbst wenn der Fehler nur vorübergehend auftrat.The error check of the communication flow between the components of the processing system is done by the addition a cyclical redundancy check (Cyclic redundancy check) to the message packets transmitted between the elements of the system. The CRC of every message packet is not just at the destination checked the message, but also during the message is on its way to its destination, namely from each router element that is used to receive the data packet from to guide its place of origin to its destination. discovered a router element that a message packet is an incorrect one CRC, the message packet is identified as such and a maintenance diagnostic system reported. This feature provides a useful tool for fault isolation Such a use of the CRC is suitable for message packets over the to protect the entire data path since the router elements neither modify nor regenerate the CRC while the Data packet to be passed through it. Everyone's CRC Data packets are checked at every router intersection. A command symbol - "This packet Good "(TPG) or" This Packet Bad "(TPB) (packet bad) - will added to each package. A maintenance diagnostic processor can use this information a link or router element isolate which has introduced a bug, even if the error is only temporary occurred.
Die Routerelemente sind mit einer Mehrzahl von ausgestattet, an denen Nachrichten empfangen und versandt werden können. Als solche eignen sie sich gut zum Einsatz in einer Vielzahl von Topologien, so dass bei Auftreten eines Fehlers alternative Übertragungswege für die Kommunikation zwischen zwei beliebigen Elementen eines Verarbeitungssystems (z. B. zwischen einer CPU und einem E/A-Gerät) eingerichtet werden können, wodurch ein fehlertolerantes System geschaffen wird. Zusätzlich dazu beinhaltet die Router-Logik die Fähigkeit, basierend auf dem Router-Eingangsport, an dem ein Nachrichtenpaket empfangen wird, und auf dem Bestimmungsort des Nachrichtenpakets, gewisse Ports als Ausgangsports zu deaktivieren. Ein Router, der ein Nachrichtenpaket empfängt, welches eine Zieladresse enthält, die einen für dieses Nachrichtenpaket ungültigen Port als Ausgangsport des Routers angibt, scheidet das Nachrichtenpaket aus und benachrichtigt das Wartungs-Diagnose-System. Durch einen wohlüberlegten Einsatz dieses Merkmals kann ein Nachrichtenpaket davor bewahrt werden, in eine endlose Schleife zu geraten, und kann verzögert bzw. verhindert werden, dass andere Nachrichtenpakete in eine solche Schleife geraten (z. B. durch die Schaffung einer weiter unten erläuterten "Systemblockierungs"-Bedingung).The router elements are equipped with a plurality of at which messages can be received and sent. As such, they are well suited for use in a variety of topologies, so that if an error occurs, alternative transmission paths can be set up for communication between any two elements of a processing system (e.g. between a CPU and an I / O device) , creating a fault-tolerant system. In addition, the router logic includes the ability to disable certain ports as output ports based on the router input port on which a message packet is received and the destination of the message packet. A router, who receives a message packet that contains a destination address that specifies a port that is invalid for this message packet as the output port of the router, drops the message packet and notifies the maintenance diagnosis system. Careful use of this feature can prevent a message packet from getting into an endless loop and can delay or prevent other message packets from getting into such a loop (e.g., by creating a "system lock" discussed below "-Condition).
Die CPUs eines Verarbeitungssystems sind in der Lage, in einer von zwei Grundbetriebsarten zu arbeiten: einem "Simplexbetrieb", in welchem jede CPU (eines CPU-Paars) unabhängig von der anderen betrieben wird, oder einem "Duplexbetrieb", in welchem CPU-Paare jeweils synchron im Gleichschritt laufend betrieben werden. Der Simplexbetrieb schafft die Fähigkeit der Rekonfiguration und des Neustarts nach Eintreten von Fehlern, die durch fehlerprüfende Hardware entdeckt worden sind (vgl. das U.S.-Patent Nr. 4.228.496, in welchem ein Mehrfachverarbeitungssystem abgehandelt wird, bei welchem jeder Prozessor die Fähigkeit besitzt, die Betriebsfähigkeit jener Prozessoren zu überprüfen, die auf derselben Ebene arbeiten, und die Rechentätigkeit eines Prozessors zu übernehmen, von dem festgestellt bzw. vermutet wird, dass er ausgefallen ist). Beim Duplexbetrieb führen die gepaarten CPUs beide einen identischen Befehlsstrom aus, wobei jede CPU des Paars jeden Befehl des Befehlsstroms im wesentlichen zur gleichen Zeit ausführt.The CPUs of a processing system are able to work in one of two basic modes: a "simplex mode" in which each CPU (of a CPU pair) is independent of the other is operated, or a "duplex operation" in which CPU pairs can be operated synchronously and in step. Simplex operation creates the ability reconfiguration and restart after errors, by error checking Hardware have been discovered (see U.S. Patent No. 4,228,496, in which a multiple processing system is dealt with which each processor has the capability owns the operability to check those processors that work at the same level and take over the computing work of a processor, which is determined or suspected to have failed). Lead in duplex operation the paired CPUs both have an identical instruction stream, whereby each CPU of the pair essentially each instruction of the instruction stream executing at the same time.
Der Duplexbetrieb schafft eine fehlertolerante Plattform für weniger robuste Betriebssystems (z. B. das UNIX-Betriebssystem). Das erfindungsgemässe Verarbeitungssystem mit den gepaarten, im Gleichschritt betriebenen CPUs ist so aufgebaut, dass Fehler in vielen Fällen verborgen werden, und zwar primär durch die Hardware (z. B. Fortsetzung des Betriebs trotz Vorhandensein eines Fehlers).The duplex operation creates a fault-tolerant Platform for less robust operating system (e.g. the UNIX operating system). The inventive Processing system with the paired, operated in step CPUs is designed to hide errors in many cases, and primary through the hardware (e.g. continued operation despite existence an error).
Wird das Verarbeitungssystem im Duplexbetrieb ausgeführt, so verwendet jede CPU das E/A-System, um auf jedes beliebige Peripheriegerät des Verarbeitungssystems zuzugreifen, und zwar ungeachtet dessen, welchem (der beiden oder mehreren) Subprozessorsystemen das betreffende Peripheriegerät scheinbar zugeordnet ist. Ausserdem werden im Duplexbetrieb Nachrichtenpakete, die an ein CPU-Paar zu liefern sind, von dem E/A-System im wesentlichen zur selben Zeit an beide CPUs des CPU-Paars übermittelt, um den synchronen, im Gleichschritt laufenden Betrieb des CPU-Paars aufrechtzuerhalten. Somit wird durch den erfinderischen Hauptaspekt der Erfindung ein Duplexbetrieb geschaffen, der die Fähigkeit beinhaltet, zu gewährleisten, dass beide CPUs eines im Gleichschritt laufenden CPU-Paars E/A-Nachrichtenpakete zur selben Zeit in derselben Weise empfangen In diesem Sinn ist jedes mit einer CPU eines duplexbetriebenen CPU-Paars verbundene Routerelement mit beiden CPU-Elementen des CPU-Paars verbunden. Jeder so verbundene Router, welcher eine für eine CPU bestimmte Nachricht (welche entweder von einem Peripheriegerät wie z. B. einer Massenspeichereinheit oder einer Verarbeitungseinheit kommen kann) empfängt, kopiert die Nachricht und sendet sie an beide CPUs des CPU-Paars unter Verwendung von Synchronisationsverfahren, die eine Aufrechterhaltung des Synchronbetriebs der CPUs sicherstellen. In der Tat wird das im Duplexbetrieb ausgeführte CPU-Paar von dem E/A-System und von anderen im Duplexbetrieb laufenden CPU-Paaren als eine einzelne CPU angesehen. Somit wird das E/A-System, welches Elemente aus allen Unterverarbeitungssystemen beinhaltet, von dem im Duplexbetrieb laufenden CPU-Paar als ein homogenes System betrachtet, innerhalb welchem auf jedes Peripheriegerät zugegriffen werden kann.The processing system becomes duplex executed each CPU uses the I / O system to access any peripheral of the processing system to access regardless of which one of the two or several) subprocessor systems, the peripheral device in question apparently assigned. In addition, in duplex mode, message packets, essentially to be delivered to a CPU pair from the I / O system transmitted to both CPUs of the CPU pair at the same time in order to to keep the CPU pair running in sync. Thus through the main inventive aspect of the invention, duplex operation created the ability involves ensuring that both CPUs of a CPU pair running in step I / O message packets received at the same time in the same way is in this sense each connected to a CPU of a duplex CPU pair Router element connected to both CPU elements of the CPU pair. Each router connected in this way, which has a message intended for a CPU (which is either from a peripheral device such as a mass storage unit or can come to a processing unit) receives, copied the message and sends it to both CPUs of the CPU pair using of synchronization procedures that maintain the synchronous operation ensure the CPUs. Indeed, the duplex CPU pair from the I / O system and from other duplex CPU pairs viewed as a single CPU. Thus the I / O system which Includes elements from all subprocessing systems, from which CPU pair running in duplex mode viewed as a homogeneous system, within which each peripheral device can be accessed.
Die Vielseitigkeit der Routerelemente ermöglicht es, dass Cluster von im Duplexbetrieb laufenden Subsystem-Paaren untereinander ein Multiprozessorsystem bilden, in welchem die CPU eines jeden Prozessors sich in Wirklichkeit aus einem Paar von synchron im Gleichschritt laufenden CPUs zusammensetzt.The versatility of the router elements allows it that clusters of subsystem pairs running in duplex mode with one another form a multiprocessor system in which the CPU of each Processor actually consists of a pair of synchronously in step running CPUs.
Interrupts, welche von einem E/A-Element herrühren, werden in derselben Weise an die CPU (bzw. bei Duplexbetrieb an das CPU-Paar) übertragen, wie dies auch bei jeder anderen Informationsübertragung der Fall ist: nämlich als Datenpakete. Dies bringt zahlreiche Vorteile mit sich: Interrupts können – wie alle anderen E/A-Nachrichtenpakete auch – durch CRC geschützt werden. Ausserdem wird dadurch das Erfordernis nach zusätzlichen Signalleitungen umgangen, die ansonsten speziell zur gleichzeitigen Interruptmeldung an beide CPUs benötigt würden; durch die Übermittlung von Interrups über das Nachrichtenpaketsystem kann sichergestellt werden, dass diese, ebenso wie E/A-Nachrichtenpakete, in synchronisierter Weise bei den im Duplexbetrieb laufenden CPUs eintreffen. Interrupt-Nachrichtenpakete enthalten Informationen bezüglich der Ursache für das Interrupt, wodurch das zeitaufwendige Lesen der das Interrupt ausgebenden Geräte durch die CPU(s) umgangen werden kann, wie es derzeit zur Ermittlung der Interruptursache gehandhabt wird. Ausserdem können die Routerelemente, wie bereits weiter oben angedeutet, mehrfache Pfade für die Übermittlung der Interrupt-Pakete bereitstellen, wodurch die Fehlertoleranzfähigkeit des Systems erhöht wird. Darüber hinaus kann durch die Verwendung desselben Nachrichtenübermittlungssystems zur Übertragung von Daten zwischen E/A-Einheiten und den CPUs und zur Übertragung von Interrupts an die CPUs eine geordnete Reihenfolge von E/A-Informationen und Interrupts bewahrt werden; das heisst ein E/A-Gerät wartet bis eine E/A-Information vollständig übertragen ist, bevor eine Interrupt-Nachricht gesendet wird.Interrupts from an I / O element originate, are sent to the CPU (or in duplex mode) in the same way the CPU pair), as is the case with any other information transfer: namely as Data packets. This has numerous advantages: Interrupts can - like everyone other I / O message packets also through CRC protected become. It also eliminates the need for additional Bypassed signal lines that are otherwise specifically for simultaneous Interrupt message to both CPUs would be required; through the transmission from Interrups about the message packet system can be ensured that these, as well as I / O message packets, in a synchronized manner the CPUs running in duplex mode arrive. Interrupt message packets contain information regarding the cause of the interrupt, which makes the time consuming reading of the interrupt issuing devices bypassed by the CPU (s) as it is currently used to determine the cause of the interrupt is handled. They can also Router elements, as already indicated above, multiple paths for the transmission of the Interrupt packets are provided, reducing fault tolerance of the system increased becomes. About that in addition, by using the same messaging system for transmission of data between I / O units and the CPUs and for transmission of interrupts to the CPUs an ordered order of I / O information and Interrupts are preserved; that is, an I / O device is waiting until I / O information is completely transmitted is before an interrupt message is sent.
Ein weiterer Neuheitsaspekt des hier beschriebenen Systems liegt in der Implementierung einer Technik zur Validierung des Zugriffs auf den Speicher einer jeden CPU. Das Verarbeitungssystem erlaubt einen Zugriff auf den Speicher einer jeden CPU seitens irgendeines anderen Elements des Systems (d. h. durch andere CPUs und Peripheriegeräte). Aufgrund dieses Umstands muss ein Verfahren zum Schutz gegen unbeabsichtigten und/oder unerlaubten Zugriff geschaffen werden. Gemäss diesem Aspekt der Erfindung wird von jeder CPU eine Zugriffsvalidierungsund -übersetzungstabelle (ZVÜ) aufrechterhalten, welche Einträge für jede CPU-externe Quelle enthält, der Zugriff auf den Speicher dieser CPU gewährt wird. Jeder dieser ZVÜ-Tabelleneinträge beinhaltet Informationen betreffend den erlaubten Zugriffstyp (z. B. eine Speicherschreiberlaubnis) und die Angabe des Ortes im Speicher, an dem dieser Zugriff erlaubt ist. Die Erstellung von Nachrichtenpaketen, die durch das E/A-System geleitet werden, erfolgt, wie weiter oben bereits angedeutet, unter Verwendung von Informationen zur Beschreibung des Ursprungselements des Nachrichtenpakets, des Bestimmungsortes des Nachrichtenpakets, des Inhalts des Nachrichtenpakets (z. B. am Bestimmungsort zu schreibende Daten, oder eine Anforderung von am Bestimmungsort auszulesenden Daten) und dergleichen. Darüber hinaus, dass es den Routerelementen ermöglicht wird, das Nachrichtenpaket rasch an seinen Endbestimmungsort zu leiten, verwendet die empfangende CPU die Informationen dazu, um auf die ZVÜ-Tabelle zuzugreifen und in dieser den sich auf die Quelle des Nachrichtenpakets beziehenden Eintrag auszuwählen und um zu prüfen, ob ein Zugriff erlaubt ist und, wenn ja, welcher Zugriffstyp und welchen Ort die empfangende CPU auswählt, um die Adresse abzubilden (d. h. zu übersetzen). Auf diese Weise wird der Speicher einer jeden CPU gegen fehlgeleitete Zugriffe geschützt. Die ZVÜ-Tabelle wird auch dazu herangezogen, Interrupts an die CPU durchzustellen.Another novelty aspect of the system described here is the implementation of a technique for validating access to the memory of each CPU. The processing system allows each CPU's memory to be accessed by any other element of the system (ie, by others) CPUs and peripheral devices). Due to this fact, a procedure for protection against unintentional and / or unauthorized access must be created. In accordance with this aspect of the invention, each CPU maintains an access validation and translation table (ZVÜ) that contains entries for each external CPU source that is granted access to that CPU's memory. Each of these ZVÜ table entries contains information regarding the permitted access type (e.g. a memory write permission) and the specification of the location in the memory at which this access is permitted. As already indicated above, the creation of message packets which are routed through the I / O system is carried out using information to describe the originating element of the message packet, the destination of the message packet, the content of the message packet (e.g. on Destination data to be written, or a request for data to be read at the destination) and the like. In addition to allowing the router elements to quickly route the message packet to its final destination, the receiving CPU uses the information to access and select the ZVÜ table in the message packet source, and to Check whether access is permitted and, if so, what type of access and which location the receiving CPU selects to map the address (ie to translate). In this way, the memory of each CPU is protected against misdirected access. The ZVÜ table is also used to put interrupts through to the CPU.
Durch die ZVÜ-Tabelle wird gewährleistet, dass der Speicher einer CPU nicht durch ein fehlerhaftes E/A-Gerät zerstört wird. Zugriffsrechte können von einem Speicher gewährt werden, der sich grössenmässig über einen Bereich von einem Byte bis zu einer ganzen Reihe von Seiten erstreckt. Die Fehlerbegrenzung ist besonders wichtig im E/A-Bereich, weil die Systemanbieter von Systemen gewöhnlich viel weniger Einflussmöglichkeiten auf die Qualität der Hardware und Software von Drittanbietern haben. Probleme können auf ein einziges E/A-Gerät bzw. einen Controller anstatt auf das gesamte E/A-System eingegrenzt werden.The ZVÜ table ensures that that the memory of a CPU is not destroyed by a faulty I / O device. Access rights can granted by a store who are larger than one Range extends from one byte to a whole series of pages. Error limitation is particularly important in the I / O area because the system providers of systems usually have much less influence on the quality of third party hardware and software. Problems can arise a single I / O device or a controller instead of the entire I / O system become.
Ein weiterer Aspekt des hier beschriebenen Systems betrifft die Technik, die von einer CPU verwendet wird, um Daten an das E/A-System zu übertragen. Gemäss diesem Aspekt ist in jeder CPU eine Blockübertragungsmaschine vorgesehen, um Übertragungen von Eingabe/Ausgabeinformationen zwischen einer CPU und jeglichen anderen Komponenten des Verarbeitungssystems abzuwickeln. Dadurch werden die einzelnen Prozessoreinheiten der CPU von den eher anspruchslosen Routineaufgaben enthoben, die darin bestehen, Informationen aus dem Speicher zu holen und in das TNet-Netzwerk zu stellen oder vom Netzwerk kommende Informationen in Empfang zu nehmen. Die Prozessoreinheit der CPU beschränkt sich darauf, Datenstrukturen im Speicher zusammenzusetzen, welche die zu sendenden Daten zusammen mit anderen Informationen enthalten, wie zum Beispiel dem gewünschten Bestimmungsort, der Datenmenge und, für den Fall, dass eine Antwort erforderlich ist, dem Ort im Speicher, an welchem die Antwort nach ihrer Inempfangnahme gespeichert werden soll. Sobald die Prozessoreinheit mit der Zusammensetzung der Datenstruktur fertig ist, wird die Blockübertragungsmaschine benachrichtigt, damit diese übernimmt und das Senden der Daten in Form von Nachrichtenpaketen einleitet. Ist eine Antwort zu erwarten, so erstellt die Blockübertragungsmaschine die für die Behandlung der Antwort erforderliche Struktur, einschliesslich des Ortes im Speicher, an dem die Antwort abzulegen ist. Sofern eine Antwort empfangen wird, wird diese an den identifizierten, erwarteten Speicherort geleitet und wird die Prozessoreinheit benachrichtigt, dass die Antwort empfangen wurde.Another aspect of what is described here Systems relates to the technology used by a CPU to transfer data to the I / O system. According to In this aspect, a block transfer machine is provided in each CPU, about transfers of input / output information between a CPU and any other components of the processing system. Thereby the individual processor units of the CPU are rather undemanding Relieved of routine tasks that consist of information the memory and put in the TNet network or from Network to receive incoming information. The processor unit of the CPU to assemble data structures in memory which contain the data to be sent together with other information, such as the one you want Destination, the amount of data and, in the event that an answer is required, the location in memory where the answer is after when they are received. Once the processor unit with the composition of the data structure finished, the block transfer machine notified so that it takes over and initiates the sending of the data in the form of message packets. If an answer is expected, the block transfer engine creates the for structure required for handling the response, including the location in memory where the answer is to be filed. Provided a response is received, it is sent to the identified, expected location and the processor unit is notified, that the answer was received.
Weitere Aspekte und Merkmale der gegenständlichen Erfindung werden für einschlägig ausgebildete Fachleute bei der Lektüre der nachfolgenden, detaillierten Beschreibung der Erfindung offenkundig, welche zusammen mit den beiliegenden Zeichnungen betrachtet werden sollte.Other aspects and characteristics of subject Invention for relevant trained professionals in reading the following detailed Description of the invention, which together with the accompanying drawings should be considered.
1A veranschaulicht ein gemäss den Ausführungen des vorliegenden Patents entworfenes Verarbeitungssystem, und die 1B und 1C veranschaulichen zwei Alternativkonfigurationen des Verarbeitungssystems aus 1A, und zwar unter Verwendung von Clustern bzw. Anordnungen des Verarbeitungssystems aus 1A; 1A illustrates a processing system designed in accordance with the teachings of this patent, and the 1B and 1C illustrate two alternative configurations of the processing system 1A , using clusters or arrangements of the processing system 1A ;
2 veranschaulicht in vereinfachter Form als Blockdiagramm die zentrale Verarbeitungseinheit (CPU), welche Teil eines jeden Subprozessorsystems aus den 1A–1C ist; 2 illustrates in a simplified form as a block diagram the central processing unit (CPU), which is part of each subprocessor system from the 1A-1C is;
die 3A–3C und 4A–4C veranschaulichen den Aufbau der verschiedenen Nachrichtenpakete, die dazu verwendet werden, um Informationen wie zum Beispiel Eingabe/Ausgabe-Daten über das in 2 gezeigte Bereichsnetzwerk-E/A-System zu übermitteln;the 3A-3C and 4A-4C illustrate the structure of the various message packets that are used to provide information such as input / output data about the in 2 transmit area network I / O system shown;
5 veranschaulicht die Schnittstelleneinheit, welche Teil der CPUs aus 2 ist, um den Prozessor und den Speicher an das E/A-System des Bereichsnetzwerks anzuschliessen; 5 illustrates the interface unit, which part of the CPUs 2 to connect the processor and memory to the area network I / O system;
6 ist ein Blockdiagramm, welches einen Abschnitt des Paketempfängers der Schnittstelleneinheit aus 5 veranschaulicht; 6 Fig. 3 is a block diagram showing a section of the packet receiver of the interface unit 5 illustrated;
7A veranschaulicht in Diagrammform das Taktsynchronisierungs-FIFO (TS-FIFO), welches von dem Paketempfänger des Paketemfangssegments aus 6 verwendet wird; 7A illustrates in diagram form the clock synchronization FIFO (TS FIFO), which originates from the packet receiver of the packet reception segment 6 is used;
78 ist ein Blockdiagramm eines Entwurfs des in 7A gezeigten Taktsynchronisierungs-FIFO-Aufbaus; 78 Fig. 4 is a block diagram of a design of the in 7A clock synchronization FIFO structure shown;
8 veranschaulicht die Querverbindungen für zum Zweck der Fehlerprüfung von den beiden Schnittstelleneinheiten einer CPU abgehende Übertragungen; 8th illustrates the cross-connections for the purpose of debugging the two Interface units of a CPU outgoing transmissions;
9 ein codiertes (8B bis 9B) Daten/Befehls-Symbol; 9 a coded ( 8B to 9B ) Data / command symbol;
10 veranschaulicht das Verfahren und den Aufbau, welche von der Schnittstelleneinheit aus 5 dazu benutzt werden, um Daten, die zu den Datenfehlerprüfungs-Speichersteuerungen übertragen werden, einer Gegenkontrolle auf Fehler hin zu unterziehen; 10 illustrates the method and structure, which from the interface unit 5 used to cross-check data transferred to the data error check memory controllers for errors;
11 ist eine als Blockdiagramm ausgeführte Darstellung der Implementierung der Zugriffsvalidierungsund -übersetzungstabelle (ZVÜ-Tabelle), die dazu verwendet wird, um andere (CPU-externe) Komponenten des Verarbeitungssystems zu prüfen und diesen Lese- und/oder Schreibzugriff auf den Speicher einer CPU aus 2 zu gewähren; 11 Fig. 3 is a block diagram representation of the implementation of the access validation and translation table (ZVÜ table) used to check other (CPU external) components of the processing system and to read and / or write access to the memory of a CPU 2 to grant;
12 ist ein Blockdiagramm das in Diagrammform die Zusammensetzung einer Adresse veranschaulicht, welche dazu verwendet wird, um auf einen ZVÜ-Tabelleneintrag zuzugreifen; 12 Fig. 3 is a block diagram illustrating in diagram form the composition of an address used to access a ZVÜ table entry;
die 13A, 13B und 13C veranschaulichen das jeweilige Aussehen von ZVÜ-Tabelleneinträgen für normale Anforderungen und für Interruptanforderungen;the 13A . 13B and 13C illustrate the respective appearance of ZVÜ table entries for normal requests and for interrupt requests;
14A veranschaulicht die Logik zum Freigeben von Interruptanforderungen an Warteschlangen im Speicher und an die Prozessoreinheiten der CPU aus 2; 14A illustrates the logic for releasing interrupt requests to queues in memory and to the processor units of the CPU 2 ;
14B veranschaulicht den Prozess, der verwendet wird, um eine Speicheradresse für einen Warteschlangeneintrag zu bilden; 14B illustrates the process used to form a queue entry memory address;
15 ist ein Blockdiagramm, das die Datenausgabe-Grundelemente veranschaulicht, welche von einer Prozessoreinheit in dem Speicher der CPU aus 2 gebildet werden und welche Daten enthalten, die über die in den 1A–1C gezeigten Bereichs-E/A-Netzwerke zu senden sind, wobei darüber hinaus auch die Blockübertragungsmaschineneinheit (BÜM) der Schnittstelleneinheit aus 5 veranschaulicht wird, welche betrieben wird, um auf die Datenausgabe-Grundelemente zuzugreifen, und zwar im Hinblick auf deren Übertragung an das Bereichs-E/A-Netzwerk durch das in 7 gezeigte Paketübertragungssegment; 15 Fig. 12 is a block diagram illustrating the basic data output elements which are executed by a processor unit in the memory of the CPU 2 are formed and which contain data about the in the 1A-1C area I / O networks shown are to be sent, the block transmission machine unit (BÜM) of the interface unit also being used 5 which operates to access the data output primitives in view of their transmission to the area I / O network by the method shown in FIG 7 packet transmission segment shown;
16 veranschaulicht den Aufbau des 72-Bit-Datenpfades, welcher zum Teil durch ein zwischen dem Speicher einer CPU aus 2 und seiner Schnittstelleneinheit befindliches Paar von Speichersteuerungen gebildet wird, um aus dem Speicher auf 72 Datenbits zuzugreifen, welche zwei an zwei aufeinanderfolgenden, geradzahligen Adressen befindliche 32-Bit-Wörter, auf die gleichzeitig zugegriffen wird, sowie 8 Prüfbits beinhalten; 16 illustrates the structure of the 72-bit data path, which is partly characterized by a between the memory of a CPU 2 and its interface unit pair of memory controllers is formed to access 72 bits of data from the memory, including two 32-bit words accessed at two consecutive even addresses and accessed simultaneously, and 8 check bits;
17 ist ein vereinfachtes Blockdiagramm einer der beiden in 2 dargestellten Speichersteuerungen, in welchem ein serieller Zugriff auf diese durch einen Online-Zugangspunkt veranschaulicht wird; 17 Figure 3 is a simplified block diagram of one of the two in 2 illustrated memory controllers, in which a serial access to them is illustrated by an online access point;
18 veranschaulicht in vereinfachter Form die Ablaufsteuereinheit des Paars von Speichersteuerungen aus 2 sowie die Technik, die verwendet wird, um beide zum Zweck der Fehlerprüfung gegenzuprüfen; 18 illustrates in a simplified form the sequencer from the pair of memory controllers 2 as well as the technique used to check both for the purpose of error checking;
19A veranschaulicht in Form eines vereinfachten Blockdiagramms die Routereinheit, welche bei den Bereichs-Eingabe/Ausgabe-Netzwerken der in den 1A–1C gezeigten Verarbeitungssysteme zum Einsatz kommen; 19A illustrates in the form of a simplified block diagram the router unit, which in the area input / output networks of the in the 1A-1C processing systems shown are used;
19B veranschaulicht einen Vergleich zwischen zwei Port-Eingangsdaten der Routereinheit aus 19A; 19B illustrates a comparison between two port input data of the router unit 19A ;
20A ist ein Blockdiagramm des Aufbaus von einem der sechs Eingabeports der in 19A gezeigten Routereinheit; 20A Fig. 3 is a block diagram of the structure of one of the six input ports shown in Fig 19A router unit shown;
20B ist ein Blockdiagramm der Synchronisierungslogik, die verwendet wird, um Befehls-/Daten-Symbole zu validieren, welche an einem Eingabeport der Routereinheit aus 19A empfangen werden, 20B Figure 3 is a block diagram of the synchronization logic used to validate command / data symbols which are output from an input port of the router unit 19A be received
21A ist ein Blockdiagramm, in welchem die an dem in 20A gezeigten Eingabeport vorhandene Zielport-Auswahllogik veranschaulicht wird; 21A is a block diagram in which the on the in 20A Existing destination port selection logic shown is illustrated;
21B ist ein Entscheidungsdiagramm in welchem die Routing-Entscheidungen veranschaulicht werden, die von der in 21A dargestellten Zielport-Auswahllogik getroffen werden;-{}- 21B is a decision diagram illustrating the routing decisions made by the in 21A shown destination port selection logic are made; - {} -
21C ist ein Blockdiagramm der algorithmischen Routing-Logik, welche ein Teil der in 21A dargestellten Zielport-Auswahllogik ist; 21C is a block diagram of the algorithmic routing logic which is part of the 21A destination port selection logic shown;
22 ist eine als Blockdiagramm ausgebildete Veranschaulichung des Aufbaus von einem der sechs Ausgabeports der in 19A gezeigten Routereinheit; 22 FIG. 4 is a block diagram illustration of the structure of one of the six output ports of FIG 19A router unit shown;
23 ist eine Veranschaulichung des Verfahrens, das verwendet wird, um identische Informationen an ein synchron im Duplexbetrieb laufendes Paar von CPUs aus 2 zu übermitteln, wenn das Verarbeitungssystem sich in im Gleichschritt laufenden (Duplex-)Betrieb befindet, und zwar unter Verwendung eines Paars von FIFOs aus 7A (eines für jede CPU); 23 Figure 3 is an illustration of the method used to deliver identical information to a pair of CPUs synchronously duplexing 2 transmit when the processing system is in "duplex" operation using a pair of FIFOs 7A (one for each CPU);
24 ist ein vereinfachtes Blockdiagramm zur Veranschaulichung des Taktgebersystems eines jeden der Unterverarbeitungssysteme aus 1A–1C zu Erzeugung der Mehrzahl von Taktsignalen, die zum Betreiben der verschiedenen Elemente dieses Unterverarbeitungssystems verwendet werden; 24 Figure 10 is a simplified block diagram illustrating the clock system of each of the sub-processing systems from 1A-1C generating the plurality of clock signals used to operate the various elements of this sub-processing system;
25 veranschaulicht die Topologie, welche zum Zusammenzuschalten der Taktgebersysteme von gepaarten Unterverarbeitungssystemen verwendet wird, um die verschiedenen Taktsignale des Paars von Unterverarbeitungssystemen untereinander zu synchronisieren; die 26A und 26B veranschaulichen eine Taktsteuerlogik zum Halten einer konstanten FIFO-Geschwindigkeit, die dazu verwendet wird, das Taktsynchronisierungs-FIFO aus 8 oder 20 entsprechend zu steuern, wenn eine Situation eintritt, in der die beiden Takte, die dazu dienen, Symbole in die Warteschlange des FIFO einzureihen und daraus zu entnehmen, sich beträchtlich voneinander unterscheiden; 25 illustrates the topology used to interconnect the clock systems of paired sub-processing systems to synchronize the different clock signals of the pair of sub-processing systems; the 26A and 26B illustrate one Clock control logic to maintain a constant FIFO speed used to turn the clock synchronization FIFO off 8th or 20 control accordingly when a situation arises in which the two clocks used to put and remove symbols in the queue of the FIFO differ considerably from one another;
27 ist ein Taktdiagramm, das die Betriebsweise der Taktsteuerlogik zum Halten einer konstanten Geschwindigkeit aus den 26A und 26B; 27 FIG. 10 is a timing diagram illustrating the operation of the timing control logic to maintain a constant speed from the 26A and 26B ;
28 veranschaulicht den Aufbau des Online-Zugangspunkts (OLZP), der dazu verwendet wird, Zugriff zu dem Instandhaltungsprozessor (IP) für die verschiedenen Elemente des Systems aus 1A (bzw. jener aus den 1B oder 1C) zu erhalten, um diese Elemente zu konfigurieren; 28 illustrates the structure of the online access point (OLZP) used to access the maintenance processor (IP) for the various elements of the system 1A (or that from the 1B or 1C ) to configure these elements;
29 veranschaulicht einen Abschnitt des Systemspeichers und zeigt Cachespeicherblockgrenzen; und die 30A und 30B veranschaulichen die Soft-Flag-Logik, die verwendet wird, um asymmetrische Variablen zwischen den CPUs von gepaarten, im Duplex-Betriebsmodus laufenden Unterverarbeitungssystemen zu befördern; 29 illustrates a portion of system memory and shows cache block boundaries; and the 30A and 30B illustrate the soft flag logic used to convey asymmetric variables between the CPUs of paired duplexing systems running in duplex mode;
31A zeigt ein Flussdiagramm, und 31B veranschaulicht einen Abschnitt des Synchronisierungstakts (SYNC TKT), die beide dazu verwendet werden, die Taktsynchronisierungs-FIFOs der CPUs und die Router des Verarbeitungssystems aus 1A, die Informationen voneinander empfangen, rückzusetzen und zu synchronisieren; 31A shows a flowchart, and 31B illustrates a portion of the synchronization clock (SYNC TKT), both of which are used to clock out the CPU's clock synchronization FIFOs and the processing system's routers 1A receive, reset and synchronize the information from each other;
32 ist ein Flussdiagramm, das in groben Umrissen das Verfahren veranschaulicht, das verwendet wird, um Divergenzen zwischen zwei im Duplexbetrieb arbeitenden CPUs zu erkennen und handzuhaben; 32 Fig. 4 is a flow diagram outlining broadly the method used to detect and manage divergences between two duplex CPUs;
die 33A–33D veranschaulichen in allgemeiner Weise das Verfahren, das verwendet wird, um eine der CPUs des in 1A gezeigten Verarbeitungssystems in im Gleichschritt laufenden Duplexbetrieb mit der anderen der CPUs zu bringen, ohne den Betrieb des Verarbeitungssystems in messbarer Weise anzuhalten; undthe 33A-33D generally illustrate the method used to implement one of the CPUs of the type shown in FIG 1A to bring the processing system shown in synchronous duplex operation with the other of the CPUs, without stopping the operation of the processing system in a measurable manner; and
34 veranschaulicht eine kostenreduzierte Architektur, in welche Lehren der Erfindung einfliessen; und 34 illustrates a reduced architecture that incorporates teachings of the invention; and
35 veranschaulicht die Betriebsweise einer Barrieren-Transaktion, um einen Übertragungsweg zwischen einer CPU aus 1A (oder 1B, 1C) und einem Eingabe-Ausgabe-Gerät zu prüfen und zu verifizieren. 35 illustrates the operation of a barrier transaction to make a transfer path between a CPU 1A (or 1B . 1C ) and an input-output device to check and verify.
Überblick: Overview:
Betrachtet man nun die Figuren genauer und widmet man sich fürs erste hauptsächlich der 1A, so findet man dort dargestellt ein Datenverarbeitungssystem, bezeichnet mit dem Bezugszeichen 10, welches gemäss den verschiedenen Lehren der vorliegenden Erfindung aufgebaut ist. Wie 1A zeigt, umfasst das Datenverarbeitungssystem 10 zwei Subprozessorsysteme 10A und 10B, von denen beide im wesentlichen im Aufbau und in der Funktion identisch sind. Demgemäss sei an hier darauf verwiesen, dass sofern keine anderslautenden Angaben gemacht werden, eine Beschreibung eines beliebigen der Subprozessorsysteme 10 in der gleichen Weise auch auf jedes andere Subprozessorsystem 10 zutrifft.If you now take a closer look at the figures and for the time being you mainly focus on 1A , there is a data processing system shown there, designated by the reference symbol 10 constructed according to the various teachings of the present invention. How 1A shows includes the data processing system 10 two subprocessor systems 10A and 10B , both of which are essentially identical in structure and function. Accordingly, reference should be made to the fact that, unless otherwise stated, a description of any of the subprocessor systems 10 in the same way to any other subprocessor system 10 true.
Um nun bei 1A fortzusetzen, sei somit erläutert, dass jedes der Subprozessorsysteme 10A, 10B eine zentrale Verarbeitungseinheit (CPU) 12, einen Router 14 und eine Lehrzahl von Eingabe-Ausgabe-(E/A)-Paketschnittstellen 16 beinhaltet, von denen eine jede ihrerseits über einen nativen Eingabe-Ausgabe-Bus (NEA) an eine Anzahl (n) von E/A-Geräten 17 angeschlossen ist. An mindestens eine der E/A-Paketschnittstellen 16 ist auch ein Instandhaltungsprozessor (IP) 18 angeschlossen.To now at 1A To continue, it is thus explained that each of the subprocessor systems 10A . 10B a central processing unit (CPU) 12 , a router 14 and a teaching number of input-output (I / O) packet interfaces 16 includes, each of which in turn, through a native I / O bus (NEA) to a number (s) of I / O devices 17 connected. To at least one of the I / O packet interfaces 16 is also a maintenance processor (IP) 18 connected.
Der IP 18A, 18B eines jeden Subprozessorsystems 10A, 108 ist mit jedem der Elemente dieses Subprozessorsystems über einen IEEE 1149.1 Prüfbus 19A, 19B (in Durchsicht dargestellt in 1A; in den 1B und 1C aus Gründen der Klarheit nicht dargestellt) und über eine Online-Zugangspunkt-Schnittstelle (OLZP-Schnittstelle) verbunden, welche für jedes Element Register enthält, die von dem IP 18 verwendet werden, um Zustands- und Steuerinformationen zwischen dem Element und dem IP 18 auszutauschen. Der IP 18 kann auch, wie in 1A veranschaulicht, mit den CPUs 12 kommunizieren, indem er Nachrichtenpakete erstellt und versendet. (Eigentlich ist es die E/A-Paket-Schnittstelle 16, die als Reaktion auf eine diesbezügliche Anfrage seitens des rP 18 ein Paket erstellt und sendet.)The IP 18A . 18B of any subprocessor system 10A . 108 is with each of the elements of this subprocessor system via an IEEE 1149.1 test bus 19A . 19B (shown in transparency in 1A ; in the 1B and 1C not shown for reasons of clarity) and connected via an online access point interface (OLZP interface), which contains registers for each element, which are assigned by the IP 18 used to provide status and control information between the element and the IP 18 exchange. The IP 18 can also, as in 1A illustrated with the CPUs 12 communicate by creating and sending message packets. (Actually, it's the I / O packet interface 16 in response to a request from the rP 18 creates and sends a package.)
Die CPU 12, der Router 14 und die E/A-Paket-Schnittstellen 16 sind durch "TNet"-Links L miteinander verbunden, welche bidirektionalen Datenaustausch ermöglichen. Jedes TNet-Link L umfasst zwei unidirektionale 10-Bit-Sublink-Busse. Jedes TNet-Sublink überträgt 9 Datenbits und ein begleitendes Taktsignal. Wie 1A weiterhin veranschaulicht, verbinden die TNet-Links L auch die Subprozessorsysteme 10A und 10B untereinander, wodurch sowohl der Zugriff eines jeden Subprozessorsystems 10 auf die E/A-Geräte des jeweils anderen als auch als auch eine Kommunikation zwischen den CPUs gewährleistet wird. Wie noch zu erläutern sein wird, kann einer jeden CPU 12 des Verarbeitungssystems 10 Zugriff auf den Speicher jeder anderen CPU 12 gewährt werden, wenngleich auch dieser Zugriff einer Validierung bedarf, was einen wichtigen Aspekt der Erfindung darstellt. Auf gewissermassen ähnliche Art und Weise kann auch von den Peripheriegeräten aus auf den Speicher der CPU 12 zugegriffen werden, und zwar üblicherweise als Ergebnis einer von einer CPU eingeleiteten Operation. Diese Zugriffe bedürfen ebenfalls der Validierung, um die Korruption des Speichers einer CPU 12 durch ein nicht korrekt funktionierendes Peripheriegerät 17 zu verhindern.The CPU 12 , the router 14 and the I / O packet interfaces 16 are connected to each other by "TNet" links L, which enable bidirectional data exchange. Each TNet-Link L comprises two unidirectional 10-bit sub-link buses. Each TNet sub-link transmits 9 data bits and an accompanying clock signal. How 1A further illustrated, the TNet links L also connect the subprocessor systems 10A and 10B with each other, giving both access to each subprocessor system 10 to each other's I / O devices as well as communication between the CPUs is guaranteed. As will be explained later, each CPU 12 of the processing system 10 Access to the memory of any other CPU 12 are granted, although this access also requires validation, which is an important aspect of the invention. In a somewhat similar way, the peripherals memory of the CPU 12 are accessed, usually as a result of an operation initiated by a CPU. These accesses also require validation in order to corrupt a CPU's memory 12 due to an incorrectly functioning peripheral device 17 to prevent.
Vorzugsweise sind die Subprozessorsysteme 10A/10B gepaart, wie in 1A (sowie in den weiter unten besprochenen 1B und 1C) veranschaulicht, und jedes Subprozessorsystem-Paar 10A/10B (d. h. umfassend eine CPU 12, zumindest einen Router 14 und zumindest eine E/A-Paket-Schnittstelle 16 mit zugeordneten E/A-Geräten).The subprocessor systems 10A / 10B are preferably paired, as in FIG 1A (as well as in those discussed below 1B and 1C ) and each subprocessor system pair 10A / 10B (ie comprising a CPU 12 , at least a router 14 and at least one I / O packet interface 16 with assigned I / O devices).
Jede CPU 12 verfügt über zwei E/A-Ports, einen X-Port und einen Y-Port, an denen Nachrichtenpakete übermittelt und/oder empfangen werden. Der X-Port einer CPU 12 (z. B. der CPU 12A) ist über ein TNet-Link L an einen Router (14A) des entsprechenden Subprozessorsystems (z. B. 10A) angeschlossen. Umgekehrt ist der Y-Port der CPU (12A) an den Router (14B) des dazugehörigen Subprozessorsystems (10B) angeschlossen. Diese letztere Verbindung stellt nicht nur einen Übertragungsweg für den Zugriff einer CPU (12A) auf die E/A-Geräte des anderen Subprozessorsystems (10B) bereit sondern auch auf die CPU (12B) dieses Systems zum Zweck der Kommunikation zwischen den CPUs.Any CPU 12 has two I / O ports, an X port and a Y port, on which message packets are transmitted and / or received. The X-port of a CPU 12 (e.g. the CPU 12A ) is connected to a router via a TNet-Link L ( 14A ) of the corresponding subprocessor system (e.g. 10A). Conversely, the Y port of the CPU ( 12A ) to the router ( 14B ) of the associated subprocessor system ( 10B ) connected. This latter connection not only provides a transmission path for access by a CPU ( 12A ) to the I / O devices of the other subprocessor system ( 10B ) ready but also on the CPU ( 12B ) of this system for the purpose of communication between the CPUs.
Der Informationsaustausch zwischen einem beliebigen Element des Verarbeitungssystems 10 und einem beliebigen anderen Element (z. B. der CPU 12A eines Subprozessorsystems 10A) des Systems und einem beliebigen anderen Element des Systems (z. B. einem E/A-Gerät, das einer E/A-Paket-Schnittstelle 16B des Subprozessorsystems 10B zugeordnet ist), erfolgt über Nachrichten-"Pakete". Jedes Nachrichtenpaket besteht aus einer Anzahl von 9-Bit-Symbolen, die Daten enthalten können oder ein Steuersymbol sein können. Nachrichtenpakete werden synchron auf den TNet-Links L in bitparalleler, symbolserieller Weise übertragen und von einem Sendeschritt-Takt begleitet, welcher von der das Nachrichtenpaket übertragenden Komponente bereitgestellt wird. Die Takte zwischen den kommunizierenden Elementen (d. h. zwischen Sender und Empfänger) können in einer von zwei Betriebsarten betrieben werden: einem "frequenznahen" Modus oder einem "frequenzsynchronisierten" Modus.The exchange of information between any element of the processing system 10 and any other element (e.g. the CPU 12A of a subprocessor system 10A ) of the system and any other element of the system (e.g. an I / O device that is an I / O packet interface 16B of the subprocessor system 10B assigned), takes place via message "packets". Each message packet consists of a number of 9-bit symbols, which can contain data or can be a control symbol. Message packets are transmitted synchronously on the TNet links L in a bit-parallel, symbol-serial manner and accompanied by a send step clock which is provided by the component transmitting the message packet. The clocks between the communicating elements (ie between transmitter and receiver) can be operated in one of two operating modes: a "near-frequency" mode or a "frequency-synchronized" mode.
Beim Betrieb in frequenznahem Modus sind die von dem sendenden Element und dem empfangenden Element verwendeten Taktsignale voneinander getrennt und werden lokal generiert, wenngleich sie innerhalb eines vorbestimmten Toleranzbereichs im wesentlichen auf derselben Frequenz gehalten werden. Aus diesem Grund wurde ein einzigartiges Verfahren entwickelt, das es erlaubt, die Symbole beim Empfänger unter Verwendung einer (weiter unten eingehender beschriebenen) Taktsynchronisierungs-FIFO-Speicherstruktur (TS-FIFO) zu empfangen. Das TS-FIFO wird betrieben, um jedes Auseinanderdriften, zu dem es zwischen dem Taktsignal des Empfängers und des Überträgers eines Nachrichtenpakets infolge des frequenznahen Betriebs kommen kann, auszugleichen. Der frequenznahe Betriebsmodus kommt zum Einsatz bei der Übertragung von Symbolen von einem Router 14 zu einem anderen, oder zwischen einem Router 14 und einer I/O-Paket-Schnittstelle 16, oder zwischen Routern 14 und CPUs 12, welche im (weiter unten beschriebenen) Simplex-Betrieb laufen.When operating in near-frequency mode, the clock signals used by the transmitting element and the receiving element are separated from one another and are generated locally, although they are kept at essentially the same frequency within a predetermined tolerance range. For this reason, a unique method has been developed which allows the symbols to be received at the receiver using a clock synchronization FIFO (TS FIFO) memory structure (described in more detail below). The TS FIFO is operated to compensate for any drift that may occur between the clock signal of the receiver and the transmitter of a message packet as a result of the near-frequency operation. The near-frequency operating mode is used for the transmission of symbols from a router 14 to another, or between a router 14 and an I / O packet interface 16 , or between routers 14 and CPUs 12 which run in simplex mode (described below).
Frequenzsynchronisierter Betrieb bedeutet lediglich folgendes: die Frequenzen der Taktsignale der Sende- und Empfangseinheiten sind synchronisiert, jedoch nicht unbedingt phasensynchronisiert. Frequenzsynchronisierte Taktsignale finden Verwendung, um Symbole zwischen den Routern 14A , 14B und den CPUs 12 gepaarter Subprozessorsysteme (z. B. der Subprozessorsysteme 10A, 10B aus 1A) zu übertragen. Da die Takte des übertragenden und des empfangenden Elements nicht phasenbezogen sind, wird hier wieder ein Taktsynchronisierungs-FIFO verwendet, auch wenn dieses in einem leicht veränderten Modus betrieben wird, verglichen mit jenem, das für den frequenznahen Betrieb verwendet wird.Frequency-synchronized operation only means the following: the frequencies of the clock signals of the transmitting and receiving units are synchronized, but not necessarily phase-synchronized. Frequency-synchronized clock signals are used to place symbols between the routers 14A . 14B and the CPUs 12 paired subprocessor systems (e.g. the subprocessor systems 10A . 10B out 1A ) transferred to. Since the clocks of the transmitting and receiving elements are not phase-related, a clock synchronization FIFO is again used here, even if it is operated in a slightly changed mode, compared to that used for near-frequency operation.
Jeder Router 14 ist mit 6 bidirektionalen TNet-Ports, 0–5, ausgestattet, von denen ein jeder im wesentlichen identisch aufgebaut ist, allerdings mit einer Ausnahme: die beiden Ports (4, 5), die für den Anschluss an eine CPU 12 verwendet werden, weisen eine etwas veränderte Struktur auf. Dieser Unterschied, wie noch genauer zu sehen sein wird, ist durch die Tatsache bedingt, dass Paare der Subprozessorsysteme 10 in einem synchron im Gleichschritt laufenden Modus, auch Duplexbetrieb genannt, betrieben werden können, wobei eine jede GPU 12 betrieben wird, um denselben Befehl aus demselben Befehlsstrom zur selben Zeit auszuführen. Beim Duplexbetrieb ist es wichtig, dass von einem beliebigen E/A-Gerät kommende, eingehende E/A-Signale praktisch zur selben Zeit an beide CPUs 12 übermittelt werden. So wird zum Beispiel ein Nachrichtenpaket, das an Port 3 des Routers 14A empfangen wird, von dem Router 14A dupliziert und von den Router-Ports 4, 5 weg übertragen, so dass dasselbe Symbol im wesentlichen zur selben Zeit an die CPUs 12 übermittelt wird. In dieser Weise können die Ports 4, 5 von den anderen Ports 0–3 des Routers 14 abweichen.Any router 14 is equipped with 6 bidirectional TNet ports, 0-5, each of which is essentially identical, but with one exception: the two ports (4, 5), which are used to connect to a CPU 12 used have a slightly changed structure. This difference, as will be seen in more detail, is due to the fact that pairs of subprocessor systems 10 can be operated in a synchronous, synchronous mode, also called duplex operation, each GPU 12 is operated to execute the same command from the same command stream at the same time. In duplex operation, it is important that incoming I / O signals from any I / O device are sent to both CPUs at virtually the same time 12 be transmitted. For example, a message packet that is on port 3 of the router 14A is received by the router 14A duplicated and transmitted away from router ports 4, 5 so that the same symbol is sent to the CPUs at substantially the same time 12 is transmitted. In this way, ports 4, 5 can be accessed from the other ports 0-3 of the router 14 differ.
1A veranschaulicht ein weiteres Merkmal der Erfindung: eine Quervernetzung zwischen den beiden Subprozessorsystemen 10A, 10B durch die Verwendung von zusätzlichen Routern 14 (in 1A durch die Bezugszeichen RX1, RX2, RY1 und RY2 gekennzeichnet). Wie 1 veranschaulicht, bilden die hinzugefügten Router RX1, RX2, RY1 und RY2 eine Quervernetzung zwischen den Subprozessoren 10A, 10B (bzw., wie gezeigt, zwischen den jeweiligen "Seiten" X und Y), um sie an die E/A-Paket-Schnittstellen 16X, 16Y anzuschliessen. Die Quervernetzungs-Links zwischen den Routern RX1–RY2 und RY1–RX2 stellen den Quervernetzungspfad von einer Seite (X bzw. Y) zu der anderen bereit, und zwar ziemlich genau in derselben Weise, wie dies auch durch die Quervernetzungen Ly zwischen den CPUs 12A, 12B und den Routern 14B, 14A erfolgt. Die durch die Router RX1, RX2, RY1 und RY2 bereitgestellte Quervernetzung ermöglichen es jedoch den (nicht gezeigten) E/A-Geräten, die an die F/A-Paket-Schnittstellen 16X, 16Y angeschlossen werden können, um zur einen Seite (X bzw. Y) hin oder zur anderen gelenkt werden zu können. 1A illustrates another feature of the invention: cross-linking between the two subprocessor systems 10A . 10B through the use of additional routers 14 (in 1A characterized by the reference numerals RX 1 , RX 2 , RY 1 and RY 2 ). How 1 illustrated, the added routers RX 1 , RX 2 , RY 1 and RY 2 form a cross-link between the subprocessors 10A . 10B (or, as shown, between the respective "pages" X and Y) to connect them to the I / O packet interfaces 16X, 16Y. The cross-linking links between the routers RX 1 -RY 2 and RY 1 -RX 2 provide the cross-linking path from one side (X or Y) to the other, in much the same way, as is also the case through the cross-links Ly between the CPUs 12A . 12B and the routers 14B . 14A he follows. However, the cross-linking provided by the routers RX 1 , RX 2 , RY 1 and RY 2 enables the I / O devices (not shown) which can be connected to the F / A packet interfaces 16X, 16Y in order to to be able to steer one side (X or Y) towards or to the other.
Wie in 1A gezeigt, stellen die Router RX2 und RY2 den E/A-Paket-Schnittstelleneinheiten 16x und 16y eine Schnittstelle mit zwei Ports bereit. Nun ist es natürlich klar, dass die E/A-Paket-Schnittstellen 16X, 16Y ihrerseits so aufgebaut sein könnten, dass sie von sich aus zwei Ports aufweisen, als Alternative zu der Quervernetzung über die von den Routern RX2 and RY2 gebildeten Dual-Port-Verbindungen, und dass diese Dual Ports an die Router RX1, RY1 angeschlossen werden können.As in 1A As shown, routers RX 2 and RY 2 provide the I / O packet interface units 16x and 16y an interface with two ports. Now it is of course clear that the I / O packet interfaces 16X . 16Y could in turn be constructed in such a way that they have two ports of their own accord, as an alternative to cross-linking via the dual-port connections formed by the routers RX 2 and RY 2 , and that these dual ports to the routers RX 1 , RY 1 can be connected.
Wie später noch klar werden wird, nachdem der Aufbau und der Entwurf der Router 14 verstanden worden ist, eignen diese sich dazu, in einer Weise verwendet zu werden, die es ermöglicht, die Konfiguration des Verarbeitungssystems 10 auf zusätzliche Subprozessorsysteme auszuweiten, wie in den 1B und 1C veranschaulicht wird. In 1B wird zum Beispiel ein Port eines jeden der Router 14A und 14B dazu verwendet, die entsprechenden Subprozessorsysteme 10A und 10B mit zusätzlichen Subprozessorsystemen 10A* und 10B* zu verbinden und somit ein grösseres Verarbeitungssystem zu bilden, welches Gruppen des elementaren Verarbeitungssystems aus 1 umfasst.As will become clear later, after the construction and design of the router 14 have been understood, they are suitable for use in a manner that enables the configuration of the processing system 10 to expand to additional subprocessor systems, as in the 1B and 1C is illustrated. In 1B becomes, for example, a port of each of the routers 14A and 14B used the corresponding subprocessor systems 10A and 10B with additional subprocessor systems 10A * and 10B * to connect and thus form a larger processing system, which groups out of the elementary processing system 1 includes.
In ähnlicher Weise wird das obige Konzept in 1C auf einen Cluster bestehend aus acht Subprozessorsystemen ausgeweitet, welcher die Subprozessorsystem-Paare 10A/10B, 10A'/10B' , 10A"/10B" und 10A"'/10B'" umfasst. Jedes der Subprozessorsysteme (z. B. Subprozessorsystem 10A) hat seinerseits im wesentlichen dieselbe Basis-Minimalkonfiguration bestehend aus einer CPU 12, einem Router 14, und durch eine E/A-Paket-Schnittstelle 16 mit dem TNet verbundenen E/A[-Elementen], mit der Ausnahme, dass, wie in 1C gezeigt, die Subprozessorsysteme 10A und 10B jeweils zusätzliche Router 14C und 14D beinhalten, um den Cluster über die Subprozessorsysteme 10A*/10B* hinausgehend auf die Subprozessorsysteme 10A"/10B" und 10A"'/10B"' zu erweitern. Wie 1C weiterhin veranschaulicht, können die unbenutzten Ports 4 und 5 der Router 14C und 14D dazu verwendet werden, um den Cluster sogar noch weiter zu erweitern.Similarly, the concept above is in 1C expanded to a cluster consisting of eight subprocessor systems, which the subprocessor system pairs 10A / 10B . 10A ' / 10B ' . 10A " / 10B " and 10A "' / 10B '' includes. Each of the subprocessor systems (e.g. subprocessor system 10A ) has essentially the same basic minimum configuration consisting of a CPU 12 , a router 14 , and through an I / O packet interface 16 I / O [elements] connected to the TNet, except that, as in 1C shown the subprocessor systems 10A and 10B additional routers each 14C and 14D involve the cluster through the subprocessor systems 10A * / 10B * going beyond the subprocessor systems 10A " / 10B " and 10A "' / 10B '' to expand. How 1C further illustrated, the unused ports 4 and 5 of the router 14C and 14D can be used to expand the cluster even further.
Bedingt durch den Entwurf der Router 14 und durch das zur Leitung von Nachrichtenpaketen benutzte Verfahren kann bei wohlüberlegter Verwendung der Router 14 die Konfiguration der Topologie des Systems 10 entsprechend erfolgen, so dass jede CPU 12 des Verarbeitungssystems 10 aus 1C auf jede beliebige andere "Endeinheit" (z. B. eine CPU oder ein E/A-Gerät) eines jeden der anderen Subprozessorsysteme zugreifen kann. Zwei Pfade sind von jeder CPU 12 zu dem letzten Router 14 verfügbar, welcher die Verbindung zu der E/A-Paket-Schnittstelle 16 herstellt. So kann zum Beispiel der Zugriff der CPU 12B des Subprozessorsystems 10B' auf die E/A 16"' des Subprozessorsystems 10A"' über den Router 14B (des Subprozessorsystems 10B'), den Router 14D, und den Router 14B (des Subsystems 10A"') und, auf dem Weg über das Link LA, über den Router 14A (Subsystem 10A"'), ODER über den Router 14A (des Subsystems 10A'), den Router 14C und den Router 14A (Subprozessorsystem 10A'") erfolgen. In ähnlicher Weise hat die CPU 12A des Subprozessorsystems 10A" (über zwei Pfade) Lese- oder Schreibzugriff auf Speicherorte, welche in der CPU 12B des Subprozessors enthalten sind. (Der Speicherzugriff seitens einer CPU 12 einer anderen Komponente des Verarbeitungssystems erfordert, wie noch genauer zu erläutern sein wird, dass die Komponente, die den Zugriff anfordert, über eine Berechtigung dazu verfügt. Diesbezüglich wird von jeder CPU 12 eine Tabelle aufrechterhalten mit Einträgen für jede Komponente, die berechtigt ist, auf den Speicher der betreffenden CPU zuzugreifen, wobei dieser Zugriff üblicherweise auf ausgewählte Speicherbereiche und hinsichtlich der Zugriffsart beschränkt ist. Ein solches Berechtigungserfordernis verhindert die Korruption von Speicherdaten einer CPU durch einen Falschzugriff.) Die Topologie des in 1B gezeigten Verarbeitungssystems wird dadurch erreicht, dass der Port 1 der Router 14A, 14B und die zusätzlichen TNet-Links LA zum Verbindungsaufbau mit den Routern 14A', 14B' der Subprozessorsysteme 10A', 10B' verwendet werden. Die dadurch erzielte Topologie gewährleistet redundante Übertragungswege zwischen jeder beliebigen CPU 12 (12A, 12B, 12A', 12B') und jeder E/A-Paket-Schnittstelle 16 des in 1B gezeigten Verarbeitungssystems 10 . So kann zum Beispiel der Zugriff seitens der CPU 12A# des Subprozessorsystems 10A' auf die E/A 16A eines Subprozessorsystems 10A über einen ersten Pfad erfolgen, welcher durch den Routen 14A' (ein Port 4, aus Port 3), den Routen 14A (ein Port 3, aus Port 0) und durch diesen zugeordnete Verbindungs-TNet-Links L gebildet wird. Fällt jedoch der Routen 14A' aus, so kann der zugriff der CPU 12A' auf die E/A 16A über den Pfad erfolgen, welcher durch den Routen 14B' (ein Port 5, aus Port 3), den Routen 14B (ein Port 3, aus Port 1), das Link LA und den Routen 14A (ein Port 1, aus Port 0) erfolgen.Due to the design of the router 14 and by the method used to route message packets, the router can be used with care 14 the configuration of the topology of the system 10 accordingly, so that each CPU 12 of the processing system 10 out 1C can access any other "end unit" (e.g., a CPU or I / O device) of any of the other subprocessor systems. There are two paths from each CPU 12 to the last router 14 available which is the connection to the I / O packet interface 16 manufactures. For example, the access of the CPU 12B of the subprocessor system 10B ' on the I / O 16 "'of the subprocessor system 10A " 'via the router 14B (of the subprocessor system 10B ' ), the router 14D , and the router 14B (of the subsystem 10A " ') and, on the way over the Link LA, over the router 14A (subsystem 10A " '), OR via the router 14A (of the subsystem 10A ' ), the router 14C and the router 14A (sub-processor 10A '"). In a similar way, the CPU 12A of the subprocessor system 10A " (via two paths) read or write access to memory locations which are in the CPU 12B of the subprocessor are included. (The memory access from a CPU 12 another component of the processing system, as will be explained in more detail, requires that the component requesting access be authorized to do so. In this regard, every CPU 12 maintain a table with entries for each component that is authorized to access the memory of the relevant CPU, this access usually being restricted to selected memory areas and with regard to the type of access. Such an authorization requirement prevents the corruption of memory data of a CPU due to incorrect access.) The topology of the 1B processing system shown is achieved in that the port 1 of the router 14A . 14B and the additional TNet links LA to establish a connection with the routers 14A ' . 14B ' of subprocessor systems 10A ' . 10B ' be used. The topology achieved in this way ensures redundant transmission paths between any CPU 12 ( 12A . 12B . 12A ' . 12B ' ) and each I / O packet interface 16 of the in 1B processing system shown 10 , For example, access from the CPU 12A # of the subprocessor system 10A ' on the I / O 16A of a subprocessor system 10A via a first path, which is through the routes 14A ' (a port 4, from port 3), the routes 14A (a port 3, from port 0) and by this connection TNet links L is formed. However, the routes falls 14A ' off, the access of the CPU 12A ' on the I / O 16A via the path that goes through the routes 14B ' (a port 5, from port 3), the routes 14B (a port 3, from port 1), the link LA and the routes 14A (a port 1, from port 0).
Es sei darauf hingewiesen, dass die Topologie aus 1B ebenfalls redundante Übertragungswege zwischen jedem beliebigen Paar von CPUs 12 des Systems 10 gewährleistet und somit eine Einrichtung zur fehlertoleranten Kommunikation zwischen CPUs bereitstellt.It should be noted that the topology 1B also redundant transmission paths between any pair of CPUs 12 of the system 10 guaranteed and thus provides a facility for fault-tolerant communication between CPUs.
1C veranschaulicht eine Erweiterung der in 1B gezeigten Topologie. Durch das Zusammenschalten eines Ports eines jeden Routers 14 eines jeden Subprozessorpaars und durch das Verwenden zusätzlicher TNet-Links LA (in 1C durch gestrichelte Verbindungslinien dargestellt) zwischen den Ports 1 der Router 14 (14A" und 14B") der Subprozessorsysteme 10A" , 10B" und 10A'", 10B'" ergeben sich zwei getrennte, unabhängige Datenpfade zwischen jeder CPU 12 und jeder E/A-Paket-Schnittstelle 16. Auf diese Weise bestehen von jeder Endeinheit (z. B. einer CPU 12 oder einer E/A-Paket-Schnittstelle 16) mindestens zwei Übertragungswege zu jeder anderen Endeinheit. 1C illustrates an extension of the in 1B shown topology. By interconnecting one port of each router 14 of each pair of subprocessors and by using additional TNet links LA (in 1C represented by dashed connecting lines) between ports 1 of the router 14 (14A "and 14B " ) of the subprocessor systems 10A " . 10B " and 10A '" 10B '' there are two ge separate, independent data paths between each CPU 12 and any I / O packet interface 16 , In this way, each end unit (e.g. a CPU 12 or an I / O packet interface 16 ) at least two transmission paths to each other end unit.
Die Bereitstellung alternativer Zugriffspfade zwischen zwei beliebigen Endeinheiten (z. B. zwischen einer CPU 12 und jeder beliebigen anderen CPU 12, oder zwischen jeder beliebigen CPU 12 und jeder beliebigen E/A-Paket-Schnittstelle 16 innerhalb des Systems 10 – 1C) stellt ein wichtiges Konzept dar. Der Ausfall eines Fehlerbereichs führt nicht zur Unterbrechung der Übertragungswege zwischen zwei beliebigen anderen der verbleibenden Fehlerbereiche. Ein Fehlerbereich könnte hier ein Subprozessorsystem (z. B. 10A) sein. Angenommen das Subprozessorsystem 10A würde aufgrund eines Defekts in der elektrischen Stromversorgung ausfallen, so hätte ohne das zwischen den Routern 19A"' und 14B"' angebrachte, zusätzliche TNet-Link LA die CPU 12B des Subprozessorsystems 10B den Zugriff auf die E/A-Paket-Schnittstelle 16 (über den Router 14A, den Router 14C, den Router 14A"' zu der E/A-Paket-Schnittstelle 16"') verloren. Dank der zusätzlichen Verbindung LA zwischen den Routern 14A"' und 14B"' ist selbst bei Verlust des Routers 14A (und des Routers 14C), der durch den Verlust des Subprozessorsystems 10A bedingt ist, ein Datenverkehr zwischen der CPU 12B weiterhin möglich, und zwar auf dem Weg über den Router 14B, den Router 14D, den Router 14B"', die zusätzliche Verbindung LA zu dem Router 14A"', und schliesslich zu der E/A-Paket-Schnittstelle 16"'.The provision of alternative access paths between any two end units (e.g. between a CPU 12 and any other CPU 12 , or between any CPU 12 and any I / O packet interface 16 within the system 10 - 1C ) is an important concept. The failure of an error area does not lead to the interruption of the transmission paths between any two of the remaining error areas. A sub-processor system (e.g. 10A ) his. Suppose the subprocessor system 10A would fail due to a defect in the electrical power supply, would have happened without that between the routers 19A " ' and 14B '' attached, additional TNet-Link LA the CPU 12B of the subprocessor system 10B access to the I / O packet interface 16 (via the router 14A , the router 14C , the router 14A " 'to the I / O packet interface 16 "') lost. Thanks to the additional connection LA between the routers 14A " 'and 14B "' is even if the router is lost 14A (and the router 14C ) caused by the loss of the subprocessor system 10A is a data traffic between the CPU 12B still possible, on the way via the router 14B , the router 14D , the router 14B " ', the additional connection LA to the router 14A " ', and finally to the I / O packet interface 16 "'.
CPU-Architektur:CPU architecture:
Unter Bezugnahme auf 2 wird im folgenden die CPU 12A im Detail veranschaulicht. Da die beiden CPUs 12A und 12B in Aufbau und Funktion im wesentlichen identisch sind, werden hier nur die Details der CPU 12A beschrieben. Es versteht sich jedoch, dass, sofern keine anderslautenden Angaben gemacht werden, die Abhandlung der CPU 12A auch auf die CPU 12B anwendbar ist. Wie 2 zeigt, beinhaltet die CPU 12A ein Paar von Prozessoreinheiten 20a, 20b, welche insofern für einen synchronen, im Gleichschritt laufenden Betrieb konfiguriert sind, als beide Prozessoreinheiten 20a, 20b im wesentlichen zum selben Zeitpunkt identische Befehle empfangen und ausführen und identische Daten- und Befehlsausgaben vornehmen. Jede der Prozessoreinheiten 20a und 20b ist über einen Bus 21 (21a, 21b) mit einem entsprechenden Cachespeicher 22 verbunden. Der verwendete spezielle Typ der Prozessoreinheit könnte auch über ausreichend internen Cachespeicher verfügen, so dass der Cachespeicher 22 nicht benötigt würde. Alternativ dazu könnte der Cachespeicher 22 verwendet werden, um den allfällig vorhandenen, internen Cachespeicher der Prozessoreinheiten 20 zu ergänzen. Wie dem auch sei, wenn der Cachespeicher 22 verwendet wird, so ist der Bus 21 so aufgebaut, dass er X28 Bits Daten, 16 Bits Fehlerkorrekturcode(FKC)-Prüfbits zum Schutz der Daten, 25 Identifizierungsbits (für die Daten und den entsprechenden FKC), 3 die Identifizierungsbits abdeckenden Prüfbits, 22 Adressbits, 3 die Adresse abdeckende Paritätsbits und 7 Steuerbits.With reference to 2 in the following the CPU 12A illustrated in detail. Because the two CPUs 12A and 12B are essentially identical in structure and function, only the details of the CPU 12A described. However, it goes without saying that, unless otherwise stated, the handling of the CPU 12A also on the CPU 12B is applicable. How 2 shows, contains the CPU 12A a pair of processor units 20a . 20b , which are configured for synchronous operation running in step, in that both processor units 20a . 20b Receive and execute identical commands at substantially the same time and perform identical data and command outputs. Each of the processor units 20a and 20b is about a bus 21 ( 21a . 21b ) with an appropriate cache memory 22 connected. The special type of processor unit used could also have sufficient internal cache memory so that the cache memory 22 would not be needed. Alternatively, the cache could 22 be used to the existing internal cache memory of the processor units 20 to complete. Anyway, if the cache 22 is used, so is the bus 21 constructed such that it contains X28 bits of data, 16 bits of error correction code (FKC) check bits for protecting the data, 25 identification bits (for the data and the corresponding FKC), 3 check bits covering the identification bits, 22 address bits, 3 parity bits covering the address, and 7 control bits.
Die Prozessoren 20a, 20b sind auch jeweils über einen getrennten 64-Bit Adress-/Datenbus 23 an die X- und Y-Schnittstelleneinheiten 24a, 24b angeschlossen. Falls gewünscht, könnten die über jeden Bus 23a, 23b übertragenen Adressen/Daten ebenfalls durch Paritätsbits geschützt werden, dies erhöht jedoch die Busbreite. (Vorzugsweise beinhalten die Prozessoren 20 ihrem Aufbau nach Mikroprozessoren vom Typ RISC R4000 wie sie von der MIPS Abteilung der in Santa Clara in Kalifornien ansässigen Gesellschaft Silicon Graphics, Inc. vertrieben werden.) Die X- und Y-Schnittstelleneinheiten 24a, 24b werden betrieben, um Daten- und Steuersignale zwischen den Prozessoreinheiten 20a, 20b und einem Speichersystem der CPU 12A, welches eine Speichersteuerung (SpSt) 26 (zusammengesetzt aus zwei SpSt-Hälften 26a und 26b) und eine dynamische Schreib-Lese-Speicherplatzanordnung 28 umfasst, zu übertragen. Die Schnittstelleneinheiten 24 stehen untereinander und mit den Speichersteuerungen 26a, 26b über einen 72-Bit Adress-/Steuerbus 25 in Verbindung. Wie noch genauer zu erläutern sein wird, werden von den Schnittstelleneinheiten 24 zwar 64-Bit-Daten-Doppelwörter (begleitet von 8 Bit Fehlerkorrekturcode) in den Speicher 28 geschrieben, eine Schnittstelleneinheit 24 steuert jedoch nur ein Wort (z. B. den Abschnitt der 32 wichtigsten Bits) des zu schreibenden Doppelworts, während die andere Schnittstelleneinheit 24 das andere Wort des Doppelworts (z. B. den am wenigsten bedeutenden 32-Bit-Abschnitt des Doppelworts) in den Speicher schreibt. Darüber hinaus führen die Schnittstelleneinheiten 24a, 24b zum Zweck der Fehlerkontrolle bei jeder Speicherbeschreibung eine Gegenkontrolle jener Daten, die nicht von der einen Schnittstelleneinheit 24 geschrieben worden sind mit jenen, die von der anderen geschrieben worden sind, durch; bei Leseoperationen werden die über den Bus 25 geleiteten Adressen in derselben Weise gegengeprüft. Der spezielle Fehlerkorrekturcode, welcher zum Schutz sowohl der in den Cachespeicher 22 geschriebenen Daten als auch des (Haupt)Speichers 28 verwendet wird, ist herkömmlicher Natur und ermöglicht Einzelbitfehlerkorrektur und Doppelbitfehlererkennung.The processors 20a . 20b are also each via a separate 64-bit address / data bus 23 to the X and Y interface units 24a . 24b connected. If desired, they could be on any bus 23a . 23b transmitted addresses / data are also protected by parity bits, but this increases the bus width. (Preferably the processors include 20 Microprocessors of the type RISC R4000 as they are sold by the MIPS department of the Santa Clara, California-based company Silicon Graphics, Inc.) The X and Y interface units 24a . 24b are operated to provide data and control signals between the processor units 20a . 20b and a memory system of the CPU 12A , which a memory controller (SpSt) 26 (composed of two SpSt halves 26a and 26b ) and a dynamic random access memory arrangement 28 includes to transmit. The interface units 24 stand with each other and with the storage controls 26a . 26b via a 72-bit address / control bus 25 in connection. As will be explained in more detail, the interface units 24 64-bit data double words (accompanied by 8-bit error correction code) into the memory 28 written, an interface unit 24 however, controls only one word (e.g. the section of the 32 most important bits) of the double word to be written, while the other interface unit 24 writes the other word of the double word (e.g., the least significant 32-bit portion of the double word) into memory. In addition, the interface units run 24a . 24b for the purpose of error checking for each memory description, a counter check of the data that is not from the one interface unit 24 have been written with by those written by the other; read operations are carried out via the bus 25 forwarded addresses in the same way. The special error correction code which is used to protect both the cached memory 22 written data as well as the (main) memory 28 is conventional in nature and enables single bit error correction and double bit error detection.
Konzeptuell enthält jedes Doppelwort ein "ungerades" und ein "gerades" Wort. Eine der Speichersteuerungen 26 schreibt die ungeraden Wörter in den Speicher, während die andere die geraden Wörter schreibt. Darüber hinaus schreiben die Speichersteuerungen 26 zwei Doppelwörter gleichzeitig, zusammen mit dem 8-Bit-Fehlerkorrekturcode (FKC) für dieses Doppelwort. Ausserdem sind die FKC-Prüfbits entsprechend ausgebildet so dass sie nicht nur das Doppelwort abdecken, sondern auch die Adresse des Speicherorts, an welchem das Doppelwort geschrieben wird. Anlässlich eines späteren Zugriffs wird der FCK dazu verwendet, um Einzelbitfehler zu korrigieren und Doppelbitfehler zu erkennen, welche in den Daten aufgetreten sein können, wobei gleichzeitig auch sichergestellt wird, dass das Datenwort, auf das zugegriffen wird, der Adresse des Ortes entspricht, von welchem das Doppelwort gespeichert wurde.Conceptually, each double word contains an "odd" and an "even" word. One of the memory controllers 26 writes the odd words into memory while the other writes the even words. In addition, the memory controllers write 26 two double words at the same time, together with the 8-bit error correction code (FKC) for this double word. In addition, the FKC check bits are off accordingly formed so that they not only cover the double word, but also the address of the storage location where the double word is written. On the occasion of a later access, the FCK is used to correct single-bit errors and to detect double-bit errors that may have occurred in the data, while at the same time ensuring that the data word being accessed corresponds to the address of the location from which the double word has been saved.
Die Schnittstelleneinheiten 24a, 24b der CPU 12A bilden den Schaltungsaufbau um jeweils die X- und Y-(I/O)-Ports der CPU 12A zu bearbeiten. So steht etwa die X-Schnittstelleneinheit 24a über das bidirektionale TNet-Link Lx mit einem Port des Routers 14A des Prozessorsystems 10A (1A) in Verbindung, während das Y-Schnittstellenelement 24b in ähnlicher Weise über das TNet-Link Ly mit dem Router 14B des Prozessorsystems 10B in Verbindung steht. Die X-Schnittstelleneinheit 24a handhabt den gesamten E/A-Datenverkehr zwischen dem Router 14A und der CPU 12A des Subprozessorsystems 10A. In gleicher Weise ist die Y-Schnittstelleneinheit 24b für den gesamten E/A-Datenverkehr zwischen der CPU 12A und dem Router 14B des dazugehörigen Subprozessorsystems 10B verantwortlich.The interface units 24a . 24b the CPU 12A form the circuit structure around the X and Y (I / O) ports of the CPU 12A to edit. For example, the X interface unit is located 24a via the bidirectional TNet-Link Lx with one port of the router 14A of the processor system 10A ( 1A ) while the Y interface element 24b in a similar way via the TNet-Link Ly with the router 14B of the processor system 10B communicates. The X interface unit 24a handles all I / O traffic between the router 14A and the CPU 12A of the subprocessor system 10A , The Y interface unit is in the same way 24b for all I / O traffic between the CPU 12A and the router 14B of the associated subprocessor system 10B responsible.
Das TNet-Link Lx, welches die X-Schnittstelleneinheit 24a mit dem Router 14A (1) verbindet, umfasst, wie weiter oben erwähnt, zwei 10-Bit-Busse 30x, 32y, von denen ein jeder ein Taktsignal und 9 Datenbits überträgt. Der Bus 30x befördert Übertragungsdaten an den Router 14A; der Bus 32x befördert von dem Router 14A eingehende Daten. In ähnlicher Weise ist die Y-Schnittstelleneinheit 24b mit dem Router 14B (des Subprozessorsystems 10B) mittels zweier 10-Bit-Busse verbunden: 30y (für abgehende Übertragungen) und 32y (für eingehende Übertragungen), welche zusammen das TNet-Link Ly bilden.The TNet-Link Lx, which is the X interface unit 24a with the router 14A ( 1 ) connects, as mentioned above, comprises two 10-bit buses 30 x . 32 y , each of which transmits a clock signal and 9 data bits. The bus 30 x conveys transmission data to the router 14A ; the bus 32 x conveyed by the router 14A incoming data. The Y interface unit is similar 24b with the router 14B (of the subprocessor system 10B ) connected by means of two 10-bit buses: 30y (for outgoing transmissions) and 32y (for incoming transmissions), which together form the TNet-Link Ly.
Die X- und Y-Schnittstelleneinheiten 24a, 24b werden synchron im Gleichschritt betrieben und führen im wesentlichen zur selben Zeit im wesentlichen dieselben Operationen aus. Somit werden, obwohl nur die X-Schnittstelleneinheit 24a tatsächlich Daten auf den Bus 30 x überträgt, dieselben Ausgabedaten auch von der Y-Schnittstelleneinheit 24b erzeugt und zur Fehlerprüfung verwendet. Die Ausgabedaten der Y-Schnittstelleneinheit 24b werden über ein Quervernetzungs-Link 34y an die X-Schnittstelleneinheit 24a angelegt, wo sie von der X-Schnittstelleneinheit 24a empfangen werden und im Zuge einer Gegenprüfung mit denselben, von der X-Schnittstelleneinheit erzeugten Ausgabedaten verglichen werden. Auf diese Weise werden die abgehenden Daten am X-Port der CPU 12A bereitgestellt und auf Fehler geprüft.The X and Y interface units 24a . 24b are operated synchronously in step and perform essentially the same operations at substantially the same time. Thus, although only the X interface unit 24a actually data on the bus 30 x transmits the same output data from the Y interface unit 24b generated and used for error checking. The output data of the Y interface unit 24b are via a cross-link 34y to the X interface unit 24a created where it from the X interface unit 24a are received and compared in the course of a cross-check with the same output data generated by the X interface unit. In this way, the outgoing data on the X-port of the CPU 12A provided and checked for errors.
In derselben Weise werden die von dem Port der CPU 12A übertragenen Ausgangsdaten geprüft. Die Ausgabedaten von der Y-Schnittstelleneinheit 24b werden über einen 10-Bit-Bus 30y an den Y-Port und weiterhin über ein 9-Bit- Querverbindungs-Link 34y an die X-Schnittstelleneinheit 24a angelegt, wo sie im Zuge einer Gegenprüfung mit den von der X-Schnittstelleneinheit erzeugten Ausgabedaten verglichen werden.In the same way, that of the port of the CPU 12A transferred output data checked. The output data from the Y interface unit 24b are on a 10 bit bus 30y to the Y port and still via a 9-bit cross-connection link 34y to the X interface unit 24a where they are compared in the course of a cross-check with the output data generated by the X interface unit.
Wie erwähnt, befinden sich die beiden Schnittstelleneinheiten 24a, 24b in synchronem, im Gleichschritt laufenden Betrieb zueinander, wobei eine jede im wesentlichen zur selben Zeit im wesentlichen dieselben Operationen ausführen. Aus diesem Grund müssen Daten, welche an dem X- und/oder Y-Ports der CPU 12A empfangen werden, von beiden Schnittstelleneinheiten 24a, 24b empfangen werden, damit die beiden Schnittstelleneinheiten ihren im Gleichschritt laufenden Betrieb beibehalten. Daten, welche von einer Schnittstelleneinheit 24a, 24b empfangen werden, werden somit an die andere weitergeleitet, wie durch die gestrichelten Linien und die 9-Bit-Quervernetzungen 36x angedeutet (die eingehende Daten, welche an dem X-Port durch die X-Schnittstelleneinheit 24a empfangen werden, an die Y-Schnittstelleneinheit 24b übertragen) und 36y, (die Daten, welche an dem Y-Port durch die Schnittstelleneinheit 24b empfangen werden, an die X-Schnittstelleneinheit 24a übertragen.As mentioned, the two interface units are located 24a . 24b in synchronous, synchronous operation with each other, each performing essentially the same operations at substantially the same time. For this reason, data that is on the X and / or Y ports of the CPU 12A are received by both interface units 24a . 24b are received so that the two interface units maintain their operation in synchronism. Data from an interface unit 24a . 24b are thus forwarded to the other, as indicated by the dashed lines and the 9-bit cross-links 36 x (the incoming data which is at the X-port by the X-interface unit 24a are received to the Y interface unit 24b transmitted) and 36 y , (the data sent to the Y port by the interface unit 24b are received to the X interface unit 24a transfer.
Bestimmte robustere Betriebssysteme sind mit einer fehlertoleranten sind mit einer fehlertoleranten Fähigkeit im Zusammenhang mit einem Multiprozessorsystem ausgestattet. Multiprozessorsysteme dieser Art stellen insofern eine fehlertolerante Umgebung bereit, als sie der Software die Möglichkeit geben, von der Hardware oder der Software entdeckte Fehler zu korrigieren. In dem U.S.-Patent Nr. 4.817.091 wird zum Beispiel ein Multiprozessorsystem abgehandelt, bei welchem jeder Prozessor in regelmässigen Abständen jeden Prozessor des Systems (einschliesslich seiner selbst) softwaregesteuert eine Nachricht sendet, um anzuzeigen, dass er nach wie vor in Betrieb ist. Jeder der Prozessoren wird neben seinen normalen Rufgaben auch als Datensicherungs-Prozessor für einen anderen der Prozessoren eingesetzt. Gesetzt den Fall, dass ein Datensicherungs-Prozessor von dem ihm zugeordneten Prozessor keine Anzeigenachricht empfängt, übernimmt er die Rechentätigkeit dieses ihm zugeordneten Prozessors (von dem angenommen wird, dass er ausgefallen ist), neben der Durchführung seiner eigenen Aufgaben mit. Andere fehlertolerante Techniken, welche weniger robuste Software bzw. Betriebssysteme verwenden (d. h. ohne eigene Fähigkeit, erkannte Fehler zu korrigieren) werden mit Hardware und mit einer Logik entworfen, die betreiben werden, um erkannte Fehler zu korrigieren.Certain more robust operating systems are with a fault tolerant are with a fault tolerant ability in connection with a multiprocessor system. Multiprocessor systems of this kind provide a fault-tolerant environment when they gave the software the opportunity to correct errors discovered by the hardware or software. In the U.S. patent No. 4.817.091, for example, a multiprocessor system is dealt with, in which each processor at regular intervals each processor of the system (including himself) software controlled a message sends to indicate that it is still operating. Everyone In addition to its normal calls, the processor is also used as a data backup processor for one other of the processors used. Assuming that a backup processor it receives no display message from the processor assigned to it computing this processor assigned to it (which is assumed that he has failed), in addition to performing his own duties With. Other fault tolerant techniques, which are less robust software or use operating systems (i.e. without their own ability to detected errors are corrected) with hardware and with a Logic designed to operate to correct detected errors.
Die vorliegende Erfindung zielt darauf ab, eine Hardwareplattform für beide Softwaretypen bereitzustellen. Ist also ein robustes Betriebssystem verfügbar, so kann das Verarbeitungssystem 10 entsprechend konfiguriert werden, um in einem "Simplex"-Betrieb zu arbeiten, in welchem jede der CPUs 12A und 12B in unabhängiger Weise voneinander betrieben wird. Die CPUs 12 sind mit Schaltungsanordnungen zur Fehlerprüfung an strategischen Punkten innerhalb verschiedener CPU-interner Übertragungswege ausgeführt. Die Router 14 stellen eine Kommunikation zwischen Prozessoren her und ermöglichen den Datenaustausch zwischen den verschiedenen CPUs 12, die innerhalb des Systems 10 miteinander verbunden sein können, und schaffen weiterhin einen Kommunikationsweg von jeder CPU des Systems zu jedem Gerät, das über die E/A-Paket-Schnittstelle 16 angesteuert werden kann. Wird ein Fehler erkannt, so wird die Verantwortung für die Korrektur dieses Fehlers in den meisten Fällen der Software überlassen.The present invention aims to provide a hardware platform for both types of software. If a robust operating system is available, the processing system can 10 be configured accordingly to operate in a "simplex" mode in which each of the CPUs 12A and 12B is operated independently of one another. The CPUs 12 are implemented with circuit arrangements for error checking at strategic points within various CPU-internal transmission paths. The router 14 establish communication between processors and enable data exchange between the various CPUs 12 that are within the system 10 can be connected to each other, and continue to create a communication path from each CPU of the system to any device through the I / O packet interface 16 can be controlled. If an error is detected, the responsibility for correcting this error is in most cases left to the software.
Alternativ dazu bietet das Verarbeitungssystem 10 für weniger robuste Betriebssysteme und Software eine hardwarebasierte Fehlertoleranz, indem es entsprechend konfiguriert wird, um in einem "Duplex"-Betriebsmodus zu arbeiten, in welchem ein Paar von CPUs (z. B. die CPUs 12A, 12B) wie in 1A gezeigt, zusammengeschaltet werden, um in synchron, im Gleichschritt laufender Weise betrieben zu werden, sodass sie dieselben Befehle im wesentlichen zum selben Zeitpunkt ausführen. Dadurch wird jede CPU als Kontrolleinrichtung für die andere. Gesetzt den Fall, dass eine der CPUs 12 einen Fehler entwickelt, so kann sie gemäss ihrer "Schnellfehl"-Eigenschaft schnell versagen und heruntergefahren werden, noch bevor sich der Fehler ausbreiten und den Rest des Systems korrumpieren kann. Die andere CPU 12 setzt ihren Betrieb fort und übernimmt dabei die Aufgabe(n) von beiden. Der Duplex-Betriebsmodus erlaubt es somit dem Hardwaresystem, die Auswirkung des Fehlers zu verdecken.Alternatively, the processing system offers 10 hardware-based fault tolerance for less robust operating systems and software by being configured to operate in a "duplex" mode of operation in which a pair of CPUs (e.g., the CPUs 12A . 12B ) as in 1A shown to be operated together in order to operate in synchronism, in step, so that they execute the same commands at substantially the same time. This makes each CPU a control device for the other. Assume that one of the CPUs 12 If an error develops, it can fail and shut down quickly according to its "quick fail" property, before the error can spread and corrupt the rest of the system. The other CPU 12 continues its operation and takes over the task (s) of both. The duplex operating mode thus allows the hardware system to hide the effects of the error.
Daten- und Steuersymbole werden zwischen den verschiedenen CPUs 12 und den E/A-Paket-Schnittstellen 16 in Form von Nachrichtenpaketen ausgetauscht, welche 9 Bit Daten- und Steuersymbole umfassen. Um den Entwurfe der CPU 12 zu vereinfachen, werden die Prozessoren 20 daran gehindert, direkt mit einer externen Einheit (z. B. einer anderen CPU 12 oder einem E/A-Gerät über die E/A-Paket-Schnittstelle 16) zu kommunizieren. Vielmehr erstellt der Prozessor, wie noch genauer zu erläuten sein wird, eine Datenstruktur im Speicher und übergibt die Steuerung hierauf an die Schnittstelleneinheiten 24. Jede Schnittstelleneinheit 24 beinhaltet eine Blockübertragungsmaschine (BÜM; 5), die entsprechend konfiguriert ist, um eine Art von direkter Speicherzugriffsfähigkeit (DMA) bereitzustellen, welche es erlaubt, auf die Datenstruktur en) aus dem Speicher zuzugreifen und sie über den geeigneten X- bzw. Y-Port zum Datenaustausch mit dem Ziel gemäss einer in dem Datenpaket enthaltenen Information zu übertragen.Data and control symbols are between the different CPUs 12 and the I / O packet interfaces 16 exchanged in the form of message packets, which comprise 9 bit data and control symbols. To the designs of the CPU 12 to simplify the processors 20 prevented from directly connecting to an external unit (e.g. another CPU 12 or an I / O device via the I / O packet interface 16 ) to communicate. Rather, as will be explained in more detail below, the processor creates a data structure in the memory and then transfers the control to the interface units 24 , Every interface unit 24 includes a block transfer machine (BÜM; 5 ), which is configured accordingly to provide a type of direct memory access capability (DMA), which allows the data structures to be accessed from the memory and used via the suitable X or Y port for data exchange with the target according to one to transmit information contained in the data packet.
Der Entwurf des Verarbeitungssystems 10 ermöglicht es, dass ein Speicher 28 einer CPU von externen Quellen aus (z. B, der CPU 12B oder einem E/A-Gerät) gelesen bzw. beschrieben werden kann. Aus diesem Grund muss darauf geachtet werden, sicherzustellen, dass eine von aussen erfolgende Benutzung eines Speichers 28 einer CPU 12 nur in Verbindung mit einer entsprechenden Berechtigung erfolgt. Der Zugriff auf den Speicher 28 ist daher durch einen Zugriffsvalidierungsmechanismus geschützt, welcher einen Zugriff erlaubt oder verhindert, und zwar nach Prüfung verschiedener Faktoren, wie etwa woher die Zugriffsanforderung kam, welche Art von Zugriff angefordert wurde, der Ort des angeforderten Zugriffs und dergleichen. Die Zugriffsvalidierung wird über eine Zugriffsvalidierungstabellen(ZVÜ)-Logik realisiert, welche weiter unten im Zuge der Abhandlung der 11–13 beschrieben wird.The design of the processing system 10 allows a memory 28 a CPU from external sources (e.g., the CPU 12B or an I / O device) can be read or written. For this reason, care must be taken to ensure that an external use of a memory 28 a CPU 12 only in connection with an appropriate authorization. Access to the memory 28 is therefore protected by an access validation mechanism that allows or prevents access after considering various factors such as where the access request came from, what type of access was requested, the location of the access requested, and the like. The access validation is implemented using an access validation table (ZVÜ) logic, which is described below in the course of the discussion of the 11-13 is described.
Verschiedene Aspekte der Erfindung benutzen die Konfiguration der Daten- und Steuerpakete, die über die Router 14 zwischen den E/A-Paket-Schnittstellen 16 und den CPUs 12 übertragen werden. Demgemäss ist es von Vorteil, bevor mit der Beschreibung des Aufbaus des Verarbeitungssystems 10 fortgefahren wird, als erstes die Konfiguration der Daten- und Steuersymbole und -pakete zu verstehen, die auf den TNet-Links L übertragen und durch die Router 14 gelenkt werden.Various aspects of the invention use the configuration of the data and control packets sent through the router 14 between the I / O packet interfaces 16 and the CPUs 12 be transmitted. Accordingly, it is advantageous before starting with the description of the processing system structure 10 will continue to first understand the configuration of the data and control symbols and packets transmitted on the TNet links L and through the routers 14 be directed.
Paketkonfigurationen:Package configurations:
Vier Grundtypen von Nachrichtenpaketen werden verwendet, um Steuersymbole und Daten zwischen den CPUs 12 und Peripheriegeräten 17 eines Systems auszutauschen. Die 3A–3D veranschaulichen den Aufbau eines Nachrichtenpaket-Typs (3A), zusammen mit einer Aufgliederung der Felder dieses Pakets (3B–3D); die 4A–4C veranschaulichen den Aufbau der anderen drei Pakettypen. Der Nachrichtenpaket-Typ, der verwendet wird, um Schreibdaten auf das TNet-Bereichsnetzwerk zu übertragen wird als HADC-Paket bezeichnet und ist in 3A veranschaulicht. Wie dargestellt, hat das HADC-Paket vier Felder: ein 8-Byte-Headerfeld, ein 4-Byte-Datenadressfeld, ein N-Byte-Datenfeld (wobei N vorzugsweise auf ein Maximum von 64 beschränkt ist, obwohl klar ist, dass auch grössere Datenmengen in einem einzelnen Paket bewegt werden können), und ein 4-Byte-'Zyklische Redundanzprüfung'-Feld (CRC-Feld).Four basic types of message packets are used to carry control symbols and data between the CPUs 12 and peripherals 17 of a system. The 3A-3D illustrate the structure of a message packet type ( 3A ), along with a breakdown of the fields in this package ( 3B-3D ); the 4A-4C illustrate the structure of the other three types of packages. The type of message packet used to transfer write data to the TNet area network is called the HADC packet and is in 3A illustrated. As shown, the HADC packet has four fields: an 8-byte header field, a 4-byte data address field, an N-byte data field (where N is preferably limited to a maximum of 64, although it is clear that larger ones as well Amounts of data can be moved in a single packet), and a 4-byte 'Cyclic Redundancy Check' field (CRC field).
Das in 3B im Detail veranschaulichte Headerfeld beinhaltet eine 3-Byte-Bestimmungsort-ID, in welcher der Endbestimmungsort des Nachrichtenpakets angegeben wird; eine 3-Byte-Ursprungsort-ID, in welcher der Ursprungsort bzw. das Ursprungselement des Nachrichtenpakets angegeben wird; den Transaktionstyp (z. B. ein Lese- oder Schreiboperation), sowie den Nachrichtenpaket-Typ (z. B. ob es sich um eine Datenanforderung oder um eine Antwort auf eine Datenanforderung handelt). Die Bestimmungsort-ID enthält vier Unterfelder: ein 14-Bit-Unterfeld, das eine Regions-ID enthält, um eine "Region" anzugeben, in welcher sich der Bestimmungsort der Nachricht befindet; ein 6-Bit-Unterfeld, das eine Geräte-ID enthält, in welcher das im Bereich der spezifizierten Region gelegene Bestimmungs-Gerät angegeben wird (z. B. ein Gerät 17, eine CPU 12, oder vielleicht ein IP 18); ein Pfadauswahl(P)-Bit, das dazu verwendet wird, um aus zwei Pfaden auszuwählen; und 3 Bit, die für zukünftige Erweiterungen reserviert sind. In ähnlicher Weise hat die Ursprungsort-ID drei Unterfelder; eine 14-Bit-Regions-ID, die die Region des Senders spezifiziert; eine 6-Bit-Geräte-ID, die das sendende Gerät innerhalb dieser Region spezifiziert; ein 4-Bit-Typen-Unterfeld, das, wie bereits erwähnt, den Transaktionstyp kennzeichnet. Ausserdem spezifiziert das Steuerfeld die Datenmenge, welche in dem das Nachrichtenpaket begleitenden Datenfeld enthalten ist, und zwar durch Angabe der Anzahl an 9-Bit-Steuer/Daten-"Symbolen". (Jedes Symbol ist ein 8-Bit-Datenbyte, codiert als 9-Bit-Menge zum Schutz vor Einzelbitfehlern, die dazu führen könnten, dass ein Datenbyte wie ein Steuersymbol aussehen würde, oder umgekehrt, wie weiter unten noch genauer zu erläutern sein wird.)This in 3B header field illustrated in detail includes a 3-byte destination ID specifying the final destination of the message packet; a 3-byte origin ID, in which the origin or element of the message packet is specified; the transaction type (e.g. a read or write operation) and the message packet type (e.g. whether it is a data request or a response to a data request). The destination ID contains four subfields: a 14-bit subfield containing a region ID to indicate a "region" in which the destination of the message is located; a 6-bit subfield that contains a device ID in which the destination device in the area of the specified region is specified (e.g. a device 17 , a CPU 12 , or maybe an IP 18); a path selection (P) bit that is used to exit from two paths choose; and 3 bits reserved for future extensions. Similarly, the Place of Origin ID has three subfields; a 14-bit region ID specifying the region of the transmitter; a 6-bit device ID that specifies the sending device within that region; a 4-bit type subfield that, as already mentioned, identifies the transaction type. In addition, the control field specifies the amount of data contained in the data field accompanying the message packet by specifying the number of 9-bit control / data "symbols". (Each symbol is an 8-bit data byte, encoded as a 9-bit amount to protect against single-bit errors that could cause a data byte to look like a control symbol, or vice versa, as will be explained in more detail below. )
Die Regions- und Geräte-Felder der Bestimmungsortbzw. Ursprungsort-ID identifizieren den Bestimmungsort bzw. den Ursprungsort des Nachrichtenpakets kumulativ und eindeutig. Das als Pfadauswahlbit reservierte Bit dient dazu, die eine oder die andere von zwei "Seiten" X oder Y (wie in 1A veranschaulicht) als den Bestimmungsort des Nachrichtenpakets enthaltend zu kennzeichnen. Das Pfadauswahlbit wird weiter unten im Zusammenhang mit der Speicherzugriffsvalidierung (11 und 12) und der Portauswahloperation des Routers (21A) genauer erläutert. Die verbleibenden 3 Bits werden für eine allfällige zukünftige Erweiterung reserviert.The region and device fields of the destination or Origin ID identifies the destination or the origin of the message package cumulatively and uniquely. The bit reserved as the path selection bit serves to separate one or the other of two "sides" X or Y (as in 1A illustrated) as containing the destination of the message packet. The path selection bit is discussed below in connection with memory access validation ( 11 and 12 ) and the router's port selection operation ( 21A ) explained in more detail. The remaining 3 bits are reserved for any future expansion.
Das 4-Byte-Datenadressfeld wird eingehender in 3C veranschaulicht. Das Adressfeld kennzeichnet im Fall eines HADC-Pakets den virtuellen Speicherort für den Bestimmungsort an welchem die begleitenden N Datenbytes geschrieben werden. Wenn zum Beispiel das Ursprungselement des Nachrichtenpakets ein E/A-Gerät 17 ist, das Daten enthält, welche in den Speicher 28 einer CPU 12 zu schreiben sind, so enthält das Datenadressfeld ein Adresse, die den Speicherort im Speicher 28 kennzeichnet, in welchen die Daten zu schreiben sind. (Wie noch genauer zu erläutern sein wird, wird im Fall von CPUs die Datenadresse durch die ZVÜ-Logik (11) in eine physische Adresse überführt, die tatsächlich dazu benutzt wird, um auf den Speicher 28 zuzugreifen. Die E/A-Paket-Schnittstellen 16 verfügen über ähnliche Validierungs- und Übersetzungsmechanismen.) Wenn das Adressfeld einen Speicherort einer CPU 12 bezeichnet, umfasst das Feld zwei Unterfelder: die 20 bedeutendsten Bits des Adressfeldes bilden eine 20-Bit-Speicherseitennummer; die verbleibenden 12 Bits bilden einen Offset in die Speicherseite. Die Seitenzahl wird von der ZVÜ-Logik (11) als ein Index zu einer Tabelle mit Einträgen verwendet, die Validierungsinformationen enthalten.The 4-byte data address field is detailed in 3C illustrated. In the case of a HADC packet, the address field identifies the virtual storage location for the destination at which the accompanying N data bytes are written. For example, if the source element of the message packet is an I / O device 17 that contains data that is in memory 28 a CPU 12 are to be written, the data address field contains an address that indicates the location in memory 28 indicates in which the data are to be written. (As will be explained in more detail, in the case of CPUs the data address is determined by the ZVÜ logic ( 11 ) transferred to a physical address that is actually used to access the memory 28 access. The I / O packet interfaces 16 have similar validation and translation mechanisms.) If the address field is a location of a CPU 12 , the field comprises two subfields: the 20 most significant bits of the address field form a 20-bit memory page number; the remaining 12 bits form an offset in the memory page. The page number is determined by the ZVÜ logic ( 11 ) used as an index to a table with entries that contain validation information.
Wie bereits angedeutet, dient das HADC-Nachrichtenpaket dazu, Schreibdaten zwischen Endeinheiten (z. B. CPU 12) des Verarbeitungssystems 10 zu übertragen. Andere Nachrichtenpakete können allerdings aufgrund ihrer Funktion und Verwendung anders aufgebaut sein. So veranschaulicht etwa 4A ein HRC-Nachrichtenpaket, welches nur Header-, Adress- und CRC-Felder umfasst. Das HAC-Paket wird verwendet, um Lesedatenanforderungen an eine Systemkomponente zu übertragen (z. B. ein E/A-Gerät 17).As already indicated, the HADC message packet is used to transfer write data between end units (e.g. CPU 12 ) of the processing system 10 transferred to. However, other message packets can be structured differently due to their function and use. For example 4A an HRC message packet that only includes header, address and CRC fields. The HAC packet is used to transmit read data requests to a system component (e.g. an I / O device 17 ).
4B veranschaulicht ein Nachrichtenpaket vom Typ HDC mit einem 8-Byte Headerfeld, einem N-Byte-Datenfeld (wobei N wiederum maximal 64 beträgt, obwohl es theoretisch für eine beliebige ganze Zahl stehen könnte), und einem 4-Byte-CRC-Feld. Das HDC-Nachrichtenpaket dient dazu, Antworten auf Leseanforderungen zu übertragen, welche die Rücksendung der angeforderten Daten beinhalten. 4B illustrates an HDC message packet with an 8-byte header field, an N-byte data field (where N is a maximum of 64, although it could theoretically represent any integer), and a 4-byte CRC field. The HDC message package is used to transmit responses to read requests, which include the return of the requested data.
4C veranschaulicht ein HC-Nachrichtenpaket, welches lediglich einen 8-Byte-header und eine 4-Byte-CRC umfasst. Das HC-Nachrichtenpaket wird dazu verwendet, eine Anforderung zum Schreiben von Daten zu bestätigen. 4C illustrates an HC message packet that only includes an 8-byte header and a 4-byte CRC. The HC message packet is used to confirm a request to write data.
Schnittstelleneinheit:Interface Unit:
Die X- und Y- Schnittstelleneinheiten 24 (d. h. 24a und 24b – 2) werden dazu betrieben, um drei Hauptfunktionen innerhalb der CPU 12 auszuführen: die Prozessoren 20 an den Speicher 28 anzuschliessen; einen E/A-Dienst bereitzustellen, der transparent für die Prozessoren betrieben wird, aber dennoch von diesen gesteuert wird; und von externen Quellen kommende Zugriffsanforderungen auf den Speicher 28 zu validieren.The X and Y interface units 24 (ie 24a and 24b - 2 ) are operated to perform three main functions within the CPU 12 to execute: the processors 20 to the store 28 to join; provide an I / O service that is transparent to the processors but is still controlled by them; and memory access requests from external sources 28 to validate.
Betrachtet man zuerst die Schnittstellenfunktion, so werden die X- und Y-Schnittstelleneinheiten 24a, 24b betrieben, um jeweils die Prozessoren 20a, 20b mit den Speichersteuerungen (SpSt 26a, 26b) und dem Speicher 28 zum Zweck des Lesens und Schreibens von Daten in Verbindung zu setzen, und zwar in einer Art und Weise, die eine schnellfehlende Prüfung der gelesenen/geschriebenen Daten beinhaltet. So kooperieren zum Beispiel im Zuge von Schreiboperationen die beiden Schnittstelleneinheiten 24a, 24b, um die zu schreibenden Daten einer Gegenkontrolle zu unterziehen, um deren Integrität sicherzustellen (wobei die Schnittstelleneinheiten 24 gleichzeitig betrieben werden), um einen Fehlerkorrekturcode (FKC) zu entwickeln, der – wie noch genauer zu erläutern sein wird – nicht nur die in den Speicher 28 geschriebenen Daten abdeckt, sondern auch die Speicheradresse des Speicherorts, an welchem diese Daten geschrieben werden, so dass bei einem späteren Abrufen (Lesen) der Daten nicht nur die korrekten Daten abgerufen werden, sondern auch davon ausgegangen werden kann, dass diese von der richtigen Adresse abgerufen worden sind.Looking first at the interface function, the X and Y interface units become 24a . 24b operated to processors respectively 20a . 20b with the memory controls (SpSt 26a . 26b ) and the memory 28 to communicate for the purpose of reading and writing data in a manner that includes a fast missing check of the read / written data. For example, the two interface units cooperate in the course of write operations 24a . 24b to cross-check the data to be written to ensure its integrity (the interface units 24 be operated simultaneously) in order to develop an error correction code (FKC) which - as will be explained in more detail - not only those in the memory 28 covered data, but also the memory address of the storage location where this data is written, so that when the data is later called up (read), not only is the correct data called up, but it can also be assumed that it is from the correct address have been accessed.
Was den E/A-Zugriff betrifft, so sind die Prozessoren nicht mit der Fähigkeit ausgestattet, direkt mit den Eingabe-/Ausgabesystemen zu kommunizieren; sie müssen vielmehr Datenstrukturen in den Speicher 28 schreiben und dann die Steuerfunktion an die Schnittstelleneinheiten 24 abtreten, die eine Direkt-Speicherzugriffsoperation (DMA) ausführen, um diese Datenstrukturen abzurufen und sie zum Zweck der Übermittlung an den gewünschten Bestimmungsort auf das TNet zu übertragen. (Die Adresse des Bestimmungsorts wird dabei in der Datenstruktur selbst angegeben.) Die dritte Funktion der X- und Y-Schnittstelleneinheiten 24, die Validierung des Zugriffs auf den Speicher 28, verwendet eine Zugriffsvalidierungsund -übersetzungstabelle (ZVÜ), welche von den Schnittstelleneinheiten aufrechterhalten werden. Die ZVÜ-Tabelle enthält eine Adresse für jede zugriffsberechtigte Systemkomponente (z. B. ein E/A-Gerät 17, oder eine CPU 12), sowie die erlaubte Zugriffsart und die physische Speicheradresse, an welcher ein Zugriff gestattet ist. Die Tabelle spielt weiterhin auch eine Rolle bei der Durchführung der Adressübersetzung, da es sich bei den in den eingehenden Nachrichtenpaketen enthaltenen Adressen um virtuelle Adressen handelt. Diese virtuellen Adressen werden von der Schnittstelleneinheit in physikalische Adressen übersetzt, welche von den Speichersteuerungseinheiten 26 zum Zweck des Zugriffs auf den Speicher 28 gelesen werden können.As far as I / O access is concerned, the processors are not equipped with the ability to communicate directly with the input / output systems; rather, they need data structures in memory 28 write and then the control function to the interface units 24 cede that a direct store Execute handle operation (DMA) to retrieve these data structures and transfer them to the TNet for the purpose of transmission to the desired destination. (The address of the destination is specified in the data structure itself.) The third function of the X and Y interface units 24 , validating access to memory 28 , uses an access validation and translation table (ZVÜ), which is maintained by the interface units. The ZVÜ table contains an address for each system component authorized to access (e.g. an I / O device 17 , or a CPU 12 ), as well as the permitted access type and the physical memory address to which access is permitted. The table also plays a role in the implementation of the address translation, since the addresses contained in the incoming message packets are virtual addresses. These virtual addresses are translated by the interface unit into physical addresses, which by the memory control units 26 for the purpose of accessing the memory 28 can be read.
In 5, auf welche im folgenden Bezug genommen wird, ist ein vereinfachtes Blockdiagramm der X-Schnittstelleneinheit 24a der CPU 12A veranschaulicht. Die ihr entsprechende Y-Schnittstelleneinheit 24b (sowie auch die Schnittstelleneinheiten 24 der CPU 12B, oder jeder anderen CPU 12) ist im wesentlichen identisch aufgebaut. Demgemäss versteht es sich, dass die Beschreibung der Schnittstelleneinheit 24a gleichermassen auch auf die anderen Schnittstelleneinheiten 24 des Verarbeitungssystems 10 anwendbar ist.In 5 , which is referred to below, is a simplified block diagram of the X interface unit 24a the CPU 12A illustrated. The corresponding Y interface unit 24b (as well as the interface units 24 the CPU 12B , or any other CPU 12 ) is essentially identical. Accordingly, it goes without saying that the description of the interface unit 24a equally to the other interface units 24 of the processing system 10 is applicable.
Wie in 5 veranschaulicht, beinhaltet die X-Schnittstelleneinheit 24a eine Prozessorschnittstelle 60, eine Speicherschnittstelle 70, eine Interrupt-Logik 86, ein Blockübertragungsmaschine (BÜM) 88, eine Zugriffsvalidierungs- und -übersetzungslogik 90, einen Paketüberträger 94 und einen Paketempfänger 96.As in 5 illustrated includes the X interface unit 24a a processor interface 60 , a storage interface 70 , an interrupt logic 86 , a block transfer machine (BÜM) 88 , access validation and translation logic 90 , a parcel carrier 94 and a parcel recipient 96 ,
Prozessorschnittstelle:Processor Interface:
Die Prozessorschnittstelle 60 wickelt den Informationsfluss (Daten und Steuersignale) zwischen dem Prozessor 20a und der X-Schnittstelleneinheit 24a ab. Ein Prozessorbus 23, welcher einen 64-Bit-Adress- und Datenbus (SysAD) 23a und einen 9-Bit-Befehlsbus 23b beinhaltet, verbindet den Prozessor 20a und die Prozessorschnittstelle 60 miteinander. Während der SysAD-Bus 23a Speicheradresse und -daten überträgt, und zwar in herkömmlicher, zeitlich verzahnter Form, überträgt der Befehlsbus 23b Befehls- und Datenbezeichnerinformationen (SysBef), welche die Befehle, die im wesentlichen gleichzeitig auf dem SysAD-Bus 23a übertragen werden. Die Prozessorschnittstelle 60 wird betrieben, um von der Prozessoreinheit 20a ausgegebene Befehle zu interpretieren, um Lese-/Schreiboperationen in den Speicher oder in das Steuerregister der Prozessorschnittstelle weiterzugeben. Ausserdem enthält die Prozessorschnittstelle 60 einen Zwischenspeicher (nicht dargestellt) zum Puffern von Adressen und Daten, welche für den Zugriff auf den Speicher 28 (über die Speichersteuerungen 26) erforderlich sind. Daten und Steuerinformationen, welche vom Speicher gelesen werden, werden auf ähnliche Weise auf ihrem Weg zur Prozessoreinheit 20a gepuffert und verfügbar gemacht, sobald die Prozessoreinheit bereit ist, sie in Empfang zu nehmen. Weiterhin wird die Prozessorschnittstelle 60 betrieben, um die benötigten Interrupt-Signale für die X-Schnittstelleneinheit 24a zu generieren.The processor interface 60 handles the flow of information (data and control signals) between the processor 20a and the X interface unit 24a from. A processor bus 23 which has a 64-bit address and data bus (SysAD) 23a and a 9-bit command bus 23b includes, connects the processor 20a and the processor interface 60 together. During the SysAD bus 23a The command bus transmits memory address and data, namely in conventional, time-interlocking form 23b Command and data identifier information (SysBef), which is the commands that are essentially concurrent on the SysAD bus 23a be transmitted. The processor interface 60 is operated by the processor unit 20a interpret issued commands to pass read / write operations to memory or the control register of the processor interface. It also contains the processor interface 60 a buffer (not shown) for buffering addresses and data necessary for access to the memory 28 (via the memory controls 26 ) required are. Data and control information read from memory are similarly sent on their way to the processor unit 20a buffered and made available as soon as the processor unit is ready to receive it. Furthermore, the processor interface 60 operated to the required interrupt signals for the X interface unit 24a to generate.
Die Prozessorschnittstelle 60 ist über einen bidirektionalen 64-Bit-Prozessoradress/-datenbus 76 mit einer Speicherschnittstelle 70 und mit den Konfigurationsregistern 74 verbunden. Die Konfigurationsregister 74 sind eine symbolische Repräsentation der verschiedenen Steuerregister, die in anderen Komponenten der X-Schnittstelleneinheit 24a enthalten sind, und werden im Zusammenhang mit der Abhandlung dieser speziellen Komponenten genauer erläutern. Bedingt durch die Tatsache, dass verschiedene der Konfigurationsregister 74 über andere Elemente der zur Realisierung der X-Schnittstelle 24a verwendeten Logik verteilt sind, ist der Prozessor-Adress/-Datenbus 76 auch entsprechend verkoppelt, um ein Lesen von diesen Registern bzw. ein Beschreiben derselben zu ermöglichen, wobei dies allerdings in 5 nicht spezifisch veranschaulicht wird.The processor interface 60 is via a bi-directional 64-bit processor address / data bus 76 with a storage interface 70 and with the configuration registers 74 connected. The configuration registers 74 are a symbolic representation of the various control registers that are in other components of the X interface unit 24a are included, and will explain in more detail in connection with the treatment of these special components. Due to the fact that different of the configuration registers 74 about other elements of the implementation of the X interface 24a logic used is the processor address / data bus 76 also coupled accordingly in order to enable reading from or writing to these registers, although this is shown in 5 is not specifically illustrated.
Die Konfigurationsregister 74 ermöglichen einen Lese-/Schreibzugriff seitens des Prozessors 20a; sie ermöglichen eine "Personalisierung" der X-Schnittstelleneinheit. So bezeichnet zum Beispiel ein Register die Knotenadresse der CPU 12A, welche verwendet wird, um die Ursprungsort-Adresse von Nachrichtenpaketen zu bilden, die von der CPU 12A ausgehen; ein anderes, das nur mit Lesezugriff ausgestattet ist, enthält eine feste Identifikationsnummer der Schnittstelleneinheit 24, und wiederum andere Register definieren Speicherbereiche, welche beispielsweise von verschiedenen Elementen verwendet werden können wie etwa von der BÜM 88 (an denen sich Datenstrukturen und BÜM-Befehls-/Steuerwörter befinden), von der Interrupt-Logik 86 (welche auf Interrupt-Warteschlangen verweisen, die Informationen über extern generierte und über Nachrichtenpakete empfangene Interrupts enthalten) oder von der ZVÜ-Logik 90. Wieder andere Register werden zum Freigeben von Interrupts durch die Interrupt-Logik 86 verwendet. Viele der Register werden weiter unten im Zusammenhang mit der Abhandlung der logischen Komponenten (z. B. Interrupt-Logik 86, ZVÜ-Logik 90, usw.), in denen sie Verwendung finden, genauer beschrieben.The configuration registers 74 allow read / write access by the processor 20a ; they enable "personalization" of the X interface unit. For example, a register designates the node address of the CPU 12A , which is used to form the origin address of message packets that are used by the CPU 12A go out; another, which is only equipped with read access, contains a fixed identification number of the interface unit 24 , and still other registers define memory areas which can be used, for example, by various elements such as the BÜM 88 (where data structures and BÜM command / control words are located) by the interrupt logic 86 (which refer to interrupt queues that contain information about externally generated and received interrupts via message packets) or from the ZVÜ logic 90 , Still other registers are used to release interrupts through the interrupt logic 86 used. Many of the registers are discussed below in connection with the treatment of the logical components (e.g. interrupt logic 86 , ZVÜ logic 90 , etc.) in which they are used.
Die Speicherschnittstelle 70 verbindet die X-Schnittstelleneinheit 24a mit den Speichersteuerungen 26 (und mit der Y-Schnittstelleneinheit 24b; siehe 2) über einen Bus 25, welcher zwei bidirektionale 36-Bit-Busse 25a, 25b beinhaltet. Die Speicherschnittstelle wird betrieben, um über die Priorität von Speicher-Zugriffsanforderungen zwischen der Prozessoreinheit 20, dem BÜM 88 und der ZVÜ-Logik 90 zu entscheiden. Zusätzlich zu den Speicherzugriffen von der Prozessoreinheit 20a kann auf den Speicher 28 auch von Komponenten des Verarbeitungssystems l0 zugegriffen werden, um zum Beispiel Daten von einer E/A-Einheit 17 zu speichern, die von der Prozessoreinheit 20a zum Lesen angefordert werden, oder es kann auch auf den Speicher 28 zugegriffen werden, um E/A-Datenstrukturen zu lesen, die zuvor von der Prozessoreinheit in den Speicher gestellt worden sind. Da diese Zugriffe alle asynchron erfolgen, muss über ihre Priorität entschieden werden, und diese Entscheidungen werden von der Speicherschnittstelle 70 getroffen.The storage interface 70 connects the X interface unit 24a with the memory controllers 26 (and with the Y interface unit 24b ; please refer 2 ) via a bus 25 , which has two bidirectional 36-bit buses 25a . 25b includes. The memory interface is operated to determine the priority of Spei access requests between the processor unit 20 , the BÜM 88 and the ZVÜ logic 90 to decide. In addition to memory accesses from the processor unit 20a can on the store 28 can also be accessed by components of processing system 10, for example data from an I / O unit 17 to save that from the processor unit 20a may be requested for reading, or it may also be on memory 28 are accessed to read I / O data structures that were previously put into memory by the processor unit. Since these accesses are all asynchronous, their priority has to be decided, and these decisions are made by the memory interface 70 met.
Informationen in Form von Daten und Befehlen, auf die von dem Speicher 28 aus zugegriffen wird, werden von der Speicherschnittstelle über einen Speicherauslesebus 82 an die Prozessorschnittstelle 60, sowie an eine Interrupt-Logik 86, eine Blockübertragungsmaschine (BMÜ) 88 und an eine Zugriffsvalidierungs- und -übersetzungslogik (ZVÜ-Logik) 90 übertragen. Wie weiter unten genauer beschrieben, werden die Daten mengenmässig in Form von Doppelwörtern in den Speicher 28 geschrieben. Während jedoch die Speicherschnittstellen 70 der X- und der Y-Schnittstelleneinheit 24a und 24b das (64 Bit)-Doppelwort formulieren und an den Bus 25 anlegen, ist jede Speicherschnittstelle 70 für das Schreiben von nur 32 Bit dieser 64-Bit-Doppelwortmenge zuständig; die 32 Bits, die nicht von der Speicherschnittstelle 70 geschrieben werden, werden durch die ihr zugeordnete Schnittstelleneinheit 24 an die Speicherschnittstelle übertragen, wo sie mit denselben 32 Bits auf Fehler verglichen werden.Information in the form of data and commands to which the memory 28 are accessed from the memory interface via a memory read bus 82 to the processor interface 60 , as well as an interrupt logic 86 , a block transfer machine (BMÜ) 88 and to an access validation and translation logic (ZVÜ logic) 90 transfer. As described in more detail below, the data is stored in the form of double words in terms of quantity 28 written. However, while the memory interfaces 70 the X and Y interface unit 24a and 24b formulate the (64 bit) double word and send it to the bus 25 is every storage interface 70 responsible for writing only 32 bits of this 64-bit double word set; the 32 bits that are not from the memory interface 70 are written by the assigned interface unit 24 to the memory interface where they are compared for errors with the same 32 bits.
Es sei hier am Rande erwähnt, dass in dem in den 1A–1C gezeigten System die Übertragung von Interrupts in Form von Nachrichtenpaketen erfolgt, und nicht unter Verwendung der dem Stand der Technik entsprechenden Methode, die darin besteht, für die Übertragung von spezifischen Interrupt-Typen fest zugeordnete Signalleitungen zu verwenden. Werden Nachrichtenpakete empfangen, welche Interrupt-Informationen enthalten, so werden diese Informationen zusammen mit gegebenenfalls von der CPU 12A intern generierten Interrupts der Interrupt-Logik 86 zugeführt, welche sie verarbeitet und freigibt, womit das Verhalten des Prozessors 20 neu definiert wird. Intern generierte Interrupts setzen ein Bit in einem Register 71 (in der Interrupt-Logik 86 integriert), wodurch der Grund für das Interrupt angezeigt wird. Der Prozessor 20 kann daraufhin das Interrupt lesen und verhält sich entsprechend. Die Interrupt-Logik wird im Detail weiter unten genauer behandelt.It should be mentioned here in passing that in the 1A-1C System shown the transmission of interrupts takes place in the form of message packets, and not using the prior art method, which consists in using dedicated signal lines for the transmission of specific types of interrupt. If message packets are received which contain interrupt information, this information is, together with the CPU, if necessary 12A internally generated interrupts of the interrupt logic 86 fed, which it processes and releases, with which the behavior of the processor 20 is redefined. Internally generated interrupts set a bit in a register 71 (in the interrupt logic 86 integrated), which shows the reason for the interrupt. The processor 20 can then read the interrupt and behaves accordingly. The interrupt logic is discussed in more detail below.
Der BÜM 88 der X-Schnittstelleneinheit 24a wird betrieben, um direkte Speicherzugriffe vorzunehmen, und stellt den Mechanismus bereit, der es den Prozessoren 20 ermöglicht, auf externe Ressourcen zuzugreifen. Der BÜM kann von den Prozessoren 20 entsprechend eingerichtet werden, um für die Prozessoren 20 transparente E/A-Anforderungen zu generieren und die Prozessoren zu benachrichtigen, wenn die Anforderungen vollständig sind. Die BÜM-Logik 88 wird weiter unten abgehandelt.The BÜM 88 the X interface unit 24a is operated to make direct memory accesses and provides the mechanism that it provides to processors 20 allows access to external resources. The BÜM can processors 20 be set up accordingly for the processors 20 Generate transparent I / O requests and notify processors when the requests are complete. The BÜM logic 88 will be dealt with below.
In eingehenden Nachrichtenpaketen enthaltene Speicherzugriffsanforderungen werden durch die ZVÜ-Logik 90 verifiziert. Die Verifizierung der Zugriffsanforderung erfolgt nach verschiedenen Erlaubniskriterien, unter anderem nach der Identität des Ursprungselements der Anforderung und nach dem angeforderten Zugriffstyp. Ausserdem übersetzt die ZVÜ-Logik die (in dem empfangenen Nachrichtenpaket als virtuelle Adresse enthaltene) Speicheradresse, an welcher ein Zugriff gewünscht wird, in eine physikalische Speicheradresse, die zur Durchführung des eigentlichen Zugriffs verwendet werden kann, nachdem die Anforderung ordnungsgemäss verifiziert worden ist. Die ZVÜ-Logik 90 wird ebenfalls im Detail weiter unten abgehandelt.Memory access requests contained in incoming message packets are handled by the ZVÜ logic 90 Verified. The access request is verified according to various permission criteria, including the identity of the originating element of the request and the type of access requested. In addition, the ZVÜ logic translates the memory address (contained in the received message packet as a virtual address) at which access is desired into a physical memory address that can be used to carry out the actual access after the request has been properly verified. The ZVÜ logic 90 is also dealt with in detail below.
Die BÜM-Logik 88 arbeitet mit der ZVÜ-Logik 90 zusammen, um dem Paketüberträger 94 die zu sendenden Daten und/oder Befehlssymbole bereitzustellen. Der Paketüberträger 94 fügt seinerseits die von der BÜM-Logik 88 und der ZVÜ-Logik 90 empfangenen Informationen zu Nachrichtenpaketen zusammen und hält sie bis zu ihrer Übertragung in einem Zwischenspeicher. Ausserdem arbeitet die BÜM-Logik 88 und die ZVÜ-Logik 90 auch mit dem Paketempfänger 96 zusammen, um eingehende Nachrichtenpakete zu empfangen, auszuwerten und behandeln, wobei diese im Bedarfsfall zwischengespeichert werden und in das 8 Byte breite Format umgewandelt werden, in dem sie vorliegen müssen, um im Speicher 28 abgespeichert werden zu können.The BÜM logic 88 works with the ZVÜ logic 90 together to the parcel carrier 94 to provide the data to be sent and / or command symbols. The parcel carrier 94 in turn adds the BÜM logic 88 and the ZVÜ logic 90 received information about message packets together and holds it until it is transmitted in a buffer. The BÜM logic also works 88 and the ZVÜ logic 90 also with the parcel recipient 96 together to receive, evaluate and process incoming message packets, which are cached if necessary and converted into the 8 byte wide format in which they must be present in order to be stored 28 to be able to be saved.
Abgehende Nachrichtenpakete, welche prozessorgenerierte Transaktionsanforderungen enthalten (z. B. eine Leseanforderung nach einem Datenblock von einer E/A-Einheit) werden von der Anforderungstransaktionslogik (RTL) 100 überwacht. Die ATL 100 sieht einen Zeitüberwachungszähler für abgehende Anforderungen vor, welcher prüft, ob die Anforderung innerhalb einer vorgegebenen Zeitspanne beantwortet wird; ist dies nicht der Fall, so generiert die ATL ein (von der Interrupt-Logik 86 zu behandelndes und zu meldendes) Interrupt, um den Prozessor 20 zu informieren, dass die Anforderung nicht beantwortet worden ist. Ausserdem validiert die ATL 100 eingehende Antworten. Die ATL 100 hält die Adresse für die Antwort bereit und leitet diese Adresse an die BÜM 88 weiter, sobald die Antwort empfangen worden ist, so dass die Antwort (im Zuge der von der BÜM 86 ausgeführten Direkt-Speicherzugriffsoperation) im Speicher 28 an einem dem Prozessor 20 bekannten Speicherort abgelegt werden kann, so dass dieser die Antwort auffinden kann.Outgoing message packets that contain processor-generated transaction requests (e.g., a read request for a data block from an I / O unit) are handled by the request transaction logic (RTL) 100 supervised. The ATL 100 provides a timeout counter for outgoing requests, which checks whether the request is answered within a predetermined period of time; if this is not the case, the ATL generates a (from the interrupt logic 86 Interrupt to be handled and reported to the processor 20 to inform that the request has not been answered. The ATL also validates 100 incoming responses. The ATL 100 holds the address ready for the answer and forwards this address to the BÜM 88 as soon as the answer has been received, so that the answer (in the course of the BÜM 86 direct memory access operation performed) in memory 28 on one the processor 20 Known location can be stored so that it can find the answer.
Eine jede der CPUs 12 wird, wie im folgenden beschrieben, auf mehrfache Weise geprüft. Eine dieser Prüfungen besteht in einer fortlaufenden Monitoreinrichtung zur Überwachung des Betriebs der Schnittstelleneinheiten 24a, 24b einer jeden CPU. Da die Schnittstelleneinheiten 24a, 24b synchron im Gleichschritt zueinander laufend betrieben werden, kann die Prüfung insofern erfolgen, als die Betriebszustände der gepaarten Schnittstelleneinheiten 24a, 24b mittels eines kontinuierlichen Vergleichs von gewissen internen Zuständen derselben überwacht werden. Dieser Ansatz wird unter Verwendung einer Phase einer in der Einheit 24a der CPU 12A enthaltenen Ablaufsteuereinheit (nicht gezeigt) realisiert, wobei jeder von dieser Phase eingenommene Zustand mit seiner identischen Rblaufsteuerungsphase in der Schnittstelleneinheit 24b verglichen wird. Sämtlichen Einheiten der Schnittstelleneinheit 24 verwenden Ablaufsteuereinheiten zu ihrer Betriebsüberwachung. Vorzugsweise wird daher eine Ablaufsteuereinheit der Speicherschnittstelle 70 verwendet, welche die Datenübertragungen zwischen der Schnittstelleneinheit 24 und der Speichersteuerung 26 überwacht. Auf diese Weise wird eine ausgewählte Phase der in der Speicherschnittstelle 70 der Schnittstelleneinheit 24a verwendeten Ablaufsteuereinheit ausgewählt. Eine identische Phase einer Ablaufsteuereinheit einer der Schnittstelleneinheiten 24b wird ebenfalls ausgewählt. Die beiden ausgewählten Phasen werden zwischen den Schnittstelleneinheiten 24a, 24b übertragen und von einer in beiden Schnittstelleneinheiten 24a, 24b enthaltenen Vergleichsschaltung empfangen. Da die Schnittstelleneinheiten im Gleichschritt zueinander betrieben werden, durchwandern die Ablaufsteuereinheiten ebenfalls dieselben identischen Zustände und nehmen dabei jeden Zustand im wesentlichen zeitgleich zueinander ein. Falls nun eine Schnittstelleneinheit auf einen Fehler stösst oder ausfällt, so führt dies dazu, dass die Schnittstelleneinheiten auseinanderdriften und die Ablaufsteuereinheiten unterschiedliche Zustände einnehmen. Mit der Zeit werden sich auch die von den jeweiligen Ablaufsteuereinheiten an die Vergleichsschaltungen übermittelten, ausgewählten Phasen voneinander unterscheiden. Dieser Unterschied veranlasst die Vergleichsschaltungen, ein "lost sync"-Fehlersignal auszugeben, wodurch den CPUs 12A (oder 12B) zur Kenntnis gebracht wird, dass die Schnittstelleneinheiten 24a, 24b dieser CPU nicht mehr im Gleichschritt laufen, und entsprechende Schritte zu setzen. Ein Beispiel für diese Technik findet sich in dem US-Patent Nr. 4.672.609, ausgegeben an Humphrey, et al. und abgetreten an den Abtretungsempfänger dieser Anmeldung.Each of the CPUs 12 is tested in several ways, as described below. One of these tests consists of a continuous monitor device for monitoring the operation of the interface units 24a . 24b any CPU. Because the interface units 24a . 24b synchronously in step with each other the operation can be carried out insofar as the operating states of the paired interface units 24a . 24b be monitored by continually comparing certain internal states thereof. This approach is using a phase one in the unit 24a the CPU 12A contained sequence control unit (not shown) realized, each state assumed by this phase with its identical Rblaufsteuerphase in the interface unit 24b is compared. All units of the interface unit 24 use sequence control units for their operational monitoring. A sequence control unit of the memory interface is therefore preferred 70 used the data transfers between the interface unit 24 and memory control 26 supervised. In this way, a selected phase of the in the memory interface 70 the interface unit 24a used sequence control unit selected. An identical phase of a sequence control unit of one of the interface units 24b is also selected. The two selected phases are between the interface units 24a . 24b transferred and from one in both interface units 24a . 24b received comparison circuit received. Since the interface units are operated in step with one another, the sequential control units likewise pass through the same identical states and assume each state essentially simultaneously with one another. If an interface unit encounters an error or fails, this leads to the interface units drifting apart and the sequence control units to assume different states. Over time, the selected phases transmitted by the respective sequence control units to the comparison circuits will also differ from one another. This difference causes the comparison circuits to issue a "lost sync" error signal, causing the CPUs 12A (or 12B ) is brought to the knowledge that the interface units 24a . 24b this CPU no longer run in step, and to take appropriate steps. An example of this technique is found in U.S. Patent No. 4,672,609 issued to Humphrey, et al. and assigned to the assignee of this application.
Der Paketempfänger 96 der X-Schnittstelle der CPU 12A – um wieder zu 5 zurückzukehren – funktioniert in einer Weise, dass nur der X-Port bedient wird, indem er nämlich nur jene Nachrichtenpakete empfängt, welche von dem Router 14A des Subprozessorsystems 10A (1A) übertragen werden. Der Y-Port wird von der Y-Schnittstelleneinheit 24b bedient und empfängt Nachrichtenpakete von dem Router 14B des dazugehörigen Subprozessorsystems 108. Beide Schnittstellen (so wie auch die Speichersteuerungen 26 und der Prozessor 20) sind jedoch, wie bereits gezeigt wurde, insofern im Grunde genommen Spiegelbilder voneinander, als beide in Bezug auf ihren Aufbau und ihre Funktion im wesentlichen identisch sind. Aus diesem Grund muss die von einer Schnittstelleneinheit (z. B. 24a) empfangene Nachrichtenpaketinformation zum Zweck der Verarbeitung auch an die dazugehörige Schnittstelleneinheit (z. B. 24b) weitergegeben werden. Da darüber hinaus beide Schnittstelleneinheiten 24a, 24b dieselben Nachrichtenpakete zur Übertragung von dem X- bzw. Y-Port zusammenstellen, wird das Nachrichtenpaket, das von der Schnittstelleneinheit (z. B. 24b) übertragen wird, und tatsächlich von dem dazugehörigen Port (z. B. dem Y-Port) aus übermittelt wird, auch an die andere Schnittstelleneinheit (z. B. 24a) gekoppelt, wo es auf Fehler hin gegengeprüft wird. Diese Merkmale werden in den 6 und 8 veranschaulicht.The parcel recipient 96 the X interface of the CPU 12A - to close again 5 return - works in a way that only the X-Port is served by receiving only those message packets that are sent by the router 14A of the subprocessor system 10A ( 1A ) be transmitted. The Y port is used by the Y interface unit 24b serves and receives message packets from the router 14B of the associated subprocessor system 108 , Both interfaces (as well as the memory controls 26 and the processor 20 ), however, as has already been shown, are basically mirror images of each other in that both are essentially identical in structure and function. For this reason, the interface unit (e.g. 24a ) received message packet information for the purpose of processing also to the associated interface unit (e.g. 24b ) are passed on. In addition, both interface units 24a . 24b compiling the same message packets for transmission from the X or Y port, the message packet sent by the interface unit (e.g. 24b ) is transmitted, and is actually transmitted from the associated port (e.g. the Y port), also coupled to the other interface unit (e.g. 24a), where it is checked for errors. These features are in the 6 and 8th illustrated.
Paketempfänger:Package recipients:
Im folgenden werden unter Bezugnahme auf die 6 die empfangenden Abschnitte des Paketempfängers 96 (96x, 96y) der X- und Y-Schnittstelleneinheiten 24a, 24b in groben Zügen veranschaulicht. Wie gezeigt, verfügt jeder Paketempfänger 96x, 96y über ein Taktsynchronisierungs-FIFO (TS-FIFO) 102, das entsprechend verkoppelt ist, um ein zu diesem gehöriges der TNet-Links 32 zu empfangen. Die TS-FIFOs 102 werden betrieben, um die eingehenden Befehls/Datensymbole insofern mit dem lokalen Takt des Paketempfängers 96 zu synchronisieren, als sie zwischengespeichert und anschliessend an einen Multiplexer (MUX) 104 angelegt werden. Hierbei ist allerdings zu beachten, dass Informationen, die am X-Port und am Paketempfänger 96x der X-Schnittstelle 24a empfangen werden, zusätzlich zu ihrer Weitergabe an den MUX 104x über die Quervernetzung 36 x an den MUX 104y des Paketempfängers 96y der Y-Schnittstelleneinheit 24b gekoppelt werden. In ähnlicher Weise werden am Y-Port empfangene Informationen über die Quervernetzung 36y an die X-Schnittstelleneinheit 24a gekoppelt. Auf diese Weise werden die Befehls/Datensymbole von Informationspaketen, welche an einem der X-, Y-Ports von der jeweiligen X-, Y-Schnittstelleneinheit 24a, 24b empfangen werden, an die andere weitergegeben, so dass beide dieselben Informationen verarbeiten und an weitere Komponenten der Schnittstelleneinheiten 24 und/oder des Speichers 28 übermitteln.The following are with reference to the 6 the receiving sections of the packet receiver 96 ( 96x . 96y ) of the X and Y interface units 24a . 24b roughly illustrated. As shown, each package recipient has 96x . 96y via a clock synchronization FIFO (TS FIFO) 102 , which is coupled accordingly to one of the TNet links belonging to this 32 to recieve. The TS FIFOs 102 are operated to the incoming command / data symbols so far with the local clock of the packet receiver 96 to synchronize as they are cached and then connected to a multiplexer (MUX) 104 be created. However, it should be noted here that information that is on the X-Port and on the packet receiver 96x the X interface 24a be received, in addition to being forwarded to the MUX 104x about cross-linking 36 x to the MUX 104y of the package recipient 96y the Y interface unit 24b be coupled. Similarly, information received on the Y-port about the cross-linking 36y to the X interface unit 24a coupled. In this way, the command / data symbols of information packets which are on one of the X, Y ports from the respective X, Y interface unit 24a . 24b are received, passed on to the other, so that both process the same information and to further components of the interface units 24 and / or the memory 28 to transfer.
Die Multiplexer 104, um nun mit 6 fortzufahren, wählen in Abhängigkeit davon, welcher X-, Y-Port ein Nachrichtenpaket empfängt, entweder die Ausgabesignale des einen oder des anderen der TS-FIFOs 102x, 102y zur Datenübertragung an den Speicher und die Verarbeitungslogik 110 der Schnittstelleneinheit 24 aus. Die in jedem 9-Bit-Symbol enthaltene Information besteht aus einem 8-Bit-Byte Steuer bzw. Dateninformation, dessen Codierung weiter unten im Zusammenhang mit 9 abgehandelt wird. Die Speicher- und Verarbeitungslogik 110 übersetzt zuerst die 9-Bit-Symbole in 8-Bit-Daten- bzw. – Steuerbytes, und die Bytes organisiert die Bytes als 64-Bit-Doppelwörter, wobei die dergestalt gebildeten Doppelwörter in einen Eingangspaket-Zwischenspeicher (hier nicht im besonderen gezeigt) gestellt werden. Der Eingangspaket-Zwischenspeicher hält die empfangenen Informationen zwischenzeitlich bis sie zu der Speicherschnittstelle 70, sowie zu der ZVÜ-Logik 90 und/oder zu dem BÜM 88 weitergegeben werden können.The multiplexers 104 to now use 6 to proceed, depending on which X, Y port a message packet receives, choose either the output signals of one or the other of the TS FIFOs 102x . 102y for data transfer to memory and processing logic 110 the interface unit 24 out. The information contained in each 9-bit symbol consists of an 8-bit byte control or data information, the coding of which is described below in connection with 9 is dealt with. The storage and processing logic 110 first translates the 9-bit symbols into 8-bit data or control bytes, and the bytes organizes the bytes as 64-bit double words, the double words thus formed being placed in an input packet buffer (not shown here in particular). The input packet cache temporarily holds the received information until it reaches the memory interface 70 , as well as the ZVÜ logic 90 and / or to the BÜM 88 can be passed on.
Die Paketempfänger 96 beinhalten jeweils eine CRC-Prüflogik 106 zum Prüfen des CRC des Nachrichtenpakets. Es ist im besonderen zu beachten, dass jede CRC-Prüflogik 106 an einer entsprechenden Stelle angeordnet ist, so dass ungeachtet dessen, an welchem Port (X oder Y) das Nachrichtenpaket empfangen wird, beide Empfänger 96x, 96y den CRC des empfangenen Nachrichtenpakets prüfen. Dieses Merkmal beinhaltet ein Fehlerisolationsmerkmal. [Obgleich in dieser Empfangsphase geprüft,] Eine CRC-Fehleranzeige seitens eines Empfängers nicht jedoch des anderen deutet auf ein Problem bei der Schnittstelle zwischen den beiden Empfängern oder bei der Logik des Empfängers, welcher die Fehlermeldung ausgibt, hin. Somit kann der Fehler zumindest zu Anfang auf diesen Abschnitt des Pfades vom Ausgang der empfangenden TS-FIFO eingegrenzt werden.The package recipients 96 each contain a CRC test logic 106 to check the CRC of the message packet. It is particularly important to note that any CRC test logic 106 is arranged at a corresponding location, so that regardless of which port (X or Y) the message packet is received, both receivers 96x . 96y check the CRC of the received message packet. This feature includes a fault isolation feature. [Although checked in this receiving phase,] a CRC error indication from one receiver but not from the other indicates a problem with the interface between the two receivers or with the logic of the receiver which issues the error message. Thus, the error can be limited at least initially to this section of the path from the output of the receiving TS FIFO.
Nicht dargestellt ist die Tatsache, dass die Ausgänge der TS-FIFOs 102x, 102y zusätzlich zu dem MUX 104 auch an eine Steuerdecodiereinheit gekoppelt ist. Die Befehlsdecodiereinheit wird betrieben, um Befehlssymbole zu erkennen (indem sie in einer weiter unten genauer beschriebenen Weise von Datensymbolen unterschieden werden), sie zu decodieren, und daraus Befehlssignale zu generieren, welche an eine Empfängersteuereinheit angelegt werden, worunter ein auf einer Ablaufsteuereinheit basierendes Element zu verstehen ist, das dazu verwendet wird, die Paketempfänger-Operationen zu steuern.The fact that the outputs of the TS FIFOs 102x . 102y in addition to the MUX 104 is also coupled to a control decoding unit. The command decoding unit operates to recognize command symbols (by distinguishing them from data symbols in a manner described in more detail below), to decode them, and to generate command signals therefrom which are applied to a receiver control unit, including an element based on a sequence control unit that is used to control the packet receiver operations.
Wie weiter oben gezeigt, sind die Pakete durch einen zyklischen Redundanzprüfungswert (CRC-Wert) gegen Fehler geschützt. Wenn die CRC-Information des empfangenen Pakets am Ausgang des MUX 104 erscheint, versetzt der Empfängersteuerabschnitt der Speichersteuereinheit die CRC-Prüflogik 106 somit in die Lage, ein CRC-Symbol zu berechnen, während die Datensymbole empfangen werden, um daran anschliessend die generierte Menge mit dem zusammen mit dem Nachrichtenpaket empfangenen CRC zu vergleichen. Im Fall eines Nicht-Übereinstimmens, welches darauf hindeutet, dass während der Übertragung zu dem Paketempfänger 96 möglicherweise ein Fehler aufgetreten ist, gibt die CRC-Prüflogik 106 ein Fehler-Interruptsignal (BADCRC) aus, das dazu verwendet wird, ein Interrupt-Register zu setzen (Interrupt-Register 280; Fig. 14A), woraufhin das Paket ausgeschieden wird. Der Paket-Header wird jedoch zum Zweck der späteren Prüfung in einer Interrupt-Warteschlange gespeichert.As shown above, the packets are protected against errors by a cyclic redundancy check (CRC) value. If the CRC information of the received packet at the output of the MUX 104 appears, the receiver control section of the memory control unit offsets the CRC check logic 106 thus able to calculate a CRC symbol while the data symbols are being received, in order to then compare the generated quantity with the CRC received together with the message packet. In the event of a mismatch, which indicates that during transmission to the packet recipient 96 possibly an error has occurred, the CRC test logic returns 106 an error interrupt signal (BADCRC), which is used to set an interrupt register (interrupt register 280 ; 14A), whereupon the packet is eliminated. However, the packet header is stored in an interrupt queue for later checking.
Wie weiter unten ausgeführt, finden sich TS-FIFOs nicht nur in den Paketempfängern 96 der Schnittstelleneinheiten 24, sondern auch an jedem empfangenden Port der Router 14 und der E/A-Paket-Schnittstellen 16. Allerdings sind die TS-FIFOs, welche zum Empfangen von Symbolen von den TNet-Links L, die die CPUs 12A, 12B und die Router 14A, 14B (d. h. die Ports 1 und 2) verbinden, verwendet werden, in gewisser Weise unterschiedlich von jenen, die an den anderen Ports der Router 14 sowie an jeglichen anderen nicht direkt mit einer CPU 12 verbundenen Routern 14 verwendet werden. Um es anders auszudrücken, die TS-FIFOs, welche dazu verwendet werden, um Symbole zwischen Elementen mit frequenzsynchronisierter Taktgebung auszutauschen, unterscheiden sich von jenen, die dazu verwendet werden, um Symbole zwischen Elementen mit frequenznaher Taktgebung auzutauschen.As explained below, TS FIFOs are not only found in the packet receivers 96 of the interface units 24 , but also on each receiving port of the router 14 and the I / O packet interfaces 16 , However, the TS FIFOs, which are used to receive symbols from the TNet links L, which the CPUs 12A . 12B and the router 14A . 14B (ie ports 1 and 2) are used, in some ways different from those used on the other ports of the router 14 as well as any other not directly with a CPU 12 connected routers 14 be used. To put it another way, the TS FIFOs that are used to exchange symbols between elements with frequency-synchronized clocking are different from those that are used to exchange symbols between elements with near-frequency clocking.
Die folgenden Ausführungen werden auch zeigen, dass die TS-FIFOs eine bedeutende Rolle bei der Übertragung von Informationen auf den TNet-Links L zwischen in frequenznahem Betrieb arbeitenden Elementen spielen (d. h. die Taktsignale der übertragenden und der empfangenden Elemente sind nicht notwendigerweise gleich, es ist jedoch zu erwarten, dass sie innerhalb eines vorgegebenen Toleranzbereichs gelegen sind). Eine noch wichtigere Rolle, um nicht zu sagen eine einzigartige Funktion, haben die TS-FIFOs jedoch dann, wenn ein Paar von Subprozessorsystemen im Duplexbetrieb arbeitet und die beiden CPUs 12A und 12B der Subprozessorsysteme 10A, 10B in synchronisiertem Gleichschritt betrieben werden und dieselben Befehle zur selben Zeit ausführen. Bei diesem letzteren Betriebsmodus ist es unabdingbar, dass Informationen, welche von irgendeinem der Router 14A oder 14B an die CPUs 12A und 12B übertragen werden, von beiden CPUs im wesentlichen zur selben Zeit empfangen werden, damit ein synchroner, im Gleichschritt laufender Betrieb aufrechterhalten werden kann. Dies zu gewährleisten ist leider keine leicht Aufgabe, da es sehr schwierig ist, dafür zu sorgen, dass das Taktsystem der Router 14A und 14B genau mit jenem der CPUs 12A und 12B synchron läuft – und das selbst bei Einsatz von frequenzsynchronisierter Taktgebung. Innerhalb der Paketempfänger 96 der CPUs 12 ist es die Aufgabe der TS-FIFOs 102, die Differenz auszugleichen, zu der es zwischen dem Takt des Routers 14, der dazu verwendet wird, Symbole an die CPU 12 zu übertragen, und dem Takt, mit welchem die Schnittstelleneinheit 24 diese Symbole empfängt, kommen kann.The following statements will also show that the TS FIFOs play an important role in the transmission of information on the TNet links L between near frequency elements (ie the clock signals of the transmitting and receiving elements are not necessarily the same, it is however, to be expected to be within a given tolerance range). An even more important role, if not a unique function, is given by the TS FIFOs when a pair of subprocessor systems are working in duplex mode and the two CPUs 12A and 12B of subprocessor systems 10A . 10B operate in synchronized synchronism and execute the same commands at the same time. In this latter mode of operation, it is imperative that information from any of the routers 14A or 14B to the CPUs 12A and 12B transmitted, are received by both CPUs at substantially the same time, so that synchronous, synchronous operation can be maintained. Ensuring this is unfortunately not an easy task as it is very difficult to ensure that the router's clock system 14A and 14B exactly with that of the CPUs 12A and 12B runs synchronously - even when using frequency-synchronized clocking. Within the package recipient 96 of CPUs 12 it is the job of the TS FIFOs 102 to compensate for the difference between the clock of the router 14 , which is used to send symbols to the CPU 12 to transmit, and the clock with which the interface unit 24 receives these symbols, can come.
Der Aufbau des TS-FIFOs 102 ist im Hinblick auf eine anschaulichere Beschreibung in Diagrammform in 7A dargestellt; ein bevorzugter Aufbau des TS-FIFOs wird in 7B gezeigt. Es versteht sich auch hier wieder, dass wenn in der Folge von einem TS-FIFO gesprochen wird, sofern nicht anders angegeben, auf eine Struktur Bezug genommen werden soll, welche von der Funktion und vom Betrieb her jener entspricht, die unter Bezugnahme auf die 7A beschrieben wird und der in 7B gezeigten Struktur entspricht. Die Abhandlung des TS-FIFOs aus 7A soll daher allgemein gehalten sein und auch so verstanden werden. Weiterhin soll, obwohl manche der für den frequenzsynchronisierten Betrieb verwendeten TS-FIFOs sich von jenen unterscheiden, die für den frequenznahen Betrieb verwendet werden, die nachfolgende Beschreibung auf beide zutreffen. Im Anschluss an diese Ausführung folgt eine Beschreibung der Abänderungen, die am allgemeinen Rufbau des TS-FIFOs vorgenommen werden müssen, damit dieses sich zum Einsatz für eine frequenznahe Betriebsweise eignet.The structure of the TS FIFO 102 is in diagram form for a more descriptive description in 7A shown; a preferred structure of the TS FIFO is in 7B shown. Again, it goes without saying that if a TS-FIFO is subsequently referred to, unless otherwise stated, reference should be made to a structure which corresponds in terms of function and operation to that which is described with reference to FIG 7A is described and the in 7B shown structure corresponds. The treatise of the TS FIFO 7A should therefore be general and should be understood as such. Wei Furthermore, although some of the TS FIFOs used for frequency-synchronized operation differ from those used for near-frequency operation, the following description applies to both. This version is followed by a description of the changes that have to be made to the general call structure of the TS FIFO so that it is suitable for use in a frequency-related mode of operation.
Gezeigt wird in 7A das TS-FIFO 102x des Paketempfängers 96x, Das TS-FIFO 102y ist vom Aufbau und von der Betriebsweise her im wesentlichen identisch, so dass die folgende Beschreibung des TS-FIFOs 102x auch als auf das TS-FIFO 102y anwendbar zu verstehen ist. 7A zeigt das TS-FIFO 102x entsprechend über das TNet-Link 32 gekoppelt, um 9-Bit-Befehls-/Datensymbole zu empfangen, welche von einem Senderegister (Snd) 120 des Routers 14A übertragen werden (1A) gemeinsam mit einem ebenfalls von dem Router kommenden Sendetakt (S Tkt). (Die gestrichelte Linie B in 7A symbolisiert die Taktgrenze zwischen der sendenden Einheit (Router 14A) an einem Ende des entsprechenden TNet-Links 32 und der empfangenden Einheit, dem Paketempfänger 96x der CPU 12A. Die TS-FIFO 102x empfängt somit die 9-Bit-Symbole an einem Empfangsregister (Empf) 124, in welchem sie zwischenzeitlich gehalten werden (z. B. während eines S_Tkt-Intervalls) bevor sie an eine Speicherwarteschlange 126 weitergegeben werden. Die Speicherwarteschlange 126 ist zur besseren Illustration und einfacheren Beschreibung als vier Speicherorte enthaltend dargestellt. Für einschlägig gebildete Fachleute ist jedoch klar, dass weitere Speicherorte nicht nur bereitgestellt werden können sondern in der Tat notwendig bzw. wünschenswert sind.Is shown in 7A the TS FIFO 102x of the package recipient 96x , The TS FIFO 102y is essentially identical in structure and operation, so that the following description of the TS FIFO 102x also as on the TS FIFO 102y is to be understood as applicable. 7A shows the TS FIFO 102x accordingly via the TNet link 32 coupled to receive 9-bit command / data symbols sent from a transmit register (Snd) 120 of the router 14A be transmitted ( 1A ) together with a send clock (S Tkt) also coming from the router. (The dashed line B in 7A symbolizes the clock limit between the sending unit (router 14A ) at one end of the corresponding TNet link 32 and the receiving unit, the packet receiver 96x the CPU 12A , The TS FIFO 102x thus receives the 9-bit symbols at a receive register (receive) 124 in which they are held in the meantime (e.g. during an S_Tkt interval) before they go to a storage queue 126 be passed on. The storage queue 126 is shown as four locations for better illustration and simpler description. However, it is clear to those skilled in the art that additional storage locations can not only be provided but are indeed necessary or desirable.
Empfangene Symbole werden (von dem Empf-Register 124) in die TS-FIFO 102x eingegeben, und zwar an Speicherorten der Speicherwarteschlange 126, die von einem Eingabe-Zeigerzähler 128 identifiziert worden sind. Der Eingabe-Zeigerzähler 128 hat vorzugsweise die Form eines S-Tkt-getakteten Binärzählers. Empfangene Symbole werden dann der Reihe nach aus Speicherorten der Speicherwarteschlange 126, die von einem Entnahme-Zeigerzähler 130 identifiziert worden sind, entnommen und an ein FIFO-Ausgaberegister 132 weitergegeben. Ein lokales Taktsignal, "Empf-Tkt", das dazu verwendet wird, Symbole aus der Speicherwarteschlange 126 und dem FIFO-Ausgaberegister 130 zu entnehmen, wird von einem (CPU 12A-)intern generierten Signal erzeugt. Vom FIFO-Ausgaberegister 132 werden die Symbole an den MUX 104x weitergegeben.Received symbols are (from the receive register 124 ) in the TS FIFO 102x entered, in storage queue locations 126 by an input pointer counter 128 have been identified. The input pointer counter 128 preferably has the form of an S-Tkt-clocked binary counter. Received symbols then become locations from the storage queue in turn 126 by a withdrawal pointer counter 130 have been identified, taken out and sent to a FIFO output register 132 passed. A local clock signal, "Receive-Tkt", which is used to remove symbols from the store queue 126 and the FIFO output register 130 is generated by a (CPU 12A-) internally generated signal. From the FIFO output register 132 the symbols on the MUX 104x passed.
Gemäss dem für TNet-Übertragungen verwendeten Protokoll wird von allen sendenden Ports (z. B. den X- und Y-Ports der CPU 12A, jedem sendenden Port des Routers 14 bzw. der E/A-Schnittstelle 16 – 1A) fortlaufend ein konstanter Strom von Symbolen übertragen; dabei kann es sich entweder um tatsächliche Befehls-/Datensymbole (d. h. ein Paket) oder um LEERLAUF-Symbole handeln – ausgenommen während bestimmter Situationen (z. B. Reset, Initialisierung, Synchronisierung, sowie andere, weiter unten behandelte Situationen). Wie bereits weiter oben erklärt, wird jedes Symbol, das in dem Senderegister 120 des Routers 14A gehalten wird, an den Empf-Register 124 gekoppelt und in der Speicherwarteschlange 126 gespeichert, zusammen mit dem von dem Router 14A bereitgestellten Taktsignal, S_Tkt. Umgekehrt erfolgt die Entnahme der Symbole aus der Speicherwarteschlange synchron mit dem lokal erzeugten Takt, Empf-Tkt. Dabei handelt es sich um zwei unterschiedliche Taktsignale, wenngleich auch mit im wesentlichen derselben Frequenz. Solange jedoch genügend Zeit verstreicht (z. B. einige Taktintervalle) zwischen dem Zeitpunkt da ein Symbol in die TS-FIFO 102x eintritt und jenem Zeitpunkt, da dasselbe Symbol aus der TS-FIFO entnommen wird, sollte es zu keinen Metastabilitätsproblemen kommen. Wenn das eingehende Taktsignal (S_Tkt) und der Empf-Tkt in frequenzsynchronisiertem Modus betrieben werden, sollte es niemals zu einem Überlauf oder Unterlauf der TS-FIFO 102x kommen.According to the protocol used for TNet transmissions, all sending ports (e.g. the X and Y ports of the CPU 12A , each sending port of the router 14 or the I / O interface 16 - 1A ) continuously transmit a constant stream of symbols; these can either be actual command / data symbols (ie a package) or IDLE symbols - except during certain situations (e.g. reset, initialization, synchronization, as well as other situations discussed below). As explained earlier, each symbol that is in the transmit register 120 of the router 14A is held to the REC register 124 paired and in the storage queue 126 saved, along with that from the router 14A provided clock signal, S_Tkt. Conversely, the symbols are removed from the storage queue synchronously with the locally generated clock, receive clock. These are two different clock signals, albeit with essentially the same frequency. However, as long as enough time elapses (e.g. a few clock intervals) between the time there a symbol in the TS FIFO 102x occurs and at the time when the same symbol is taken from the TS FIFO, there should be no metastability problems. When the incoming clock signal (S_Tkt) and the receive clock are operated in frequency-synchronized mode, the TS FIFO should never overflow or underflow 102x come.
Die Initialisierung der TS-FIFO 102x erfolgt wie folgt. Zu Beginn überträgt der Router 14A LEERLAUF-Symbole für jeden Impuls des Sendetaktsignals, S_Tkt, wodurch schliesslich das Empf-Register 124, die Speicherwarteschlange 126 und das FIFO-Ausgaberegister 132 mit LEERLAUF-Symbolen gefüllt wird und das TS-FIFO 102x in einen Leerlaufzustand zurückgesetzt wird. Der Eingabe-Zeigerzähler 128 und der Entnahme-Zeigerzähler 130 werden nach Empfang (und Erkennung) eines SYNC-Befehlssymbols auf Null gesetzt. Durch den Empfang des SYNC-Signals wird der Eingabe-Zeigerzähler 128 so eingestellt, dass er auf einen bestimmten Speicherort in der Speicherwarteschlange 12b zeigt. Gleichzeitig wird auch der Entnahme-Zeigerzähler 130 in ähnlicher Weise eingestellt, so dass er auf einen Speicherort der Speichewarteschlange 126 zeigt, der vorzugsweise um zwei Speicherorte von jenem des Eingabe-Zeigerzählers beabstandet ist. Dadurch wird eine nominale Verzögerung von zwei Takten zwischen dem Eintritt eines Symbols in die Speicherwarteschlange 126 und dessen Verlassen der Speicherwarteschlange eingerichtet, wodurch es jedem in die Warteschlange 126 eintretenden Symbol ermöglicht wird, sich zu beruhigen, bevor es wieder ausgetaktet und von dem MUX 104x (und 104y) an die Speicher- und Verarbeitungseinheiten 110x (und 110y) weitergegeben wird. Da der Sendetakt und der Empfangstakt phasenunabhängig voneinander sind, beinhaltet eine nominale Verzögerung von zwei Takten einen Fehlerbereich von plus oder minus einem vorgegebenen Betrag, so dass angenommen wird, dass der erlaubte Reset-Zeitversatz geringer oder gleich einem Takt ist.The initialization of the TS FIFO 102x is done as follows. At the beginning the router transmits 14A IDLE symbols for each pulse of the transmit clock signal, S_Tkt, which ultimately results in the receive register 124 , the storage queue 126 and the FIFO output register 132 is filled with IDLE symbols and the TS FIFO 102x is reset to an idle state. The input pointer counter 128 and the withdrawal pointer counter 130 are set to zero after receipt (and detection) of a SYNC command symbol. Upon receipt of the SYNC signal, the input pointer counter becomes 128 set to go to a specific location in the storage queue 12b shows. At the same time, the withdrawal pointer counter also becomes 130 set similarly so that it points to a storage queue location 126 shows, which is preferably spaced two locations from that of the input pointer counter. This results in a nominal two clock delay between the entry of a symbol into the store queue 126 and its leaving the store queue is set up, causing it to queue everyone 126 entering symbol is allowed to calm down before it is clocked out again and by the MUX 104x (and 104y ) to the storage and processing units 110x (and 110y ) is passed on. Since the transmit clock and the receive clock are phase-independent of one another, a nominal delay of two clocks includes an error range of plus or minus a predetermined amount, so that it is assumed that the permitted reset time offset is less than or equal to one clock.
7B veranschaulicht eine Realisierung des TS-FIFOs 192x, wobei die Speicherwarteschlange 126 als aus Multiplexer/Auffangspeicher-Kombinationen 140, 142 bestehend dargestellt ist und wobei jede dieser Kombinationen einen Speicherort der Speicherwarteschlange 126 bildet. Die Auffangspeicher 142 werden mit jedem Impuls des S_Tkt angesteuert. Der Eingabe-Zeigerzähler 128 wird von einem Decodierer 144 decodiert, um einen der Multiplexer 140 zu veranlassen, die Ausgabesignale des Empf-Registers 124 zur Koppelung an den ihm zugeordneten Auffangspeicher 142 auszuwählen. Der Auffangspeicher wird mit dem S_Tkt geladen und der Eingabe-Zeigerzähler wird inkrementiert, um einen weiteren der Multiplexer 140 zu veranlassen, das Empf-Register an einen zugeordneten Auffangspeicher 142 zu übertragen. Jene Auffangspeicher 142, die nicht ausgewählt werden, um die Ausgabesignale des Empf-Registers 124 zu empfangen, empfangen und laden stattdessen den Auffangspeicherinhalt mit S_Tkt. 7B illustrates a realization of the TS FIFO 192x where the store queue 126 than from multiplexer / buffer combinations 140 . 142 is shown consisting and each of these Combinations of a storage queue location 126 forms. The catchment 142 are controlled with every pulse of the S_Tkt. The input pointer counter 128 is from a decoder 144 decoded to one of the multiplexers 140 to cause the output signals of the REC register 124 for coupling to the buffer memory assigned to it 142 select. The buffer is loaded with the S_Tkt and the input pointer counter is incremented to another one of the multiplexers 140 to cause the REC register to be allocated to a latch 142 transferred to. That catchment 142 that are not selected to be the output signals of the REC register 124 to receive, receive and load the catch memory content with S_Tkt instead.
Im wesentlichen zeitgleich dazu wählt der Entnahmezähler 130 den Inhalt eines der Auffangspeicher über einen Multiplexer 146, um ihn gemeinsam mit dem Emfp- Tkt an das FIFO-Ausgaberegister 132 zu übertragen und in dieses zu laden; gleichzeitig dazu wird der Entnahme-Zeigerzähler 132 aktualisiert (inkrementiert).The withdrawal counter dials essentially at the same time 130 the contents of one of the catch memories via a multiplexer 146 to the FIFO output register together with the Emfp- Tkt 132 to transfer and load into it; at the same time the withdrawal pointer counter 132 updated (incremented).
Das TS-FIFO 102x ist entsprechend aufgebaut, um eine frequenzsynchronisierte Taktgabe durchzuführen (d. h. S_Tkt und Empf-Tkt sind im wesentlichen gleich was die Frequenz, nicht jedoch die Phase betrifft), die nur verwendet wird, wenn ein Paar von CPUs 12 im Duplex-Betriebsmodus läuft, und es sich um Übertragungen zwischen den Routern 14A, 14B und den gepaarten CPUs 12A, 12B ( 1) handelt. Die anderen Ports der Router 14 (und der E/A-Schnittstellen 16), die nicht mit (im Duplexbetrieb funktionierenden) CPUs 12 kommunizieren, werden betrieben, um Symbole unter frequenznaher Taktgabe zu übertragen. Dennoch werden auch an diesen anderen Ports Taktsynchronisierungs-FIFOs verwendet, um Symbole zu empfangen, welche unter frequenznaher Taktgabe übertragen wurden, und diese Taktsynchronisierungs-FIFOs sind von ihrem Aufbau her im wesentlichen identisch mit jenen, die in frequenzsynchronisierten Umgebungen eingesetzt werden, d. h. mit den TS-FIFOs 102. Es bestehen jedoch Unterschiede. So sind zum Beispiel die Symbol-Speicherorte der Speicherwarteschlange 9 Bit breit; bei frequenznahen Umgebungen verwenden die Taktsynchronisierungs-FIFOs Symbol-Speicherorte der Warteschlange 126, welche 10 Bit breit sind, wobei es sich bei dem zusätzlichen Bit um ein "gültig"-Flag handelt, an dessen Zustand zu erkennen ist, ob das dazugehörige Symbol gültig ist oder nicht. Auf dieses Merkmal wird weiter unten noch genauer eingegangen.The TS FIFO 102x is designed to perform frequency-synchronized clocking (ie S_Tkt and receive-Tkt are essentially the same in frequency but not in phase), which is only used when a pair of CPUs 12 runs in duplex mode, and it is transfers between the routers 14A . 14B and the paired CPUs 12A . 12B ( 1 ) acts. The other ports of the router 14 (and the I / O interfaces 16 ) that do not work with CPUs (working in duplex mode) 12 communicate, are operated in order to transmit symbols under clock frequency. Nevertheless, clock synchronization FIFOs are also used on these other ports to receive symbols which have been transmitted with near-frequency clocking, and these clock synchronization FIFOs are essentially identical in structure to those used in frequency-synchronized environments, ie with the CS FIFOs 102 , However, there are differences. For example, the symbol locations of the store queue are 9 bits wide; in near-frequency environments, clock synchronization FIFOs use queue symbol locations 126 , which are 10 bits wide, the additional bit being a "valid" flag, the status of which indicates whether the associated symbol is valid or not. This feature is discussed in more detail below.
Ein Router 14 kommuniziert oft mit Geräten (z. B. anderen Routern oder E/A-Schnittstellen 16) in anderen Computern, die unter dem Einfluss anderer Taktgeräte stehen, die zwar dieselbe Nennfrequenz aufweisen wie der Router 14, welcher Symbole überträgt bzw. empfängt, deren reale Frequenzen sich jedoch oft geringfügig davon unterscheiden. Es ist also eine frequenznahe Situation gegeben, und mit dieser Form der Taktgebung beim Symboltransfer sind alle Ports eines Routers 14 konfrontiert, ausser jene, die beim Duplexbetrieb direkt mit einer CPU 12 verbunden sind. Beim frequenznahen Betrieb können die Taktsignale (z. B. der an einem Ende zur Symbolübertragung verwendete Takt und der am anderen Ende zum Signalempfang verwendete Takt) langsam auseinanderdriften, wobei der eine sich schlussendlich um einen Taktzyklus gegenüber dem anderen verschiebt. Wenn dieser Fall eintritt, zeigen die beiden Zeiger (der Eingabe- und der Entnahme-Zeigerzähler 128 bzw. 130) des TS-FIFOs 102 auf einen Symbol-Speicherort der Speicherwarteschlange 126, der entweder um einen Symbol-Speicherort näher aneinander oder um einen Speicherort weiter voneinander entfernt liegt, je nachdem welche Einheit (Überträger oder Empfänger) über die schnellere Taktquelle verfügt. Um diese Taktverschiebung in den Griff zu bekommen, werden die beiden Zeiger in der Praxis in regelmässigen Abständen resynchronisiert.A router 14 often communicates with devices (e.g. other routers or I / O interfaces 16 ) in other computers that are influenced by other clock devices that have the same nominal frequency as the router 14 , which transmits or receives symbols, the real frequencies of which, however, often differ slightly from them. So there is a near-frequency situation, and with this form of clocking during symbol transfer, all ports of a router are 14 faced, except those that directly with a CPU in duplex mode 12 are connected. In near-frequency operation, the clock signals (e.g. the clock used at one end for symbol transmission and the clock used at the other end for signal reception) can slowly drift apart, with one ultimately shifting by one clock cycle compared to the other. When this happens, the two pointers (the input and the removal pointer counter) 128 respectively. 130 ) of the TS FIFO 102 to an icon storage queue location 126 which is either closer to each other by a symbol storage location or further apart from each other, depending on which unit (transmitter or receiver) has the faster clock source. In order to get this clock shift under control, the two hands are resynchronized in practice at regular intervals.
Wenn die CPUs 12 gepaart sind und im Duplexbetrieb laufen, alle vier Schnittstelleneinheiten 24 im Gleichschritt betrieben werden, um unter anderem dieselben Daten zu übertragen und Daten im selben Takt zu empfangen (S_Tkt und Empf-Tkt), wird eine frequenzsynchronisierte Taktgebung benötigt und verwendet. Wenn die CPUs 12 im Simplexmodus betrieben werden, und jede unabhängig von der anderen arbeitet, genügt es, mit frequenznaher Taktgebung zu arbeiten.If the CPUs 12 are paired and run in duplex mode, all four interface units 24 To be operated in synchronism in order to transmit the same data and receive data in the same cycle (S_Tkt and receive-Tkt), frequency-synchronized clocking is required and used. If the CPUs 12 be operated in simplex mode, and each works independently of the other, it is sufficient to work with frequency-related clocking.
Die Schnittstelleneinheit 24 empfängt ein SYNC TKT-Signal, welches in Kombination mit dem SYNC-Steuersymbol verwendet wird, um das Empf-Register 124 zu initialisieren und mit den übertragenden Router 14 zu synchronisieren. Sowohl für den frequenznahen als auch den frequenzsynchronisierten Taktbetrieb für Symbolübertragungen ist es vorzuziehen, wenn das TS-FIFO 102x bei einem bekannten Zustand beginnt. Eingehende Symbole werden von den Speicher- und Verarbeitungseinheiten 110 des Paketempfängers 96 geprüft. Die Speicher- und Verarbeitungseinheiten suchen nach Steuersymbolen und verhalten sich diesen entsprechend. Das Festhaltenswerte dabei ist, dass wenn der Paketempfänger 96 ein SYNC-Befehlssymbol empfängt, dieses von der Speicher- und Verarbeitungseinheit 110 decodiert und erkannt wird. Die Erkennung des SYNC-Befehlssymbols durch die Speicher- und Verarbeitungseinheit 110 führt zur Aktivierung eines RESET-Signals. Das unter synchroner Steuerung durch das SYNC-Tkt-Signal generierte RESET-Signal wird dazu verwendet, die Eingangspufferspeicher (einschliesslich der Taktsynchronisierungs-Pufferspeicher) wieder auf vorgegebene Zustandswerte einzustellen und sie mit den Routern 14 zu synchronisieren.The interface unit 24 receives a SYNC TKT signal, which is used in combination with the SYNC control symbol, around the receive register 124 to initialize and with the transmitting router 14 to synchronize. For both near-frequency and frequency-synchronized clock operation for symbol transmissions, it is preferable if the TS FIFO 102x starts at a known state. Incoming symbols are from the storage and processing units 110 of the package recipient 96 checked. The storage and processing units look for control symbols and behave accordingly. The sticking point here is that when the package recipient 96 receives a SYNC command symbol, this from the storage and processing unit 110 is decoded and recognized. The recognition of the SYNC command symbol by the storage and processing unit 110 leads to the activation of a RESET signal. The RESET signal generated under synchronous control by the SYNC Tkt signal is used to reset the input buffer memory (including the clock synchronization buffer memory) to the specified status values and to reset it with the routers 14 to synchronize.
Die Synchronisierung der TS-FIFOs 102 der Schnittstelleneinheiten 24, sowie von jener eines oder beider Router 14A, 14B wird im einzelnen weiter unten im Abschnitt über Synchronisation behandelt.The synchronization of the TS FIFOs 102 of the interface units 24 , as well as that of one or both routers 14A . 14B is covered in more detail in the section on synchronization below.
Paketüberträger: Package carriers:
Jede Schnittstelleneinheit 24 hat die Aufgabe, jeweils nur von einem Port aus, dem X-Port oder dem Y-Port, der CPU 12 Übertragungen durchzuführen bzw. an diesem Port Daten zu empfangen. Wenn eine der Schnittstelleneinheiten 24 überträgt, besteht der Betrieb der anderen darin, die in Übertragung befindlichen Daten zu prüfen. Dies ist ein wichtiges Merkmal des Paketüberträgers, weil dadurch eine selbstprüfende Fehlererkennungs- und Fehlerbegrenzungsfähigkeit der CPU 12 geschaffen wird, und zwar selbst dann, wenn diese im Simplexbetrieb läuft.Every interface unit 24 has the task of only one port at a time, the X port or the Y port, the CPU 12 Carrying out transfers or receiving data at this port. If one of the interface units 24 transmits, the operation of the others is to check the data being transmitted. This is an important feature of the packet transporter because it enables the CPU to self-check for error detection and limitation 12 is created, even if it is running in simplex mode.
Dieses Merkmal wird in 8 veranschaulicht, in welcher in abgekürzter Form die Paketüberträger 94x, 94y der jeweiligen X- und Y-Schnittstelleneinheiten 24a, 24b gezeigt werden. Beide Paketüberträger sind identisch aufgebaut, so dass die Besprechung des einen (Paketüberträger 94x) auch auf den anderen (Paketüberträger 94y) anwendbar ist, sofern nicht anders angegeben.This feature is in 8th illustrates in which, in abbreviated form, the parcel carriers 94x . 94y of the respective X and Y interface units 24a . 24b to be shown. Both packet transmitters are constructed identically, so that the discussion of one (packet transmitter 94x ) also on the other (parcel carrier 94y ) is applicable unless otherwise stated.
Wie 8 zeigt, beinhaltet der Paketüberträger 94x eine Paketierlogik 152 welche von der BÜM 88 oder der ZVÜ 90 der zugeordneten Schnittstelleneinheit (hier die X-Schnittstelleneinheit 24a) die zu übermittelnden Daten empfängt, und zwar in Doppelwortformat (64-Bit-Format). Die Paketierlogik 152 zwischenspeichert die Informationen bis diese bereit zur Übertragung aus dem X- oder Y-Port der CPU 12 sind, führt eine Byte-Steueroperation durch, um die Daten von dem Doppelwortformat in ein Byteformat zu übersetzen, setzt die Bytes in Paketform zusammen und gibt sie an einen der X- und Y-Codierer 150x, 150y weiter. Nur einer der Codierer 150 empfängt die Bytes, je nachdem, welcher Port (X oder Y) das entstehende Nachrichtenpaket überträgt.How 8th shows, includes the parcel carrier 94x a packaging logic 152 which from the BÜM 88 or the ZVÜ 90 the assigned interface unit (here the X interface unit 24a ) receives the data to be transmitted, in double word format (64-bit format). The packaging logic 152 temporarily stores the information until it is ready for transmission from the X or Y port of the CPU 12 performs a byte control operation to translate the data from the double word format to a byte format, assembles the bytes in packet form, and passes them to one of the X and Y encoders 150 views . 150y further. Just one of the encoders 150 receives the bytes depending on which port (X or Y) transmits the resulting message packet.
Jener X- oder Y-Codierer 150, der die 8-Bit-Bytes empfängt, wird betrieben, um sie in einem 9-Bit-Befehls/Datensymbolformat zu codieren, wie in 9 veranschaulicht. Die Codierung der drei linkerhand angeordneten Bits des sich ergebenden 9-Bit-Symbols wird in den drei linken Spalten der untenstehenden Tabelle 1 gezeigt TABELLE 1 8B-9B Symbolcodierung
Wie Tabelle 1 bei gemeinsamer Betrachtung mit 9 veranschaulicht, sind die höherwertigen drei Bits (CDC, CDB, CDA) der 9 Bits entsprechend codiert, um anzuzeigen, ob die restlichen, niederwertigen sechs Bits des Symbols (CD5, CD4, CD3, CD2, CD1 und CDO) als (1) Befehlsinformation oder (2) Daten zu interpretieren sind. Wenn somit die drei bedeutendsten Bits, CDC, CDB und CDA alle Null sind, so ist das 9-Bit-Symbol dadurch als Befehlssymbol gekennzeichnet, wobei die verbleibenden sechs Bits den Befehl bilden. So würde zum Beispiel ein Befehls/Datensymbol der Form "OOOcccccc" als Befehl interpretiert, wobei die "c"-Bits den Befehl darstellt.Like table 1 when viewed together with 9 the higher three bits (CDC, CDB, CDA) of the 9 bits are encoded to indicate whether the remaining lower six bits of the symbol (CD5, CD4, CD3, CD2, CD1 and CDO) are (1) command information or (2) data are to be interpreted. Thus, if the three most significant bits, CDC, CDB and CDA are all zero, the 9-bit symbol is identified as an instruction symbol, with the remaining six bits forming the instruction. For example, a command / data symbol of the form "OOOcccccc" would be interpreted as a command, the "c" bits representing the command.
Wenn die drei bedeutendsten Bits CDC, CDB und CDA des Befehls-/Datensymbols andererseits irgendeinen der vier charakteristischen Datenwerte annehmen, so werden sie als zwei Datenbits interpretiert, welche mit den verbleibenden sechs Datenbits zu einem Datenbyte zu kombinieren sind. Bei den verbleibenden sechs handelt es ich um die am wenigsten bedeutenden Bits des Datenbytes. Somit würde ein Befehls/Datensymbol, das sich wie folgt darstellt "110001101" als Datensymbol interpretiert und in ein Datenbyte der Form "10001101" übersetzt werden. Ein Fehler liegt vor, wenn die drei bedeutendsten Bits eine der Formen 001, 010 und 100 annehmen.If the three most significant bits Command / data symbol CDC, CDB and CDA on the other hand any of the four characteristic data values, they are called interpreted two data bits, which with the remaining six Data bits are to be combined into one data byte. With the remaining six I am the least significant bits of the data byte. So would a command / data symbol that looks like this "110001101" interpreted as a data symbol and translated into a data byte of the form "10001101" become. An error exists if the three most significant bits have one of the forms 001, 010 and 100.
Die drei Fehlercodes, die die Datensymbole von den Befehlssymbolen trennen, bilden einen minimalen Hamming-Abstand von zwei zwischen Befehlen und Daten. So ist es nicht möglich, dass ein Einzelbitfehler Daten in ein Befehlssymbol verwandelt oder umgekehrt.The three error codes that represent the data symbols separate from the command symbols, form a minimum Hamming distance of two between commands and data. So it is not possible for a single bit data error transformed into a command symbol or vice versa.
Ausserdem werden die sechs Bits niedrigeren Ranges eines Befehlssymbols (im Gegensatz zu einem Datensymbol) in dem bekannten "drei von sechs"-Code codiert, in welchem die sechs Bitpositionen, die den Befehl enthalten, immer genau drei "EINSEN" enthalten. Alle eindirektionalen Fehler, sowie jede ungerade Zahl von Fehlern in einem Befehlssymbol wird so erkannt. Fehler in den Daten werden durch Paket-CRC-Prüfungen erkannt, ebenso wie Fehler, welche Befehlssymbole in Daten umwandeln. Fehler, welche Daten in Befehlssymbole umwandeln, werden durch CRC und/oder Protokollverletzungsfehler erkannt, wie weiter unten noch genauer beschrieben wird.In addition, the six bits become lower Ranks of a command symbol (as opposed to a data symbol) encoded in the well-known "three of six" code, in which the six Bit positions that contain the command are always exactly three "ONE" contain. All unidirectional errors as well as any odd number errors in a command symbol are thus recognized. Error in the Data is recognized through packet CRC checks, as well as errors that convert command symbols to data. Error, which data convert into command symbols are caused by CRC and / or protocol violation errors recognized, as will be described in more detail below.
Welcher der X- oder Y- Codierer 150 die Informationsbytes von der Paketierlogik 152 empfängt, hängt von der in der zu übertragenden Information enthaltenen Bstimmungsort-ID ab, in der auch das Pfad-Bit (P) beinhaltet ist, das den einzuschlagenden Pfad angibt. Angenommen zum Beispiel die in der Information enthaltene Bestimmungsort-ID legt nahe, dass diese über den X-Port der CPU 12 gesendet werden sollte. Die Paketierlogik 152 (der beiden Paketüberträger 94x, 94y) sendet diese Information an den X-Codierer 150x; zur selben Zeit sendet sie LEERLAUF-Symbole an den Y-Codierer 150y. Es werden kontinuierlich Symbole von dem X- und dem Y-Port gesendet: dabei handelt es sich entweder um Symbole, die ein gerade in Übertragung befindliches Nachrichtenpaket bilden, oder um LEERLAUF-Symbole, oder um andere Befehlssymbole, die zur Durchführung von Steuerfunktionen verwendet werden.Which of the X or Y encoders 150 the information bytes from the packaging logic 152 depends on the destination ID contained in the information to be transmitted, which also contains the path bit (P) which indicates the path to be taken. For example, suppose the destination ID contained in the information suggests that this is via the X-port of the CPU 12 should be sent. The packaging logic 152 (of the two parcel carriers 94x . 94y ) sends this information to the X encoder 150 views ; at the same time it sends IDLE symbols to the Y encoder 150y , Symbols are continuously sent from the X and Y ports: these are either symbols that form a message packet that is currently being transmitted, or IDLE symbols, or other command symbols that are used to perform control functions ,
Die Ausgabesignale der X- und Y-Codierer 150 werden an eine Multiplexanordnung angelegt, welche die Multiplexer 154, 156 beinhaltet. Der Ausgang des Multiplexers 154 ist mit dem X-Port verbunden. (Die Schnittstelleneinheit 24b verbindet den Ausgang des Multiplexers 154 mit dem Y-Port.) Der Multiplexer 156 ist mit der Prüflogik 160 verbunden, welche über das Quervernetzungs-Link 34y auch die Ausgangssignale des mit dem Y-Port verbundenen Multiplexers 154 empfängt. Es gilt zu beachten, dass die Ausgangssignale der Multiplexers 154, der mit dem X-Port und dem TNet Link 30x verbunden ist, über das Quervernetzungs-Link 34x auch an die Prüflogik 160 des Paketüberträgers 94y (der Schnittstelleneinheit 24b) gekoppelt ist.The output signals of the X and Y encoders 150 are applied to a multiplex arrangement, which the multiplexers 154 . 156 includes. The output of the multiplexer 154 is connected to the X-Port. (The interface unit 24b connects the output of the multiplexer 154 with the Y port.) The multiplexer 156 is with the test logic 160 connected, which via the cross-link 34y also the output signals of the multiplexer connected to the Y port 154 receives. It should be noted that the output signals of the multiplexers 154 with the X-Port and the TNet Link 30 x is connected via the cross-link 34 x also to the test logic 160 of the parcel carrier 94y (the interface unit 24b ) is coupled.
Ein Wahleingang (W) der Multiplexer empfängt ein 1 Bit Ausgabesignal von einer X/Y-Stufe des Konfigurationsregisters 162. Das Konfigurationsregister 162 ist für den IP 18 über einen in der Schnittstelleneinheit 24 ausgebildeten OLZP (nicht dargestellt) zugänglich und wird mit Informationen beschrieben, durch welche die Schnittstelleneinheiten 24 unter anderem "personalisiert" werden. Hier konfiguriert die X/Y-Stufe des Konfigurationsregisters 162 den Paketüberträger 94x der X-Schnittstelleneinheit 24a entsprechend, so dass dieser die Ausgabesignale des X-Codierers 150x an den X-Port übermittelt; die Ausgabesignale des Y-Codierers 150y werden ebenfalls an die Prüflogik 160 gekoppelt. In ähnlicher Weise wird die X/Y-Stufe des Konfigurationsregisters 162 des Y-Paketüberträgers 94y (der Y-Schnittstelle 24b) in einen Zustand versetzt, der den Multiplexer 154 dazu veranlasst, die Ausgabesignale des Y-Codierers 150y zur Übertragung an den Y-Port auszuwählen; und die Ausgabesignale des X-Codierers 150x zur Koppelung an die Prüflogik 160 des Paketüberträgers 160 auszuwählen, wo sie mit den Übertragungen des X-Ports verglichen werden.A selection input (W) of the multiplexers receives a 1 bit output signal from an X / Y stage of the configuration register 162 , The configuration register 162 is for the IP 18 via one in the interface unit 24 trained OLZP (not shown) accessible and is described with information through which the interface units 24 among other things, be "personalized". The X / Y level of the configuration register is configured here 162 the parcel carrier 94x the X interface unit 24a accordingly, so that this is the output signals of the X encoder 150 views transmitted to the X-Port; the output signals of the Y encoder 150y are also sent to the test logic 160 coupled. Similarly, the X / Y level of the configuration register 162 of the Y packet carrier 94y (the Y interface 24b ) put in a state that the multiplexer 154 causes the output signals of the Y encoder 150y select for transmission to the Y port; and the output signals of the X encoder 150 views for coupling to the test logic 160 of the parcel carrier 160 select where to compare them with the X port transmissions.
Kurz gesagt, läuft die Operation der Nachrichtenpaketübertragung von dem X-Port bzw. dem Y-Port wie folgt ab. Zu Beginn, wenn wie bereits angedeutet noch keine Nachrichtenpaketübertragungen im Gange sind, übertragen der X- und der Y-Codierer beide -BYTE-Symbole oder andere Symbole, die zur Durchführung von Steuerfunktionen verwendet werden. Wenn die X/Y-Stufen der Konfigurationsregister 162 beider Paketüberträger 94 wie oben angegeben eingestellt sind (d. h. wenn der X-Codierer 150x des Paketüberträgers 94x über den Multiplexer 154 mit dem Ausgangsport (X) verbunden ist; und der Y-Codierer 150y des Paketüberträgers 94y über den Multiplexer 154 mit dem Ausgangsport (Y) verbunden ist), werden von dem X-Codierer 150x (des Paketüberträgers 94x) LEERLAUF-Symbole von dem X-Port der CPU 12A übertragen, und werden von dem Y-Codierer 150y (des Paketüberträgers 94y) erzeugte LEERLAUF-Symbole von dem Y-Port übertragen. Zur selben Zeit werden die X-Port-Übertragungen durch das Quervernetzungs-Zink 34x an die Prüflogik 160 des Paketüberträgers 94y gekoppelt und mit jenen gegengeprüft, die von dem X-Codierer 150x dieses Paketüberträgers erzeugt werden. In derselben Weise werden die von dem Y-Port abgehenden LEERLAUF-Symbole von dem Paketüberträger 94y aus an die Prüflogik 160 des Paketüberträgers 94x gekoppelt, wo sie mit den von dem Y-Codierer 150y des Paketüberträgers 94x erzeugten Signalen gegengeprüft werden.In short, the operation of message packet transmission from the X port and the Y port is as follows. Initially, when, as already indicated, no packet transfers are in progress, the X and Y encoders both transmit -BYTE symbols or other symbols that are used to perform control functions. If the X / Y levels of the configuration register 162 both parcel carriers 94 are set as indicated above (ie when the X encoder 150 views of the parcel carrier 94x via the multiplexer 154 connected to the output port (X); and the Y encoder 150y of the parcel carrier 94y via the multiplexer 154 connected to the output port (Y)) are from the X encoder 150 views (of the parcel carrier 94x ) IDLE symbols from the X-port of the CPU 12A and are transmitted from the Y encoder 150y (of the parcel carrier 94y ) generated IDLE symbols from the Y port. At the same time, the X-Port transmissions are through the cross-linking zinc 34x to the test logic 160 of the parcel carrier 94y coupled and cross-checked with those by the X encoder 150 views of this packet transmitter are generated. In the same way, the IDLE symbols coming from the Y port become from the packet transmitter 94y off to the test logic 160 of the parcel carrier 94x where it is coupled to that of the Y encoder 150y of the parcel carrier 94x generated signals are cross-checked.
Aus diesen Ausführungen wird eine wichtige Tatsache klar: die korrekte Funktionsweise der Paketüberträger kann auch dann überwacht werden, wenn diese nicht gerade dabei sind, Nachrichtenpakete zu übertragen. Im Gegenteil, selbst wenn kein Nachrichtenpaketverkehr vorhanden ist, wird die Funktion der beiden Paketschnittstellen 94 (und damit auch der Schnittstelleneinheiten 24, denen sie zugeordnet sind) kontinuierlich überwacht. Sollte eine der Prüflogiken ein Nichtübereinstimmen bei den an sie angelegten Signalströmen erkennen, so wird ein FEHLER-Signal ausgegeben, welches das Freigeben eines internen Interrupts zur Folge hat, mit dem der Prozessor 20 aufgefordert wird, entsprechende Schritte zu setzen.An important fact becomes clear from these statements: the correct functioning of the packet transmitters can be monitored even when they are not in the process of transmitting message packets. On the contrary, even if there is no message packet traffic, the function of the two packet interfaces 94 (and thus also the interface units 24 to which they are assigned) continuously monitored. If one of the test logics detects a mismatch in the signal streams applied to it, an ERROR signal is output, which results in the release of an internal interrupt with which the processor 20 is asked to take appropriate steps.
Der Nachrichtenpaketverkehr funktioniert in derselben Weise. Fürs erste sei angenommen, dass die Paketierlogik 152 des Paketüberträgers 94 Informationen zur Übertragung empfängt und dass die Bestimmungsort-ID angibt, dass dafür der X-Port zu verwenden ist. Die Paketierlogik leitet die Information byteweise an den X-Codierer 150x beider Schnittstelleneinheiten 96 weiter, welcher jedes Byte in die codierte 9-Bit-Form übersetzt. Die Ausgangsinformation des X-Codierers 150x des Paketüberträgers 94x wird von dem Multiplexer 154 an den X-Port und an das TNet-Link 30x, sowie an die Prüflogik 160 des Paketüberträgers 94y übermittelt. In der Zwischenzeit wird die Ausgangsinformation des X-Codierers des Paketüberträgers 94y von dem Multiplexer 156 lediglich an die Prüflogik 160 gekoppelt, wo sie mit jener, die von dem Paketüberträger 94x kommt, gegengeprüft wird. Auch hier wieder wird die Funktion der Schnittstelleneinheiten 24a, 24b und die in ihnen enthaltenen Paketüberträger auf Fehler geprüft.Message packet traffic works in the same way. For now, let's assume that the packaging logic 152 of the parcel carrier 94 Receives information about the transmission and that the determ Location ID indicates that the X port is to be used for this. The packaging logic passes the information byte by byte to the X encoder 150 views both interface units 96 which translates each byte into the encoded 9-bit form. The output information of the X encoder 150 views of the parcel carrier 94x is from the multiplexer 154 to the X-Port and to the TNet-Link 30x , as well as the test logic 160 of the parcel carrier 94y transmitted. In the meantime, the output information of the X encoder of the packet transmitter 94y from the multiplexer 156 only to the test logic 160 where they are coupled with those from the packet transmitter 94x comes, is cross-checked. Again, the function of the interface units 24a . 24b and checked the package carriers contained in them for errors.
In derselben Art werden, wie nun ersichtlich, die vom Y-Port abgehenden Nachrichtenpaketübertragungen überwacht.In the same way as now can be seen that monitors the outbound message packet transmissions.
Unter erneuter Bezugnahme auf 5 sei hier festgehalten, dass wenn es sich bei dem abgehenden Nachrichtenpaket um eine prozessorinitiierte Transaktion handelt (z. B. um eine Leseanforderung), die Prozessoren 20 erwarten, dass ein Nachrichtenpaket als Antwort rückgesendet wird. Wenn die BÜM 88 somit die zu sendenden Daten von dem Speicher 28 zu dem Paketüberträger 94 überträgt, stellt sie einen in der Anforderungstransaktionslogik 100 enthaltenen Anforderungs-Zählerzeitgeber (nicht dargestellt) entsprechend ein, so dass dieser den Beginn einer Zeitüberwachungsdauer markiert, innerhalb derer eine Antwort empfangen werden sollte. Sofern eine Antwort auf die abgehende Anforderung empfangen wird, ermittelt eine Antwortabgleichschaltung des Paketempfängers 96, dass es sich bei dem Nachrichtenpaket um eine Antwort handelt und setzt den Anforderungs-Zählerzeitgeber zurück. Es ist nur ein Rnforderungs-Zählerzeitgeber (nicht dargestellt) für jede Anzahl ausstehender Anforderungen an einen Bestimmungsort vorhanden. Jedes Mal wenn die BÜM 88 die Übertragung einer Transaktion initiiert, wird der Zählerzeitgeber zurückgesetzt.Referring again to 5 it should be noted here that if the outgoing message packet is a processor-initiated transaction (e.g. a read request), the processors 20 expect a message packet to be returned as a response. If the BÜM 88 hence the data to be sent from the memory 28 to the parcel carrier 94 transfers, it puts one in the request transaction logic 100 contained request counter timer (not shown) accordingly, so that this marks the beginning of a time monitoring period within which a response should be received. If a response to the outgoing request is received, a response matching circuit of the packet receiver determines 96 that the message packet is a response and resets the request counter timer. There is only one request counter timer (not shown) for each number of pending requests to a destination. Every time the BÜM 88 initiated the transmission of a transaction, the counter timer is reset.
Wenn andererseits die Antwort nicht innerhalb der dafür eingeräumten Zeit empfangen wird, so gibt der Anforderungs-Zählerzeitgeber ein Zeitablauffehler-Signal an die Interrupt-Logik (14A) aus, um damit die Prozessoren 20 über die nicht eingegangene Antwort auf eine bestimmte Transaktion (z. B. eine Leseanforderung) zu benachrichtigen. Sollen mehrere ausständige Anforderungen unterstützt werden, so bestünde die Möglichkeit, mehrere Anforderungs-Zählerzeitgeber – einen pro ausständiger Anforderung – zu verwenden.On the other hand, if the response is not received within the allotted time, the request counter timer issues a timing error signal to the interrupt logic ( 14A ) to processors 20 to notify about the non-received response to a particular transaction (e.g. a read request). If several pending requests are to be supported, there is the option of using multiple request counter timers - one for each pending request.
Ein von aussen ergehender Zugriff auf den Speicher 28 der CPU 12A ist zwar vorgesehen, dieser ist jedoch mit einer Schutzfunktion versehen. Extern generierte Anforderungen nach Zugriff auf den Speicher 28 werden nur dann gewährt und genehmigt, wenn sie gemäss gewisser Kriterien autorisiert sind, wobei hier die Identifizierung des Ursprungs der Anforderung, der angeforderte Zugriffstyp (z. B. Lese- oder Schreibzugriff), der Speicherbereich auf den zugegriffen werden soll, zu erwähnen sind, um nur einige zu nennen. Der Speicherbereich der Speichereinheit 28, auf den zugegriffen werden soll, ist daher auch in dem Nachrichtenpaket mittels virtueller bzw. E/A-Speicheradresse angegeben, (wodurch die Anwendung virtueller Speicherverfahren ermöglicht wird). Es folgt alsdann die Ermittlung der Autorisierung, und falls erlaubt, der Zugriff, der es erforderlich macht, dass diese virtuellen Adressen in physikalische Adressen des Speichers 28 übersetzt werden. Schliesslich werden Interrupts, welche von ausserhalb der CPU 12A gelegenen Einheiten bzw. Elementen generiert worden sind, auf dem Weg über die Nachrichtenpakete übertragen, um die Prozessoren 20 zu unterbrechen, wobei die Interrupts ebenfalls anlässlich ihrer Inempfangnahme in den Speicher 28 geschrieben werden. Alle diese Vorgänge werden durch die Interrupt-Logik und die ZVÜ-Logik 86, 90 abgewickelt.An external access to the memory 28 the CPU 12A is provided, but this is provided with a protective function. Externally generated requests for memory access 28 are only granted and approved if they are authorized according to certain criteria, including the identification of the origin of the request, the type of access requested (e.g. read or write access), the memory area to be accessed, to name just a few. The storage area of the storage unit 28 that is to be accessed is therefore also specified in the message packet by means of a virtual or I / O memory address (which enables the use of virtual memory methods). The authorization then follows, and if allowed, the access that requires these virtual addresses to be physical addresses of the memory 28 to be translated. Finally, interrupts that come from outside the CPU 12A located units or elements have been generated on the way via the message packets transmitted to the processors 20 to interrupt, the interrupts also being received in memory 28 to be written. All of these processes are performed by the interrupt logic and the ZVÜ logic 86 . 90 settled.
Die ZVÜ-Logikeinheit 90 verwendet eine Tabelle (aufrechterhalten in dem Speicher 28 durch den Prozessor 20), welche für jede potentielle externe Quelle mit Zugriffsrecht auf den Speicher 28 entsprechende ZVÜ-Einträge enthält. Jeder ZVÜ-Eintrag bezeichnet ein spezifisches Ursprungselement bzw. eine Ursprungseinheit und die bestimmte Speicherseite oder den Speicherseitenabschnitt, auf die bzw. auf den zugegriffen werden darf. Soll von einem ausserhalb der CPU 12 gelegenen Element auf mehr als eine Seite zugegriffen werden dürfen, so muss für jede einzelne Seite, auf die von dem Element zugegriffen werden dürfen soll, ein eigener ZVÜ-Eintrag vorhanden sein. Ausserdem enthält jeder ZVÜ-Eintrag Informationen betreffend den Typ oder die Typen von Speicheroperationen (z. B. Schreiboperation, Leseoperation, oder beides), welche erlaubt sind. Für "erwartete" Speicherzugriffe wird die ZVÜ-Tabelle nicht benötigt, und somit auch nicht verwendet. Erwartete Speicherzugriffe sind solche, die von der CPU 12 (d. h. den Prozessoren 20) eingeleitet werden, wie zum Beispiel eine Leseanforderung für Informationen seitens eines E/A-Geräts. Diese letzteren Speicherzugriffe werden über eine Transaktionsfolgenummer (TFN) abgewickelt, welche jeder prozessorinitiierten Anforderung zugewiesen wird. Annähernd zeitgleich zur Generierung der Leseanforderung bestimmen die Prozessoren 20 einen Speicherbereich für die als Antwort auf die Leseanforderung zurückerwarteten Daten. Die Adresse für diesen Bereich wird in einer (nicht dargestellten) Registerdatei gespeichert, die zum Zeitpunkt des Sendens der Leseanforderung von der Anforderungstransaktionslogik 100 fortgeschrieben wird, wobei die TFN als Hinweismarke für die Adresse innerhalb der Registerdatei verwendet wird. Somit kommt die Antwort auf die Leseanforderung mit den Daten zurück, und verwendet die TFN, die sie trägt, um die Adresse des Pufferbereichs des Speichers zu erhalten, an der die Retourdaten zu speichern sind.The ZVÜ logic unit 90 uses a table (maintained in memory 28 through the processor 20 ), which for each potential external source with access rights to the memory 28 contains corresponding ZVÜ entries. Each ZVÜ entry designates a specific source element or unit and the specific memory page or section of the memory page that can be accessed. Should be from outside the CPU 12 located element can be accessed on more than one page, there must be a separate ZVÜ entry for each individual page that is to be accessed by the element. In addition, each ZVÜ entry contains information regarding the type or types of storage operations (e.g. write operation, read operation, or both) that are permitted. The ZVÜ table is not required for "expected" memory access and is therefore not used. Expected memory accesses are those from the CPU 12 (ie the processors 20 ), such as a read request for information from an I / O device. These latter memory accesses are handled via a transaction sequence number (TFN), which is assigned to each processor-initiated request. The processors determine at approximately the same time as the generation of the read request 20 a storage area for the data expected in response to the read request. The address for this area is stored in a register file (not shown) at the time of sending the read request from the request transaction logic 100 is updated, the TFN being used as a reference mark for the address within the register file. Thus, the response to the read request comes back with the data and uses the TFN that carries it to obtain the address of the buffer area of the memory where the return data is to be stored.
Eine eingehendere Abhandlung der Zugriffsvalidierung erfolgt im dem folgenden Abschnitt. Die Speichermatrix 28 ist nämlich in zwei Hälften geteilt, die jeweils von den Speichersteuerungen 26a, 26b verwaltet werden, von denen jede eine Hälfte von jedem 64-Bit-Doppelwort verwaltet, das in den Speicher 28 geschrieben oder aus diesem ausgelesen wird. Die Speichersteuerungen 26a und 26b sind ihrerseits jeweils an die Speicherschnittstellen 70 jeder Schnittstelleneinheit 24a, 24b gekoppelt. Die 64-Bit-Doppelwörter werden entsprechend in den Speicher 28 geschrieben, so dass die oberen 32 Bits (sowie der ihnen zugeordnete FKC) von der "oberen" SpSt 26a und die unteren 32 Bits (sowie der ihnen zugeordnete FKC) von der "unteren" SpSt 26b geschrieben werden. Die Speichersteuerungen 26a, 26b empfangen jeweils 32 Datenbits und 4 FKC-Prüfbits von den Speicherschnittstellen 70 (70a, 70b) einer jeden der Schnittstelleneinheiten 24a, 24b ( 5).A more detailed discussion of access validation is given in the following section. The Spei chermatrix 28 is namely divided in half, each by the memory controllers 26a . 26b are managed, each managing one half of each 64-bit double word that is in memory 28 is written or read from it. The memory controls 26a and 26b are in turn each at the memory interfaces 70 every interface unit 24a . 24b coupled. The 64-bit double words are stored in memory accordingly 28 written so that the upper 32 bits (as well as the FKC assigned to them) from the "upper" SpSt 26a and the lower 32 bits (as well as the FKC assigned to them) from the "lower" SpSt 26b to be written. The memory controls 26a . 26b each receive 32 data bits and 4 FKC check bits from the memory interfaces 70 ( 70a . 70b ) of each of the interface units 24a . 24b ( 5 ).
Unter Bezugnahme auf 10, empfängt jede Speicheschnittstelle 70 entweder über den von der Prozessoreinheit 60 kommenden Bus 82 oder über den von der ZVÜ-Logik 90 kommenden Bus 83 (siehe 5) der ihr zugeordneten Schnittstelleneinheit 24 einen Datenumfang von 64 Bits, die in den Speicher zu schreiben sind. Die Busse 82 und 83 werden an einen Multiplexer (MUX) 84 angelegt, der auswählt welcher davon an den SpSt-A/D-Bus 25 zu koppeln ist.With reference to 10 , receives every memory interface 70 either via that of the processor unit 60 coming bus 82 or via the ZVÜ logic 90 coming bus 83 (please refer 5 ) the interface unit assigned to it 24 a data volume of 64 bits to be written into the memory. The buses 82 and 83 are connected to a multiplexer (MUX) 84 which selects which of them on the SpSt-A / D bus 25 is to be coupled.
Obwohl jede Speicherschnittstelle 70a, 70b dieselben, in den Speicher zu schreibenden 64 Bit in ihrer Gesamtheit empfängt, überträgt jede nur eine Hälfte dieser 64 Datenbits (und vier der acht FKC-Prüfbits, die von jeder erzeugt werden) an die Speichersteuerungen 26a, 26b. Die 32 Bits (und 4 der 8 von der FKC-Logik 85 erzeugten FKC-Bits) die nicht zur Ansteuerung der Speichersteuerungen 26 verwendet werden, werden von jeder Speicherschnittstelle 70 zum Zweck der wechselseitigen Gegenprüfung an die jeweils andere gekoppelt. So steuert zum Beispiel die Speicherschnittstelle 70a (der Schnittstelleneinheit 24a) die SpSt 26a nur mit den "oberen" 32 Bits der 64 Datenbits (und mit 4 Bits des 8-Bit-FKC-Prüfworts) an. Zur selben Zeit empfängt die Speicherschnittstelle 70a die "unteren" 32 Datenbits von der ihr entsprechenden Speicherschnittstelle 70b und vergleicht diese unter Verwendung der Vergleichslogik 81 mit ihren eigenen unteren 32 Bits. Bei Erkennung einer Nichtübereinstimmung wird ein FEHLER-Signal ausgegeben.Although every storage interface 70a . 70b receiving the same 64 bits to be written to memory in its entirety, each transfers only half of these 64 data bits (and four of the eight FKC check bits each generated) to the memory controllers 26a . 26b , The 32 bits (and 4 of the 8 from the FKC logic 85 generated FKC bits) that are not used to control the memory controls 26 are used by each memory interface 70 coupled to each other for cross-checking purposes. For example, it controls the memory interface 70a (the interface unit 24a ) the SpSt 26a only with the "upper" 32 bits of the 64 data bits (and with 4 bits of the 8-bit FKC test word). At the same time, the memory interface is receiving 70a the "lower" 32 data bits from the corresponding memory interface 70b and compares them using the comparison logic 81 with their own lower 32 bits. If a mismatch is detected, an ERROR signal is issued.
In ähnlicher Weise wird der Partner-Speicherschnittstelle 70b ein in den Speicher 28 zu schreibendes 64-Bit-Doppelwort übermittelt, doch nur die unteren 32 Bits (und 4 Bits der generierten FKC-Prüfbits) werden verwendet. Die Speicherschnittstelle empfängt die oberen 32 Bits von der Speicherschnittstelle 70a und vergleicht sie an der Vergleichslogik 81 mit ihren eigenen oberen 32 Bits, wobei bei Nichtübereinstimmen der Daten ein FEHLER-Signal ausgegeben wird.Similarly, the partner storage interface 70b one in memory 28 64-bit double word to be written transmitted, but only the lower 32 bits (and 4 bits of the generated FKC check bits) are used. The memory interface receives the upper 32 bits from the memory interface 70a and compares them against the comparison logic 81 with their own upper 32 bits, whereby an ERROR signal is output if the data do not match.
Eine zusätzliche Fehlerprüfung wird bei Leseoperationen durch FKC-Prüfschaltungen 85 einer jeden Speicherschnittstelle 70 vorgenommen. Jedes von der SpSt 26 rückübermittelte 64-Bit-Doppelwort wird von beiden Speicherschnittstellen 70 gemeinsam mit 8 FKC-Prüfbits empfangen. Die Daten und FKC-Prüfbits werden an die FKC-Logik 85 einer jeden Speicherschnittstelle 70 angelegt, wodurch ein Syndrom zur herkömmlichen Integritätsprüfung der Daten aufgebaut wird. Wird ein Einzelbitfehler erkannt, führt die FKC-Logik 85 eine Korrektur durch; wird ein unkorrigierbarer Fehler erkannt, so gibt die FKC-Logik ein Fehlersignal aus (nicht dargestellt), das dazu führt, dass ein Status des Interrupt-Registers 280 gesetzt wird ( 18), wodurch laufende Operationen eingefroren werden.An additional error check is carried out during read operations by FKC test circuits 85 any storage interface 70 performed. Each of the SpSt 26 64-bit double word is returned by both memory interfaces 70 received together with 8 FKC check bits. The data and FKC check bits are sent to the FKC logic 85 any storage interface 70 which creates a syndrome for traditional data integrity checking. If a single bit error is detected, the FKC logic leads 85 a correction by; If an uncorrectable error is detected, the FKC logic outputs an error signal (not shown), which leads to a status of the interrupt register 280 is set ( 18 ), which freezes ongoing operations.
Die spezielle FKC-Prüfung, die von jeder FKC-Logik 85 einer jeden Speicherschnittstelle durchgeführt wird, verwendet 8 Prüfbits für Einzelbitfehlerkorrektur, Doppelbitfehlererkennung und Syndrombitfehlererkennung für ein Feld mit einer Grösse von bis zu 112 Bit. Der Code ist ein ungerader Spaltengewichtungscode, was bedeutet, dass jeder Fehler zu einer ungeraden Anzahl von Syndrombits führt. Von den 112 möglichen Bits sind 64 Datenbits und 8 Prüfbits, wobei 40 Bits ungenutzt bleiben.The special FKC test by every FKC logic 85 of each memory interface, uses 8 check bits for single bit error correction, double bit error detection and syndrome bit error detection for a field up to 112 bits in size. The code is an odd column weight code, which means that each error results in an odd number of syndrome bits. Of the 112 possible bits, 64 are data bits and 8 are test bits, with 40 bits remaining unused.
Zugriffsvalidierung:Access Validation:
Wie bereits angesprochen, können ausserhalb der CPU 12A gelegene Komponenten des Verarbeitungssystems 10 (z. B. Einrichtungen der E/A-Paketschnittstellen 16, oder die CPU 12B) direkten Zugriff auf den Speicher 28 haben, müssen dazu jedoch speziell qualifiziert sein. Die durch die ZVÜ-Logik 90 der Schnittstelleneinheiten 24 geschaffene Zugriffsvalidierung ist dazu da, um den Inhalt des Speichers 28 vor Zerstörung durch irrtümliches bzw. unbeabsichtigtes Überschreiben von guten Daten durch andere Daten zu schützen, die nicht in diese Speicherorte geschrieben werden sollten In ähnlicher Weise bietet die Zugriffsvalidierung auch einen Schutz gegen einen Zugriff, der unbeabsichtigterweise die falschen Speicherorte ausliest und dadurch falsche Daten an die Einheit oder das Systemelement liefert, von der/dem die Lesedaten angefordert wurden. Aus diesen und ähnlichen Gründen wird ein Verfahren zur Zugriffsvalidierung geschaffen, um zu gewährleisten, dass ein Speicherzugriff ordnungsgemäss erfolgt, d. h. dass das richtige Gerät die richtigen Speicherorte beschreibt bzw. ausliest. Wenn eine eingehende Speicheranforderung (d. h. eine Lese- oder Schreiboperation) validiert wird, wird die Adresse des Speicherortes, welche auf dem Adressfeld des Nachrichtenpakets, mit dem die Anforderung übertragen wird, aufscheint, von der ZVÜ-Logik in eine Speicheradresse übersetzt.As already mentioned, outside of the CPU 12A located components of the processing system 10 (e.g., I / O packet interface 16 facilities, or the CPU 12B ) direct access to memory 28 have to be specially qualified for this. That through the ZVÜ logic 90 of the interface units 24 Access validation created is there to the content of the memory 28 Protect against destruction by erroneous or unintentional overwriting of good data by other data that should not be written to these storage locations.Access validation similarly offers protection against access that unintentionally reads the wrong storage locations and thereby incorrect data to the Unit or the system element from which the read data was requested. For these and similar reasons, an access validation method is created to ensure that memory access is performed properly, that is, that the correct device describes or reads the correct memory locations. When an incoming storage request (ie, a read or write operation) is validated, the address of the storage location that appears on the address field of the message packet with which the request is transmitted is translated into a storage address by the ZVÜ logic.
Zugriffe auf den Speicher 28 werden von der ZVÜ-Logik 90 einer jeden Schnittstelleneinheit 24 (5) nach der Durchführung aller sechs der folgenden Prüfungen validiert: es muss gewährleistet sein, (1) dass der CRC des Nachrichtenpakets, mit dem die Anforderung übertragen wird, fehlerfrei ist, (2) dass der in dem Nachrichtenpaket angegebene Bestimmungsort (z. B. die CPU 12A) jener des Empfängers ist, (3) dass das in dem Nachrichtenpaket angegebene Ursprungselement der Anforderung ein korrektes Ursprungselement ist, (4) dass der angeforderte Zugriffstyp ein für das Ursprungselement der Anforderung erlaubter Zugriffstyp ist, (5) dass der Zugriff auf den Speicherort des Speichers 28 an welchem der Zugriff begehrt wird, für das jeweilige Ursprungselement erlaubt ist, und (6) dass die Übertragungsgrösse für den Zugriffs innerhalb von vorgegebenen Grenzen gelegen ist. Die erste Prüfung erfolgt beim Paketempfänger 96 durch die CRC-Prüflogik 106, wie weiter oben beschrieben. Falls es sich herausstellt, dass das empfangene Nachrichtenpaket einen fehlerhaften CRC hat (oder wenn es mit einem Befehlssymbol "This Packet Bad" (TPB) (Paket schlecht) gekennzeichnet ist, siehe weiter unten) wird das Paket ausgeschieden und der Zugriff wird verweigert.Access to the memory 28 are from the ZVÜ logic 90 of each interface unit 24 ( 5 ) validated after performing all six of the following checks: it must be ensured (1) that the CRC of the message packet with which the request is transmitted is error-free, (2) that the after destination package specified destination (e.g. the CPU 12A ) that of the recipient, (3) that the originating element of the request specified in the message packet is a correct originating element, (4) that the requested access type is an access type permitted for the originating element of the request, (5) that the access to the storage location of the memory 28 at which access is requested, is permitted for the respective original element, and (6) that the transmission size for the access is within predetermined limits. The first check is carried out at the package recipient 96 through the CRC test logic 106 as described above. If it is found that the received message packet has a faulty CRC (or if it is marked with a "This Packet Bad" (TPB) command symbol, see below), the packet is dropped and access is denied.
Die in dem Header des Nachrichtenpakets enthaltene Bestimmungsort-ID wird mit der dem empfangenden Element zugewiesenen Bestimmungsort-ID verglichen, um zu gewährleisten, dass der Bestimmungsort des Pakets korrekt ist (d. h. wenn das Paket von einer CPU empfangen wird, dass die richtige CPU 12 als Bestimmungsort angeführt ist). Ein Nichtübereinstimmen der Daten deutet darauf hin, dass das Paket in irgendeiner Weise fehlgeleitet worden ist, weshalb das Paket auch in diesem Fall ausgeschieden und der Speicherzugriff natürlich verweigert wird.The destination ID contained in the header of the message packet is compared to the destination ID assigned to the receiving element to ensure that the destination of the packet is correct (ie if the packet is received by a CPU that the correct CPU 12 as the destination). A mismatch in the data indicates that the packet has been misdirected in some way, which is why the packet is dropped in this case as well and of course memory access is denied.
Die verbleibenden Prüfungen erfolgen insofern als im Speicher 28 ein Zugriffsvalidierungseintrag (ZVÜ) ( 13A) für jedes Systemelement aufbewahrt wird, dem zumindest in gewisser Form Zugriff auf den Speicher des Elements gewährt wird auf dessen Speicher gerade zugegriffen wird. Das Adressfeld des eingehenden Pakets wird als Hinweismarke auf den Speicherort verwendet, welcher den ZVÜ-Eintrag für das in der Ursprungsort-ID angegebene Systemelement enthält. Die ZVÜ-Logik verwendet die Validierungsinformation des ZVÜ-Eintrags, um zu ermitteln, welcher Zugriffstyp dem Ursprungselement des Nachrichtenpakets gestattet ist.The remaining checks are done as in memory 28 an access validation entry (ZVÜ) ( 13A ) is kept for each system element that is granted access to the memory of the element, at least to some extent, the memory of which is currently being accessed. The address field of the incoming packet is used as a pointer to the storage location which contains the ZVÜ entry for the system element specified in the origin ID. The ZVÜ logic uses the validation information of the ZVÜ entry to determine which type of access is allowed to the originating element of the message packet.
Somit wird das Ursprungsort-ID-Feld des empfangenen Nachrichtenpakets dazu verwendet, um zu bestimmen, ob der Ersteller des Pakets ein Zugriffsrecht auf den Speicher 28 der CPU 12 hat. Diese Prüfung bedingt das Vergleichen des Ursprungsort-ID-Feldes auf dem Paket-Header mit einem Abschnitt eines ZVÜ-Eintrags (Ursprungsort-ID), um zu bestimmen, ob dem bestimmten Ursprungselement Zugriff auf die Einrichtungen des bestimmten Empfängers gewährt werden soll.Thus, the originating ID field of the received message packet is used to determine whether the creator of the packet has an access right to the memory 28 the CPU 12 Has. This check involves comparing the origin ID field on the packet header with a portion of a ZVÜ entry (origin ID) to determine whether the particular origin element should be granted access to the particular recipient's facilities.
Das Typ-Feld des Pakets, welches den gewünschten Zugriffstyp angibt (z. B. eine Speicherlese- oder -Schreiboperation), wird geprüft, um zu bestimmen, ob der begehrte Zugriffstyp für das von dem Nachrichtenpaket identifizierte Ursprungselement erlaubt ist, oder ob das Paket eine unaufgefordert eingehende Antwort ist (und als solche als Fehler gelöscht wird).The type field of the package, which the wished Indicates access type (e.g. a memory read or write operation), is checked, to determine whether the coveted type of access is for that of the message packet identified original element is allowed, or whether the package is a is an unsolicited response (and as such, an error deleted becomes).
Schliesslich werden noch der angeforderte Speicherort und die mögliche Grösse einer Übertragung überprüft, um zu sehen, ob auch diese für das betreffende Ursprungselement des Nachrichtenpakets erlaubt sind.Finally, the requested one Location and the possible Size a transfer checked to see if this for too the relevant original element of the message packet is allowed.
Der Zugriffsvalidierungsmechanismus der Schnittstelleneinheit 24a gemäss der ZVÜ-Logik 88 ist im Detail in 11 dargestellt. Eingehende Nachrichtenpakete, die auf den Speicherplatz der CPU 12 zugreifen wollen, lassen ausgewählte Abschnitte aus ihren Headern von dem Paketempfänger 96 (5) an ein ZVÜ-Eingangsregister 170 der ZVÜ-Logik 90 übertragen. Das ZVÜ-Eingangsregister 170 empfängt daher von dem eingehenden Nachrichtenpaket die Ursprungsort-ID, das Länge-Feld (Len), welches den Datenumfang angibt, der in den Speicher 28 geschrieben werden soll bzw, aus diesem ausgelesen werden soll, eine Adresse (ZVÜ-Seitennummer), die auf den Eintrag im Speicher 28 verweist, welcher den entsprechenden ZVÜ-Eintrag enthält, den Offset in diese Speicherseite, auf welchen der ZVÜ-Eintrag verweist, und den gewünschten Zugriffstyp (Typ). Diese Werte sind jeweils in den Registersegmenten 170a, 170b, ..., 170e des ZVÜ-Eingangsregisters enthalten.The access validation mechanism of the interface unit 24a according to the ZVÜ logic 88 is in detail in 11 shown. Incoming message packets on the memory space of the CPU 12 want to access leave selected sections from their headers from the packet receiver 96 ( 5 ) to a ZVÜ input register 170 the ZVÜ logic 90 transfer. The ZVÜ input register 170 therefore receives from the incoming message packet the origin ID, the length field (Len), which indicates the amount of data stored in the memory 28 an address (ZVÜ page number) is to be written or to be read from it, which refers to the entry in the memory 28 which contains the corresponding ZVÜ entry, the offset into this memory page to which the ZVÜ entry refers, and the desired access type (type). These values are in the register segments 170a . 170b , ..., 170e of the ZVÜ input register included.
Das in dem ZVÜ-Eingangsregister 170 enthaltene ZVÜ-Seitennummernfeld wird an die ZVÜ-Adresslogik 172 gekoppelt, wo es mittels der kombinatorischen Logik 176 mit dem Inhalt eines ZVÜ-Basisregisters 174 kombiniert wird, wodurch die Adresse des für die Validierung benötigten ZVÜ-Eintrags erzeugt wird. Das ZVÜ-Basisregister 174 enthält die im Speicher enthaltene Startadresse der gesamten ZVÜ-Tabelle. Unter Verwendung der so erzeugten Adresse greift die ZVÜ-Adresslogik 172 auf den Speicher 28 zu, um diesen ZVÜ-Eintrag zu erhalten, der daraufhin in das ZVÜ-Eintragsregister 180 geladen wird.That in the ZVÜ input register 170 The ZVÜ page number field contained is sent to the ZVÜ address logic 172 coupled where it is by means of combinatorial logic 176 with the content of a ZVÜ basic register 174 is combined, whereby the address of the ZVÜ entry required for the validation is generated. The ZVÜ basic register 174 contains the start address of the entire ZVÜ table contained in the memory. Using the address generated in this way, the ZVÜ address logic takes effect 172 on the store 28 to get this ZVÜ entry, which then enters the ZVÜ entry register 180 is loaded.
Die ZVÜ-Logik 172 enthält auch ein ZVÜ-Maskenregister 175 zum Erkennen von ZVÜ-Seitennummeradressen, die nicht in den Adressenbereich fallen, welche der ZVÜ-Tabelle zugewiesen worden ist. Die Regeln sind dabei entsprechend gestaltet, dass wenn irgendeine Bitposition des ZVÜ-Maskenregisters 175 eine 0 ist, das entsprechende Bit der ZVÜ-Seitennummernadresse ebenfalls 0 sein muss; andernfalls erkennt die Maskenprüflogik 177 einen Maskenfehler, was dazu führt, dass der Zugriff auf den Speicher 28 verweigert wird. Die Generierung der ZVÜ-Eintragsadresse und die Maskierungsoperation sind in 12 besser veranschaulicht.The ZVÜ logic 172 also contains a ZVÜ mask register 175 for recognizing ZVÜ page number addresses that do not fall within the address range that has been assigned to the ZVÜ table. The rules are designed accordingly that if any bit position of the ZVÜ mask register 175 is a 0, the corresponding bit of the ZVÜ page number address must also be 0; otherwise the mask check logic detects 177 a mask error, which causes access to memory 28 is denied. The generation of the ZVÜ entry address and the masking operation are in 12 better illustrated.
Wie in 12 in Diagrammform veranschaulicht, wird der höherwertige 8-Bit-Abschnitt des 20-Bit-ZVÜ-Seitennummernwertes in dem Registersegment 170e mit dem Inhalt des ZVÜ-Basisregisters 174 summiert, um den höherwertigen Abschnitt (Bits 16-31) der ZVÜ-Tabelleneintragsadresse zu erzeugen. Gleichzeitig bilden die verbleibenden (niederwertigen) 12 Bits der ZVÜ-Seitennummernadresse aus dem Registersegment 170e direkt einen Abschnitt der ZVÜ-Eintragsadresse. Da es sich bei den ZVÜ-Einträgen mengenmässig um 16-Byte-Wörter handelt, sind sie an Vierfachwortgrenzen angeordnet; daher sind die niederwertigen 4 Bits der ZVÜ-Eintragsadresse, wie aus der Darstellung hervorgeht, stets 0.As in 12 Illustrated in diagram form, the high order 8-bit portion of the 20-bit ZVÜ page number value in the register segment 170e with the content of the ZVÜ basic register 174 summed to the most significant section (bits 16-31 ) of the ZVÜ table entry address. At the same time, the remaining (least significant) 12 bits of the ZVÜ page number address form the register segment 170e directly a section of the ZVÜ entry address. Since the ZVÜ entries are 16 byte words in terms of quantity, they are arranged at quadruple word boundaries; therefore, the lower 4 bits of the ZVÜ entry address are always 0, as can be seen from the illustration.
In 12 wird auch die Maskierungsoperation veranschaulicht. Die höherwertigen zwei Bytes der ZVÜ-Seitennummernadresse werden mit der in dem Maskenregister 175 enthaltenen Maske verglichen. Wenn an einer Bitposition des Maskenregisters, welche eine 0 enthält, in den höherwertigen zwei Bytes eine entsprechende Bitposition mit einer "I" erkannt wird, gibt das Maskenregister ein "Maskenfehler"-Signal aus, wodurch der Zugriff auf den Speicher 28 verweigert wird und ein Interrupt generiert und an die Interrupt-Logik 86 (5) freigegeben wird, das den Prozessor 20 zu einer entsprechenden Aktion veranlasst.In 12 the masking operation is also illustrated. The most significant two bytes of the ZVÜ page number address are with that in the mask register 175 included mask compared. If a corresponding bit position with an "I" is recognized in the higher order two bytes at a bit position of the mask register which contains a 0, the mask register outputs a "mask error" signal, thereby accessing the memory 28 is denied and an interrupt is generated and sent to the interrupt logic 86 ( 5 ) which is released the processor 20 prompted for an appropriate action.
Dank der Maskierungsoperation kann die Grösse der ZVÜ-Eintragstabelle verändert werden. Auf den Inhalt des ZVÜ-Maskenregisters 175 kann von dem Prozessor 20 aus zugegriffen werden, wodurch es den Prozessoren 20 möglich wird, wahlweise die Grösse der ZVÜ-Eintragstabelle auszuwählen. Eine maximale ZVÜ-Tabellengrösse erlaubt eine Verifizierung (und Übersetzung) jeder beliebigen 32-Bit-TNet-Adresse; das bedeutet, dass eine ZVÜ-Eintragstabelle maximaler Grösse in der Lage ist, 220 verschiedene Seitenadressen zu verifizieren und zu übersetzen. Eine ZVÜ-Tabelle minimaler Grösse ermöglicht die Verifizierung und Übersetzung jeder beliebigen 24-Bit-TNet-Adresse (d. h. jener TNet-Adressen, deren höherwertige 8 Bits Null sind). Eine ZVÜ-Tabelle minimaler Grösse kann 212- verschiedene Seitenadressen verifizieren und übersetzen.Thanks to the masking operation, the size of the ZVÜ entry table can be changed. On the content of the ZVÜ mask register 175 can from the processor 20 from being accessed, which makes it the processors 20 it is possible to choose the size of the ZVÜ entry table. A maximum ZVÜ table size allows verification (and translation) of any 32-bit TNet address; this means that a ZVÜ entry table of maximum size is able to verify and translate 2 20 different page addresses. A ZVÜ table of minimal size enables the verification and translation of any 24-bit TNet address (ie those TNet addresses whose higher 8 bits are zero). A ZVÜ table of minimal size can verify and translate 2 12 different page addresses.
Da ein ZVÜ-Tabelleneintrag 16 Byte gross ist, benötigt somit eine ZVÜ-Tabelle maximaler Grösse 16 Megabytes an zugeordnetem Speicherplatz. Die Maskierungsoperation, die von dem Inhalt des ZVÜ-Maskenregisters 175 und der ZVÜ-Adressenlogik 172 durchgeführt wird, macht es jedoch möglich, die ZVÜ-Grösse an die Bedürfnisse des Systems anzupassen. Ein Verarbeitungssystem 10, welches eine grössere Anzahl von externen Elementen beinhaltet (wenn z. B. die Anzahl der E/A-Geräte in dem System gross ist), benötigt eine grosse Anzahl an TNet-Adressen, und von entsprechenden ZVÜ-Einträgen, und muss daher eine grössere Menge an Speicherplatz des Speichers 28 für die ZVÜ-Einträge bereithalten. Umgekehrt hat ein kleineres Verarbeitungssystem 10 mit einer kleineren Anzahl von externen Elementen keinen so grossen Bedarf an TNet-Adressen, so dass eine kleinere ZVÜ-Tabelle verwendet werden kann, wodurch Speicherplatz eingespart werden kann. Bei einem kleineren System werden daher die höherwertigen Bits nicht verwendet werden (bzw., genauer gesagt, sollten sie nicht verwendet werden).Since a ZVÜ table entry is 16 bytes in size, a ZVÜ table requires a maximum size 16 Megabytes of allocated space. The masking operation determined by the content of the ZVÜ mask register 175 and the ZVÜ address logic 172 is carried out, however, makes it possible to adapt the ZVÜ size to the needs of the system. A processing system 10 , which contains a large number of external elements (e.g. if the number of I / O devices in the system is large), requires a large number of TNet addresses, and corresponding ZVÜ entries, and must therefore have one larger amount of memory space 28 have ready for the ZVÜ entries. Conversely, has a smaller processing system 10 With a smaller number of external elements, there is no need for TNet addresses, so that a smaller ZVÜ table can be used, which saves storage space. In a smaller system, therefore, the more significant bits will not be used (or more specifically, they should not be used).
Wenn eine kleinere ZVÜ-Tabelle zulässig ist, sollten die höherwertigen Bits der TNet-Adresse NULL sein; jeder Versuch, einen ZVÜ-Tabelleneintrag mit einer TNet-Adresse zu suchen, die ausserhalb des Bereichs für das jeweilige System gelegen ist, führt zu einem Fehler. Die Funktion der Maskierungslogik ist es, solche Fehler unter Verwendung des Maskenregisters 175 zu erkennen. Somit wird die zu einem bestimmten Zeitpunkt für eine CPU 12 (oder für jedes andere Systemelement, das diese Validierungstechnik verwendet) zulässige Grösse des ZVÜ-Tabellenumfangs durch den Inhalt des Maskenregisters 175 mit Hilfe von Bitpositionen, die auf eine logische "EINS" gesetzt sind, angegeben. Bitpositionen des Maskenregisters 175, die auf eine logische "NULL" gesetzt sind, deuten auf eine nichtexistierende TNet-Adresse hin, die ausserhalb der Grenzen des Verarbeitungssystems 10 gelegen ist. Ein empfangenes Paket mit einer TNet-Adresse ausserhalb des zulässigen TNet-Bereichs hat seine Bitpositionen an solchen Stellen auf eine logische EINS gesetzt, an denen sie NULL sein sollten. Die ZVÜ-Adressenlogik 172 erkennt diese bereichsexterne TNet-Adresse und führt zur Ausgabe eines ZVÜ-Fehler-Interrupts.If a smaller ZVÜ table is permissible, the most significant bits of the TNet address should be NULL; every attempt to search for a ZVÜ table entry with a TNet address that is outside the range for the respective system leads to an error. The function of the masking logic is to avoid such errors using the mask register 175 to recognize. Thus, at a certain point in time for a CPU 12 (or for any other system element that uses this validation technique) permissible size of the ZVÜ table scope through the content of the mask register 175 with the help of bit positions that are set to a logical "ONE". Bit positions of the mask register 175 that are set to a logical "NULL" indicate a non-existent TNet address that is outside the limits of the processing system 10 is located. A received packet with a TNet address outside the permissible TNet range has set its bit positions to a logical ONE at points where they should be NULL. The ZVÜ address logic 172 recognizes this non-area TNet address and leads to the output of a ZVÜ error interrupt.
Für einschlägig gebildete Fachleute wird dadurch klar, dass die in 12 veranschaulichte Technik, darüber hinaus, dass sie in der Lage ist, die Grösse der in dem Speicher 28 zu verwaltenden ZVÜ-Tabelle zu verändern, auch imstande ist, die ZVÜ-Tabelle innerhalb des Speichers 28 mit einer gewissen Flexibilität anzuordnen. 12 zeigt, dass die ZVÜ-Tabelle an einer Grenze mit einer Potenz von 217 (128K) angeordnet werden kann.For specialists with relevant training it becomes clear that the in 12 illustrated technique, moreover, that it is able to resize that in the memory 28 the AVT table to be managed is also able to change the AVT table within the memory 28 to arrange with a certain flexibility. 12 shows that the ZVÜ table can be arranged on a border with a power of 2 17 (128K).
Jeder ZVÜ-Eintrag ist ein Vierfachwort mit 128 Bit, das jene Felder enthält, die während des Validierungsprozesses in dem ZVÜ-Eintragsregister gehalten werden, wie in 11 veranschaulicht. ZVÜ-Einträge haben zwei Basisformate: Normal und Interrupt. Das Format eines normalen ZVÜ-Eintrags wird in 13A veranschaulicht (und bis zu einem gewissen Ausmass in 11, in welcher der Inhalt des ZVÜ-Eintragsregisters 180 gezeigt wird); das Interrupt-Format wird in 13C veranschaulicht. Bevor mit der Abhandlung der ZVÜ-Logik 90 fortgesetzt wird, mag ein besseres Verständnis der Bedeutung und des Inhalts eines ZVÜ-Eintrags hilfreich sein.Each ZVÜ entry is a 128-bit quad word containing those fields that are kept in the ZVÜ entry register during the validation process, as in 11 illustrated. ZVÜ entries have two basic formats: normal and interrupt. The format of a normal ZVÜ entry is in 13A illustrated (and to a certain extent in 11 , in which the content of the ZVÜ entry register 180 will be shown); the interrupt format is in 13C illustrated. Before dealing with the ZVÜ logic 90 a better understanding of the meaning and content of a ZVÜ entry may be helpful.
Der normale ZVÜ-Eintrag beinhaltet, wie in 13A gezeigt, ein 52 Bit umfassendes 'Physikalische Seitenzahl'-Feld. Der Inhalt diese Feldes gibt die physikalische Adresse der Seite in dem Speicher 28 an, innerhalb derer dem anfordernden Ursprung des Nachrichtenpakets ein Zugriff gewährt wird. (Typischerweise umfasst jede Speicherseite 4K (4096) Byte Speicherorte.) Der Inhalt des 'Physikalische Seitenzahl'-Feldes wird mit dem Inhalt des 12 Bit umfassenden Offset-Feldes 170d verkettet, das in dem ZVÜ-Eingangsregister 170 gehalten wird (aus dem Adressfeld des zu validierenden Nachrichtenpakets entnommen). Das Ergebnis ist die gesamte physikalische Adresse des Ortes innerhalb des Speichers 28, an welchem Daten geschrieben werden, bzw. von welchem Daten ausgelesen werden – sofern die Validierung erlaubt wird.The normal ZVÜ entry includes, as in 13A shown, a 52-bit physical page number field. The content of this field gives the physical address of the page in memory 28 within which access is granted to the requesting origin of the message packet. (Typically, each page contains 4K (4096) byte locations.) The content of the 'Physical Page Number' field becomes the content of the 12-bit offset field 170d chained that in the ZVÜ input register 170 is held (taken from the address field of the message package to be validated). The result is the entire physical address of the location within the memory 28 on which dates are written or from which data is read - provided that validation is permitted.
Der Zugriff kann zwar für alle Speicherorte einer bestimmten 4K-Seite gewährt werden, er kann aber auch auf bestimmte Abschnitte dieser Seite beschränkt werden. Zur Realisierung der zuletztgenannten Einschränkungen beinhaltet der ZVÜ-Eintrag zwei 12-Bit-Felder (Obergrenze, Untergrenze; 13A), die die obere und die untere Grenze innerhalb der angegebenen Seite des Speichers 28 definieren, innerhalb derer ein Zugriff gewährt wird. Insbesondere das 'Untergrenze'-Feld des ZVÜ-Eintrags spezifiziert den Offset zu der Speicherseite, den das Byte mit dem niedrigsten Wert aufweist, auf welchen dieser ZVÜ-Tabelleneintrag zutrifft. Das 'Obergrenze'-Feld spezifiziert den Offset in die Speicherseite, den das Byte mit der höchsten Adresse aufweist, auf das der ZVÜ-Eintrag zutrifft. Versuche auf Speicherorte zuzugreifen, die über diesen Wert hinausgehen (z. B. den Offset-Wert 170d plus den Inhalt des 'Len'-Feldes 170b des ZVÜ-Eingangsregisters 170) führen zu einem Fehler, der über ein Interrupt an den Prozessor freigegeben wird.Access can be granted to all locations on a given 4K page, but can also be restricted to certain sections of that page. To implement the latter restrictions, the ZVÜ entry contains two 12-bit fields (upper limit, lower limit; 13A ) which are the upper and lower limits within the specified page of memory 28 define within which access is granted. In particular, the 'lower limit' field of the ZVÜ entry specifies the offset to the memory page which the byte with the lowest value has, to which this ZVÜ table entry applies. The 'upper limit' field specifies the offset in the memory page that the byte with the highest address has to which the ZVÜ entry applies. Attempt to access locations beyond this value (e.g. the offset value 170d plus the content of the 'Len' field 170b of the ZVÜ input register 170 ) lead to an error that is released to the processor via an interrupt.
Ein 12-Bit-"Erlaubnisse"-Feld ist in dem ZVÜ-Eintrag enthalten, um die Erlaubnisse zu spezifizieren, die dem anfordernden Ursprungselement gemäss dem ZVÜ-Eintrag gewährt werden. Das 'Erlaubnisse'-Feld wird in 13B veranschaulicht, in welcher gewisse 'Erlaubnisse'-Unterfelder (E, PEX, PEY, I, C, W, R und B) die folgenden Qualifikationen für den Speicherzugriff angeben:A 12-bit "Permissions" field is included in the ZVÜ entry to specify the permissions granted to the requesting originating element according to the ZVÜ entry. The 'Permissions' field is in 13B illustrates in which certain 'Permissions' subfields (E, PEX, PEY, I, C, W, R and B) indicate the following qualifications for memory access:
E: (Error Enable) Durch diesen ZVÜ-Eintrag geleitete, fehlerhafte Zugriffe werden nur dann (an die Interrupt-Logik) gemeldet, wenn dieses Feld auf einen von zwei besonderen Zuständen gesetzt ist (z. B. auf eine "EINS").E: (Error Enable) By this ZVÜ entry guided, faulty accesses are only then (to the interrupt logic) reported when this field is set to one of two special states is (e.g. on a "ONE").
PEX: (Path enable X) Der Zustand dieses 1-Bit-Feldes ist auf eine "EINS" gesetzt, um es zu ermöglichen, dass Nachrichtenpakete, bei deren Empfang das "Pfad"-Bit in dem Header gleich Null ist, diesen ZVÜ-Eintrag verwenden (sofern alle anderen anwendbaren Erlaubnisbedingengen erfüllt werden). Ist dieses Bit auf eine "NULL" gesetzt, so wird Nachrichtenpaketen, die über den "X-Pfad" (Pfad = 0) empfangen wurden und auf die der ZVÜ-Eintrag anwendbar ist, der Zugriff verweigert. Zugriffsverweigerungen werden auf der Ebene der Interrupt-Logik als Interrupts protokolliert und an den Prozessor 20 gemeldet – sofern das E-Feld auf einen Zustand gesetzt ist ("EINS"), der das Melden von Fehlern erlaubt.PEX: (Path enable X) The state of this 1-bit field is set to a "ONE" to enable message packets, upon receipt of which the "path" bit in the header is equal to zero, to this ZVÜ- Use entry (provided all other applicable permission requirements are met). If this bit is set to a "NULL", message packets that were received via the "X path" (path = 0) and to which the ZVÜ entry can be used are denied access. Access denials are logged at the interrupt logic level as interrupts and sent to the processor 20 reported - provided the E-field is set to a state ("ONE") that allows errors to be reported.
PEY: (Path Enable Y) Dieses 1-Bit-Feld funktioniert in derselben Weise wie das PEX-Feld, ausser dass es auf Nachrichtenpakete angewendet wird, die mit einem auf Eins gesetzten Pfadbit empfangen werden.PEY: (Path Enable Y) This 1-bit field works in the same way as the PEX field, except that it is applied to message packets that are set to one with a Path bits are received.
I: (Interrupt) Wenn dieses Bit gesetzt ist (z. B. auf eine "EINS", erhalten die anderen Felder (Obergrenze, usw.) neue Definitionen zum Verarbeiten von Interrupt-Schreiboperationen und zum Verwalten von Interrupt-Warteschlangen. Dies wird weiter unten in Verbindung mit der Beschreibung der Interrupt-Logik 86 genauer erläutert.I: (Interrupt) If this bit is set (eg to a "ONE"), the other fields (upper limit, etc.) are given new definitions for processing interrupt write operations and for managing interrupt queues below in connection with the description of the interrupt logic 86 explained in more detail.
C; (Cachespeicherkohärenz) Hierbei handelt es sich um ein 2-Bit-Feld, das entsprechend codiert ist, um zu spezifizieren, wie Anforderungen für Schreiboperationen in den Speicher 28 behandelt werden. Ist dieses Feld in einen Zustand gesetzt, so werden die angeforderten Schreiboperationen normal verarbeitet; ist das Feld in einen zweiten Zustand gesetzt, so werden Schreibanforderungen, die sich auf Adressen beziehen, bei denen ein Teil einer Cachezeile in der Ober- oder Untergrenze des in dem ZVÜ-Eintrag abgebildeten Speicherbereichs enthalten ist, in die Cachespeicherkohärenz-Warteschlange geschrieben, die von der weiter unten beschriebenen Interruptbehandlungsroutine 250 (14A) aufrechterhalten wird. Dies ermöglicht es der CPU 12, Schreibtransfers in eine Benutzerdatenstruktur oder einen Pufferspeicherbereich im Speicher 28 zu verwalten, bei dem keine vollständige Cachezeilenüberdeckung gegeben ist. Ist das Feld in einen dritten Zustand gesetzt, so werden alle Schreibanforderungen, die auf diesen ZVÜ-Eintrag zugreifen, in die Cachespeicherkohärenz-Warteschlange geschrieben. Ist das Feld in einen vierten Zustand gesetzt, so wird auf die durch diesen ZVÜ-Eintrag referenzierten, physikalischen Speicherorte unter Verwendung von Hardware-Kohärenzmechanismen zugegriffen.C; (Cache Coherence) This is a 2-bit field that is encoded appropriately to specify how requests for memory write operations 28 be treated. If this field is set to a state, the requested write operations are processed normally; if the field is set to a second state, write requests relating to addresses in which part of a cache line is contained in the upper or lower limit of the memory area mapped in the ZVÜ entry are written to the cache coherence queue, the from the interrupt handler described below 250 ( 14A ) is maintained. This enables the CPU 12 , Write transfers to a user data structure or a buffer memory area in the memory 28 to manage where there is no complete cache line coverage. If the field is set to a third state, all write requests that access this ZVÜ entry are written to the cache coherence queue. If the field is set to a fourth state, the physical storage locations referenced by this ZVÜ entry are accessed using hardware coherence mechanisms.
W: (Write Access) Der Zustand dieses 1-Bit-Feldes gewährt bzw. verweigert einem anfordernden Ursprungselement den Speicherschreibzugriff – innerhalb eines Speicherbereichs, der von dem 'Obergrenze'-Feld und dem 'Untergrenze'-Feld angegeben wird.W: (Write Access) The state of this 1-bit field granted or denies memory request access to a requesting source element - within a memory area that is defined by the 'upper limit' field and the 'lower limit' field is specified.
R: (Read Access) Der Zustand dieses 1-Bit-Feldes bestimmt, ob das anfordernde Ursprungselement eine Speicherzugriffserlaubnis für Leseoperationen hat – innerhalb des angegebenen Speicherbereichs.R: (Read Access) The state of this 1-bit field determines whether the requesting source element is a Storage access permission for Reading operations has - within the specified memory area.
B: (Barrier Access) Der Zustand dieses 1-Bit-Feldes bestimmt, ob das anfordernde Ursprungselement einen Speicherzugriff für Barrieren-Operationen hat – innerhalb des angegebenen Speicherbereichs.B: (Barrier Access) The state of this 1-bit field determines whether the requesting source element is a Memory access for Has barrier operations - within the specified memory area.
Schliesslich gibt ein 20 Bit umfassendes "Ursprungsort-ID"-Feld ("Source-ID") des ZVÜ-Eintrags den konkreten Ursprungsort bzw. das Ursprungselement an, auf den/das die Erlaubnisinformation des ZVÜ-Eintrags sich bezieht.Finally there is a 20 bit "Place of origin ID" field ("Source ID") of the ZVÜ entry the concrete place of origin or the original element to which the permission information of the ZVÜ entry Is concerned.
Um nun wieder zu der in 11 veranschaulichten ZVÜ-Logik zurückzukehren, sei festgehalten, dass nachdem die Adresse des ZVÜ-Eintrags gebildet worden ist, auf den Eintrag zugegriffen wird und dieser in dem ZVÜ-Tabelleneintragsregister 180 zwischengespeichert wird. Der Inhalt des in dem ZVÜ-Eintragsregister 180 enthaltenen "Erlaubnisse"-Feldes wird mit dem angeforderten Zugriffstyp verglichen, wie er in dem von der Zugriffslogik 184 in dem ZVÜ-Eintragsregister gehaltenen 'Typ'-Feld angegeben ist. Stimmt der angeforderte Zugriff nicht mit dem erlaubten übereinstimmt, so wird der Zugriff verweigert und die Zugriffslogik 184 gibt ein Fehlersignal ("No") aus, wodurch über die Fehlergenerierungslogik, welche das ODER-Glied 184 und das UND-Glied 186 umfasst, ein ZVÜ-Fehler-Interruptsignal generiert wird. Der Zugriff wird verweigert, wenn der gewünschte Zugriffstyp nicht in den 'Erlaubnissen' enthalten ist.To go back to the in 11 To return the illustrated AVT logic, it should be noted that after the address of the AVT entry has been formed, the entry is accessed and is in the AVT table entry register 180 is cached. The content of the in the ZVÜ entry register 180 contained "Permissions" field is compared with the requested access type, as in that of the access logic 184 is specified in the 'Type' field held in the ZVÜ entry register. If the requested access does not match the allowed one, the access is denied and the access logic 184 enter Error signal ("No"), whereby the error generation logic, which the OR gate 184 and the AND gate 186 includes, a ZVÜ error interrupt signal is generated. Access is denied if the desired access type is not included in the 'Permissions'.
Das 'Ursprungsort-ID'-Feld des ZVÜ-Eintrags, auf den zugegriffen werden soll (in dem ZVÜ-Eintragsregister 180 als "src ID"-Wert angegeben) spezifiziert den Ursprungsort, welcher dem benutzen ZVÜ-Eintrag entspricht und wird mittels der Vergleichslogik 190 mit der Ursprungsort-ID verglichen, die in dem anfordernden Nachrichtenpaket enthalten ist. Auch hier wieder führt ein Nichtübereinstimmen der Daten dazu, dass die Vergleichslogik 190 die Generierung eines ZVÜ-Fehler-Interrupts bewirkt und dass der Zugriff verweigert wird.The 'Place of Origin ID' field of the ZVÜ entry to be accessed (in the ZVÜ entry register 180 specified as "src ID" value) specifies the place of origin which corresponds to the ZVÜ entry used and is determined by means of the comparison logic 190 compared to the origin ID contained in the requesting message packet. Again, a mismatch in the data leads to the comparison logic 190 the generation of a ZVÜ error interrupt causes and that access is denied.
Gleichzeitig wird das 'Untergrenze'-Feld des ZVÜ-Eintrags (in dem ZVÜ-Eintragsregister 180 als "lwr bnd" angegeben, wie in 11 dargestellt) an die Vergleichslogik 194 angelegt, wo es mit dem in dem ZVÜ-Eingangsregistersegment 170d enthaltenen 'Offset'-Wert verglichen wird. Ist der 'Offset'-Wert geringer als der in dem 'Untergrenze'-Feld des ZVÜ-Eintrags enthaltene Wert, was darauf hindeutet, dass ein Zugriff ausserhalb des erlaubten Seitenabschnitts erfolgen würde, so initiiert die Vergleichseinrichtung 194 ein Signal, welches über das ODER-Glied 184 und das UND-Glied 186 ein ZVÜ-Fehler-Interrupt generiert, wodurch der Zugriff auf den Speicher 28 verweigert wird.At the same time, the 'lower limit' field of the ZVÜ entry (in the ZVÜ entry register 180 indicated as "lwr bnd" as in 11 shown) to the comparison logic 194 where it is with that in the ZVÜ input register segment 170d contained 'offset' value is compared. If the 'offset' value is less than the value contained in the 'lower limit' field of the ZVÜ entry, which indicates that access would take place outside the permitted side section, the comparison device initiates 194 a signal which via the OR gate 184 and the AND gate 186 A ZVÜ error interrupt is generated, which causes access to the memory 28 is denied.
In ähnlicher Weise vergleicht die Vergleichslogik 196 das 'Obergrenze'-Feld ("upr bnd" im ZVÜ-Eintragsregister 180) mit der – von der Addier-Logik 200 bezogenen – Summe des 'Len'-Feldes (d. h. der Zahl der zu schreibenden Datenbytes) und des 'Offset'-Feldes, um zu bestimmen, ob die Menge der zu schreibenden Daten (sofern es sich um eine Anforderung nach einer Schreiboperation handelt) die dem anfordernden Ursprungselement zugeteilte (und in dem 'Untergrenze'- und dem 'Obergrenze'-Feld des Eintrags definierte) Menge an Speicherplatz überschreitet.The comparison logic compares in a similar way 196 the 'upper limit' field ("upr bnd" in the ZVÜ entry register 180 ) with the - from the add logic 200 related - Sum of the 'Len' field (ie the number of data bytes to be written) and the 'Offset' field to determine whether the amount of data to be written (if it is a request for a write operation) that the amount of space allocated to the requesting source element (and defined in the 'lower limit' and 'upper limit' fields of the entry).
Wird eine Zugriffsanforderung validiert, so wird der Inhalt des 'Physikalische Seitenzahl'-Feldes (phys pg #) des ZVÜ-Eintragsregisters 180 zusammen mit dem 'Offset' des ZVÜ-Eingangsregisters 170, wie weiter oben im Zusammenhang mit 12 erklärt, dazu verwendet, um den Speicherort zu adressieren, an welchem der Zugriff stattfinden soll.If an access request is validated, the content of the 'physical page number' field (phys pg #) of the ZVÜ entry register becomes 180 together with the 'offset' of the ZVÜ input register 170 as related to above 12 explained, used to address the location where access is to take place.
Die Übertragung von Nachrichtenpaketen zwischen Elementen des Systems 10 (z. B. einem Gerät 17 und einer CPU 12; 1) wird weiterhin auch insofern in einer neuartigen Weise verwendet, als auf diesem Weg Interrupts verteilt werden, die dazu dienen, eine Aktivität anzufordern, eine Benachrichtigung über eine Aktivität zu senden, oder über das Eintreten von Fehlern zu informieren. Die Interrupt-Nachrichtenübermittlung verwendet somit das TNet-Netzwerksystem in derselben Weise wie jeder andere Datenaustausch zwischen Elementen und umfasst einen Ablauf in drei Schritten: (1) die Erstellung und den Versand des Interrupt-Nachrichtenpakets durch ein Ursprungselement; (2) die Übertragung des Interrupt-Nachrichtenpakets durch das TNet-Netzwerk zu seinem Bestimmungsort; und (3) Interpretation und Freigabe im Hinblick auf die Durchführung einer entsprechenden Aktion am Bestimmungsort. Jedes Systemelement kann Empfänger eines Interrupt-Nachrichtenpakets sein. Ist der Bestimmungsort eine CPU, so handelt es sich bei dem Interrupt-Nachrichtenpaket praktisch um eine normale Anforderung nach einer Schreiboperation, bei welcher das 'Bestimmungsort-ID'-Feld des Nachrichtenpaket-Headers (3B) die CPU identifiziert und das 'Adresse'-Feld den ZVÜ-Eintrag (Interrupt-Beschreiber) auswählt, welcher die Anweisungen enthält, wie das Interrupt-Nachrichtenpaket zu behandeln ist.The transmission of message packets between elements of the system 10 (e.g. a device 17 and a CPU 12 ; 1 ) is also used in a new way in that interrupts are distributed in this way, which serve to request an activity, to send a notification about an activity, or to inform about the occurrence of errors. Interrupt message transmission thus uses the TNet network system in the same way as any other data exchange between elements and comprises a three-step process: (1) the creation and sending of the interrupt message packet by an originating element; (2) the transmission of the interrupt message packet through the TNet network to its destination; and (3) interpretation and approval with regard to the implementation of a corresponding action at the destination. Each system element can be the recipient of an interrupt message packet. If the destination is a CPU, the interrupt message packet is practically a normal request for a write operation in which the 'destination ID' field of the message packet header ( 3B ) the CPU identifies and the 'address' field selects the ZVÜ entry (interrupt descriptor), which contains the instructions on how to handle the interrupt message packet.
Die Autorisierung, eine Interrupt-Aktivität zu initiieren, bedarf auch der Validierung durch die ZVÜ-Logik 90. Ein empfangenes Nachrichtenpaket enthält somit Interrupt-Daten, die den Interrupt erklären. Diese Interrupt-Daten sind in eine im Speicher 28 gehaltene, spezielle Warteschlange (Interrupt-Warteschlange) zu schreiben, und zwar unter Benachrichtigung der Prozessoren 20, um anzuzeigen, dass ein Interrupt empfangen und "freigegeben" wurde und bereit ist zur Abfertigung durch die Prozessoren 20. Da sich die Interrupt-Warteschlangen an speziellen Speicherorten befinden, sind die Interrupt-Daten bei Bedarf stets verfügbar.The authorization to initiate an interrupt activity also requires validation through the ZVÜ logic 90 , A received message packet thus contains interrupt data that explain the interrupt. This interrupt data is in one in memory 28 held special queue (interrupt queue) to write, and with notification to the processors 20 to indicate that an interrupt has been received and "released" and is ready to be processed by the processors 20 , Since the interrupt queues are located in special locations, the interrupt data is always available when needed.
Ein ZVÜ-Interrupteintrag für einen Interrupt kann einen von zwei Typen annehmen: es kann sich um einen Warteschlangen-Mehrfacheintrag-Interrupt oder um einen Warteschlangen-Einzeleintrag-Interrupt handeln. Das Format für beide Typen von ZVÜ-Interrupteinträgen ist im Grunde genommen dasselbe und dieses Format wird in 13C veranschaulicht.A ZVÜ interrupt entry for an interrupt can take one of two types: it can be a queue multiple entry interrupt or a queue single entry interrupt. The format for both types of AVT interrupt entries is basically the same and this format is in 13C illustrated.
Ein ZVÜ-Interrupteintrag für einen Warteschlangen-Mehrfacheintrag-Interrupt wird für empfangene Nachrichtenpakete verwendet, welche entweder ursprünglich dazu erstellt wurden, um ein Interrupt zu übermitteln, oder aber unterwegs durch irgendein aussergewöhnliches Ereignis, das von einem Router 14 oder von der empfangenden CPU erkannt wurde (z. B. schlechter CRC), zu einem Interrupt geworden sind. Verwendet werden diese Einträge von der ZVÜ-Logik 90, um das Nachrichtenpaket mehr oder weniger in der oben beschriebenen Art und Weise zu validieren, und von der Interrupt-Logik 86 (5 und 14A), um eine kreisförmige Warteschlange in dem Speicher 28 zu bezeichnen, in welcher der Header und begleitende Daten des Interrupt-Nachrichtenpakets gespeichert werden. Ausserdem setzt die Interrupt-Logik 86 ein Bit in einem Interrupt- oder "Ursachen"-Register 280 (14A; im Detail weiter unten abgehandelt) um den Empfang und/oder die Erstellung eines Mehrfacheintrag-Interrupts anzuzeigen.A ZVÜ interrupt entry for a queue multi-entry interrupt is used for received message packets, which were either originally created to transmit an interrupt or by some unusual event on the way from a router 14 or was recognized by the receiving CPU (e.g. bad CRC), have become an interrupt. These entries are used by the ZVÜ logic 90 to validate the message packet more or less in the manner described above, and by the interrupt logic 86 ( 5 and 14A ) to a circular queue in the memory 28 to designate in which the header and accompanying data of the interrupt message packet are stored. In addition, the interrupt logic sets 86 a bit in an interrupt or "causes" register 280 ( 14A ; dealt with in detail below) to indicate the receipt and / or creation of a multiple entry interrupt.
Ein ZVÜ-Interrupteintrag für ein Warteschlangen-Einzeleintrag-Interrupt funktioniert im wesentlichen in derselben Art und Weise, abgesehen davon, dass es sich bei der Interrupt-Datenstruktur, an welche der ZVÜ-Interrupteintrag die Nachrichtenpaketinformation zum Zweck der Speicherung leitet, um einen fixen (wenngleich modifizierbaren) Ort im Speicher 28 handelt.A ZVÜ interrupt entry for a queue single entry interrupt essentially works in same way, except that the interrupt data structure to which the ZVÜ interrupt entry forwards the message packet information for the purpose of storage is a fixed (albeit modifiable) location in memory 28 is.
Beide ZVÜ-Interrupteintragstypen (Mehrfacheintragund Einzeleintrag-Interrupts) verwenden das in 13C veranschaulichte Vierfachwortformat (128 Bits). Ein 64-Bit-Segment ("Queue Base Addr" – Warteschlangenbasisadresse) des ZVÜ-Interrupteintrags wird als Hinweismarke auf den Ort der Interrupt-Warteschlange in dem Speicher 28 verwendet, an dem Interrupt-Daten geschrieben werden. Die Interrupt-Warteschlange ist in der Form einer FIFO strukturiert, sodass Interrupt-Daten von der Interrupt-Logik 86 empfangen und am hinteren Ende der FIFO-Warteschlange eingefügt werden und von dem Prozessor 20 anlässlich der Abfertigung des Interrupts vom vorderen Ende der Warteschlange entnommen werden.Both ZVÜ interrupt entry types (multiple entry and single entry interrupts) use this in 13C illustrated quadruple word format ( 128 Bits). A 64-bit segment ("Queue Base Addr") of the ZVÜ interrupt entry is used as a pointer to the location of the interrupt queue in the memory 28 used to write interrupt data. The interrupt queue is structured in the form of a FIFO, so interrupt data from the interrupt logic 86 received and inserted at the back of the FIFO queue and by the processor 20 can be taken from the front end of the queue to handle the interrupt.
Der ZVÜ-Interrupteintrag beinhaltet auch ein 20-Bit-Segment ("Ursprungsort-ID"), das Ursprungs-ID-Informationen enthält, welche die zu bedienende, externe Einheit über den Interrupt-Prozess identifiziert. Stimmt die Ursprungsort-ID des ZVÜ-Interrupteintrags nicht mit jener überein, die in dem Header des eingehenden Nachrichtenpakets enthalten ist, überein (Ursprungsort-ID; 3B), wobei die Übereinstimmung durch einen von der Vergleichslogik 190 vorgenommenen Vergleich ermittelt wird (11), so wird der Zugriff auf die Interrupt-Warteschlange verweigert und ein ZVÜ-Fehler-Interrupt generiert.The ZVÜ interrupt entry also contains a 20-bit segment ("origin ID"), which contains origin ID information that identifies the external unit to be operated via the interrupt process. If the origin ID of the ZVÜ interrupt entry does not match that which is contained in the header of the incoming message packet (origin ID; 3B ), the match being determined by one of the comparison logic 190 comparison is determined ( 11 ), access to the interrupt queue is denied and a ZVÜ error interrupt is generated.
Ein 12 Bit umfassendes "Erlaubnisse"-Segment des ZVÜ-Interrupteintrags enthält dieselben erlaubnisbezogenen Informationen wie weiter oben in Verbindung mit normalen ZVÜ-Einträgen beschrieben. Typischerweise jedoch ist ein Nachrichtenpaket, welches ein Interrupt übermittelt, als Anforderung für eine Schreiboperation strukturiert und strebt danach, die Interrupt-Daten, welche es überträgt, wie weiter unten beschrieben, in den Speicher 28 , d. h. in die Interrupt-Warteschlange zu schreiben. Ein ordnungsgemässer ZVÜ-Interrupt-Eintrag hat somit das 'Write Access'-Bit entsprechend gesetzt, um es zu ermöglichen, dass die Interrupt-Daten in die in dem Speicher 28 eingerichtete Interrupt-Warteschlange geschrieben werden können. Das Interrupt-Bit (I) des 'Erlaubnisse'-Feldes identifiziert, sofern es gesetzt ist, den ZVÜ-Interrupt-Eintrag als einen zur Validierung und Behandlung eines Interrupt-Nachrichtenpakets geeigneten Eintrag.A 12-bit "Permissions" segment of the AVT interrupt entry contains the same permission-related information as described above in connection with normal AVT entries. Typically, however, a message packet that conveys an interrupt is structured as a request for a write operation and strives to store the interrupt data it conveys, as described below 28 , ie to write to the interrupt queue. A proper ZVÜ interrupt entry has accordingly set the 'Write Access' bit to enable the interrupt data to be stored in the memory 28 configured interrupt queue can be written. The interrupt bit (I) of the 'Permissions' field, if set, identifies the ZVÜ interrupt entry as an entry suitable for validating and handling an interrupt message packet.
Schliesslich identifizieren vier je ein Byte umfassende Segmente ("c", "q", "1", und "z") des ZVÜ-Interrupt-Eintrags jeweils (1) die "Klasse" des Interrupts, welche verwendet wird, um das in dem Prozessor 20 zu setzende Interruptebene zu bestimmen; (2) eine Warteschlangennummer, die, wie weiter unten noch genauer beschrieben wird, dazu verwendet wird, ein Register auszuwählen, dessen Inhalt angibt, an welcher Stelle der jeweiligen (von dem 'Warteschlangen-Basisadresse'-Feld angegebenen) Warteschlange die Interrupt-Daten zu schreiben sind; (3) die Grösse bzw. die Menge an Speicherplatz, der an jedem Warteschlangen-Speicherort verfügbar ist, ausgedrückt in Form der Anzahl von Doppelwörtern, die dort gespeichert werden können; und (4) die Anzahl von in einem Warteschlangenendzähler, die dazu verwendet werden, um zu festzustellen, an welcher Stelle der Warteschlange die Daten geschrieben werden. Die Warteschlangen-Basisadresse (Queue Base Addr) und die Segmente c, q, 1 und z werden von der Interrupt-Logik dazu benutzt, um auf den Speicherort im Speicher 28 zu verweisen. Die Interrupt-Logik 86 beinhaltet vier "End"-Zähler, von denen ein jeder auf eine von vier Warteschlangen verweist, in welche Interrupt-Daten eingefügt werden können. Welcher der vier Zähler ausgewählt wird, ist vom Inhalt des Segments q des ZVÜ-Interrupt-Eintrags abhängig. Das andere Ende der Warteschlange, d. h. der Punkt, an dem Interrupt-Einträge entnommen werden, wird durch einen der vier "Anfangs"-Zähler angegeben. Die Grösse der Anfangs- und Endzähler (ausgedrückt in Bitzahlen) wird durch das Unterfeld z angegeben (negativ vorgespannt bis 9), wie weiter unten in Tabelle 2 angegeben. Die Warteschlangenendzählergrösse wird verwendet, um zu bestimmen wann der Endzeiger auf den Wert Null zurückspringt. Die Anzahl der Wörter (Bytes) dividiert durch die Grösse eines jeden Eintrags ergibt die Anzahl der Warteschlangeneinträge. Die kürzeste Warteschlange könnte unter Umständen nur 32 Einträge enthalten (4kB-Warteschlange dividiert durch 128 Byte Einträge) und erfordert 4kB, während die längste Warteschlange nicht weniger als 32.768 Einträge aufweisen könnte (512kB dividiert durch 16 Bytes pro Eintrag). TABELLE 2 ZErklärung0512 Doppelwörter(4K Bytes)11K Doppelwörter(8K Bytes) 22K Doppelwörter(16K Bytes)34K Doppelwörter(32K Bytes)48K Doppelwörter(64K Bytes)516K Doppelwörter(128K Bytes)632K Doppelwörter(256K Bytes) 764K Doppelwörter(512K Bytes)8–15Nicht in VerwendungFinally, four segments of one byte each ("c", "q", "1", and "z") of the ZVÜ interrupt entry each identify (1) the "class" of the interrupt, which is used to describe the interrupt the processor 20 determine the interrupt level to be set; (2) a queue number, which, as will be described in more detail below, is used to select a register whose content indicates the position of the respective queue (indicated by the 'queue base address' field) of the interrupt data are to be written; (3) the size or amount of space available at each queue location, expressed in terms of the number of double words that can be stored there; and (4) the number of end-of-queue counters used to determine where in the queue the data is written. The queue base address (Queue Base Addr) and the segments c, q, 1 and z are used by the interrupt logic to point to the storage location in memory 28 to refer. The interrupt logic 86 includes four "end" counters, each of which points to one of four queues in which interrupt data can be inserted. Which of the four counters is selected depends on the content of segment q of the ZVÜ interrupt entry. The other end of the queue, ie the point at which interrupt entries are extracted, is indicated by one of the four "start" counters. The size of the start and end counters (expressed in bit numbers) is specified by the subfield z (negative biased to 9), as shown in Table 2 below. The end-of-queue counter size is used to determine when the end pointer returns to zero. The number of words (bytes) divided by the size of each entry gives the number of queue entries. The shortest queue might contain only 32 entries (4kB queue divided by 128 byte entries) and requires 4kB, while the longest queue could have no less than 32,768 entries (512kB divided by 16 bytes per entry). TABLE 2 Z Explanation 0 512 double words (4K bytes) 1 1K double words (8K bytes) 2 2K double words (16K bytes) 3 4K double words (32K bytes) 4 8K double words (64K bytes) 5 16K double words (128K bytes) 6 32K double words (256K bytes) 7 64K double words (512K bytes) 8-15 Not in use
Die Grösse eines jeden Interrupt-Eintrags in der Interrupt-Warteschlange wird durch das Feld 1 angegeben, und zwar in Form von 16-Byte-Wörtern, wie in der folgenden Tabelle 3 veranschaulicht. TABELLE 3 1Erklärung01 Vierfachwort (16 Bytes)12 Vierfachwörter (32 Bytes)24 Vierfachwörter (64 Bytes)38 Vierfachwörter (128 Bytes)4–15Nicht in Verwendung (reserviert)The size of each interrupt entry in the interrupt queue is determined by the field 1 is in the form of 16-byte words, as illustrated in Table 3 below. TABLE 3 1 Explanation 0 1 quadruple word (16 bytes) 1 2 quadruple words (32 bytes) 2 4 quadruple words (64 bytes) 3 8 quadruple words (128 bytes) 4-15 Not in use (reserved)
Interruptbehandlung:Interrupt Handling:
Wie bereits weiter oben gezeigt, liegt ein Neuigkeitsmerkmal der vorliegenden Erfindung in der Fähigkeit, die TNet-Netzwerk-Nachrichtenübermittlungsfähigkeit dazu zu benutzen, um Interrupts an die CPU 12 zur Abfertigung zu nutzen. Zum Beispiel kann es sein, dass eine E/A-Einheit aus einer Reihe von Gründen nicht in der Lage ist, eine von einer CPU ausgegebene Lese- oder Schreibtransaktion fertigzustellen, sei es, aufgrund einer untauglichen Adresse in dem Nachrichtenpaket, mit dem die Transaktion übermittelt wurde, oder aufgrund des Empfangs des Nachrichtenpakets mit einem CRC-Fehler, oder weil festgestellt wird, dass das empfangene Nachrichtenpaket eine Bestimmungsort-Adresse aufwies, die nicht jener des Empfängers entsprach. Diese und andere Fehler, Ausnahmefälle und Unregelmässigkeiten, die von den E/A-Einheiten bzw. den E/A-Schnittstellenelementen festgestellt werden, können eine Situation herbeiführen, in der eine Intervention der CPU erforderlich wird. Bei Systemen nach dem Stand der Technik sind solche Situationen Gegenstand von Interrupts; nicht anders ist es auch im Fall der vorliegenden Erfindung, ausser dass solche Interrupts nicht in der bisher üblichen Weise übertragen werden – mit wenig bis überhaupt keiner Information über die Ursache der Unterbrechung und über ein Signalkabel, das ausschliesslich für solche Zwecke reserviert war – sondern direkt über das Nachrichtensystem, das auch für die E/A-Elemente des Systems verfügbar ist. Dieses Merkmal verringert nicht nur den Bedarf an zusätzlichen Signalleitungen (wodurch der für die Signalleitungen vorgesehene Platz anderweitig genutzt werden kann), sondern schafft auch eine Einrichtung, die bedeutend mehr Informationen über die Ursache für das Interrupt bereitstellen kann, so dass sich ein entsprechender Nachforschungsaufwand für die CPU erübrigt.As shown earlier, a novelty feature of the present invention is the ability to use the TNet network messaging capability to send interrupts to the CPU 12 to use for clearance. For example, an I / O device may not be able to complete a read or write transaction issued by a CPU for a number of reasons, be it due to an unsuitable address in the message packet with which the transaction occurred transmitted, or due to the receipt of the message packet with a CRC error, or because it is determined that the received message packet had a destination address that did not correspond to that of the recipient. These and other errors, exceptional cases, and irregularities that are detected by the I / O units or the I / O interface elements can create a situation in which the CPU requires intervention. In prior art systems, such situations are subject to interrupts; It is no different in the case of the present invention, except that such interrupts are not transmitted in the usual way - with little to no information about the cause of the interruption and about a signal cable that was reserved exclusively for such purposes - but directly via the messaging system that is also available for the system's I / O elements. This feature not only reduces the need for additional signal lines (which allows the space provided for the signal lines to be used for other purposes), but also creates a facility that can provide significantly more information about the cause of the interrupt, so that there is a corresponding research effort for the CPU is unnecessary.
Gemäss diesem Merkmal wird ein eingehendes Nachrichtenpaket, welches einen in den Speicher 28 zu schreibenden Interrupt-Bericht enthält, vorerst zum Zweck der Validierung an die ZVÜ-Logik 90 geleitet (11). Die ZVÜ-Logik 90 bestimmt auch, ob es sich bei dem Nachrichtenpaket um eine reguläre E/A-Schreibanforderung, ein Interrupt, oder möglicherweise um einen fehlgeleiteten Zugriff auf den Speicher 28 handelt, welcher verboten ist. Der Inhalt des ZVÜ-Basisregisters 174 der ZVÜ-Logik 90 wird gemeinsam mit dem in dem ZVÜ-Eingangsregister 170 enthaltenen Seitenzahlfeld 170c (11) dazu benutzt, um einen Zeiger für den ZVÜ-Interrupt-Eintrag im Hauptspeicher zu generieren, und zwar in derselben Weise wie weiter oben für normale Nachrichtenpakete beschrieben (d. h. die Zugriffsanforderung auf den Speicher 28 zum Zweck des Lesens oder Schreibens von Daten). Auf den dergestalt über die zusammengesetzte Adresse identifizierten ZVÜ-Eintrag wird vom Speicher 20 aus zugegriffen und dieser wird, wie in 14A im Detail veranschaulicht, zum weiteren Gebrauch durch die Interrupt-Logik 86 der Schnittstelleneinheit 24 (5) in das ZVÜ-Eintragsregister 180 gestellt.According to this feature, an incoming message packet which is stored in the memory 28 contains the interrupt report to be written, initially for the purpose of validation to the ZVÜ logic 90 headed ( 11 ). The ZVÜ logic 90 also determines whether the message packet is a regular I / O write request, an interrupt, or possibly a misdirected access to memory 28 acts, which is prohibited. The content of the ZVÜ basic register 174 the ZVÜ logic 90 is shared with that in the ZVÜ input register 170 contained page number field 170c ( 11 ) used to generate a pointer to the ZVÜ interrupt entry in main memory in the same way as described above for normal message packets (ie the access request to the memory 28 for the purpose of reading or writing data). From the memory, the ZVÜ entry identified in this way via the composite address is stored 20 accessed and this is, as in 14A illustrated in detail for further use by the interrupt logic 86 the interface unit 24 ( 5 ) in the ZVÜ entry register 180 posed.
Es ist die Interrupt-Logik 86, die für die Behandlung der Interrupt-Information verantwortlich ist, nachdem das Nachrichtenpaket, mit dem die Interrupt-Information übertragen wird, die ZVÜ-Logik 90 erfolgreich durchlaufen hat. Die Interrupt-Logik 86 beinhaltet, wie in 14A gezeigt, einen Multiplexer (MUX) 252, welcher die Inhalte von vier Warteschlangenendregistern 256 empfängt und daraus eine Auswahl trifft. In ähnlicher Weise empfängt ein MUX 254 den Inhalt von vier Warteschlangenanfangsregistern 262 empfängt und daraus eine Auswahl trifft. Der Auswahleingang (s) eines jeden MUX 252, 254 ist entsprechend verkoppelt, um den Inhalt des Segments "q" des abgerufenen (und dem Interrupt-Nachrichtenpaket entsprechenden) ZVÜ-Eintrags zu empfangen, der in dem ZVÜ-Eintragsregister 180 gehalten wird. Es ist der "q"-Wert, der dazu verwendet wird, um auszuwählen welcher aus jeder Gruppe von Warteschlangenregistern 256, 262 zu verwenden ist.It is the interrupt logic 86 , which is responsible for handling the interrupt information after the message packet with which the interrupt information is transmitted, the ZVÜ logic 90 has successfully passed. The interrupt logic 86 includes, as in 14A shown a multiplexer (MUX) 252 which contains the contents of four queue end registers 256 receives and makes a selection from it. Similarly, a MUX receives 254 the contents of four queue start registers 262 receives and makes a selection from it. The selection input (s) of each MUX 252 . 254 is coupled accordingly to receive the content of the segment "q" of the retrieved (and corresponding to the interrupt message packet) AVT entry that is in the AVT entry register 180 is held. It is the "q" value that is used to select which of each group of queue registers 256 . 262 is to be used.
Obwohl theoretisch jede beliebige Anzahl von Warteschlangen in dem Speicher eingerichtet werden kann, um die Speicherung von Interrupt-Daten abzuwickeln, ist deren Anzahl aus weiter unten erläuterten Gründen bei der vorliegenden Erfindung auf vier beschränkt. Der Speicherort innerhalb des Speichers 28 einer jeden solchen Warteschlange ist in dem Wert für die Warteschlangenbasisadresse des ZVÜ-Eintrags, auf den zugegriffen wird, angegeben und dieser wird in dem Eintragsregister 180 ("phys pg #" in 11; "base" in 14A). Die Inhalte von vier Warteschlangenendregistern 256 bilden jeweils einen Offset in die bestimmte Warteschlange, die dann durch den Warteschlangenbasisadresswert angegeben wird. Der Inhalt des ausgewählten Warteschlangenendregisters 256 wird durch den Addierer 258 mit der Warteschlangenbasisadresse kombiniert und bildet die Eingabestelle in die bezeichnete Warteschlange an welchem die Interrupt-Daten geschrieben werden. Die vier Warteschlangenanfangs- und -endregister 262, 256 schränken die Interrupt-Logik 86 darauf ein, nur vier Warteschlangen zu beandeln, es sollte jedoch einschlägig gebildeten Fachleuten klar sein, dass auch mehr oder weniger Warteschlangen gehandhabt werden können.Although theoretically any number of queues can be set up in memory to handle the storage of interrupt data, the number is limited to four in the present invention for reasons discussed below. The location within memory 28 each such queue is specified in the value for the queue base address of the ZVÜ entry that is being accessed and is stored in the entry register 180 ("phys pg #" in 11 ; "base" in 14A ). The contents of four queue registers 256 each form an offset into the specific queue, which is then specified by the queue base address value. The content of the out chose end-of-queue register 256 is through the adder 258 combined with the queue base address and forms the entry point in the designated queue on which the interrupt data is written. The four queue start and end registers 262 . 256 limit the interrupt logic 86 to only bundle four queues, but it should be clear to those skilled in the art that more or fewer queues can be handled.
Die Register 256 spezifizieren den Speicherort des "Endes" von bestimmten Warteschlangen und zeigen auf den Warteschlangeneingang, an welchem die als nächstes empfangenen Interrupt-Daten abgelegt werden. Die vier Warteschlangenanfangsregister 262 spezifizieren das jeweils andere Ende der bestimmten Warteschlange.The registers 256 specify the location of the "end" of certain queues and point to the queue entrance where the next received interrupt data are stored. The four queue start registers 262 specify the other end of the particular queue.
Die aus der Kombination der Warteschlangenbasisadresse und dem Inhalt des ausgewählten Warteschlangenendregisters 256 erstellte Adresse ist vorzugsweise so gebildet, dass sie sich an Vierfachwortgrenzen ausrichten. Dies wird dadurch erreicht, dass die niederwertigen vier Bits der Warteschlangeneingangsadresse zwingend auf 0 gesetzt werden.The combination of the queue base address and the content of the selected queue end register 256 The address created is preferably formed in such a way that it is aligned with quadruple word boundaries. This is achieved in that the low-order four bits of the queue entry address are set to 0.
Die Bildung der Warteschlangeneingangsadresse wird in 14B in Diagrammform veranschaulicht, worin gezeigt wird wie die höherwertigen sieben Bits des 15 Bit umfassenden Inhalts des ausgewählten Endregisters 256 zu den Bitpositionen 12–31 des in dem ZVÜ-Eintragsregister 180 enthaltenen Warteschlangenbasisadressfeldes hinzugefügt werden; das Ergebnis dieser Summierung bildet die höherwertigen 20 Bits (Bitpositionen 12–31) der Warteschlangeneingangsadresse. Der niederwertige 8-Bit-Inhalt des ausgewählten Endregisters 256 wird direkt als die niederwertigen Bitpositionen 4–11 der Warteschlangeneingangsadresse verwendet. Wie weiter oben abgehandelt, werden zum Zweck der gewünschten Ausrichtung die niederwertigen vier Bits (Bitpositionen 0–3) der Warteschlangeneingangsadresse alle zwingend auf Null gesetzt.The formation of the queue entry address is in 14B illustrated in diagram form, showing how the high order seven bits of the 15 bit content of the selected end register 256 to the bit positions 12-31 in the ZVÜ entry register 180 included queue base address field; the result of this summation is the higher 20 bits (bit positions 12-31 ) the queue entry address. The low-order 8-bit content of the selected end register 256 is used directly as the low order bit positions 4-11 of the queue entry address. As discussed above, for the purpose of the desired alignment, the low-order four bits (bit positions 0-3) of the queue entry address are all set to zero.
Zusammenfassend kann gesagt werden, dass Nachrichtenpakete, welche Interrupts enthalten, zu Beginn in derselben Weise gehandhabt werden wie andere Nachrichtenpakete auch, und zwar insofern als sie praktisch nichts anderes als Anforderungen für das Schreiben von Daten in den Speicher 28 der empfangenden CPU 12 sind und diese Anforderung durch die ZVÜ-Logik 90 validiert werden muss. Aus dem Nachrichtenpaket entnommene Informationen werden daher in das ZVÜ-Eingangsregister 170 gestellt und Abschnitte daraus (die Felder 170c und 170d) verwendet, um aus dem Speicher 28 heraus die Lage eines ZVÜ-Eintrags zu ermitteln und auf diesen zuzugreifen. Bei dem ZVÜ-Eintrag handelt es sich, sofern das Nachrichtenpaket die richtige Information für die Interruptbehandlung enthalten hat, um einen Interrupt-ZVÜ-Eintrag, der in das ZVÜ-Eintragsregister 180 gestellt wird und verwendet wird, um das Interrupt zu verifizieren (authentifizieren) und in der Folge unter Verwendung der Interrupt-Logik 86 die Interrupt-Daten in einer der vier kreisförmigen Warteschlangen zu speichern, die von der in dem ZVÜ-Eintrag enthaltenen Basisadressinformation spezifiziert wird. Der Prozessor 20 bzw. die Prozessoren 20 wird /werden daraufhin benachrichtigt, wobei es letzteren freigestellt ist, zu entscheiden ob und wie das Interrupt behandelt wird.In summary, it can be said that message packets containing interrupts are initially handled in the same way as other message packets, in that they practically nothing other than requests for data to be written to memory 28 the receiving CPU 12 are and this requirement through the ZVÜ logic 90 must be validated. Information extracted from the message packet is therefore stored in the ZVÜ input register 170 and sections of it (the fields 170c and 170d ) used to out of memory 28 to determine the location of a ZVÜ entry and to access it. If the message packet has the correct information for interrupt handling, the ZVÜ entry is an interrupt ZVÜ entry that is in the ZVÜ entry register 180 and is used to verify (authenticate) the interrupt and subsequently using the interrupt logic 86 store the interrupt data in one of the four circular queues specified by the base address information contained in the ZVÜ entry. The processor 20 or the processors 20 will then be notified, the latter being free to decide whether and how the interrupt is handled.
Nachdem die Interrupt-Nachrichtenpaketdaten in der Warteschlange gespeichert worden sind, muss die Adressierung im Hinblick auf den Empfang der Interrupt-Daten des nächsten Nachrichtenpakets aktualisiert werden. Nachdem die Interrupt-Daten in die ausgewählte Warteschlange geschrieben worden sind, wird der Inhalt des in dem ZVÜ-Tabelleneintragsregister 180 enthaltenen "1"-Feldes durch die Kombinationsschaltung 270 mit dem ausgewählten Warteschlangenendregister 256 kombiniert und das Ergebnis wird dann von der "mod z"-Schaltung 273 verarbeitet, um einen neuen Offset in die Warteschlange zu setzen, an welchem die Interrupt-Daten des nächsten Interrupt-Nachrichtenpakets gespeichert werden. Dieser neue Offset-Wert wird an das ausgewählte Warteschlangenendregister 256 rückübermittelt. Gleichzeitig werden die Ausgabedaten der Kombinationsschaltung 270 an die Vergleichsschaltung 272 angelegt. Die Interrupt-Anfragen sind so strukturiert, dass sie kreisförmig ausgebildet sind mit einer Modulgrösse z. Die "mod z"-Schaltung erzeugt Ausgabedaten, die die Zirkularität aufrechterhalten. Da der Warteschlangenendzeiger den nächsten Eingabepunkt in der Warteschlange anzeigt, und der Anfangszeiger angezeugt hat, wie viel Platz in Bezug auf den entsprechenden Endzeiger in der Warteschlange übrigbleibt, bedeutet es, dass die Warteschlange voll ist, wenn diese beiden Werte gleich sind. Somit ist es die Vergleichsschaltung 272, die diese Bestimmung vornimmt, und zwar durch einen Vergleich des Anfangszeigers (der von dem ausgewählten Warteschlangenanfangsregister 262 bereitgestellt wird) mit dem Endzeiger, der als Ergebnis des letzten Eintrags erzeugt wurde. Wenn nun der Anfangspunkt und der Endpunkt für die Warteschlange gleich sind, so gibt die Vergleichsschaltung 272 ein "Queue Full"-Warnsignal (Warteschlange Voll) aus, das selber wiederum ein Interruptsignal ist. Das "Warteschlange Voll"-Warnsignal wird zu einem eigengenerierten Interrupt, welches an die Prozessoreinheiten 20 übermittelt wird, um diesen als Warnung zu dienen, dass wenn die Angelegenheit nicht unverzüglich gelöst wird, später empfangene Interrupt-Daten verlorengehen können, denn sollte sich die Warteschlange füllen, so werden zusätzliche Interrupt-Nachrichten ausgeschieden.After the interrupt message packet data has been stored in the queue, the addressing must be updated with a view to receiving the interrupt data of the next message packet. After the interrupt data has been written into the selected queue, the contents of the in the ZVÜ table entry register 180 contained "1" field by the combination circuit 270 with the selected queue end register 256 combined and the result is then processed by "mod z" circuit 273 to queue a new offset where the interrupt data of the next interrupt message packet is stored. This new offset value is sent to the selected queue end register 256 retransmitted. At the same time, the output data of the combination circuit 270 to the comparison circuit 272 created. The interrupt requests are structured so that they are circular with a module size z. The "mod z" circuit generates output data that maintains circularity. Since the queue end pointer indicates the next entry point in the queue, and the start pointer indicated how much space is left in the queue with respect to the corresponding end pointer, it means that the queue is full if these two values are equal. So it is the comparison circuit 272 which makes this determination by comparing the start pointer (from that of the selected queue start register 262 with the end pointer that was generated as a result of the last entry. If the start point and the end point for the queue are now the same, the comparison circuit gives 272 a "Queue Full" warning signal (queue full), which in turn is an interrupt signal. The "queue full" warning signal becomes a self-generated interrupt which is sent to the processor units 20 is transmitted to serve as a warning that if the matter is not resolved immediately, interrupt data received later may be lost, because if the queue fills up, additional interrupt messages are eliminated.
Eingehende Nachrichtenpaket-Interrupts bewirken, dass Interrupts an den Prozessor 20 freigegeben werden, indem sie zuerst eine aus einer Reihe von Bitpositionen eines. Interrupt-Registers 280 setzen. Warteschlangen-Mehrfacheintrag-Interrupts werden in den Interrupt-Registern 280a zur Freigabe an den Prozessor gesetzt; Warteschlangen-Einzeleintrag-Interrupts verwenden das Interrupt-Register 280b. Welches Bit gesetzt wird, hängt von dem Klasse-Feld (c) des in dem ZVÜ-Eingangsregister 180 gehaltenen ZVÜ-Eintrag ab.Incoming message packet interrupts cause interrupts to the processor 20 be released by first selecting one of a series of bit positions. Interrupt register 280 put. Queue multi-entry interrupts are in the interrupt registers 280a set to the processor for release; Single-entry queue interrupts use the interrupt register 280b , Which bit ge depends on the class field (c) of the in the ZVÜ input register 180 ZVÜ entry held.
Zuerst bezugnehmend auf Warteschlangen-Mehrfacheintrag-Interrupts, gibt die Schnittstelleneinheit bald nachdem ein Warteschlangen-Mehrfacheintrag-Interrupt erkannt worden ist, ein entsprechendes Interrupt-Signal (I1) aus, das an die Decodierschaltung 283 angelegt wird. Die Decodierschaltung 283 empfängt und decodiert den 'Klasse (c)'-Wert von dem ZVÜ-Eintragregister 180, um zu bestimmen, welcher der Registerpositionen des Registers 280a zu setzen ist, wobei eine Vorausinformation bezüglich des empfangenen Interrupts an den/die Prozessor en) 20 bereitgestellt wird, d. h. (1) der Typ des freigegebenen Interrupts und (2) die Klasse dieses Interrupts.Referring first to queue multiple entry interrupts, soon after a queue multiple entry interrupt is detected, the interface unit issues a corresponding interrupt signal (I1) to the decoding circuit 283 is created. The decoding circuit 283 receives and decodes the 'class (c)' value from the ZVÜ entry register 180 to determine which of the register positions of the register 280a is to be set, whereby advance information regarding the received interrupt is provided to the processor (s) 20, ie (1) the type of the released interrupt and (2) the class of this interrupt.
In ähnlicher Weise bewirken Warteschlangen-Einzeleintrag-Interrupts bei ihrem Empfang, dass ein entsprechendes Interrupt-Signal (I2) ausgegeben und an die Decodierlogik 287 angelegt wird, welche auch den 'Klasse (c)'-Wert empfängt und decodiert, um zu bestimmen, welcher Bitabschnitt des Registers 280b zu setzen ist.Similarly, queue single entry interrupts, when received, cause a corresponding interrupt signal (I2) to be issued and sent to the decoding logic 287 which also receives and decodes the 'class (c)' value to determine which bit portion of the register 280b is to be set.
Die Warteschlangenend- und -anfangsregister 256, 262 sind auch an ein weiteres Paar von Multiplexern (MUXs) 276, 274 gekoppelt. Durch den Inhalt eines Aktualisierungsregisters 278 wird ausgewählt, welches entsprechende Paar von Registern 256, 262 von der Vergleichsschaltung 279 miteinander verglichen wird. Das Aktualisierungsregister ist durch den Prozessor 20 beschreibbar, damit ein Registerpaar zum Vergleich ausgewählt werden kann. Stellt es sich heraus, dass die beiden ausgewählten Register 256, 262 inhaltsgleich sind, was darauf hindeutet, dass die betreffende Warteschlange leer ist, so werden die jeweiligen Interrupt-Register gelöscht. Das Klassenregister 281 wählt das Interrupt-Bit des Interrupt-Registers 280aden muss, das gelöscht werden muss, (als Klasse) aus.The queue end and start registers 256 . 262 are also connected to another pair of multiplexers (MUXs) 276 . 274 coupled. Through the content of an update register 278 will select which corresponding pair of registers 256 . 262 from the comparison circuit 279 is compared with each other. The update register is through the processor 20 writable so that a register pair can be selected for comparison. It turns out that the two selected registers 256 . 262 have the same content, which indicates that the relevant queue is empty, the respective interrupt registers are deleted. The class register 281 selects the interrupt bit of the interrupt register 280a that needs to be cleared (as a class).
Der folgende kurze Exkurs behandelt die beiden Grundtypen von Interrupts, welche die Prozessoren 20 betreffen: solche Interrupts, die von einem Nachrichtenpaket an die CPU 12 übermittelt werden, und solche, die von der CPU 12 selbst generiert werden, und daher auch als "eigengenerierte" Interrupts bezeichnet werden. Eigengenerierte Interrupts sind das Ergebnis von intern erkannten Fehlern, wie zum Beispiel das von der Vergleichsschaltung 272 der Interrupt-Logik 86 generierte "Warteschlange Voll"-Warnsignal. Sie beinhalten aber auch Ausnahmesituationen, die beim Empfang von Nachrichtenpaketen bemerkt werden, welche ursprünglich nicht als Interrupt-Pakete gesendet wurden. Solche Nachrichtenpaket-Interrupts beinhalten Fehler, die darauf zurückzuführen sind, dass herausgefunden wurde, dass ein Nachrichtenpaket ein schlechtes Befehlssymbol aufweist, oder dass das empfangene Nachrichtenpaket einen schlechten CRC aufweist (oder mit einer (weiter unten erklärten) TPB-Zustandsanzeige ("Paket schlecht") gekennzeichnet ist). Diese eigengenerierten Interrupts bewirken, dass bestimmte Bitpositionen eines eigengenerierten Registers 280c, an welchem eigengenerierte Interrupts freigegeben werden, in derselben Art und Weise gesetzt werden, wie dies bei der Freigabe von Mehrfacheintrag- und Einzeleintrag-Interrupts erfolgt: nämlich durch das Setzen von Bitpositionen des Interrupt-Registers 180a, 180b. Ausserdem ist bei der in dem Speicher 28 gehaltenen ZVÜ-Tabelle die erste Einträgenummer für eigengenerierte ZVÜ-Interrupts reserviert. Wenn ein eigengeneriertes Interrupt-Signal erzeugt wird, um das eigengenerierte Interrupt-Register 180c zu setzen, so bewirkt dieses auch, dass auf den ZVÜ-Eintrag, welcher der Ausnahmesituation entspricht, die das Interrupt verursacht hat, zugegriffen wird und dass dieser in das ZVÜ-Eintragregister 180 der ZVÜ-Logik 90 geladen wird. Von diesem Punkt an wird das Interrupt in derselben Weise behandelt wie Interrupts, die über Nachrichtenpakete übertragen weren.The following brief digression deals with the two basic types of interrupts, which are the processors 20 concern: those interrupts sent from a message packet to the CPU 12 are transmitted, and those by the CPU 12 themselves generated, and are therefore also referred to as "self-generated" interrupts. Self-generated interrupts are the result of internally recognized errors, such as that of the comparison circuit 272 the interrupt logic 86 generated "queue full" warning signal. However, they also contain exceptional situations that are noticed when receiving message packets that were not originally sent as interrupt packets. Such message packet interrupts include errors that are due to the fact that a message packet has been found to have a bad command symbol, or that the received message packet has a bad CRC (or with a TPB status indicator (explained below) ("packet bad" ) is marked). These self-generated interrupts cause certain bit positions of a self-generated register 280c , on which self-generated interrupts are released, are set in the same way as is done when multi-entry and single-entry interrupts are released: namely by setting bit positions of the interrupt register 180a . 180b , It is also in the memory 28 kept the ZVÜ table reserved the first entry number for self-generated ZVÜ interrupts. When a self-generated interrupt signal is generated, the self-generated interrupt register 180c to set, this also means that the ZVÜ entry, which corresponds to the exceptional situation that caused the interrupt, is accessed and that this is entered in the ZVÜ entry register 180 the ZVÜ logic 90 is loaded. From this point on, the interrupt is handled in the same way as interrupts that are transmitted via message packets.
Einem jeden der Interrupt-Register 280a, 280b und 280c sind bitweise jeweils entsprechende Maskenregister 282a, 282b und 282c zugeordnet. Zu jeder Bitposition des Interrupt-Registers 280 (z. B. 280a) existiert eine entsprechende Bitposition in dem Maskenregister 282 (z. B. 282a). Wenn ein bestimmtes Bit des Maskenregisters 282 gesetzt wird, so wird das Erkennen des zugeordneten Interrupts verhindert.Each of the interrupt registers 280a . 280b and 280c are corresponding mask registers bit by bit 282a . 282b and 282c assigned. For every bit position of the interrupt register 280 (e.g. 280a ) there is a corresponding bit position in the mask register 282 (e.g. 282a ). If a certain bit of the mask register 282 is set, the detection of the assigned interrupt is prevented.
Der Inhalt der Interrupt-Register 280 wird, wenn er durch den Inhalt der Maskenregister 282 hindurchgelassen worden ist, an die kombinatorische Logik 286 gekoppelt, die eine Mehrzahl von ODER-Elementen umfasst, wo er zu sieben Interrupt-"Freigaben" (Signalen) kombiniert wird. Die kombinatorische Logik 286 koppelt die sieben Interrupt-Freigaben an einen Auffangspeicher 288, von wo aus sie an den Prozessor 20 (20a, 20b) gekoppelt werden, der über ein Interrupt-Register zum Empfangen und Halten der Freigaben verfügt.The content of the interrupt register 280 when it is through the contents of the mask register 282 has been passed on to combinatorial logic 286 coupled which comprises a plurality of OR elements where it is combined into seven interrupt "enables" (signals). The combinatorial logic 286 couples the seven interrupt releases to a buffer 288 , from where they are sent to the processor 20 ( 20a . 20b ), which has an interrupt register for receiving and holding the releases.
Ausserdem wird der Inhalt des Registers 288 an eine Vergleichsschaltung 289 angelegt und (vor jedem Takt, der das Register 288 lädt) mit dem Eingangsdaten des Registers 288 verglichen. Wird dabei ein Unterschied festgestellt, was darauf hindeutet, dass eine Veränderung bei den Interrupts stattgefunden hat (entweder ein Interrupt wurde durch den Prozessor 20 abgefertigt und seine Freigaben wurden dabei gelöscht, oder ein neues Interrupt wurde freigegeben), wird ein "CHANGE"-Signal an die Prozessorschnittstelle 60 ausgegeben, um sie zu informieren, dass eine Veränderung bei den Interrupt-Freigaben stattgefunden hat und dass sie dem Prozessor 20 die Veränderung mitteilen sollte.In addition, the content of the register 288 to a comparison circuit 289 created and (before each bar that the register 288 loads) with the input data of the register 288 compared. If a difference is found, which indicates that a change in the interrupts has occurred (either an interrupt was triggered by the processor 20 processed and its releases were deleted or a new interrupt was released), a "CHANGE" signal is sent to the processor interface 60 issued to inform them that there has been a change in the interrupt releases and that they are the processor 20 should communicate the change.
Vorzugsweise ist das ZVÜ-Eintragsregister entsprechend konfiguriert, um wie ein Einzeilen-Cachespeicher betrieben zu werden, komplett mit Identifizierungskennzeichen und gültigem Bit. Das Identifizierungskennzeichen würde aus dem Abschnitt der TNet-Adresse bestehen, der dazu verwendet wird, um den ZVÜ-Eintrag in dem Systemspeicher 28 aufzufinden. Stimmt das Identifizierungskennzeichen nicht mit der TNet-Adresse eines eingehenden Pakets überein, so wird der korrekte ZVÜ-Eintrag aus dem Systemspeicher 28 ausgelesen und in das ZVÜ-Eintragsregister 206 eingelesen, wo es den alten ZVÜ-Eintrag ersetzt. Einschlägig vorgebildete Fachleute können unschwer erkennen, dass auch andere Cachespeicherorganisationen möglich sind, wie zum Beispiel Cache mit teilassoziativer Abbildung, Assoziativcachespeicher, Cache mit direkter Speicherplatzzuordnung, um nur einige zu nennen.The ZVÜ entry register is preferably configured to operate like a one-line cache, complete with identifier and valid bit. The identifier would consist of the section of the TNet address that is used to store the ZVÜ entry in the system memory 28 find. If the identifier does not match the TNet address of an incoming packet matches, the correct ZVÜ entry from the system memory 28 read out and in the ZVÜ entry register 206 read where it replaces the old ZVÜ entry. Relevant trained experts can easily recognize that other cache memory organizations are also possible, such as cache with partially associative mapping, associative cache memory, cache with direct memory allocation, to name just a few.
Kohärenz:Coherence:
Datenverarbeitungssysteme, welche Cachespeicher verwenden, sehen sich schon seit langem immer wieder mit dem Problem der Kohärenz konfrontiert: hierbei gilt es zu gewährleisten, dass ein Zugriff auf den Cachespeicher oder den Hauptspeicher nie veraltete Daten rückliefert bzw. gute (aktuelle) Daten überschreibt. Es existieren zahlreiche Lösungen für dieses Problem, von denen viele auf den extensiven Einsatz von komplexer Hardware zurückgreifen. Das Kohärenzproblem tritt auch auf, wenn Daten von einem (CPU-)externen E/A-Gerät oder von einer anderen CPU 12 in den Speicher geschrieben werden, wie zum Beispiel im Zusammenhang mit dem System 10 (z. B. 2), bei dem Daten von der CPU 12B in den Speicher 28 der CPU 12A geschrieben werden. Eine Lösung besteht darin, zu gewährleisten, dass eingehende Daten in Speicherpuffer geschrieben werden, und zwar so, dass die Grenzen des Puffers an Cacheblockgrenzen ausgerichtet werden. Diese Lösung findet jedoch nur dann Anwendung, wenn sie zusammen mit Softwarekonfigurationen benutzt wird, die es erlauben, Cachespeicherblöcke für eingehende Daten ungültig zu machen und ein Rückschreiben von Cachespeicherblöcken, welche für abgehende Daten verwendet werden, zu erzwingen.Data processing systems that use cache memory have long been confronted with the problem of coherence for a long time: it is important to ensure that access to the cache memory or main memory never returns outdated data or overwrites good (current) data. There are numerous solutions to this problem, many of which rely on the extensive use of complex hardware. The coherency problem also occurs when data from an (CPU) external I / O device or from another CPU 12 be written into memory, such as in connection with the system 10 (e.g. 2 ), where data from the CPU 12B in the store 28 the CPU 12A to be written. One solution is to ensure that incoming data is written to memory buffers in such a way that the boundaries of the buffer align with cache block boundaries. However, this solution is only used when used in conjunction with software configurations that allow cache blocks to be invalidated for incoming data and to force write-back of cache blocks used for outgoing data.
So existieren etwa traditionelle Techniken für die softwaremässige Handhabung von Kohärenzproblemen, welche für eingehende Leseanforderungen (von einem E/A-Gerät bzw. einer anderen CPU 13), und für abgehende Lese- und Schreibanforderungen. Diese traditionellen Techniken eignen sich jedoch nicht zur Behandlung von eingehenden Schreibanforderungen, welche sich an einen E/A-Puffer im Speicher 28 richten, der nicht an Cachespeicherblockgrenzen ausgerichtet ist.For example, there are traditional techniques for software handling of coherence problems, which are for incoming reading requests (from an I / O device or another CPU 13 ), and for outgoing read and write requests. However, these traditional techniques are not suitable for handling incoming write requests that are directed to an I / O buffer in memory 28 that is not aligned to cache block boundaries.
Die Anforderung der Ausrichtung von E/A-Puffern im Speicher an Cachespeicherblockgrenzen führt jedoch zu einem weniger flexiblen System, und einem System, das mit bestehender (Betriebssystem-)Software inkompatibel sein kann. Daher wird der erfindungsgemässe Interrupt-Mechanismus dazu verwendet, um Kohärenz in einer Weise zu erreichen, die es erlaubt, Datenpuffer im Speicher abzulegen, ohne dabei darauf achten zu müssen, dass die Grenze des betreffenden Puffers an den Grenzen des Cachespeicherblocks ausgerichtet sind.The requirement of alignment of However, I / O buffers in memory at cache block boundaries result to a less flexible system, and a system that works with existing ones (Operating system) software may be incompatible. Hence the invention Interrupt mechanism used to ensure coherence in a way that allows data buffers to be stored in memory without having to pay attention to the fact that the limit of the Buffers are aligned with the boundaries of the cache block.
In diesem Zusammenhang wird das Feld in dem ZVÜ-Tabelleneintragsregister 180 (11), das die Obergrenze und die Untergrenze (upr bnd, lwr bnd) des Speicherbereichs 28 definiert, auf welchen das Ursprungselement des eingehenden Pakets zugreifen darf, an eine Grenzüberschreitungs-Prüfeinheit 219 (Bdry Xing) angelegt. Die Grenzprüfeinheit 219 empfängt auch eine Meldung betreffend die Grösse des Cachespeicherblocks, mit dem zu arbeiten die CPU 12 konfiguriert ist, die Kohärenzbits ("c[1:0]") aus dem 'Erlaubnisse'-Feld des in dem ZVÜ-Eintragsregister 180 gehaltenen ZVÜ-Eintrags, und das 'Len'-Feld aus der dem ZVÜ-Eingangsregister 170 entnommenen Header-Information. Die Grenzüberschreitungs-Prüfeinheit stellt fest, ob die Daten des eingehenden Pakets nicht an einer Cachespeichergrenze ausgerichtet sind, und erzwingt – sofern die Kohärenzbits ("c[1:0]") korrekt gesetzt sind – den Abruf einer Adresse eines Interrupt-Eintrags, der dazu verwendet wird, auf die spezielle Kohärenz-Warteschlange zur Speicherung der Daten und des Headers des Pakets zu verweisen, das diese Daten enthält.In this context, the field in the ZVÜ table entry register 180 ( 11 ), which is the upper limit and the lower limit (upr bnd, lwr bnd) of the memory area 28 defines which the originating element of the incoming packet is allowed to access to a cross-border checking unit 219 (Bdry Xing). The border test unit 219 also receives a message regarding the size of the cache block that the CPU is working with 12 is configured, the coherence bits ("c [1: 0]") from the 'Permissions' field of the in the ZVÜ entry register 180 ZVÜ entry held, and the 'Len' field from the ZVÜ entry register 170 extracted header information. The border crossing check unit determines whether the data of the incoming packet is not aligned with a cache memory boundary and, if the coherence bits ("c [1: 0]") are set correctly, forces the retrieval of an address of an interrupt entry which is used to refer to the special coherency queue for storing the data and the header of the packet containing this data.
Im folgenden wird vorübergehend auf 29 Bezug genommen, in welcher ein Abschnitt 28' eines von dem Speicher 28 (2) einer CPU 12 implementierten Speicherplatzes veranschaulicht wird. Wie in 29 weiterhin dargestellt, sind in dem Speicherabschnitt 28' drei Cachespeichergrenzen CBa, CBb, und CBc enthalten, durch die zwei Cachespeicherblöcke C_BLKa und C_BLKb definiert werden. Angenommen, es wird ein Nachrichtenpaket mit einer Schreibanforderung empfangen (z. B. von einer anderen CPU 12, oder einem E/A-Gerät), und die in dem Nachrichtenpaket enthaltenen und hier schraffiert dargestellten Daten sind in einen Speicherbereich 28 zu schreiben, welcher den Speicherabschnitt 28' beinhaltet. Genau genommen werden durch die zu schreibenden Daten der Cachespeicherblock C_BLKa nur teilweise, der Cachespeicherblock C_BLKb und andere Cachespeicherblöcke jedoch zur Gänze überschrieben. Enthält der Cachespeicher 22 der CPU 12, welcher beschrieben wird, den Cachespeicherblock C_BLKb oder irgendeinen anderen Cachespeicherblock ausser dem Cachespeicherblock C_BLKa (oder denjenigen Cachespeicherblock, welcher das andere Ende der eingehenden Daten enthält, sofern diese nicht mit einer Cachespeichergrenze übereinstimmen), so kann der Block als "ungültig" markiert werden, wodurch verhindert wird, dass er in den Speicher zurückgeschrieben wird, wo er die zuletzt empfangenen Daten überschreiben würde.The following is temporarily on 29 Referred to in which a section 28 ' one of the store 28 ( 2 ) of a CPU 12 implemented storage space is illustrated. As in 29 continue to be shown are in the memory section 28 ' contain three cache boundaries CB a , CB b , and CB c , by which two cache blocks C_BLK a and C_BLK b are defined. Assume that a message packet with a write request is received (e.g. from another CPU 12 , or an I / O device), and the data contained in the message packet and hatched here are in a memory area 28 to write which is the memory section 28 ' includes. The cache block C_BLK a are taken exactly by the data to be written only in part, the cache block C_BLK b, and other cache blocks be overwritten completely. Contains the cache 22 the CPU 12 , which is described, the cache block C_BLK b or any other cache block other than the cache block C_BLK a (or the cache block which contains the other end of the incoming data if it does not match a cache limit), the block can be marked as "invalid" which prevents it from being written back to memory where it would overwrite the last received data.
Wenn jedoch der Cachespeicher 22 den Cachespeicherblock C_BLKa enthält, so muss die Grenzüberschreitungslogik 219 (falls sie durch Setzen von "c" in dem 'Erlaubnisse'-Feld aktiviert wurde; siehe dazu die 11 und 13B) der ZVÜ-Logik 90 (11) das E/A-Paket erkennen und dabei den Cachespeichereintrag teilweise ungültig setzen, und ein Kohärenz-Interrupt erzwingen. Dies bewirkt das Abrufen eines Interrupt-Beschreibers, welcher einen Zeiger auf eine spezielle Interrupt-Warteschlange enthält, wodurch das gesamte eingehende TNet-Anforderungspaket in diese Warteschlange geschrieben wird. Gleichzeitig wird ein Interrupt in das Warteschlangeninterrupt-Register 280 geschrieben, um den Prozessoren 20 zu signalisieren, dass ein Abschnitt der eingehenden Daten sich in der speziellen Warteschlange befindet.However, if the cache 22 contains the cache block C_BLK a , the border crossing logic must 219 (if it was activated by setting "c" in the 'Permissions'field; see the 11 and 13B ) of the ZVÜ logic 90 ( 11 ) recognize the I / O packet and thereby partially invalidate the cache entry, and force a coherency interrupt. This causes an interrupt to be retrieved writer that contains a pointer to a special interrupt queue, whereby the entire incoming TNet request packet is written to this queue. At the same time, an interrupt is placed in the queue interrupt register 280 written to the processors 20 to signal that a portion of the incoming data is in the special queue.
Kurz gesagt, wenn ein eingehendes Paket Daten beinhaltet, die in den Speicher 28 zu schreiben sind, so prüft die Grenzüberschreitungslogik 219, ob die Grenzen des Puffers, in welchen die Daten geschrieben werden sollen, an den Grenzen des Cachespeichers ausgerichtet sind. Ist dem der Fall, so werden die Daten anweisungsgemäss geschrieben. Andernfalls wird das Paket (Header und Daten) in eine spezielle Warteschlange geschrieben und die Prozessoren durch den weiter oben beschriebenen, eigengenerierten Interruptprozess von diesem Umstand in Kenntnis gesetzt. Die Prozessoren können dann die Daten von der speziellen Warteschlange in den Cachespeicher 22 verschieben und den Cachespeicherinhalt später in den Speicher 22 schreiben, damit gewährleistet ist, dass keine guten Daten überschrieben werden oder anderweitig verloren gehen und dass die Kohärenz zwischen dem Cachespeicher 22 und dem Speicher 28 gewahrt bleibt.In short, if an incoming packet contains data that is in memory 28 the border crossing logic checks 219 whether the boundaries of the buffer in which the data is to be written are aligned with the boundaries of the cache memory. If this is the case, the data will be written according to the instructions. Otherwise, the packet (header and data) is written into a special queue and the processors are informed of this by the self-generated interrupt process described above. The processors can then cache the data from the special queue 22 move and the cache content later into memory 22 Write to ensure that no good data is overwritten or otherwise lost and that there is consistency between the caches 22 and the memory 28 remains preserved.
BLOCKÜBERTRAGUNGSMASCHINE (BÜM)BLOCK TRANSFER MACHINE (BÜM)
Da es dem Prozessor 20 nicht möglich ist, an ausserhalb der CPU 12A gelegene Elemente Informationen auf direktem Weg zu übermitteln (d. h. zu senden), steht die BÜM 88 der Schnittstelle 24a (5) für ein indirektes Verfahren zur Informationsübermittlung zur Verfügung.Since it's the processor 20 is not possible on outside the CPU 12A BÜM is responsible for transmitting (ie sending) located elements directly 88 the interface 24a ( 5 ) for an indirect method of information transfer.
Die BÜM 88 ist ein Mechanismus, der verwendet wird, um den gesamten prozessorinitiierten E/A-Datenverkehr zum Transport von Informationsblöcken zu implementieren. Die BÜM 88 ermöglicht die Erstellung von Lese- und Schreibpaketen mit einer Länge, die der maximalen Länge entspricht, welche gemäss der TNet-Paketdefinition erlaubt ist, also derzeit 64 Bytes. Die BÜM 88 stellt zwei "virtuelle" Kanäle bereit, von denen einem eine höhere Priorität eingeräumt wird als dem anderen. Wie in 15, auf die hier Bezug genommen wird, veranschaulicht, beinhaltet die BÜM 88 zwei BÜM-Register 300, 302, deren Inhalt an den MUX 306 (der Schnittstelleneinheit 24a; 5) gekoppelt ist und dazu verwendet wird, um über die (in 15 nicht dargestellt) Speichersteuerungen 26 (in 15 nicht dargestellt) auf den Systemspeicher 28 zuzugreifen. Ein Abschnitt der Register 300, 302 enthält Zeiger (d. h. BÜM-Adresse 0 und BÜM-Adresse 1) auf den Anfang der BÜM-Datenstruktur 304 in dem Speicher 28 der CPU 12A (2). Jedes Ma1 wenn Informationen an das eine oder andere ausserhalb der CPU 12A gelegene Element (z. B. die CPU 12B oder irgendeines der E/A-Geräte 17, 18 der E/A-Paket-Schnittstelle 16) zu senden ist bzw. von einem solchen zu empfangen ist, schreiben die Prozessoren eine Datenstruktur 304 in den Speicher 28. Jede Datenstruktur muss dabei an einer Vierfachwortgrenze beginnen und die BÜM-Register 300, 302 sind nur von den Prozessoren 20 beschreibbar. Beschreibt ein Prozessor tatsächlich einen der BÜM-Register 300, 302 beschreibt, so tut er dies mit einem Wort, welches das Anforderungsbit (rc0, rc1) in einen klaren Zustand versetzt, der dazu dient, den BÜM-Prozess zu initiieren, welcher von der BÜM-Ablaufsteuereinheit gesteuert wird.The BÜM 88 is a mechanism used to implement all processor-initiated I / O traffic to transport blocks of information. The BÜM 88 enables the creation of read and write packets with a length that corresponds to the maximum length allowed according to the TNet packet definition, i.e. currently 64 bytes. The BÜM 88 provides two "virtual" channels, one of which is given higher priority than the other. As in 15 , to which reference is made here, includes the BÜM 88 two BÜM registers 300 . 302 whose content is sent to the MUX 306 (the interface unit 24a ; 5 ) and is used to report on the (in 15 not shown) memory controls 26 (in 15 not shown) on the system memory 28 access. A section of the register 300 . 302 contains pointers (ie BÜM address 0 and BÜM address 1) to the beginning of the BÜM data structure 304 in the store 28 the CPU 12A ( 2 ). Every time if information is sent to one or the other outside the CPU 12A element (e.g. the CPU 12B or any of the I / O devices 17 . 18 the I / O packet interface 16 ) is to be sent or received by one, the processors write a data structure 304 in the store 28 , Each data structure must start at a quadruple word boundary and the BÜM register 300 . 302 are only from the processors 20 writable. A processor actually describes one of the BÜM registers 300 . 302 he does so in one word, which puts the request bit (rc0, rc1) in a clear state, which serves to initiate the BÜM process, which is controlled by the BÜM sequence control unit.
Die BÜM-Register 300, 302 beinhalten auch Fehlerbits (e0, e1), die zur Übertragung einer Zeitablauffehlermeldung oder sonstigen negativen Rückmeldung dienen. Die Fehlerbits werden gelöscht, wenn das entsprechende BÜM-Register beschrieben wird. Durch das Fehlerursachenbit (ec) wird zwischen Zeitablauffehlern und sonstigen negativen Rückmeldungen unterschieden.The BÜM register 300 . 302 also contain error bits (e0, e1) that are used to transmit a timing error message or other negative feedback. The error bits are cleared when the corresponding BÜM register is written. The error cause bit (ec) distinguishes between timing errors and other negative feedback.
Wenn Informationen von den Prozessoren 20 an eine externe Einheit übertragen werden, werden die zu übertragenden Informationen in dem Datenpufferabschnitt 304b gehalten. Wenn von einer externen Einheit kommende Informationen von den Prozessoren 20 empfangen werden, ist der Datenpufferabschnitt 304b jener Ort, in welchem die Leseantwortinformation gehalten werden soll.If information from the processors 20 are transmitted to an external unit, the information to be transmitted is in the data buffer section 304b held. When information coming from an external unit from the processors 20 is received is the data buffer section 304b the place where the read response information is to be kept.
Der Anfang der Datenstruktur 304, der von dem Prozessor 20 geschriebene Abschnitt 304, beinhaltet ein Informationsfeld (Dest), in welchem das externe Element angegeben wird, welches das Paket empfängt, welches gesendet werden wird. Der Abschnitt 304a beinhaltet auch ein Informationsfeld (TYPE), welches die gewünschte Operation beschreibt (z. B. Information über Lese- oder Schreiboperation), ein Längeninformationsfeld (Len), das die Anzahl der Datenbytes beschreibt, welche geschrieben oder angefordert werden, und ein Adressinformationsfeld (Address), welches angibt, wo an dem externen Element (Dest) sich die gewünschten Daten befinden bzw. wohin die übertragenen Daten zu schreiben sind. Diese Informationen werden von der Paketüberträgereinheit 94 (5) verwendet, um das Paket in der in den 3-4 gezeigten Form zusammenzustellen.The beginning of the data structure 304 by the processor 20 written section 304 , contains an information field (Dest) in which the external element is specified which receives the packet which will be sent. The section 304a also includes an information field (TYPE) that describes the desired operation (e.g. information about read or write operation), a length information field (Len) that describes the number of data bytes that are written or requested, and an address information field (Address ), which indicates where the desired data is located on the external element (Dest) or where the transferred data is to be written. This information is provided by the packet transmitter unit 94 ( 5 ) used to package the in the 3 - 4 to compose the form shown.
In dem Datenstrukturabschnitt 304a befindet sich unmittelbar auf die Adressinformationen folgend ein Wort (Local Buffer Ptr) welches die Adresse jenes Ortes im Speicher enthält, an dem sich der Datenpufferabschnitt 304b befindet. Dieses wird seinerseits unmittelbar von einem Wort gefolgt, welches einen Verkettungszeiger, ein Listenende-Flag (el) zur Anzeige, dass eine Anforderung vollständig ist, ein Zeitablauf-Interruptbit bzw. ein Negativrückmeldungs-Maskenbit (it), einen Fertigstellungsinterruptanzeiger (ic) sowie eine Prüfsummenanforderung (cs) umfasst.In the data structure section 304a immediately after the address information there is a word (Local Buffer Ptr) which contains the address of the location in memory at which the data buffer section is located 304b located. This in turn is immediately followed by a word that contains a chaining pointer, an end of list flag (el) to indicate that a request is complete, a timeout interrupt bit or a negative feedback mask bit (it), a completion interrupt indicator (ic) and one Checksum requirement (cs) includes.
Für jeden im Speicher befindlichen und zu einem externen Element (z. B. zu einer E/A-Speichereinrichtung) zu verschiebenden Datenabschnitt mit einer Länge von bis zu maximal 64 Byte wird jeweils eine Datenstruktur 304 verwendet. Die BÜM wird betrieben, um jeweils in Reaktion auf eine Anforderungsstruktur sequentiell auf den Speicher 28 zuzugreifen und aus diesem Daten in Form von 64-Byte-Segmenten zu entnehmen, wobei für jedes Segment ein Nachrichtenpaket erstellt wird und dieses Nachrichtenpaket abgeschickt wird. Der Verkettungszeiger führt die BÜM zu der nächsten Datenstruktur für die nächsten 64 Bytes an Daten, sofern nicht das Listenende-Bit (el) gesetzt ist, welches bewirkt, dass die Operation beendet wird.For everyone in memory and to an external element (e.g. an I / O memory direction) of the data section to be moved with a length of up to a maximum of 64 bytes, one data structure each 304 used. The BÜM is operated to sequentially access memory in response to a request structure 28 to access and extract data from this in the form of 64-byte segments, a message packet being created for each segment and this message packet being sent off. The chaining pointer leads the BÜM to the next data structure for the next 64 bytes of data, unless the end of the list bit (el) is set, which causes the operation to be terminated.
Sind Daten zu einer Anzahl verschiedener externer Elemente zu senden, so muss für jedes einzelne dieser verschiedenen Elemente eine eigene Datenstruktur (bzw. eigene Datenstrukturen, falls mehr als 64 Bytes zu übertragen sind) eingerichtet werden. Diese einzelnen Datenstrukturen können dann unter Verwendung der in den Verkettungszeigerfeldern der Anforderungsstrukturen enthaltenen Verkettungszeiger miteinander verkettet werden.Are data on a number of different to send external elements, so must be different for each one of these Elements have their own data structure (or their own data structures, if more than 64 bytes to transfer are) to be set up. These individual data structures can then using the in the chaining pointer fields of the requirement structures contained chaining pointers are chained together.
Das Verkettungszeigerfeld wird verwendet, um als Inhalt des BÜM-Registers für nachfolgende Datenstrukturen zu fungieren. Wenn zum Beispiel ein in dem Speicher 28 vorhandener, grosser Datenblock an N verschiedene, externe Geräte zu senden ist, so wird für ein jedes der N externen Elemente eine Datenstruktur in den Speicher geschrieben, wobei jede Datenstruktur angibt, an welchem Ort im Speicher 28 die BÜM-Logik 88 die zu übermittelnden Daten finden kann. Es wird sodann von der BÜM-Logik 88 auf die Daten für jedes Element zugegriffen, es werden Nachrichtenpakete erstellt, die diese Daten enthalten, und es werden diese Pakete an den Paketüberträger 120 übermittelt, von wo aus sie in angemessener Weise über das TNet übertragen werden. Daraufhin wird, sofern eine Verkettung mit einer anderen Datenstruktur erforderlich ist, auf den in der Datenstruktur enthaltenen Verkettungszeiger zugegriffen und dieser in das entsprechende BÜM-Register 300, 302 geschrieben, welches die Aktion initiierte, wodurch die Adresse für die nächste Struktur für jenes Element bereitgestellt wird, das als nächstes ein Anforderungspaket empfangen soll.The chaining pointer field is used to act as the content of the BÜM register for subsequent data structures. If, for example, one in memory 28 If there is a large data block to be sent to N different external devices, a data structure is written to the memory for each of the N external elements, each data structure indicating the location in the memory 28 the BÜM logic 88 can find the data to be transmitted. It is then from the BÜM logic 88 the data for each element is accessed, message packets are created that contain this data, and these packets are sent to the packet carrier 120 transmitted from where they are appropriately transmitted via the TNet. Then, if a chaining with another data structure is required, the chaining pointer contained in the data structure is accessed and this into the corresponding BÜM register 300 . 302 which initiated the action, providing the address for the next structure for the element that is next to receive a request packet.
Ein gesetztes Listenende-Bit (el) zeigt an, dass das Ende der Verkettung erreicht ist, woraufhin die BÜM-Verarbeitung angehalten wird.A set end of list bit (el) indicates that the end of chaining has been reached, after which the BÜM processing is stopped becomes.
Das Fertigstellungsinterrupt-Bit (ic) bewirkt, sofern es gesetzt ist, dass die Schnittstelleneinheit 24a ein Interrupt (BTECmp) ausgibt, welches ein Bit in dem Interrupt-Register 280 (14A) setzt, um die Fertigstellung des vorangegangenen, von der BÜM übertragenen Pakets anzeigt (nicht zu verwechseln mit jenem, auf welches der Verkettungszeiger zeigt).The completion interrupt bit (ic), if it is set, causes the interface unit 24a an interrupt (BTECmp) that outputs a bit in the interrupt register 280 ( 14A ) sets to indicate the completion of the previous packet transmitted by the BÜM (not to be confused with the one pointed to by the chaining pointer).
Das Zeitablauf-Interruptbit (it) bewirkt, sofern es gesetzt ist, dass die Schnittstelleneinheit 24a ein Interruptsignal an den Prozessor 20 ausgibt, wenn die für die Bestätigung des Zugriffs vorgesehene Zeit überschritten wird (d. h. wenn der Anforderungs-Zählerzeitgeber (nicht dargestellt) ein Zeitablaufsignal ausgibt, das anzeigt, dass eine erwartete Antwort nicht innerhalb der dafür zugemessenen Zeit empfangen wurde), oder wenn als Antwort eine negative Rückmeldung eingeht (was darauf hindeutet, dass das Zielelement der Anforderung diese nicht verarbeiten konnte).The timeout interrupt bit (it), if it is set, causes the interface unit 24a an interrupt signal to the processor 20 issues when the time to acknowledge access is exceeded (ie, when the request counter timer (not shown) issues a time-out signal indicating that an expected response was not received within the allotted time), or when a response was given received negative feedback (indicating that the target element of the request could not process it).
Wenn schliesslich das Prüfsummenbit (cs) gesetzt ist, so werden die in das externe Element zu schreibenden Daten durch den in der BÜM 88 (Schnittstelle 24a; 5) enthaltenen Prüfsummengenerator (nicht dargestellt) geleitet, wo eine Prüfsummenmenge zu erstellt wird. Die generierte Prüfsumme kann in den Speicher geschrieben werden und anschliessend in ein eigenes Paket verpackt werden und an den Bestimmungsort des Nachrichtenpakets (bzw. der Nachrichtenpakete) gesendet werden, worin die Daten enthalten sind, aus denen die Prüfsumme gebildet worden ist.When the checksum bit (cs) is finally set, the data to be written into the external element is replaced by the data in the BÜM 88 (Interface 24a ; 5 ) contained checksum generator (not shown) where a checksum set is created. The generated checksum can be written into the memory and then packaged in a separate packet and sent to the destination of the message packet (or the message packets), which contains the data from which the checksum was formed.
Somit kann zusammenfassend gesagt werden, dass wenn die Prozessoren 20 der CPU 12A Daten an eine externe Einheit senden wollen, sie eine Datenstruktur 304 in den Speicher 28 schreiben, welche in Abschnitt 304a der Datenstruktur bezeichnende Informationen und im Pufferabschnitt 304b die eigentlichen Daten umfassen. Die Prozessoren bestimmen daraufhin die Priorität der Daten und beschreiben das BÜM-Register 300, 302 mit der Adresse in dem Speicher 28, an welcher die Datenstruktur 304 (d. h. der Headerabschnitt 304a) aufzufinden sind, wobei gleichzeitig das Anforderungsfertigstellungsbit (rc1) des BÜM-Registers 300, 302 gelöscht wird, und die BÜM-Operation veranlasst wird, gesteuert von der BÜM-Ablaufsteuereinheit 306 ihre Funktion aufzunehmen. Auf die in dem Abschnitt 304a enthaltenen Felder 'Dest', 'TYPE', 'Len' und 'Address" wird von dem Speicher 28 aus zugegriffen und die darin befindlichen Informationen werden an den Paketüberträger 120 übermittelt, wo sie ordnungsgemäss in Paketform gebracht werden. Ist in der Datenstruktur 304 spezifiziert, dass es sich bei der Übertragung um eine Schreiboperation handeln soll, so wird auf den lokalen Pufferzeiger zugegriffen, welcher verwendet wird, um den Datenpufferabschnitt 304b ausfindig zu machen. Anschliessend erfolgt der Zugriff auf die Daten, deren Übermittlung an den Paketüberträger 120, deren Paketierung gemeinsam mit den Header- und Adressinformationen, und deren Versand.In summary, it can be said that if the processors 20 the CPU 12A Want to send data to an external unit, they have a data structure 304 in the store 28 write which in section 304a of the data structure and in the buffer section 304b include the actual data. The processors then determine the priority of the data and describe the BÜM register 300 . 302 with the address in memory 28 on which the data structure 304 (ie the header section 304a ) can be found, at the same time the request completion bit (rc1) of the BÜM register 300 . 302 is cleared and the BÜM operation is initiated, controlled by the BÜM sequence control unit 306 to take up their function. On the in the section 304a Contained fields 'Dest', 'TYPE', 'Len' and 'Address' is from the memory 28 accessed and the information contained therein is sent to the parcel carrier 120 transmitted where they are properly packaged. Is in the data structure 304 specifies that the transfer should be a write operation, the local buffer pointer is used, which is used to hold the data buffer section 304b to detect. The data is then accessed and transmitted to the parcel carrier 120 , their packaging together with the header and address information, and their dispatch.
Wenn die Datenstruktur 304 eine Leseanforderung bezeichnet (d. h. wenn die Prozessoren 20 auf Daten von einer externen Einheit – entweder einem E/A-Gerät oder einer CPU 12 – zugreifen wollen), wird unter Verwendung der Felder 'Len' und 'Local Buffer Ptr' eine Schreibanforderung für den Speicher 28 generiert, wenn das Leseantwortpaket (von dem externen Element, an das die Anforderung adressiert wurde) retourniert wird. Die Daten werden in dem Eingangspaket-Zwischenspeicher 110 gestellt, bis die lokale Speicherschreiboperation durchgeführt ist.If the data structure 304 denotes a read request (ie when the processors 20 to data from an external device - either an I / O device or a CPU 12 - want to access), using the fields 'Len' and 'Local Buffer Ptr' a write request for the memory 28 generated when the read response packet (from the external element to which the request was addressed) is returned. The data is buffered in the input packet 110 until the local memory write operation is performed.
Antworten auf eine prozessorgenerierte Leseanforderung an eine externe Einheit werden von der ZVÜ-Tabellenlogik 146 nicht verarbeitet. In diesem Fall wird vielmehr, wenn die Prozessoren 20 die BÜM-Datenstruktur einrichten, der Anforderung eine Transaktionsfolgenummer (TFN) zugewiesen und in das Headerfeld des Nachrichtenpakets integriert, das von der BÜM 88 zusammengestellt und gesendet wird und bei dem es sich um ein bereits weiter oben besprochenes Paket vom Typ HAC (4) handelt. Die Prozessoren 20 nehmen auch eine Speicheradresse in die BÜM-Datenstruktur auf, an welcher die Daten, nachdem sie empfangen worden sind, abzulegen sind. Wenn die BÜM-Logik 88 das Paket abschickt, wird die Speicheradresse des Pufferspeicherorts in eine (nicht dargestellte) in der Anforderungstransaktionslogik 100 enthaltene Registerdatei geschrieben (5), wobei die TFN als Zeiger in die Registerdatei verwendet wird.Responses to a processor-generated read request to an external unit are provided by the ZVÜ table logic 146 not processed. In this case, rather, if the processors 20 set up the BÜM data structure, assigned a transaction sequence number (TFN) to the request and integrated it in the header field of the message packet, which was created by the BÜM 88 is compiled and sent and which is a package of the type HAC (already discussed above) 4 ) acts. The processors 20 also include a memory address in the BÜM data structure where the data is to be placed after it has been received. If the BÜM logic 88 When the packet is dispatched, the memory address of the buffer location is converted into one (not shown) in the request transaction logic 100 included register file written ( 5 ), using the TFN as a pointer to the register file.
Wenn die Antwort (welche in Form eines HDC-Nachrichtenpakets erfolgen wird – 4B) von der CPU 12 empfangen wird, verwendet die Anforderungstransaktionslogik 100 die Transaktionsfolgenummer (TFN) aus dem Header des Pakets als Zeiger in die (nicht dargestellte) Registerdatei, um die entsprechende Pufferspeicheradresse ausfindig zu machen, an welcher die in dem eingehenden Nachrichtenpaket enthaltenen Daten innerhalb des Speichers 28 abzulegen sind.If the answer (which will be in the form of an HDC message packet - 4B ) from the CPU 12 is received uses the request transaction logic 100 the transaction sequence number (TFN) from the packet header as a pointer to the register file (not shown) to find the corresponding buffer memory address at which the data contained in the incoming message packet is within memory 28 are to be discarded.
Im Hinblick auf ein besseres Verständnis der Priorisierung der BÜM-Register 300, 302 sei hier angenommen, dass es sich bei der vorangegangenen Datenübertragung von der CPU 12A zu einer externen Einheit um die Übertragung eines grossen Datenblocks handelt. Demgemäss würde von den Prozessoren 20 in dem Speicher 28 eine Reihe von Datenstrukturen eingerichtet werden, von denen eine jede (mit Ausnahme der letzten) jeweils einen Verkettungszeiger zu einer weiteren Datenstruktur enthält, und wobei die Gesamtsumme dieser Datenstrukturen (in den Datenpufferabschnitten 304b der Datenstrukturen 304) die zu sendenden Daten umfasst. Es sei nun weiter angenommen, dass von den Prozessoren 20 eine Anforderung mit höherer Priorität durchgeführt werden möchte. IN solch einem Fall würde die einer solchen Anforderung mit höherer Priorität zugeordnete Datenstruktur 304 in dergleichen Form wie weiter oben beschrieben in den Speicher 28 geschrieben werden. Dann würde das mit höherer Priorität zu behandelnde BÜM-Register 300 mit der BÜM-Adresse beschrieben werden, die zum Wiederauffinden der Datenstruktur nötig ist, woraufhin das Anforderungsfertigstellungsanzeigebit (rc0) gelöscht würde.With a view to a better understanding of the prioritization of the BÜM registers 300 . 302 here it is assumed that the previous data transfer from the CPU 12A to an external unit is the transfer of a large block of data. Accordingly, the processors 20 in the store 28 a series of data structures are set up, each of which (with the exception of the last one) each contains a chaining pointer to a further data structure, and the total of these data structures (in the data buffer sections 304b of the data structures 304 ) includes the data to be sent. It is now assumed that the processors 20 wants to make a request with higher priority. In such a case, the data structure associated with such a request would have higher priority 304 into the memory in the same form as described above 28 to be written. Then the BÜM register to be treated with higher priority 300 with the BÜM address that is necessary to retrieve the data structure, whereupon the request completion indication bit (rc0) would be cleared.
Die durch das Beschreiben des BÜM-Registers 300 angezeigte BÜM-Anforderung wird jedoch nicht sofort gestartet. Sie wartet bis die von dem Inhalt des BÜM-Registers 302 initiierte Operation zwischen Paketen anhält. Weitere von dem Inhalt des BÜM-Registers 302 angekündigte BÜM-Operationen werden vorübergehend zugunsten der von dem Inhalt des BÜM-Registers 300 angezeigten BÜM-Operation in Warteposition gehalten. Diese BÜM-Operation wird bis zu ihrer Fertigstellung fortgesetzt, woraufhin die von dem Inhalt des BÜM-Registers 302 gemeldete BÜM-Operation wiederaufgenommen wird und bis zu ihrer Fertigstellung abgearbeitet wird, sofern nicht das BÜM-Register 300 erneut mit einem anderen BÜM-Operationsbeschreiber beschrieben wird.The by writing the BÜM register 300 displayed BÜM request is not started immediately. It waits until the contents of the BÜM register 302 initiated operation between packets stops. More of the content of the BÜM register 302 announced BÜM operations will be temporarily in favor of the contents of the BÜM register 300 displayed BÜM operation held in waiting position. This BÜM operation continues until it is completed, whereupon the contents of the BÜM register 302 reported BÜM operation is resumed and processed until its completion, unless the BÜM register 300 is described again with another BÜM operation descriptor.
Speichersteuerung:Memory controller:
Im folgenden wird vorübergehend wieder auf 2 Bezug genommen, in welcher die Schnittstelleneinheiten 24a, 24b über ein Paar von Speichersteuerungen (SpSt) 26a, 26b auf den Speicher 28 zugreifen. Die Speichersteuerungen schaffen eine schnellfehlende Schnittstelle zwischen den Schnittstelleneinheiten 24 und dem Speicher 28. Die Speichersteuerungen 26 stellen die für den Zugriff auf die Speichermatrix 28 nötige Steuerlogik bereit (die in der Form eines dynamischen Schreib-Lese-Speichers (DRAM) implementiert ist). Die Speichersteuerungen empfangen Speicheranforderungen von den Schnittstelleneinheiten 24 und führen Lese- und Schreiboperationen aus und stellen Aktualisierungssignale für die DRAMs, die die Speichermatrix an 28 implementieren. Die beiden Speichersteuerungen 26a, 26b werden parallel zueinander betrieben, um einen 72 Bit umfassenden Datenpfad zwischen der Speichermatrix 28 und den Schnittstelleneinheiten 24a, 24b bereitzustellen, die eine FKC-Konfiguration nach dem Schema SBC-DBD-SbD verwenden, wobei b = 4, bei einer Gesamtmenge von 100 Bits (64 Datenbits plus 28 Adressbits plus 8 Prüfbits), von denen nur 72 Bits (64 Datenbits und 8 Prüfbits) tatsächlich in den Speicher 28 geschrieben werden.The following is temporarily on again 2 Referenced in which the interface units 24a . 24b via a pair of memory controllers (SpSt) 26a . 26b on the store 28 access. The memory controls create a fast missing interface between the interface units 24 and the memory 28 , The memory controls 26 provide the for access to the memory matrix 28 necessary control logic ready (which is implemented in the form of a dynamic random access memory (DRAM)). The memory controllers receive memory requests from the interface units 24 and perform read and write operations and provide update signals for the DRAMs that implement the memory array at 28. The two memory controllers 26a . 26b are operated in parallel to each other to create a 72 bit data path between the memory matrix 28 and the interface units 24a . 24b to provide, which use an FKC configuration according to the scheme SBC-DBD-SbD, where b = 4, for a total of 100 bits (64 data bits plus 28 address bits plus 8 check bits), of which only 72 bits (64 data bits and 8 check bits ) actually in memory 28 to be written.
Im folgenden wird vorübergehend auf 16 Bezug genommen, in welcher die beiden Speichersteuerungen 26a, 26b gezeigt werden, die parallel betrieben werden, um 144 Bits an Daten von dem Speicher 28 abzurufen. Eine SpSt (z. B. 26a) ist entsprechend angeschlossen, um auf zwei 32-Bit-Wörter an aufeinanderfolgenden, geraden Adressen, sowie auf 8 Prüfbits gleichzeitig zuzugreifen, um so einen 72-Bit-Pfad 330a zwischen der SpSt und dem Speicher 28 zu bilden. Die andere SpSt (d. h. 26b) ist entsprechend angeschlossen, um in ähnlicher Weise auf zwei ungerade 32-Bit-Wörter, sowie auf weitere 8 Prüfbits zuzugreifen, um so einen zweiten 72-Bit-Pfad 330b zu bilden. Diese Anordnung ermöglicht es den beiden Speichersteuerungen 26a, 26b, zusammenzuarbeiten und gleichzeitig den Schnittstelleneinheiten 24 mit minimaler Latenzzeit ein 64-Bit-Wort zur Verfügung zu stellen, von dem eine Hälfte (D0) von der SpSt 26a und die andere Hälfte (D1) von der SpSt 26b stammt. Die Schnittstelleneinheiten 24 generieren und prüfen die FKC-Prüfbits. Die verwendete FKC-Konfiguration erkennt und korrigiert nicht nur (Einzelbit-)Datenfehler, sondern erkennt auch sämtliche Doppelbitfehler, sowie jeden Fehler bis hinauf zu Vierbitfehlern aus jedem einzelnen DRAM. Die schnellfehlende Ausführung prüft die Parität bei Adressübertragungen zwischen der Schnittstelle 29 und der SpSt 26, dem Bus 25, sowie auch in internen Registern.The following is temporarily on 16 Referenced in which the two memory controllers 26a . 26b are shown which are operated in parallel to 144 bits of data from the memory 28 retrieve. An SpSt (e.g. 26a ) is connected accordingly in order to access two 32-bit words at consecutive, even addresses, as well as 8 check bits at the same time, in order to create a 72-bit path 330a between the SpSt and the warehouse 28 to build. The other SpSt (ie 26b ) is connected accordingly in order to access two odd 32-bit words and a further 8 test bits in a similar way, in order to access a second 72-bit path 330b to build. This arrangement enables the two memory controllers 26a . 26b to work together while maintaining the interface units 24 to provide a 64-bit word with minimal latency, half of which (D0) from the SpSt 26a and the other half (D1) from the SpSt 26b comes. The interface units 24 generate and check the FKC check bits. The FKC configuration used not only detects and corrects (single-bit) data errors, but also detects everything che double bit errors, as well as every error up to four bit errors from each individual DRAM. The fast missing execution checks the parity for address transfers between the interface 29 and the SpSt 26 , the bus 25 , as well as in internal registers.
Vom Standpunkt der Schnittstelleneinheiten 24 aus gesehen, wird mit zwei Befehlen auf den Speicher 28 zugegriffen: einem "Lese N-Doppelwort" und einem "Schreibe N-Doppelwort". Beide dieser Befehle ergehen an die Speichersteuerungen 26, mit Adresse und Steuerinformation in der ersten 36-Bit-Übertragung und einer Byte-Zählung in der zweiten 32-Bit-Übertragung. Bei Schreiboperationen gliedern die Speichersteuerungen 26 den Befehl in entweder eine Doppelwort-Schreiboperation oder in einen Block von Doppelwort-Schreiboperationen auf. Im Fall von Leseoperationen werden die angeforderten Daten entweder in einer einzelnen Doppelwort-Leseoperation oder in einem Blockleseformat retourniert. Das "data valid"-Signal teilt den Schnittstelleneinheiten 24 zwei Zyklen im voraus mit, dass Lesedaten retourniert bzw. nicht retourniert werden.From the point of view of the interface units 24 seen with two commands to the memory 28 accessed: a "read N double word" and a "write N double word". Both of these commands go to the memory controllers 26 , with address and control information in the first 36-bit transmission and a byte count in the second 32-bit transmission. The memory controls are structured for write operations 26 the command into either a double word write or a block of double word writes. In the case of read operations, the requested data is returned either in a single double word read operation or in a block read format. The "data valid" signal shares the interface units 24 two cycles in advance with reading data being returned or not being returned.
Wie weiter oben gezeigt, hat der Instandhaltungsprozessor (IP 18; 1A) zwei Möglichkeiten, auf die CPUs 12 zuzugreifen. Die eine besteht darin, die TNet-Struktur, einschliesslich der Router 14 , zu verwenden, um paketierte Informationen zu senden (bzw. zu empfangen). Eine andere, wenn auch beschränktere Möglichkeit besteht über einen Online-Zugangspunkt (OLZP), der in die verschiedenen Elemente des Systems 10 (z. B. die Router 14, die CPUs 12, die E/A-Paket-Schnittstellen 16) integriert ist. Diese letztere Zugriffsform wird in 17 veranschaulicht, worin ein serieller OLZP-Port 285 gezeigt wird, welcher für den IP 18 über jede der Speichersteuerungen 26 sowohl Lese- als auch Schreibzugriff bereitstellt. (In 17 wird der OLZP-Zugriff auf die Speichersteuerung 26a dargestellt; die Speichersteuerung 26b ist im wesentlichen von identischer Bauart.) Zum Zeitpunkt des Ladens beschreibt der IP 18 ein in dem OLZP enthaltenes Register mit Befehlen, die es den Prozessoren 20 erlauben, ein Abbild einer Befehlsfolge in dem Speicher zu erstellen, das es ihnen (den Prozessoren 20) ermöglicht, ihren Betrieb aufzunehmen, indem sie zum Beispiel zu E/A-Geräten gehen, um Befehle und Daten von einem externen (Speicher-)Gerät zu übertragen, mit denen der Ladevorgang abgeschlossen wird.As shown above, the maintenance processor (IP 18 ; 1A ) two ways on the CPUs 12 access. One is the TNet structure, including the router 14 to use to send (or receive) packetized information. Another, albeit more limited, option is through an online access point (OLZP) that goes into the various elements of the system 10 (e.g. the router 14 who have favourited CPUs 12 who have favourited I / O packet interfaces 16 ) is integrated. This latter form of access is in 17 illustrates where a serial OLZP port 285 is shown which one for the IP 18 over each of the memory controllers 26 provides both read and write access. (In 17 becomes OLZP access to the memory controller 26a shown; the memory controller 26b is essentially of identical design.) At the time of loading, the IP describes 18 a register contained in the OLZP with instructions that the processors 20 allow an image of a sequence of instructions to be created in the memory that they (the processors 20 ) allows you to start operating, for example by going to I / O devices to transfer commands and data from an external (storage) device to complete the loading process.
Der OLZP 285 wird von den Prozessoren 20 auch dazu verwendet, um Fehlermeldungen an den IP 18 zu übertragen. Wenn zum Beispiel eine der Schnittstellen 24 in Daten, die sie von der Speichersteuerung 26 empfängt, einen Paritätsfehler entdeckt, gibt sie ein Fehlersignal aus, das den Betrieb anhält und gleichzeitig bewirkt, dass in dem OLZP 285 eine Bitposition gesetzt wird, durch die der IP 18 von dem Fehler benachrichtigt wird. Die von der Speichersteuerung 26 durchgeführte Fehlerprüfung (z. B. eine negativ verlaufende Paritätsprüfung bei Register-Leseoperationen) führt in ähnlicher Weise zu einer Betriebsanhaltung und zu einer über den OLZP 285 erfolgenden Benachrichtigung des IP 18, dass ein Fehler aufgetreten ist.The OLZP 285 is from the processors 20 also used to transmit error messages to the IP 18. If, for example, one of the interfaces 24 in data it from memory control 26 receives a parity error, it issues an error signal that stops operating and at the same time causes in the OLZP 285 a bit position is set by which the IP 18 is notified of the error. The memory controller 26 An error check carried out (e.g. a negative parity check for register read operations) similarly leads to a halt in operation and one via the OLZP 285 notification of the IP 18 that an error has occurred.
Der IP 18 und die verschiedenen in dem System vorhandenen OLZPs (z. B. der in der SpSt 26a integrierte OLZP 285) kommunizieren untereinander über einen seriellen Bus 287, welcher gemäss der IEEE-Spezifikation 1149.1 aufgebaut ist.The IP 18 and the different OLZPs in the system (e.g. the one in the SpSt 26a integrated OLZP 285 ) communicate with each other via a serial bus 287 , which is structured according to the IEEE specification 1149.1.
Die Architektur der Speichersteuerungen folgt im allgemeinen einem herkömmlichen Entwurf, abgesehen von einer speziellen Form der Fehlerprüfung, welche durch die Überwachung der verschiedenen Ablaufsteuerungen erfolgt, die zur Implementierung der Speichersteuerungen 26 herangezogen werden. Wie in 18 veranschaulicht, werden die Funktionsweisen der SpSt 26a (dasselbe gilt im übrigen auch für die SpSt 26b) von drei zentralen Ablaufsteuereinheiten gesteuert, von denen eine jede dupliziert und verglichen wird. Ein übergeordnetes Ablaufsteuereinheitenpaar 390 wird betrieben, um die Funktionen der SpSt 26a selbst zu steuern, wie etwa das Verschieben von Daten und Befehlen von dem SpSt-A/D-Bus 25 auf den DRAM-Datenbus, um Daten an den Speicher 28 zu übermitteln. Das übergeordnete Ablaufsteuereinheitenpaar 390 übt seinerseits eine Steuerfunktion über die Speichersteuerungs-Adress/Daten-Ablaufsteuerungseinheit (SpSt-A/D-Ablaufsteuerungseinheit) 392 aus, welche die Daten- und Adressübertragungen auf dem Bus 25 zwischen der SpSt 26a und der entsprechenden Schnittstelleneinheit 24a abwickelt. Die Adressierungen und die Datenübertragungen auf dem DRAM-Datenbus, sowie die Generierung und Folgesteuerung der erforderlichen Auffrischsignale werden von der DRAM-Ablaufsteuereinheitenpaar 394 gesteuert. Die von den Ablaufsteuereinheitenpaaren 390, 392 und 394 eingegebenen, digitalen Zustände werden mithilfe von Vergleichsschaltungen 395 miteinander verglichen. Jedes Nichtübereinstimmen von Daten führt zur Ausgabe eines Fehlersignals seitens der Vergleichsschaltung 395, welche die Nichtübereinstimmung erkannt hat, wodurch der Betrieb der CPU 12 angehalten wird.The architecture of the memory controllers generally follows a conventional design, except for a special form of error checking, which is done by monitoring the various sequencers used to implement the memory controllers 26 be used. As in 18 illustrates how the SpSt 26a (The same also applies to the SpSt 26b ) controlled by three central process control units, each of which is duplicated and compared. A higher-level sequence control unit pair 390 is operated to the functions of the SpSt 26a self-control, such as moving data and commands from the SpSt-A / D bus 25 on the DRAM data bus to transfer data to memory 28 to transmit. The parent sequence controller pair 390 in turn exercises a control function via the memory control address / data sequence control unit (SpSt-A / D sequence control unit) 392 from which the data and address transfers on the bus 25 between the SpSt 26a and the corresponding interface unit 24a unwinds. The addressing and the data transfers on the DRAM data bus, as well as the generation and sequencing of the required refresh signals are performed by the DRAM sequence control unit 394 controlled. That of the sequence control unit pairs 390 . 392 and 394 The digital states entered are compared using comparison circuits 395 compared with each other. Any mismatch in data results in an error signal from the comparison circuit 395 which has detected the mismatch, causing the operation of the CPU 12 is stopped.
Paket-Wegeleitverfahren:Package Wegeleitverfahren:
Die Nachrichtenpakete, welche zwischen den verschiedenen Elementen des Verarbeitungssystems 10 (z. B. den CPUs 12A, 12B, und Geräten, die an die E/A-Paket-Schnittstellen 16 angeschlossen sind) übermittelt werden, werden von den Routern 14 gemäss den in dem Paket enthaltenen Informationen (d. h. dem Bestimmungsort-Feld des Headers, 3B, obwohl auch andere Informationen, wie etwa das Ursprungsort-Feld, dazu verwendet werden könnten) einer "Wegeleitung" unterworfen. Vor einer Abhandlung des Entwurfs und der Bauart der Router 14 ist es jedoch von Vorteil, sich als erstes ein Verständnis des Protokolls zu verschaffen, das zum Nachrichtenaustausch auf den TNet-Links L zwischen den CPUs 12 und den Routern 14 bzw. zwischen den Routern 14 und den E/A-Paket-Schnittstellen 16 verwendet wird.The message packets that exist between the various elements of the processing system 10 (e.g. the CPUs 12A . 12B , and devices connected to the I / O packet interfaces 16 connected) are transmitted by the routers 14 according to the information contained in the packet (ie the destination field of the header, 3B , although other information, such as the origin field, could be used) to "route guidance". Before discussing the design and construction of the router 14 however, it’s a good idea to first understand the protocol provide that for exchanging messages on the TNet links L between the CPUs 12 and the routers 14 or between the routers 14 and the I / O packet interfaces 16 is used.
Als erstes wird jedes TNet-Link L über einen Port, welcher sowohl mit Empfangs- als auch mit Sendefähigkeit ausgestattet ist, an ein Element (z. B. einen Router 14A) des Verarbeitungssystems 10 angeschlossen. Jeder Sendeport eines jeden Elements muss ein Sendetaktsignal (S-Tkt-Signal) bereitstellen, das für die synchrone, symbolweise Übertragung von Nachrichtenpaketen verwendet wird. Bei jedem einzelnen Taktzyklus (d. h. bei jedem Taktintervall) des Sendetaktes wird ein Symbol übertragen, so dass das Taktsynchronisierungs-FIFO am empfangenden Ende der Übertragung die Synchronisation beibehält.First, each TNet-Link L is connected to an element (e.g. a router) via a port that is equipped with both receiving and transmitting capabilities 14A ) of the processing system 10 connected. Each send port of each element must provide a send clock signal (S-Tkt signal), which is used for the synchronous, symbol-wise transmission of message packets. A symbol is transmitted at every individual clock cycle (ie at every clock interval) of the transmit clock, so that the clock synchronization FIFO maintains synchronization at the receiving end of the transmission.
Die Taktsynchronisierung ist von dem Modus abhängig, in welchem das Verarbeitungssystem 10 betrieben wird. Bei einem Simplexbetrieb, bei welchem die CPUs 12A und 12B zum Beispiel getrennt voneinander betrieben werden, ist die Taktgabe zwischen den Routern 14 und den CPUs 12" frequenznah"; das bedeutet, dass die Takte, welche von den CPUs 12 und den Routern 14 verwendet werden, die direkt an die CPUs angeschlossen sind, auseinanderdriften können. Wenn das Verarbeitungssystem 10 umgekehrt im Duplexmodus betrieben wird (und z. B. die CPUs sich in synchron im Gleichschritt laufendem Betrieb befinden), sind die Takte zwischen den Routern 14 und den CPUs 12, an die sie angeschlossen sind, frequenzsynchronisiert (jedoch nicht unbedingt phasensynchronisiert).Clock synchronization is dependent on the mode in which the processing system 10 is operated. In a simplex mode, in which the CPUs 12A and 12B for example, operated separately from each other, is the clock between the routers 14 and the CPUs 12 " close to frequency "; this means that the clocks generated by the CPUs 12 and the routers 14 that are directly connected to the CPUs can drift apart. If the processing system 10 conversely, in duplex mode (and e.g. the CPUs are in synchronous, synchronous operation), the clocks are between the routers 14 and the CPUs 12 to which they are connected are frequency synchronized (but not necessarily phase synchronized).
Der Fluss der Datenpakete zwischen den verschiedenen Elementen des Verarbeitungssystems 10 wird durch Befehlssymbole gesteuert, die zu jeder Zeit, auch innerhalb eines Pakets, in Erscheinung treten können. Wie bereits weiter oben (in Bezug auf die Tabelle 1) erwähnt, ist ein Befehlssymbol daran erkennbar, dass die bedeutendsten Bits alle auf 0 gesetzt sind. Im einzelnen handelt es sich dabei um folgende Befehlssymbole.The flow of data packets between the various elements of the processing system 10 is controlled by command symbols that can appear at any time, even within a package. As already mentioned above (with reference to Table 1), a command symbol can be recognized by the fact that the most significant bits are all set to 0. In detail, these are the following command symbols.
LEERLAUF (IDLE): Das LEERLAUF-Befehlssymbol wird mit jedem Takt übertragen, wenn es kein anderes Befehlssymbol oder Datenpaket zu senden gibt. Das LEERLAUF- Befehlssymbol hat die Funktion eine Füllelements zwischen Paketen bzw. Befehlssymbolen auf den TNet-Links.IDLE: The IDLE command icon is transmitted with every clock, if there is no other command symbol or data packet to send. The IDLE command icon has the function of a filling element between packages or command symbols on the TNet links.
BELEGT (BUSY) Das BELEGT-Befehlssymbol wird gesendet, wenn das empfangende Gerät erkennt, dass es bald nicht mehr in der Lage sein wird, Datensymbole anzunehmen.BUSY The BUSY command icon is sent when the receiving device detects that it will not be soon more will be able to accept data symbols.
FÜLLEN (FILL): Das FÜLLEN-Befehlssymbol wird von dem sendenden Element in ein Nachrichtenpaket eingegeben, wenn das sendende Element weiss, dass das empfangende Element, an das es gerade Symbole sendet, belegt ist (z. B. durch den Empfang eines BELEGT-Befehlssymbols).TO FILL (FILL): The FILL command icon is entered into a message packet by the sending element, if the sending element knows that the receiving element, to that it is currently sending symbols is occupied (e.g. by reception a BUSY command symbol).
STOPP (HALT): Dieses Befehlssymbol wird von einer CPU 12 oder einem IP 18 ausgelöst und von den Routern 14 an alle Elemente des Verarbeitungssystems 10 übermittelt, um diesen ein Ereignis mitzuteilen, das ein Aktivwerden der Software aller CPUs 12 und gewisser E/A-Geräte erfordert. Das STOPP-Befehlssymbol stellt einen Mechanismus bereit, der es erlaubt, rasch alle CPUs 12 in einem System 10 zu informieren, dass es nötig ist, die Einleitung jeglicher E/A-Aktivitäten zu stoppen.STOP: This command symbol is issued by a CPU 12 or an IP 18 triggered and by the routers 14 to all elements of the processing system 10 transmitted in order to notify them of an event that activates the software of all CPUs 12 and certain I / O devices. The STOP command symbol provides a mechanism that allows all CPUs to be quickly accessed 12 in one system 10 inform that it is necessary to stop initiating any I / O activity.
ANDERES LINR SCHLECHT (OTHER LINR BAD – OL8): Wenn ein Router 14, welcher an die CPU angeschlossen ist und im DupleXbetrieb arbeitet, einen Fehler in dem Befehlssymbol oder Paket entdeckt, das gerade von einer der CPUs 12 kommend empfangen wird, jedoch in dem Befehlssymbol bzw. Paket, das gerade von der anderen der CPUs 12 kommend empfangen wird, keine Fehler entdeckt, so sendet der Router 14 ein OLB-Befehlssymbol an jene CPU 12, welche das gute Paket bzw. Befehlssymbol übermittelt hat. Dieses Befehlssymbol wird auch als Reaktion auf CRC-Fehler, Befehlssymbolfehler und Protokollverletzungsfehler gesendet, allerdings nur im Duplexbetrieb. OLB- und (weiter unten beschriebene) TLB-Befehlssymbole werden gleichzeitig an im Duplexbetrieb arbeitende CPUs gesendet; das heisst ein TLB-Befehlssymbol wird an jene CPU 12 gesendet, von welcher das fehlerhafte Paket bzw. Symbol empfangen wurde, oder der Fehler bemerkt wurde, und im wesentlichen zeitgleich dazu wird ein OLB-Symbol zu der anderen CPU 12 des im Duplexbetrieb arbeitenden CPU-Paars gesendet.OTHER LINR BAD (OTHER LINR BAD - OL8): If a router 14 , which is connected to the CPU and works in DupleX mode, detects an error in the command symbol or package that is currently from one of the CPUs 12 is received, however, in the command symbol or packet that is currently from the other of the CPUs 12 is received, no errors are detected, the router sends 14 an OLB command symbol to that CPU 12 which transmitted the good package or command symbol. This command symbol is also sent in response to CRC errors, command symbol errors, and protocol violation errors, but only in duplex mode. OLB and TLB command symbols (described below) are sent simultaneously to duplex CPUs; that is, a TLB command symbol is sent to that CPU 12 from which the faulty packet or symbol was received or the error was noticed, and essentially at the same time, an OLB symbol becomes the other CPU 12 of the CPU pair working in duplex mode.
BEREIT (READY): Dieses Befehlssymbol wird gesendet, wenn das zuvor belegt gewesene Element nun wieder in der Lage ist, zusätzliche Daten anzunehmen.READY: This command symbol is sent if the previously occupied element is now again is able to additional Accept data.
ÜBERSPRINGEN (SRIP): Dieses Befehlssymbol zeigt einen Taktzyklus, der wahlweise übersprungen werden kann. Dieses Befehlssymbol wird in Verbindung mit dem frequenznahen Betrieb als Hilfe zur Aufrechterhaltung der Synchronisation zwischen den beiden Taktsignalen verwendet, die (1) jedes Symbol zu jedem empfangenden Taktsynchronisierungs-FIFO übertragen und in dieses laden, und (2) Symbole von dem FIFO abrufen.SKIP (SRIP): This command symbol shows a clock cycle that can optionally be skipped can. This command symbol is used in conjunction with the frequency-related Operation as an aid to maintaining synchronization between uses the two clock signals that (1) receive each symbol to each Clock synchronization FIFO transmitted and load into it, and (2) retrieve symbols from the FIFO.
SCHLAF (SLEEP): Dieses Befehlssymbol wird von jedem beliebigen Element des Verarbeitungssystems 10 gesendet, um anzuzeigen, dass kein weiteres Paket (nach dem momentan übermittelten, falls ein solches vorhanden ist) mehr über den speziellen Link L gesendet werden darf, bis ein BEREIT-Befehlssymbol (weiter unten beschrieben) empfangen wird.SLEEP: This command symbol is used by any element of the processing system 10 sent to indicate that no more packets (after the one currently being transmitted, if there is one) may be sent over the special link L until a READY command symbol (described below) is received.
SOFT RESET (SRST): Das SRST-Befehlssymbol wird als Auslöser während jener Prozesse ("Synchronisierung" und "Reintegration", weiter unten beschrieben) verwendet, die dazu benutzt werden, um die Symbolübertragungen zwischen den CPUs 12 und den Routern 14A, 14B zu synchronisieren und um daraufhin die CPUs 12 für den Duplexbetrieb jeweils in einen identischen Zustand zu versetzen.SOFT RESET (SRST): The SRST instruction symbol is used as a trigger during those processes ("synchronization" and "reintegration", described below) that are used to carry out symbol transfers between the CPUs 12 and the routers 14A . 14B to synchronize and then the CPUs 12 to be put in an identical state for duplex operation.
SYNC Das SYNC-Befehlssymbol wird von einem Router 14 zu der CPU 12 des Verarbeitungssystems 10 (d. h. der Subprozessorsysteme 10A/10B) gesendet, um vor dem Eintritt in den Duplexbetrieb eine Frequenzsynchronisierung zwischen der CPU 12 und den Routern 14A, 14B zu erreichen, bzw. wenn bereits im Duplexbetrieb, eine Synchronisierung anzufordern, wie weiter unten in Detail beschrieben. Das SYNC-Befehlssymbol wird zusammen mit dem SRST-Befehlssymbol dazu verwendet, um unter anderem zwischen Systembetriebsarten (d. h. von Simplexbetrieb auf Duplexbetrieb bzw. von Duplexbetrieb auf Simplexbetrieb) hin und herzuwechseln, wie weiter unten in dem Abschnitt über Synchronisierung und Reintegration beschrieben wird.SYNC The SYNC command symbol is from a router 14 to the CPU 12 of the processing system 10 (ie the subprocessor systems 10A / 10B ) to establish frequency synchronization between the CPU before entering duplex mode 12 and the routers 14A . 14B to achieve or, if already in duplex mode, request synchronization, as described in detail below. The SYNC command symbol is used in conjunction with the SRST command symbol to switch between system modes (i.e., from simplex to duplex or from duplex to simplex), as described below in the section on synchronization and reintegration.
LINR SCHLECHT (THIS LINR BAD – TLB): Wenn irgendein Systemelement, das ein Symbol von einem TNet-Zink L empfängt (z. B. ein Router, eine CPU, oder ein E/A-Gerät), beim Empfangen eines Befehlssymbols oder eines Pakets einen Fehler bemerkt, sendet es ein TLB-Befehlssymbol an das Systemelement zurück, welches das fehlerhafte Paket oder Symbol übermittelt hat. Es wird üblicherweise als Reaktion auf CRC-Fehler, Befehlssymbolfehler und Protokollverletzungsfehler gesendet.LINR BAD (THIS LINR BATH - TLB): If any system element that is a symbol of a TNet zinc L receives (e.g. a router, CPU, or I / O device) when receiving a command symbol or a packet detects an error, it sends a TLB command symbol back to the system element, which transmitted the faulty package or symbol. It is usually in response to CRC errors, command symbol errors, and protocol violation errors Posted.
ICH BIN DIR ÜBERGEORDNET (I OWN YOU – IOY): IOY-Befehlssymbole werden (ausschliesslich im Duplexbetrieb) nur von einer CPU 12 an einen Router 14 gesendet, um den Router 14 dazu zu zwingen, Daten von der sendenden CPU auszuwählen, wodurch der sendenden CPU 12 praktisch ein Besitzrecht zugesprochen wird; sämtliche anderen Datenübertragungen von der nicht-sendenden CPU werden nicht beachtet. Die tatsächliche Bitstruktur des IOY-Befehlssymbols ist dieselbe wie jene, die für das Anderes Link Schlecht-Befehlssymbol (OLB) verwendet wird – wobei das Ursprungselement entscheidet, um welches Symbol es sich konkret handelt. Wird das IOY/OLB-Symbol von einer CPU 12 gesendet, so wird es als IOY-Symbol interpretiert; wird das IOY/OLB-Symbol von einem Router gesendet, so wird es als OLB-Symbol interpretiert. Um es anders auszudrücken, in der Kommunikation zwischen den CPUs 12 und den Routern 14A, 14b werden IOY-Befehlssymbole ausschliesslich von CPUs und OLB-Befehlssymbole ausschliesslich von Routern gesendet.I AM SUPERIOR TO YOU (I OWN YOU - IOY): IOY command symbols are (only in duplex mode) only from one CPU 12 to a router 14 sent to the router 14 to force data to be selected from the sending CPU, causing the sending CPU 12 practically a property right is granted; all other data transfers from the non-sending CPU are ignored. The actual bit structure of the IOY command symbol is the same as that used for the other link bad command symbol (OLB) - the originating element deciding which symbol it is. If the IOY / OLB symbol is from a CPU 12 sent, it is interpreted as an IOY symbol; if the IOY / OLB symbol is sent by a router, it is interpreted as an OLB symbol. To put it another way, in the communication between the CPUs 12 and the routers 14A . 14b IOY command symbols are sent exclusively by CPUs and OLB command symbols are sent exclusively by routers.
ABWEICHUNG (DIVERGE – DVRG): Das DVRG-Befehlssymbol wird im Duplexbetrieb von einem Router gesendet, um die im Duplexbetrieb laufenden CPUs zu informieren, dass eine Divergenz in den Datenströmen, der gerade von den CPUs empfangen wird, erkannt wurde; der Router empfängt nämlich von der CPU 12 identische Symbolpaare, die miteinander verglichen werden, wenn sie aus den Synchronisierungs-FIFOs entnommen werden. Das DVRG-Befehlssymbol signalisiert der CPU 12, dass ein Nichtübereinstimmen der Daten festgestellt worden ist. Wenn es von den CPUs empfangen wird, wird ein Divergenzauffindungsprozess eingeleitet, wodurch durch die CPUs eine Bestimmung erfolgt, welche CPU ausgefallen ist oder fehlerhaft arbeitet und der weitere Betrieb dieser CPU eingestellt wird.DEVIATION (DIVERGE - DVRG): The DVRG command symbol is sent in duplex mode by a router to inform the CPUs running in duplex mode that a divergence in the data streams that is currently being received by the CPUs has been detected; the router receives from the CPU 12 identical pairs of symbols that are compared to each other when extracted from the synchronization FIFOs. The DVRG command symbol signals the CPU 12 that data mismatch has been determined. When it is received by the CPUs, a divergence detection process is initiated, whereby the CPUs determine which CPU has failed or is malfunctioning and the further operation of this CPU is stopped.
PAKET GUT (THIS PACKET GOOD – TPG): Ein Befehlssymbol, welches auf ein Nachrichtenpaket folgt und angibt, dass der Sender des Pakets bestimmt hat, dass der CRC des Pakets in Ordnung ist. Weitere Details dazu sind dem Abschnitt "Paketzustand" weiter unten zu entnehmen.PACKAGE GOOD (THIS PACKET GOOD - TPG): A command symbol that follows a message packet and indicates that the sender of the packet has determined that the packet's CRC is okay. Further details can be found in the section "Package status" see below.
PAKET SCHLECHT (THIS PACKET BAD – TPB): Das TPB-Befehlssymbol ersetzt das TPG-Befehlssymbol, wenn das empfangende Element festgestellt hat, dass der CRC des empfangenen Nachrichtenpakets unkorrekt ist.BAD PACKAGE (THIS PACKET BAD - TPB): The TPB command symbol replaces the TPG command icon when the receiving element is detected has that the received message packet's CRC is incorrect.
Flusssteuerung:Flow control:
Die Router 14 verfügen über ein begrenztes Speichervermögen und verwenden daher beim Weiterleiten von Nachrichtenpaketen keinerlei Art von Store-and-Forward-Strategie; sie arbeiten vielmehr nach der sogenannten Wormhole-Strategie: das vordere Ende eines Nachrichtenpakets hat den Router bereits durchlaufen und wieder verlassen, noch bevor das hintere Ende empfangen worden ist. Dies ist einer der Gründe dafür, dass der Nachrichtenstrom zwischen den verschiedenen Elementen des Verarbeitungssystems 10 (z. B. den CPUs 12, den Routern 14 und dergleichen) durch die oben beschriebenen Befehlssymbole gesteuert wird, wobei in erster Linie die dort beschriebenen Befehlssymbole BELEGT/FÜLLEN/BEREIT (BUSY/FILL/READY) verwendet werden. Diese Flusssteuerung wird als "Gegendruck"-Verfahren bezeichnet.The routers 14 have a limited storage capacity and therefore do not use any kind of store-and-forward strategy when forwarding message packets; rather, they work according to the so-called wormhole strategy: the front end of a message packet has already passed through the router and left again before the rear end has been received. This is one of the reasons that the flow of messages between the various elements of the processing system 10 (e.g. the CPUs 12 , the routers 14 and the like) is controlled by the command symbols described above, primarily using the command symbols USED / FILL / READY (BUSY / FILL / READY) described there. This flow control is referred to as the "back pressure" process.
Wann immer ein bestimmtes Systemelement erkennt, dass seine Empfangswarteschlange (d. h. der elastische Puffer 506 – 19A) nahezu voll ist, bedient es sich der bidirektionalen Fähigkeit des TNet-Links L, auf dem es das gerade eingehende Nachrichtenpaket empfängt, und überträgt an das sendende Element am anderen Ende des TNet-Links L über den zugeordneten Sendeport ein BELEGT-Befehlssymbol, mit welchem das sendende Element aufgefordert wird, vorerst mit einer weiteren Sendetätigkeit zuzuwarten. Die Verwendung des BELEGT-Befehlssymbols wird als das Ausgeben von "Gegendruck" bezeichnet. Die CPUs 12 oder die E/A-Paket-Schnittstellen 16 können auf diese Weise Gegendruck ausgeben, während sie darauf warten, dass interne Ressourcen verfügbar werden, wenn und nur wenn solche internen Ressourcen verfügbar werden, unabhängig von Gegendruck, der an irgendeinem bestimmten TNet-Port ausgegeben wird, ein "Endknoten" (d. h. eine CPU 12 oder eine E/A-Einheit 17 – Fig. 1) kann jedoch keinen Gegendruck ausgeben, weil an einem ihrer Sendeports Gegendruck anliegt. Wird diese Anforderung nicht beachtet, so kann es zu Gegendruck-Systemblockaden kommen, wobei ein Empfangsport nicht empfangen kann, weil ein Sendeport nicht senden kann, weil wiederum der ihm zugeordnete Empfänger Gegendruck ausgibt. Daher können nur Routen 14 Gegendruck weitergeben; Endknoten (CPUs 12, E/A-Paket-Schnittstellen 16) dürfen empfangenen Gegendruck nicht in Sende-Gegendruck übersetzen.Whenever a particular system element recognizes that its receive queue (ie the elastic buffer 506 - 19A ) is almost full, it uses the bidirectional capability of the TNet link L, on which it receives the incoming message packet, and transmits a BUSY command symbol to the sending element at the other end of the TNet link L via the assigned send port which the sending element is asked to wait for further sending activity for the time being. The use of the BUSY command symbol is referred to as issuing "back pressure". The CPUs 12 or the I / O packet interfaces 16 can thus backpressure while waiting for internal resources to become available, if and only when such internal resources become available, regardless of the backpressure output on any particular TNet port, an "end node" (ie, a CPU 12 or an I / O unit 17 - Fig. 1) can not issue back pressure, however, because there is back pressure at one of its sending ports. If this requirement is not observed, it can counter system blockages occur, whereby a receiving port cannot receive because a sending port cannot transmit because the recipient assigned to it in turn emits counterpressure. Therefore only routes 14 Pass on back pressure; End nodes (CPUs 12 , I / O packet interfaces 16 ) must not translate received back pressure into send back pressure.
Ein Routen 14 kann an jedem seiner Empfangsports Gegendruck ausgeben, wann immer weitere an diesem Port ankommende Datensymbole nicht mehr zwischengespeichert oder weitergeleitet werden können. Unkorrekt adressierte Pakete werden von dem Routen 14 ausgeschieden.A route 14 can output counterpressure at each of its receiving ports whenever additional data symbols arriving at this port can no longer be buffered or forwarded. Incorrectly addressed packets are lost from the route 14 excreted.
Wenn ein Systemelement des Verarbeitungssystems 10 an einem TNet-Link L, auf welchem es gerade ein Nachrichtenpaket sendet, ein BELEGT-Befehlssymbol empfängt, setzt das Element das Senden des Pakets aus und beginnt damit, so lange FÜLLEN-Befehlssymbole zu senden, bis eine BEREIT-Befehlssymbol mit jeden Taktzyklus des Sendetakts S_Tkt empfangen wird. FÜLLEN-Befehlssymbole werden weiterhin gesendet. Ausserdem nimmt, wenn ein BELEGT-Befehlssymbol an einem TNet-Link L empfangen wird, während der zugeordnete Sendeport gerade kein Paket sendet, das Element, welches das BELEGT-Befehlssymbol empfängt, so lange davon Abstand, eine neue Paketübertragung einzuleiten, bis es in der Folge ein BEREIT-Symbol auf diesem Link empfängt. Der Sendeport behält ansonsten die Fähigkeit, andere Befehlssymbole (BEEIT, BELEGT, usw.) zu übertragen.If a system element of the processing system 10 on a TNet-Link L, on which it is currently sending a message packet, receives a BUSY command symbol, the element suspends the sending of the packet and begins to send FILL command symbols until a READY command symbol with each clock cycle of the Send clock S_Tkt is received. FILL command symbols continue to be sent. In addition, if a BUSY command symbol is received on a TNet-Link L while the assigned send port is not sending a packet, the element that receives the BUSY command symbol will refrain from initiating a new packet transmission until it is in the Follow a READY symbol on this link. Otherwise, the send port retains the ability to transmit other command symbols (BEEIT, BUSY, etc.).
Wann immer ein TNet-Port eines Elements des Verarbeitungssystems 10 den Empfang eines BEREIT-Befehlssymbols erkennt, beendet er die Übertragung von FÜLLEN-Befehlssymbolen von dem zugeordneten Sendeport und fährt mit dem Senden des Pakets fort, das durch den zuvor empfangenen BELEGT-Befehlssymbol ausgesetzt worden war, bzw. er beendet das Eingeben von LEERLAUF-Befehlssymbolen und leitet das Senden eines anhängigen Pakets ein, oder setzt das Senden von LEERLAUF-Befehlssymbolen so lange fort bis ein Paket verfügbar ist.Whenever a TNet port of an element of the processing system 10 Detects the receipt of a READY command symbol, ends the transmission of FILL command symbols from the assigned send port and continues sending the packet that was suspended by the previously received BUSY command symbol or ends the input of IDLE. Command symbols and initiates the sending of a pending packet, or continues to send IDLE command symbols until a packet is available.
Es sei jedoch darauf hingewiesen, dass die BELEGT/Bereit-Flusssteuerung sich nicht auf die Übertragung anderer Befehlssymbole bezieht. Es sei auch noch einmal daran erinnert, dass, wie weiter oben erwähnt, jeder Zyklus eines Sendetaktes, S_Tkt, von der Übertragung eines Befehls- bzw. Datensymbols begleitet wird. Somit müssen alle TNet-Schnittstellen bereit sein, mit jedem Taktzyklus des zugeordneten Sendetaktes, S_Tkt, den die TNet-Schnittstelle empfängt, ein neues Befehls- bzw. Datensymbol anzunehmen.However, it should be noted that the BUSY / Ready flow control is not on the transmission other command symbols. It should also be remembered that, as mentioned above, everyone Cycle of a send clock, S_Tkt, from the transmission of a command or Data symbol is accompanied. So all TNet interfaces be ready with every clock cycle of the assigned transmit clock, S_Tkt, the TNet interface receives to accept a new command or data symbol.
Wie noch zu zeigen sein wird, empfangen alle Elemente (z. B. die Router 14, die CPUs 12) eines Verarbeitungssystems 10, die an ein TNet-Zink L zum Empfang von übertragenen Symbolen angeschlossen sind, diese Elemente über ein Taktsynchronisierungs-FIFO (TS-FIFO). So beinhalten zum Beispiel, wie weiter oben besprochen, die Schnittstelleneinheiten 24 der CPUs 12 alle die TS-FIFOs 102x, 102y (dargestellt in 6). Jedes dieser TS-FIFOs 102 ist entsprechend geschaltet, um Befehls- bzw. Datensymbole von einem zugeordneten TNet-Zink L zu empfangen. Das TS-FIFO muss eine ausreichende Tiefe aufweisen, um eins Geschwindigkeitsanpassung zu ermöglichen, und die elastischen FIFOs müssen eine ausreichende Tiefe aufweisen, um Verzögerungen verarbeiten zu können, zu denen es zwischen der Übertragung eines BELEGT-Befehlssymbols während des Empfangs eines Nachrichtenpakets und der Aussetzung des eingehenden Nachrichtenpakets zugunsten von FÜLLEN bzw. LEERLAUF-Befehlssymbolen kommen kann. Die elastischen FIFOs 506 (19A) in den Routern 14 sollten auch eine ausreichende Tiefe aufweisen, um die Eingabe von BELEGT- und BEREIT-Befehlssymbolen in den Übertragungspfad zu ermöglichen. So sei etwa unter Bezugnahme auf 1 angenommen, dass die CPU 12A dabei ist, ein Nachrichtenpaket zu übertragen, das zum Empfang durch einen der E/A-Paket-Schnittstellen 16A bestimmt ist – und zwar über den Port 2 des Routers 14A. Zur selben Zeit sendet dieselbe E/A-Schnittstelle 16A, die gerade das von der CPU 12A gesendete Nachrichtenpaket empfängt, auch ein Nachrichtenpaket auf demselben (bidirektionalen) TNet-Link L an den Port 2 des Routers 14A. Es sei weiterhin angenommen, dass der Router 14A eine Verzögerung (Gegendruck) von Seiten des Bestimmungsortes des von der E/A-Paket-Schnittstelle 16A gerade gesendeten Nachrichtenpakets erfährt. Nach einer gewissen Zeit füllt sich das elastische FIFO 518 (19A) bis zu einem Punkt, der es erforderlich macht, dass der Router 14A die E/A-Paket-Schnittstelle auffordert, die Übertragung des Nachrichtenpakets vorübergehend auszusetzen. Demgemäss überträgt der Router 14A ein BELEGT-Symbol, welches von dem Port 2 abgeht, (demselben Port, von welchem er gerade den von der E/A-Paket-Schnittstelle 16A kommenden Nachrichtenverkehr empfängt). Dieses BELEGT-Symbol wird in den Symbolstrom des Nachrichtenpakets eingegeben, das gerade von der CPU 12A durch den Router gesendet wird. Die Eingabe eines BELEGT-Symbols in den Datenstrom eines eingehenden Nachrichtenpakets macht es erforderlich, dass der Router 14A ein zusätzliches Symbol des eingehenden Pakets speichert. Nachdem das BELEGT-Symbol gesendet ist, kann der Router 14A mit der Übertragung des eingehenden Nachrichtenpakets von der CPU 12A fortfahren, und zwar bis zu dem Zeitpunkt, da er wieder mit dem Empfang der diskontinuierlichen Übertragung des von der E/A-Paket-Schnittstelle 16A kommenden Nachrichtenpakets fortfahren kann. Um die E/A-Paket-Schnittstelle 16A dazu zu veranlassen, mit der weiteren Übertragung des unterbrochenen Nachrichtenpakets zu beginnen, gibt der Router 14A ein BEREIT-Signal in den vom Port 2 aus gesendeten Symbolstrom ein, was wiederum erfordert, dass der Router ein weiteres Symbol des von der CPU 12A kommenden Nachrichtenpakets zu speichern.As will be shown, all elements (e.g. the routers) receive 14 who have favourited CPUs 12 ) of a processing system 10 connected to a TNet-Zink L to receive transmitted symbols, these elements via a clock synchronization FIFO (TS FIFO). For example, as discussed above, include the interface units 24 of CPUs 12 all the TS FIFOs 102x . 102y (shown in 6 ). Each of these TS FIFOs 102 is switched accordingly to receive command or data symbols from an assigned TNet-Zink L. The TS FIFO must be of sufficient depth to enable speed adjustment and the resilient FIFOs must be of sufficient depth to be able to handle delays between the transmission of a BUSY command symbol during the receipt of a message packet and the suspension of the incoming message packet in favor of FILL or IDLE command symbols. The elastic FIFOs 506 ( 19A ) in the routers 14 should also be of sufficient depth to allow BUSY and READY command symbols to be entered into the transmission path. For example, refer to 1 assumed that the CPU 12A is about to transmit a message packet that is to be received by one of the I / O packet interfaces 16A is determined - via port 2 of the router 14A , At the same time sends the same I / O interface 16A that's just that from the CPU 12A sent message packet also receives a message packet on the same (bidirectional) TNet link L to port 2 of the router 14A , It is also assumed that the router 14A a delay (back pressure) from the destination side of the I / O packet interface 16A message packet just sent. After a while, the elastic FIFO fills up 518 ( 19A ) to a point that requires that the router 14A requests the I / O packet interface to temporarily suspend the transmission of the message packet. The router transmits accordingly 14A a BUSY symbol which is from the port 2 (the same port from which it is receiving the traffic coming from I / O packet interface 16A). This BUSY symbol is entered in the symbol stream of the message packet that is currently being sent by the CPU 12A is sent through the router. Entering a BUSY symbol in the data stream of an incoming message packet requires that the router 14A stores an additional icon of the incoming package. After the BUSY symbol is sent, the router can 14A with the transfer of the incoming message packet from the CPU 12A continue until the point at which it resumes receiving the discontinuous transfer of the I / O packet interface 16A upcoming message packet can continue. To the I / O packet interface 16A to cause the router to begin further transmission of the interrupted message packet 14A a READY signal from the port 2 symbol stream, which in turn requires that the router receive another symbol from the CPU 12A to save upcoming message packages.
Dieses Paar von BELEGT/BEREIT-Befehlssymbolen kann von jedem Router 14 und von jeder CPU 12 in den Pfad zwischen der E/A-Paket-Schnittstelle 16 und der CPU 12 eingegeben werden. Der direkt an die E/A-Paket-Schnittstelle 16 angeschlossene Router 14 könnte 2n Befehlssymbole (n = die Anzahl der in dem Pfad vorhandenen Router + 1) in ein einzelnes Paket eingeben. Das setzt voraus, dass 2n Byte FIFO in dem Router 14 der untersten Ebene (d. h. der einer beliebigen E/A-Paket-Schnittstelle 16 am nächsten gelegenen Router) erforderlich wären, um zu gewährleisten, dass in einer Richtung ausgegebener Gegendruck es nicht erforderlich macht, Gegendruck auch in der anderen Richtung auszugeben. So sei zum Beispiel angenommen, dass eine E/A-Paket-Schnittstelle 16 gerade ein Paket A an einen Router 14 überträgt, während sie zur selben Zeit ein Paket B von demselben Router empfängt und dass der das Paket A empfangende Router dieses aufgrund eines vorhandenen Gegendrucks nicht weiterleiten kann. Dieser Router muss ein BELEGT-Signal in das Paket B eingeben, um der E/A-Paket-Schnittstelle 16 anzuweisen, mit der Übertragung des Pakets aufzuhören. Das in das Paket B eingegebene BELEGT-Befehlssymbol verschiebt ein Datensymbol, wodurch die FIFO-Tiefe um eins inkrementiert wird. Durch die darauffolgende Entfernung des Gegendrucks durch das Eingeben von BEREIT wird ein weiteres Datenbyte in Paket 8 verschoben. Mit der Weiterleitung des Pakets A zum nächsten Router würde sich dieser Vorgang wiederholen. Wenn der Router 14 mehr Datenbytes verschiebt, als das FIFO bewältigen kann, so muss er in Richtung des Ursprungsortes des Pakets B Gegendruck ausgeben.This pair of BUSY / READY command symbols can be used by any router 14 and from every CPU 12 in the path between the I / O packet interface 16 and the CPU 12 can be entered. The one directly to the I / O packet interface 16 connected router 14 could enter 2n command symbols (n = the number of routers + 1 in the path) into a single packet. This requires 2n bytes of FIFO in the router 14 the lowest level (that of any I / O packet interface 16 nearest router) would be required to ensure that back pressure issued in one direction does not require back pressure to be output in the other direction. For example, suppose that an I / O packet interface 16 just a packet A to a router 14 transmits while receiving a packet B from the same router at the same time and that the router receiving packet A cannot forward it due to an existing back pressure. This router must enter a BUSY signal in packet B to interface the I / O packet 16 instruct to stop transmitting the package. The BUSY command symbol entered in packet B shifts a data symbol, thereby incrementing the FIFO depth by one. The subsequent removal of the back pressure by entering READY will add another byte of data to the packet 8th postponed. With the forwarding of packet A to the next router, this process would be repeated. If the router 14 If more data bytes are shifted than the FIFO can handle, it must output back pressure in the direction of the origin of packet B.
Paketzustand:Package Condition:
Jedes übertragene Paket wird unmittelbar von einem TPG- bzw. einem TPB-Befehlssymbol gefolgt, das Auskunft über die Integrität des zugeordneten Pakets gibt. Das Systemelement, von welchem das Paket seien Ursprung nimmt, gibt das entsprechende TPG- bzw. TPB-Befehlssymbol ein. Der Router 14 validiert für sämtliche Pakete den beiliegenden CRC und führt verschiedene Protokollprüfungen durch, während die Pakete von dem Ursprungsort (d. h. der E/A-Paket-Schnittstelle 16 oder der CPU 12A) kommend durch diesen hindurch an den Bestimmungsort (d. h. die CPU 12A oder die E/A-Paket-Schnittstelle 16) fliessen. Falls ein Router 14 in dem Pfad des besagten Datenflusses bei einem eingehenden Paket einen Fehler erkennt, und das Paket mit einem TPG-Befehlssymbol endet (das anzeigt, dass das Paket gut ist), so ersetzt der Router das TPG-Befehlssymbol durch ein TPB-Befehlssymbol.Each packet transmitted is immediately followed by a TPG or TPB command symbol, which provides information about the integrity of the associated packet. The system element from which the packet originates enters the corresponding TPG or TPB command symbol. The router 14 validates the enclosed CRC for all packets and performs various protocol checks while the packets are from the origin (ie the I / O packet interface) 16 or the CPU 12A ) coming through this to the destination (ie the CPU 12A or the I / O packet interface 16 ) flow. If a router 14 detects an error in the path of said data flow for an incoming packet and the packet ends with a TPG command symbol (which indicates that the packet is good), the router replaces the TPG command symbol with a TPB command symbol.
Als Fehler, welche zu einer Änderung eines TPG-Befehlssymbols in ein TPB-Befehlssymbol führen können, ist neben dem misslungenen Versuch, die eingegangenen Daten durch die Prüfung ihrer CRC-Daten zu validieren, vor allem die Tatsache zu nennen, dass ein Paket eine grössere Länge aufweist als dies gemäss dem verwendeten Protokoll erlaubt ist. Obwohl jede Paketlänge verwendet werden kann, wird hier mit einer auf 1024 Symbole beschränkten Paketlänge gearbeitet, und zwar einschliesslich des Zustandssymbols (TPG/TPB). Wird also erkannt, dass ein empfangenes Paket diese Grenze umfangmässig überschreitet, so beendet der empfangende Router das Paket mit einem TPB-Befehlssymbol als 1024. Symbol und ignoriert den Rest des Pakets. Bei dieser Beschränkung der Paketlänge handelt es sich um eine Technik zur Fehlerprüfung, die dazu dient, das Auftreten eines Fehlers in einem paketübertragenden Element zu vermeiden, der dieses ansonsten veranlassen würde, ununterbrochen irgendwelche Nachrichtenpakete auszusenden, was schliesslich zu einer Verstopfung des TNet-Netzwerks führen würde.As an error, which leads to a change a TPG command symbol can lead to a TPB command symbol in addition to the unsuccessful attempt to receive the data received from the exam validate their CRC data, especially to mention the fact that a package is a bigger one Has length than this according to the protocol used is allowed. Although every packet length is used can be used with a packet length limited to 1024 symbols, including the status symbol (TPG / TPB). So will recognized that a received packet exceeds this limit extensively, so the receiving router ends the packet with a TPB command symbol as a 1024th symbol and ignores the rest of the package. With this limitation the packet length is an error checking technique that is used to prevent the occurrence an error in a packet transmitting Avoid element that would otherwise cause this to happen continuously to send out any message packets, which ultimately leads to congestion in the TNet network.
Ein Router 14, der ein Paket mit einem TPB-Befehlssymbol empfängt, leitet das TPB-Befehlssymbol unverändert weiter, ungeachtet der Ergebnisse der von ihm selbst durchgeführten Prüfungen.A router 14 , who receives a packet with a TPB command symbol, forwards the TPB command symbol unchanged, regardless of the results of the checks it performed.
SCHLAFEN-Protokoll:SLEEP protocol:
Das SCHLAFEN-Protokoll wird von einem Instandhaltungsprozessor über eine weiter unten genauer beschriebene Instandhaltungsschnittstelle (einen Online-Zugangspunkt – OLZP) initiiert. Das SCHLAFEN-Protokoll stellt einen Mechanismus bereit, der es erlaubt, ein oder mehrere TNet-Links L an den Paketgrenzen in einen Ruhezustand zu versetzen. Es ist nötig, die Betriebsart zu wechseln (z. B. vom Duplex- in den Simplexbetrieb), um ein Prozessorelement des Systems 10 zu reintegrieren. Die Router 14 müssen sich im Leerlauf befinden (keine Pakete in Übertragung befindlich), um zwischen Betriebsarten zu wechseln, ohne dabei Datenverlust bzw. Datenkorruption zu verursachen. Wird ein SCHLAFEN-Befehlssymbol empfangen, so verhindert das empfangende Element des Verarbeitungssystems 10 den Start der Übertragung irgendeines neuen Pakets auf dem zugeordneten Sendeport, der nur erlaubte Befehlssymbole auf diesem TNet-Link L übertragen darf. (Eine Ausnahme stellt das eigenadressierte AtomicWrite-Nachrichtenpaket dar, das weiter unten in dem Abschnitt über Reintegration beschrieben wird.) Jedes Paket, das übertragen wird während das SCHLAFEN-Befehlssymbol empfangen wird, wird auf normale Weise übertragen bis es vollständig ist. Der Sendeport, welcher dem Empfangsport entspricht, an dem das SCHLAFEN-Befehlssymbol empfangen wurde, fährt nichtsdestoweniger fort, erlaubte Befehlssymbole (z. B. BELEGT, BEREIT, LEERLAUF, FÜLLEN) zu übertragen, darf jedoch so lange kein neues Paket zur Übertragung initiieren bis ein BEREIT-Befehlssymbol an dem ihm zugeordneten Empfangsport empfangen wird.The SLEEP protocol is initiated by a maintenance processor via a maintenance interface (an online access point - OLZP) described in more detail below. The SLEEP protocol provides a mechanism that allows one or more TNet links L to be put to sleep at the packet boundaries. It is necessary to change the operating mode (e.g. from duplex to simplex mode) to one processor element of the system 10 to reintegrate. The routers 14 must be idle (no packets are being transmitted) to switch between operating modes without causing data loss or data corruption. If a SLEEP command symbol is received, the receiving element of the processing system prevents it 10 the start of the transmission of any new packet on the assigned send port, which may only transmit command symbols allowed on this TNet-Link L. (An exception is the self-addressed AtomicWrite message packet described in the section on reintegration below.) Any packet that is transmitted while the SLEEP command symbol is received is transmitted in a normal manner until it is complete. The send port, which corresponds to the receive port on which the SLEEP command symbol was received, nevertheless continues to transmit permitted command symbols (e.g. BUSY, READY, IDLE, FILL), but must not initiate a new packet for transmission until a READY command icon is received at the receiving port assigned to it.
STOPP-Protokoll:STOP protocol:
Das STOPP-Befehlssymbol stellt einen Mechanismus bereit, durch den rasch sämtlichen in einem Verarbeitungssystem 10 vorhandenen CPUs 12 mitgeteilt werden kann, dass es erforderlich ist, sämtliche E/A-Aktivitäten (d. h. Nachrichtenübermittlungen zwischen den CPUs 12 und den E/A-Paket-Schnittstellen 16, oder Nachrichtenübertragungen zwischen verschiedenen CPUs 12) einzustellen. Jeder Router 14 verfügt über ein systemweites STOPP-Freigabekonfigurationsregister, welches durch den IP 18 über den OLZP 285' (19A) gesetzt werden kann, so dass, wenn von einer CPU 12 ein STOPP-Befehlssymbol empfangen wird, der empfangende Router 14 von jedem seiner Sendeports ein STOPP-Befehlssymbol aussendet und sein Systemstopp-Freigabebit löscht. Ein Router 14 ignoriert sämtliche STOPP-Befehlssymbole, welche empfangen werden während das Systemstopp-Freigabebit sich in gelöschtem Zustand befindet. Auf diese Weise hat das Systemstopp-Freigabebit sowohl die Funktion einer über die Software einstellbaren Freigabeeinrichtung für die Stoppfunktion als auch die der Verhinderung eines unendlichen Aneinanderreihens von STOPP-Befehlssymbolen, nachdem einmal das erste STOPP-Befehlssymbol ausgegeben ist.The STOP command symbol provides a mechanism by which all in a processing system can be quickly accessed 10 existing CPUs 12 can be notified that it is necessary to complete all I / O activity (ie messaging between the CPUs 12 and the I / O packet interfaces 16, or communications between different CPUs 12 ) to set. Any router 14 has a system-wide STOP release configuration register, which through the IP 18 via the OLZP 285 ' ( 19A ) can be set so that when from a CPU 12 a STOP command symbol is received, the receiving router 14 sends a STOP command symbol from each of its send ports and clears its system stop enable bit. A router 14 ignores all STOP command symbols that are received while the system stop enable bit is in the cleared state. In this way, the system stop enable bit has both the function of a release device for the stop function, which can be set via the software, and the function of preventing an infinite series of STOP command symbols once the first STOP command symbol has been issued.
CPUs, welche STOPP-Befehlssymbole an einem ihrer Empfangsports (der Schnittstelleneinheiten 24) empfangen, geben ein Interrupt an das Interruptregister 280 frei, wenn das Systemstopp-Interrupt freigegeben ist (d. h. wenn die zugeordnete Anordnung des Maskenregisters 282 das Interrupt aktiviert; 14A).CPUs that have STOP command symbols on one of their receiving ports (the interface units 24 ) receive an interrupt to the interrupt register 280 free if the system stop interrupt is released (ie if the assigned arrangement of the mask register 282 the interrupt is activated; 14A ).
Die CPUs 12 können mit der Fähigkeit ausgestattet sein, die STOPP-Verarbeitung zu deaktivieren. So können zum Beispiel die Konfigurationsregister 75 der Schnittstelleneinheiten 24 ein "Stoppfreigabe-Register" enthalten, das, sofern es auf einen vorgegebenen Zustand (z. B. NULL) gesetzt ist, die STOPP-Verarbeitung deaktiviert, dabei jedoch die Erkennung eines STOPP-Symbols als einen Fehler meldet.The CPUs 12 may have the ability to disable STOP processing. For example, the configuration registers 75 of the interface units 24 contain a "stop enable register" which, if set to a predetermined state (e.g. NULL), deactivates the STOP processing, but reports the detection of a STOP symbol as an error.
Routerarchitektur:Router Architecture:
Im folgenden wird auf 19A Bezug genommen, in welcher ein vereinfachtes Blockdiagramm des Routers 14A veranschaulicht ist. Die anderen Routen 14 des Verarbeitungssystems 10 (z. B. die Router 14B, 14A', etc.) sind von im wesentlichen gleicher Bauart und die Beschreibung betreffend den Router 14A ist daher auch auf die anderen Router 14 anwendbar.The following is on 19A Reference in which is a simplified block diagram of the router 14A is illustrated. The other routes 14 of the processing system 10 (e.g. the router 14B . 14A ' , etc.) are of essentially the same design and the description regarding the router 14A is therefore also on the other routers 14 applicable.
Wie in 19A veranschaulicht, beinhaltet der Router 14A sechs TNet-Ports 0, ..., 5, von denen ein jeder seinerseits einen Porteingang 502 (5020,.... 5025) und einen Ausgang 504 (5040, .... 5045) beinhaltet.As in 19A illustrated, the router includes 14A six TNet ports 0, ..., 5, each of which in turn has a port input 502 ( 502 0 .... 502 5 ) and an exit 504 ( 504 0 , .... 504 5 ) includes.
Jeder Portausgang 504 verfügt über die 10 aus diesem hinausführenden, weiter oben beschriebenen Signalleitungen: neun Signalleitungen, welche parallele 9-Bit-Befehls-/Datensymbole übertragen und ein Signalbit, das den zugeordneten Sendetakt (S_Tkt) überträgt. In ähnlicher Weise ist ein jeder der Porteingänge 502 entsprechend geschaltet, um 10 parallele, Daten und den Empfangstakt (Empf-Tkt) umfassende Signale zu empfangen. Wie weiterhin gezeigt, beinhaltet ein jeder Porteingang 502 eine Eingangslogik 505 und ein elastisches FIFO 506, um eingehende Datenpakete zu empfangen und zwischenzuspeichern, bevor sie an einen Kreuzschienenverteiler 500 angelegt werden. Die Kreuzschienenlogik 500 wird betrieben, um Nachrichtenpakete, welche an den Porteingängen 502 empfangen werden, gemäss den in der Bestimmungsort-ID des Nachrichtenpakets enthaltenen Informationen zu einem Portausgang 504 zu leiten. Die Kreuzschienenlogik 500 wird als regelrechter Kreuzschienenverteiler betrieben, der es erlaubt, Nachrichtenpakete, die an einem beliebigen Porteingang 502 empfangen werden, an einen beliebigen Portausgang 504 zu leiten, auch an jenen Portausgang 504, der dem Porteingang 502 zugeordnet ist, welcher das Paket empfängt (z. B. Porteingang 502 2 und Portausgang 5022. Die Kreuzschienenlogik 500 ist auch in der Lage, zwei oder mehr Nachrichtenpakete von bestimmten Porteingängen 502 an diesen jeweils entsprechende Portausgänge 504 zu leiten. Die Kreuzschienenlogik ist von herkömmlicher Bauart, so dass sich weitere Ausführungen zu ihrem Entwurf erübrigen.Every port exit 504 has the 10 signal lines leading from this, described above: nine signal lines which transmit parallel 9-bit command / data symbols and a signal bit which transmits the assigned transmit clock (S_Tkt). Similarly, each of the port entrances is 502 switched accordingly in order to receive 10 parallel signals including data and the reception clock (receive clock). As further shown, each port entrance includes 502 an input logic 505 and an elastic FIFO 506 to receive and buffer incoming data packets before they are sent to a matrix switch 500 be created. The crossbar logic 500 is operated to send message packets to the port inputs 502 are received, according to the information contained in the destination ID of the message packet for a port exit 504 to lead. The crossbar logic 500 is operated as a real crossbar distributor, which allows message packets to be sent to any port input 502 can be received at any port output 504 to direct, also to that port exit 504 that the port entrance 502 assigned which receives the packet (e.g. port entrance 502 2 and port output 502 2 , The crossbar logic 500 is also able to send two or more message packets from certain port inputs 502 corresponding port outputs at these 504 to lead. The crossbar logic is of conventional design, so that there is no need for further explanations regarding its design.
Zwei der Ports, 4 und 5, des Routers 14A, die in der Figur durch Schattierung hervorgehoben sind, unterscheiden sich von ihrem Aufbau her gewissermassen von den anderen; diese zwei Ports sind dafür gedacht, als jene Ports benutzt zu werden, die (über die TNet-Links Lx und Ly) direkt an ein CPU-Paar 12 angeschlossen werden. Die Porteingänge 5024, 5025 für diese Ports 4, 5 sind entsprechend aufgebaut, um in einer frequenzsynchronisierten Umgebung betrieben zu werden, wenn ein Verarbeitungssystem 10 im Duplexbetrieb läuft. Ausserdem wird im Duplexbetrieb ein Nachrichtenpaket, das an einem beliebigen der Eingangsports 0–5 empfangen wird und für eine der CPUs 12, an welche der Router angeschlossen ist, bestimmt ist, von der Kreuzschienenlogik 500 dupliziert und an beide Portausgänge 4054 , 4055 gesendet, welche im Gleichschritt betrieben werden, um an die CPUs, mit denen sie verbunden sind, Symbol für Symbol im wesentlichen zeitgleich dieselben Symbole übertragen. Wenn kein Duplexbetrieb vorliegt (d. h. im Simplex-Betriebsmodus) werden die Porteingänge 5024, 5025, sowie alle anderen Porteingänge im frequenznahen Modus betrieben.Two of the ports, 4 and 5, of the router 14A , which are highlighted in the figure by shading, differ somewhat in their structure from the others; these two ports are intended to be used as those ports (via the TNet links Lx and Ly) directly to a CPU pair 12 be connected. The port entrances 502 4 . 502 5 for these ports 4, 5 are constructed accordingly to be operated in a frequency-synchronized environment when a processing system 10 runs in duplex mode. In addition, a message packet is received in duplex mode, which is received at any of the input ports 0-5 and for one of the CPUs 12 to which the router is connected is determined by the crossbar logic 500 duplicated and to both port outputs 405 4 . 405 5 sent, which are operated in synchronism in order to transmit the same symbols to the CPUs to which they are connected, symbol-by-symbol essentially at the same time. If there is no duplex mode (ie in simplex mode), the port inputs 502 4 . 502 5 , as well as all other port inputs operated in near-frequency mode.
Ausserdem ist die Eingangslogik 502 für die Router-Ports 4 und 5 auch mit einer Vergleichsschaltung versehen, welche betrieben wird, wenn die CPUs 12A, 12B im Duplexbetrieb arbeiten, um einen symbolweisen Vergleich zwischen den von den beiden CPUs empfangenen Befehls/Datensymbolen anzustellen. Demgemäss empfangen die Porteingänge 5024, 5025, wie in 19B veranschaulicht, die Befehls-/Datensymbole von den CPUs, leiten diese durch die (weiter unten besprochenen) Taktsynchronisierungs-FIFOs 518 und vergleichen jedes Symbol, welches die Taktsynchronisierungs-FIFOs verlässt mittels einer gattergesteuerten Vergleichsschaltung 517. Beim Eintritt in den Duplexbetrieb wird ein in der Steuerlogik 509 enthaltenes (nicht dargestelltes) Konfigurationsregister in einen entsprechenden Zustand gesetzt, so dass es ein DPX-Signal ausgibt. Dieses DPX-Signal wird von der Steuerlogik 509 an die gattergesteuerte Vergleichsschaltung 517 übermittelt, um den symbolweisen Vergleich der aus den beiden Synchronisierungs-FIFOs 518 der Routereingangslogik 502 für die Ports 4 und 5 heraustretenden Symbole zu aktivieren. Wenn das DPX-Bit in der Steuerlogik 509 nicht gesetzt ist, ist die Vergleichsfunktion natürlich deaktiviert.In addition, the input logic 502 for router ports 4 and 5 also with a comparison circuit which is operated when the CPUs 12A . 12B work in duplex mode to make a symbolic comparison between the command / data symbols received by the two CPUs. Accordingly, the port inputs receive 502 4 . 502 5 , as in 19B illustrated, the command / data symbols from the CPUs route them through the clock synchronization FIFOs (discussed below) 518 and compare each symbol leaving the clock synchronization FIFOs by means of a gated comparison circuit 517 , When entering duplex mode, one is in the control logic 509 contained configuration register (not shown) set in a corresponding state so that it outputs a DPX signal. This DPX signal is from the control logic 509 to the gate controlled comparison circuit 517 transmitted to compare the symbols from the two synchronization FIFOs 518 the router input logic 502 for symbols 4 and 5 that emerge. If the DPX bit in the control logic 509 is not set, the comparison function is of course deactivated.
Die identischen Symbolströme, welche den Nachrichtenverkehr von den im Duplexmodus betriebenen CPUs 12 ausmachen, werden von den Porteingängen 5024, 5025 empfangen, wobei jedes Symbol des Symbolstroms, das von einem Porteingang empfangen wird, identisch mit jenem ist, das im wesentlichen gleichzeitig von dem anderen Porteingang empfangen wird.The identical symbol streams, which the message traffic from the CPUs operated in duplex mode 12 are made out of the port entrances 502 4 . 502 5 received, with each symbol of the symbol stream received from one port input being identical to that received substantially simultaneously from the other port input.
Um die Synchronisierung im Duplexbetrieb aufrechtzuerhalten, müssen die beiden Portausgänge des Routers 14A, welche an die CPUs 12 übertragen, im Gleichschritt betrieben werden; das heisst, die Portausgänge müssen entsprechend betrieben werden, so dass Zyklus für Zyklus dieselben Symbole an beide CPUs 12 gesendet werden. Somit muss, unter Bezugnahme auf 2, ein an einem der Ports 0–5 (19A) des Routers 14A empfangener und für die CPUs 12 bestimmter Symbolstrom an beide der im Duplexbetrieb laufenden CPUs 12 weitergeleitet werden, und zwar so, dass von den CPUs im wesentlichen zeitgleich zueinander identische Symbole empfangen werden. (Die CPUs 12 können eigenadressierte Nachrichtenpakete senden, welche im Duplexbetrieb von den Routern 14 dupliziert und an beide CPUs retourniert werden.) Die Ausgangslogikeinheiten 5044, 5045, die direkt an die CPUs 12 gekoppelt sind, empfangen beide Symbole von der Kreuzschienenlogik 500 (obwohl in dem Bestimmungsort-Feld des Nachrichtenpakets nur eine der beiden duplexbetriebenen CPUs 12, z. B, die CPU 12A, als Bestimmungsort angegeben ist) in synchronisierter Weise und legen diese Symbole im wesentlichen simultan an beide CPUs 12 an. Natürlich empfangen die CPUs 12 (genauer gesagt die ihnen zugeordneten Schnittstelleneinheiten 24) die übertragenen Symbole mit Synchronisierungs-FIFOs mit im wesentlichen demselben Aufbau wie das in 7A veranschaulichte FIFO, so dass, selbst wenn eine geringfügige Echtzeit-Phasendifferenz vorhanden sein mag, mit der die Symbole von den CPUs 12 empfangen werden, die zwischen den beiden CPUs 12 aufrechterhaltene Taktung gewährleistet, dass mit demselben Befehlszyklus von beiden CPUs 12 dasselbe Symbol aus den FIFO-Strukturen entnommen wird, wodurch der für den Duplex-Betriebsmodus erforderliche, synchrone, im Gleichschritt laufende Betrieb der CPUs 12 aufrechterhalten wird.To maintain synchronization in duplex mode, the two port outputs of the router 14A which to the CPUs 12 transmitted, operated in step; This means that the port outputs must be operated accordingly, so that the same symbols are sent to both CPUs cycle by cycle 12 be sent. Thus, referring to 2 , one on one of the ports 0-5 ( 19A ) of the router 14A received and for the CPUs 12 certain symbol stream to both of the CPUs running in duplex mode 12 are forwarded in such a way that identical identical symbols are received by the CPUs essentially simultaneously. (The CPUs 12 can send self-addressed message packets, which are sent in duplex mode by the routers 14 duplicated and returned to both CPUs.) The output logic units 504 4 . 504 5 that go directly to the CPUs 12 are coupled, both symbols receive from the crossbar logic 500 (although in the destination field of the message packet only one of the two duplex CPUs 12 , e.g. B, the CPU 12A , is specified as the destination) in a synchronized manner and apply these symbols to both CPUs essentially simultaneously 12 on. Of course, the CPUs receive 12 (More precisely, the interface units assigned to them 24 ) the transmitted symbols with synchronization FIFOs with essentially the same structure as that in 7A illustrated FIFO so that even if there may be a slight real time phase difference with which the symbols from the CPUs 12 are received between the two CPUs 12 maintained timing ensures that with the same instruction cycle from both CPUs 12 the same symbol is taken from the FIFO structures, which means that the synchronous, synchronous operation of the CPUs required for the duplex operating mode 12 is maintained.
Wie im Zusammenhang mit der Abhandlung eines detaillierteren Diagramms der Porteingänge 502 (20A und 21A) gezeigt werden wird, erfolgt die Steuerung der Wegeleitung hauptsächlich durch die Logik der Porteingänge 502 in Verbindung mit Konfigurationsdaten, die von dem Instandhaltungsprozessor 18 (über den Online-Zugangspunkt 285' und den seriellen Bus 19A; siehe 1A) in Register geschrieben werden, welche in der Steuerlogik 509 enthalten sind.As in the context of a more detailed diagram of the port inputs 502 ( 20A and 21A ) will be shown, the routing is mainly controlled by the logic of the port inputs 502 in conjunction with configuration data from the maintenance processor 18 (via the online access point 285 ' and the serial bus 19A ; please refer 1A ) are written in registers which are in the control logic 509 are included.
Der Router 14A beinhaltet zusätzlich eine selbstprüfende Logik 511, um zur Gewährleistung eines ordnungsgemässen Betriebs Prüfungen der verschiedenen Komponenten durchzuführen, aus denen sich der Router 14A zusammensetzt. Im allgemeinen realisiert die selbstprüfende Logik 511 solche Operationen in Form von internen Paritätsprüfungen, durch Erkennung ungültiger Zustände von Ablaufsteuereinheiten und durch den Vergleich der Ausgabedaten von duplizierter Logik. Die durchgeführten Selbstprüfverfahren sind von konventioneller Natur.The router 14A also includes self-checking logic 511 to perform checks on the various components that make up the router to ensure correct operation 14A composed. In general, the self-checking logic realizes 511 such operations in the form of internal parity checks, by recognizing invalid states of sequential control units and by comparing the output data from duplicated logic. The self-test procedures carried out are of a conventional nature.
Der Synchronbetrieb der Router 14A erfolgt gemäss den von der Taktgabelogik 510 generierten, (lokalen) Taktsignalen.The synchronous operation of the router 14A done in accordance with the clock logic 510 generated, (local) clock signals.
Jeder Ausgangsport 504 des Routers 14 ist entsprechend aufgebaut, um die Anforderungen des weiter oben beschriebenen Flusssteuerungsprotokolls zur Übermittlung von Symbolen auf den TNet-Links L zu implementiern. Die Eingangslogik 505 jedes Porteingangs 502 hat ebenfalls eine unterstützende Funktion bei der Aufrechterhaltung der Synchronisierung – zumindest für jene Ports, welche Symbole in frequenznaher Umgebung aussenden – und zwar durch das Entfernen von empfangenen ÜBERSPRINGEN-Befehlssymbolen (SKIP). Das ÜBERSPRINGEN-Befehlssymbol wird in diesem Zusammenhang als Platzhaltersymbol verwendet, das bewirkt, dass Taktzyklen übersprungen werden, wodurch es einem langsameren Empfänger möglich wird, Daten von einem schnelleren Empfänger anzunehmen. Da Geräte an den Enden eines beliebigen TNet-Links L in einer frequenznahen Betriebsumgebung mit einem unterschiedlichen Takt arbeiten, kann mit relativ grosser Wahrscheinlichkeit angenommen werden, dass ein Takt um einen geringfügigen Betrag schneller als der andere ist. Ohne Taktkontrolle könnte es bei einem langsamer empfangenden Element, welches Symbole von einem schneller sendenden Element empfängt, zu einer Überlastung des Eingangs-Taktsynchronisierungs-FIFO des langsamer empfangenden Elements kommen. Das heisst, wenn ein langsamerer Takt verwendet wird, um Symbole aus dem Taktsynchronisierungs-FIFO zu entnehmen, welche mit einem schnelleren Takt in dieses eingegeben werden, so wird es früher oder später zu einem Überlaufen des Taktsynchronisierungs-FIFOs kommen.Any exit port 504 of the router 14 is constructed accordingly to implement the requirements of the flow control protocol described above for the transmission of symbols on the TNet links L. The input logic 505 every port entrance 502 also has a supporting function in maintaining synchronization - at least for those ports which emit symbols in a near-frequency environment - by removing received SKIP command symbols (SKIP). The SKIP command symbol is used in this context as a wildcard symbol that causes clock cycles to be skipped, allowing a slower receiver to accept data from a faster receiver. Since devices work at the ends of any TNet link L in a near-frequency operating environment with a different clock, it can be assumed with a relatively high probability that one clock is a little faster than the other. Without clock control, a slower receiving element that receives symbols from a faster transmitting element could overload the slower receiving element's input clock synchronization FIFO. That is, if a slower clock is used to extract symbols from the clock synchronization FIFO, which are input into it with a faster clock, sooner or later the clock synchronization FIFO will overflow.
Die in diesem Zusammenhang bevorzugte Technik besteht darin, in regelmässigen Abständen ÜBERSPRINGEN-Symbole in den Symbolstrom einzugeben, um die Wahrscheinlichkeit eines Überlaufens des Taktsynchronisierungs-FIFOs (d. h. des Taktsynchronisierungs-FIFOs 518, 20A) eines Routers 14 (oder einer CPU 12) zu vermeiden bzw. wenigstens zu minimieren, zu dem es infolge eines S_Tkt-Signals kommen könnte, welches Symbole mit einer geringfügig höheren Frequenz in das FIFO eingibt als der lokale Takt, der verwendet wird, um Symbole aus dem Synchronisierungs-FIFO zu entnehmen. Das Verwenden des ÜBERSPRINGEN-Symbols, um eine Eingabeoperation (in das FIFO) zu umgehen, wirkt sich dahingehend aus, dass der Eingabezeiger des FIFOs jedes mal wenn ein ÜBERSPRINGEN-Befehlssymbol empfangen wird, blockiert wird, so dass, was das Taktsynchronisierungs-FIFO betrifft, der das ÜBERSPRINGEN-Symbol begleitende Sendetakt fehlte.The preferred technique in this regard is to periodically enter SKIP symbols in the symbol stream to increase the likelihood of the clock synchronization FIFO (ie, the clock synchronization FIFO) overflowing 518 . 20A ) of a router 14 (or a CPU 12 ) to be avoided or at least minimized, which could occur as a result of an S_Tkt signal which enters symbols into the FIFO at a slightly higher frequency than the local clock which is used to extract symbols from the synchronization FIFO. Using the SKIP symbol to bypass an input operation (into the FIFO) has the effect of blocking the FIFO's input pointer each time a SKIP command symbol is received, so that as far as the clock synchronization FIFO is concerned missing the transmit clock accompanying the SKIP symbol.
Dadurch kann eine in jedem Porteingang 502 enthaltene Logik die zur Synchronisierung in einer frequenznahen Taktgabeumgebung verwendeten ÜBERSPRINGEN-Befehlssymbole erkennen und über einen Schlüssel deaktivieren, so dass nichts in das FIFO eingegeben, andererseits jedoch ein Symbol daraus entnommen wird. Vorzugsweise werden ÜBERSPRINGEN-Symbole ungefähr alle 512 Sendetakte eingefügt. Da Symbole auf Links L (z. B. zwischen einer CPU 12 und einem Router 14, oder zwischen Routern 14 oder zwischen einem Router 14 und einer E/A-Schnittstelleneinheit 16A – 1) mit einer Rate von 50 MHz übertragen werden, kann dadurch schlimmstenfalls ein Frequenzunterschied von 2000 ppm bewältigt werden.This allows one in every port entrance 502 included logic recognize the SKIP command symbols used for synchronization in a frequency-related clocking environment and deactivate them with a key, so that nothing is entered into the FIFO, but on the other hand a symbol is taken from it. Preferably, SKIP symbols are inserted approximately every 512 transmit clocks. Since symbols on links L (e.g. between a CPU 12 and a router 14 , or between routers 14 or between a router 14 and an I / O interface unit 16A - 1 ) are transmitted at a rate of 50 MHz, a worst case scenario is a frequency difference of 2000 ppm.
Die elastischen FIFOs 506 an jedem Porteingang 502 sind von herkömmlicher Bauart und werden dazu verwendet, um Signalunbeständigkeiten in dem Symbolstrom zu absorbieren und zu glätten, welche zum Beispiel durch das Eingeben von Flusssteuerungs- und Befehlssymbolen in das in Übertragung befindliche Nachrichtenpaket verursacht werden. Am wichtigsten jedoch ist vielleicht, dass die eastischen FIFOs 506 eine Zwischenspeicherung des eingehenden Nachrichtenverkehrs erlauben, wenn der Ausgangsport belegt ist.The elastic FIFOs 506 at every port entrance 502 are of conventional design and are used to absorb and smooth signal inconsistencies in the symbol stream caused, for example, by entering flow control and command symbols in the message packet being transmitted. Perhaps most importantly, the Eastern FIFOs 506 allow the incoming message traffic to be buffered if the outgoing port is busy.
Der Router 14A kann wie jedes andere Element des Systems 10 mit "Gegendruck" konfrontiert werden, wenn er dabei ist, ein empfangenes Nachrichtenpaket zu dem Gerät, für das es bestimmt ist, weiterzuleiten, und das Bestimmungsgerät vorübergehend sein Unvermögen, weiter Symbole zu empfangen, signalisiert (z. B. mittels eines BELEGT-Steuersymbols). Für eine angemessene Implementierung des Gegendruck-Verfahrens ist es erforderlich, dass die elastischen FIFOs 506 eine Tiefe aufweisen, (d. h. eine ausreichende Anzahl von Speicherorten beinhalten), die gross genug ist, um so lange eingehende Symbole zu empfangen und aufzubewahren, nachdem das Bestimmungsgerät aufgehört hat, Daten zu empfangen, bis das vorgeschaltete Gerät (d. h. das Gerät, welches das Nachrichtenpaket an den Router liefert) auf das BELEGT-Symbol reagieren kann und FÜLLEN- bzw. LEERLAUF-Symbole liefert (welche zwar empfangen und in die Taktsynchronisierungs-FIFOs eingegeben, jedoch nicht an die elastischen FIFOs weitergereicht werden). Kurzum, jedes elastische FIFO 506 muss über ausreichend Platz verfügen, um das Speichern von Symbolen fortsetzen zu können, bis das sendende Gerät vorübergehend das Senden einstellen kann.The router 14A can be like any other element of the system 10 be faced with "back pressure" when it is about to forward a received packet of messages to the device for which it is intended and the destination device temporarily signals its inability to continue receiving symbols (e.g., by means of a BUSY control symbol ). For an adequate implementation of the back pressure method it is necessary that the elastic FIFOs 506 have a depth (i.e., contain a sufficient number of storage locations) that is large enough to receive and store incoming symbols for so long after the determination device has stopped receiving data until the upstream device (i.e. the device that the Message packet to the router) can respond to the BUSY symbol and FILL or IDLE symbols (which are received and entered into the clock synchronization FIFOs, but are not passed on to the elastic FIFOs). In short, every elastic FIFO 506 must have enough space to continue saving symbols until the sending device can temporarily stop sending.
Um zu einer Verringerung der Signalunbeständigkeit beizutragen, arbeiten die elastischen FIFOs mit oberen und unteren "Wasserzeichen". Wenn das elastische FIFO 506 beginnt, sich zu füllen, und das obere Wasserzeichen erreicht, wird von jenem Sendeport, welcher dem Empfangsport entspricht, der den Symbolstrom empfängt, ein Gegendruck-Symbol (z. B. BELEGT) übertragen. Wird zum Beispiel gerade ein Symbolstrom von dem Router-Porteingang 5023 empfangen und zeigt die zum Steuern des elastischen FIFOs 5063 verwendete FIFO-Steuerlogik 546 an, dass das FIFO allmählich voll wird (d. h. das obere Wasserzeichen überschritten hat), so signalisiert der Eingangsport 5023 dem entsprechenden Ausgangsport 5043, dafür zu sorgen, dass ein BELEGT-Symbol übertragen wird. Der BELEGT-Zustand wird durch den Router 14 (und durch das Gerät am anderen Ende des TNet-Links L, das das Paket senden wollte, aufrechterhalten, bis die Tiefe des elastischen FIFOs 5063 sich unterhalb des von der FIFO-Steuerlogik 546 festgelegten, unteren Wasserzeichens (20A) befindet, woraufhin der Portausgang 5043 angewiesen wird, ein BEREIT-Symbol zu senden und dadurch die Wiederaufnahmen des Sendens des Symbolstroms anzufordern.To help reduce signal inconsistency, the elastic FIFOs work with upper and lower "watermarks". If the elastic FIFO 506 begins to fill and the top watermark is reached, a back pressure symbol (e.g. BUSY) is transmitted from the send port that corresponds to the receive port that receives the symbol stream. For example, there is a symbol stream coming from the router port input 502 3 receives and displays those to control the elastic FIFO 506 3 FIFO control logic used 546 indicates that the FIFO is gradually becoming full (ie has exceeded the upper watermark), the input port signals 502 3 the corresponding output port 504 3 to ensure that a BUSY symbol is transmitted. The BUSY state is determined by the router 14 (and maintained by the device at the other end of the TNet link L that wanted to send the packet until the depth of the elastic FIFO 506 3 itself below that of the FIFO control logic 546 fixed lower watermark ( 20A ) is located, whereupon the port exit 504 3 is instructed to send a READY symbol, thereby requesting that the symbol stream be resumed.
Am anderen Ende des TNet-Links L reagiert das Gerät, das dabei war, das Nachrichtenpaket zu senden, auf den Empfang des BELEGT-Befehlssymbols an dem Eingangslink mit FÜLLEN-Befehlssymbolen, die auf dem zugeordneten Ausgangs-Befehlslink übertragen werden. Das sendende Gerät fährt damit fort, FÜLLEN-Symbole zu senden und die weitere Übertragung des Nachrichtenpakets zurückzuhalten, bis das Gerät, das das BELEGT-Befehlssymbol sandte, ein BEREIT-Symbol sendet. Die Übertragung des Nachrichtenpakets wird fortgesetzt bis sie vollendet ist bzw. bis von dem Empfänger erneut Gegendruck ausgegeben wird.At the other end of the TNet link L the device reacts, that was going to send the message packet upon receipt of the FILL command symbols on the input link with FILL command symbols on the assigned output command link are transmitted. The sending Device moves with it continue, FILL symbols to send and further transmission withholding the message packet, until the device that sent the BUSY command symbol, sends a READY symbol. The transmission of the message packet will continued until it is completed or until the recipient again Back pressure is output.
Es ist zu beachten, dass das elastische FIFO nicht nur breit genug sein muss, um diese durch "Gegendruck" bedingten Signalunbeständigkeiten zu bewältigen, sondern dass es auch in der Lage sein muss, Datensymbole zu speichern, die sich in dem FIFO ansammeln, während Steuersymbole in den Symbolstrom eingefügt werden, durch welche die TNet-Links L in andere Richtungen gesteuert werden. Eine BELEGT/BEREIT-Kombination nimmt zwei Zyklen von dem Portausgang 504 weg, wodurch das elastische FIFO 506, das diesen Portausgang 504 versorgt, dazu veranlasst wird, sich um zwei Zeichen zu füllen. Um Signalunbeständigkeiten möglichst gering zu halten, muss die Dimensionierung der elastischen FIFOs 506 (und die Anbringung des oberen und des unteren Wasserzeichens) dergestalt erfolgen, dass das Einfügen von mindestens zwei Zeichen, vorzugsweise jedoch von mehreren Zeichen in den Symbolstrom möglich ist, bevor Gegendruck ausgegeben wird. Innerhalb der Umgebung des hier beschriebenen Systems sind die elastischen FIFOs in der Lage, vorübergehend 96 Symbole zu speichern.It should be noted that not only must the resilient FIFO be wide enough to cope with this "back pressure" signal inconsistency, it must also be able to store data symbols that accumulate in the FIFO during control symbols are inserted into the symbol stream, through which the TNet links L are controlled in other directions. A BUSY / READY combination takes two cycles from the port exit 504 away, causing the elastic FIFO 506 , the this port exit 504 provided, is caused to fill up with two characters. In order to keep signal inconsistencies as low as possible, the dimensioning of the elastic FIFOs 506 (and the attachment of the upper and lower watermarks) take place in such a way that the insertion of at least two characters, but preferably of several characters, into the symbol stream is possible before counter pressure is output. Within the environment of the system described here, the elastic FIFOs are able to temporarily store 96 symbols.
Der Router 14A ermöglicht die Einfügung einer vorgegebenen Anzahl von Symbolen bevor Gegendruck benötigt wird (Gegendruck wird anlässlich des nächstfolgenden Symbols ausgegeben, das eingeht, nachdem die vorgegebene Zahl empfangen und vorübergehend gespeichert worden ist). Die auf 96 Symbole dimensionierte Tiefe des elastischen FIFOs 506 ermöglicht einen normalen Aufbau einer vorgegebenen Anzahl von Symbolen und 12 Zyklen von Gegendruckverzögerung, bevor ein Porteingang 502 (unter Ausgabe von Gegendruck) die weitere Annahme von Daten einstellen muss oder in die peinliche Lage gerät, einen überlaufbedingten Datenverlust hinnehmen zu müssen.The router 14A Allows a predefined number of symbols to be inserted before counterpressure is required (counterpressure is issued on the occasion of the next symbol that arrives after the predefined number has been received and temporarily saved). The depth of the elastic FIFO, dimensioned to 96 symbols 506 Allows a normal build of a given number of symbols and 12 cycles of back pressure deceleration before a port entry 502 (with the output of back pressure) the further acceptance of data must stop or become embarrassed to accept an overflow-related data loss.
Jeder der Porteingänge 502 weist im wesentlichen einen identischen Aufbau auf, so dass die Beschreibung eines von ihnen auch auf alle anderen anwendbar ist. Demgemäss wird, wie in 20A veranschaulicht, das detaillierte Blockdiagramm des Porteingangs 5020 für Port 0 gezeigt. Der Porteingang 5020 empfängt jedes 9-Bit-Daten-/Befehlssymbol an einem Eingangsregister 516, wo es durch den begleitenden Sendetakt (S_Tkt) zwischengespeichert wird. Die empfangenen Symbole werden dann von dem Eingangsregister 516 weitergereicht und, ebenfalls durch den S_Tkt, an ein Taktsynchronisierungs-FIFO 518 angelegt werden. Bei dem Taktsynchronisierungs-FIFO 518 handelt es sich von der Logik her gesehen um dasselbe wie jenes, das in den 8A und 8B veranschaulicht ist und das in den Schnittstelleneinheiten 24 der CPUs 12 verwendet wird. In diesem Fa11 umfasst das Taktsynchronisierungs-FIFO 518, wie in 20A gezeigt, eine Mehrzahl von Registern 520, welche parallel die Ausgabesignale des Eingangsregisters 516 empfangen. Einem jeden der Register 520 zugeordnet ist ein zweistufiger Gültigkeitsbit-Synchronisierer (G), der in 20B genauer im Detail dargestellt und weiter unten besprochen wird. Der Inhalt eines jeden der Register 520 wird zusammen mit dem ein Bit umfassenden Inhalt eines jeden zugeordneten zweistufigen Gültigkeitsbit-Synchronisierer 522 an einen Multiplexer 524 angelegt und das ausgewählte Register wird zusammen mit dem Synchronisieren durch ein Registerpaar 526 aus dem elastischen FIFO 506 entnommen. Die Auswahl des Registers 520, das den Inhalt des Eingangsregisters 520 empfängt, wird durch den Zustand des Eingabewahl-Signals bestimmt, welches von einer Eingabezeiger-Logikeinheit 530 geliefert wird; und die Auswahl des Registers 520, das seinen Inhalt über den MUX 524 an die Register 526 bereitstellt, wird durch den Zustand eines Entnahmewahl-Signals bestimmt, welches von einer Entnahmezeiger-Logik 532 geliefert wird. Die Eingabe- und Entnahmezeiger-Logik 530, 532 werden von der Synchronisierungs-FIFO-Steuerlogik 534 gesteuert. Die Synchronisierungs-FIFO-Steuerlogik 534 empfängt den eingehenden S_Tkt, um die Eingabezeiger-Logik 530 (sowie das Eingangsregister 516) zu betreiben und das Laden des von der Eingabezeiger-Logik 530 gewählten Registers 520 zu besorgen. In ähnlicher Weise empfängt die Synchronisierungs-FIFO-Steuerlogik 534 das routeneigene, lokale Taktsignal (Empf-Tkt), um damit die Entnahmezeiger-Logik 532 zu steuern.Each of the port entrances 502 has essentially an identical structure, so that the description of one of them is applicable to all others. Accordingly, as in 20A illustrates the detailed block diagram of the port entrance 502 0 shown for port 0. The port entrance 502 0 receives each 9-bit data / command symbol on an input register 516 where it is buffered by the accompanying transmit clock (S_Tkt). The received symbols are then from the input register 516 passed on and, also by the S_Tkt, to a clock synchronization FIFO 518 be created. With the clock synchronization FIFO 518 From a logic point of view, it is the same as that in the 8A and 8B is illustrated and that in the interface units 24 of CPUs 12 is used. In this Fa11, the clock synchronization FIFO comprises 518 , as in 20A shown a plurality of registers 520 which parallel the output signals of the input register 516 receive. Each of the registers 520 is assigned a two-stage validity bit synchronizer (G), which in 20B is presented in more detail and discussed below. The content of each of the registers 520 together with the one-bit content of each associated two-step valid bit synchronizer 522 to a multiplexer 524 is created and the selected register is synchronized by a pair of registers 526 from the elastic FIFO 506 taken. The selection of the register 520 which contains the content of the input register 520 is determined by the state of the input select signal, which is from an input pointer logic unit 530 is delivered; and the selection of the register 520 that its content about the MUX 524 to the registers 526 provides, is determined by the state of an extraction selection signal, which by an extraction pointer logic 532 is delivered. The entry and exit pointer logic 530 . 532 are from the synchronization FIFO control logic 534 controlled. The synchronization FIFO control logic 534 receives the incoming S_Tkt to the input pointer logic 530 (as well as the input register 516 ) operate and load the from the input pointer logic 530 selected register 520 to get. Similarly, the synchronization FIFO control logic receives 534 the router's own, local clock signal (receive clock), in order to use the extraction pointer logic 532 to control.
Der folgende kurze Exkurs behandelt unter Bezugnahme auf 20B etwas mehr ins Detail gehend den Gültigkeitsbit-Synchronisieren 522, welcher ein D-Flipflop 541 mit Aktivierfunktion, ein Verzögerungselement 541a, ein ODER-Glied 541b, ein D-Flipflop 542 (mit Setz/Rücksetz/Aktivierungs-Fähigkeit, um die in der weiter unten dargestellten Wahrheitstabelle gezeigten Funktionen bereitzustellen), und ein D-Flipflop 543 umfasst. Das D-Flipflop 541 ist entsprechend verkoppelt, um die Ausgangssignale der ÜBERSPRINGEN-Prüflogik 541 an seinem Dateneingang (D) zu empfangen. Der Aktivierungs-Eingang des Flipflop 541 empfängt die von dem Eingabezeiger 530 gelieferte, decodierte Information, Eingabewahl, und der Takt-Eingang (Tkt) des Flipflop 541 empfängt den eingehenden Sendetakt (S_Tkt), welcher die eingehenden Symbole begleitet. Der Ausgang (Q) des Flipflop 541 wird an einen Eingang des ODER-Glieds 541b und, über das Verzögerungselement 541a, auch an dessen anderen Eingang angelegt. Der Ausgang (Q) des Flipflop 541 wird (auf einen logischen Zustand "eins") gesetzt, wenn das von der Zeigerlogik 530 (20A ) kommende Eingabewahl-Signal das Register 520 des FIFOs auswählt, welchem der Gültigkeitsbit-Synchronisierer zum Empfang des nächsten Symbols – falls es sich dabei nicht um ein ÜBERSPRINGEN-Symbol handelt – zugeordnet ist.The following brief digression deals with reference to 20B valid bit synchronization in more detail 522 which is a D flip-flop 541 with activation function, a delay element 541a , an OR gate 541b , a D flip-flop 542 (with set / reset / enable capability to provide the functions shown in the truth table shown below) and a D flip-flop 543 includes. The D flip-flop 541 is coupled accordingly to the output signals of the SKIP test logic 541 at its data input (D). The activation input of the flip-flop 541 receives the from the input pointer 530 provided, decoded information, input choice, and the clock input (Tkt) of the flip-flop 541 receives the incoming send clock (S_Tkt), which accompanies the incoming symbols. The output (Q) of the flip-flop 541 is connected to an input of the OR gate 541b and, via the delay element 541a , also created at its other entrance. The output (Q) of the flip-flop 541 is set (to a logic state "one") if this is from the pointer logic 530 ( 20A ) incoming input signal the register 520 of the FIFO selects which of the validity bit synchronizers to receive the next symbol - if it is not a SKIP symbol - is assigned.
Das Verzögerungselement 541a und das ODER-Glied 541b werden betrieben, um eine Impulsdehnungsschaltung herkömmlicher Bauart zu bilden, die gewährleistet, dass das Signal an dem Setz-Eingang des Flipflops 542 eine Dauer von zumindest einem Taktintervall hat. Da dies der Fall ist, und da bekannt ist, dass die Signale des lokalen (routereigenen) Empfangstaktes (Empf-Tkt) und des empfangenen Sendetaktes (S_Tkt) ähnliche, um nicht zu sagen identische Frequenzen aufweisen, wird klar dass zumindest ein aktiver Übergang des Empfangstaktes es dem Flipflop 542 erlaubt, durch Setzen des Ausgangs (Q) des Flipflops das gedehnte Signal aufzuzeichnen (siehe die Wahrheitstabelle weiter unten). Das D-Flipflop 543 fungiert als zusätzliche Synchronisierungsstufe, indem es ein stabiles Niveau am G-Ausgang in Bezug auf den lokalen Empf-Tkt gewährleistet. Das Entnahmewahl-Signal, eine decodierte Information des Entnahmezeigers 532, wird an den Aktivierungs-Eingang des Flipflop 532 angelegt und erlaubt es dem Entnahme-Signal (einem von der Synchronisierungs-FIFO-Steuereinheit 534 kommenden, periodischen Impuls), das Gültigkeitsbit auf diesem Gültigkeits-Synchronisierer 522 zu löschen, nachdem das zugeordnete Register 520 gelesen worden ist. Wahrheitstabelle
Zusammenfassend gesprochen wird der Gültigkeits-Synchronisierer 522 betrieben, um ein "Gültig"-Signal (G) auszugeben, wenn ein Symbol in ein Register 520 des FIFO 518 geladen wird, mit welchem dieses Symbol als ein gültiges Symbol identifiziert wird. Wenn es sich andererseits bei dem Symbol um ein ÜBERSPRINGEN-Symbol handelt, so nimmt der Ausgang der ÜBERSPRINGEN-Prüflogik 540 einen L-Zustand an, was bewirkt, dass das Flipflop 541 (d. h. der Datenausgang (Q)) auf Null bleibt, wodurch angezeigt wird, dass das zugeordnete Symbol nicht gültig ist und ignoriert werden sollte.In summary, the validity synchronizer is used 522 operated to issue a "valid" signal (G) when a symbol is in a register 520 of the FIFO 518 with which this symbol is identified as a valid symbol. If, on the other hand, the symbol is a SKIP symbol, the output of the SKIP test logic takes off 540 an L state, causing the flip-flop 541 (ie the data output (Q)) remains at zero, indicating that the associated symbol is not valid and should be ignored.
Der Inhalt des Eingangsregisters 516, um nun mit 20A fortzufahren, wird auch an die ÜBERSPRINGEN-Prüflogik 540 angelegt. Der Empfang eines ÜBERSPRINGEN-Befehlssymbols bewirkt, wenn er von der ÜBERSPRINGEN-Steuerlogik 540 erkannt wird, dass die Funktion der Eingabezeigerlogik 530 gehemmt wird und das Laden des betreffenden Symbols in das Taktsynchronisierungs-FIFO 518 während des einen begleitenden Taktintervalls des Sendetakts verhindert wird Der Empfang eines ÜBERSPRINGEN-Befehlssymbols führt nicht dazu, dass der Eingabezeiger 530 vorgerückt wird oder dass das Gültigkeitsbit G gesetzt wird, da nämlich in der Praxis die Entnahme-Seite des FIFO in keiner Weise über den Empfang des ÜBERSPRINGEN-Symbols durch die Eingabe-Seite informiert wird.The content of the input register 516 to now use 20A Continuing will also be done to the SKIP test logic 540 created. The receipt of a SKIP command symbol results when it is from the SKIP control logic 540 is recognized that the function of the input pointer logic 530 is inhibited and the loading of the relevant symbol into the clock synchronization FIFO 518 is prevented during the one accompanying clock interval of the transmit clock. Receiving a SKIP command symbol does not cause the input pointer 530 is advanced or that the validity bit G is set, because in practice the withdrawal side of the FIFO is in no way informed of the receipt of the SKIP symbol by the input side.
Eingehende Daten-/Befehlssymbole, welche von der Registerpipeline 526 weitergereicht werden, werden ebenfalls an die Befehlsdecodierlogik 544 angelegt, wo jegliche Befehlssymbole des eingehenden Datenstroms decodiert werden und dazu verwendet werden, die FIFO-Steuerlogik 546 zu steuern. Ausser Ihrer Funktion beim Betreiben der elastischen FIFOs 506, wird die FIFO-Steuerlogik 546 betrieben, um die erforderlichen Handshake-Signale an die Portausgänge 504 zu generieren, welche die Symbole über die Kreuzschienenlogik 500 von dem Porteingang 5020 empfangen.Incoming data / command symbols, which from the register pipeline 526 passed on are also passed to the command decoding logic 544 where any command symbols of the incoming data stream are decoded and used to create the FIFO control logic 546 to control. Except your function in operating the elastic FIFOs 506 , the FIFO control logic 546 operated to send the necessary handshake signals to the port outputs 504 to generate the symbols using the crossbar logic 500 from the port entrance 502 0 receive.
Die Befehls-/Datensymbole werden auch an die Protokoll- und Paketprüflogik 550 angelegt, welche betrieben wird, um das Linkebenen- und Paketprotokoll zu überprüfen, und zwar einschliesslich des (weiter unten beschriebenen) Linkebenen-Halteprotokolls, der Nachrichtenpaket-Terminierungsprüfungen, usw.The command / data symbols are also sent to the protocol and packet check logic 550 which operates to check the link level and packet protocol, including the link level hold protocol (described below), message packet termination checks, etc.
Diese Symbole, die keine Befehlssymbole sind (welche, wenn sie aufgefunden werden, aus dem Symbolstrom entfernt werden), d. h. die Datensymbole, werden an das elastische FIFO 506 weitergereicht und dort gespeichert, um in der Folge, wenn auf sie zugegriffen wird, an die Kreuzschienenlogik 500 übermittelt zu werden. Die Bestimmungsort-ID des Nachrichtenpakets wird ebenfalls an eine Zielport-Auswahllogik 560 übermittelt. Die Zielport-Auswahllogik 560 wird betrieben, um ausgehend von der empfangenen Bestimmungsort-ID und von Informationen aus bestimmten Konfigurationsregistern des Routers die "Zielport-Adresse" des Portausgangs 504 zu bestimmen, an welche die Nachricht zum Zweck der Übertragung zu leiten ist. Die Zielport-Auswahllogik 560 generiert einen drei Bit umfassenden Code, der an die Kreuzschienenlogik 500 angelegt wird und von dieser dazu verwendet wir, um die richtige Quervernetzung zu erstellen.These symbols, which are not command symbols (which, if found, are removed from the symbol stream), ie the data symbols, are sent to the elastic FIFO 506 passed on and stored there, in order subsequently, when they are accessed, to the crossbar logic 500 to be transmitted. The destination ID of the message packet is also sent to a destination port selection logic 560 transmitted. The destination port selection logic 560 is operated to determine the "destination port address" of the port output based on the received destination ID and information from certain configuration registers of the router 504 to determine to whom the message should be sent for the purpose of transmission. The destination port selection logic 560 generates a three-bit code that is connected to the crossbar logic 500 is created and used by it to create the correct cross-linking.
Der ausgewählte Portausgang 504 muss jedoch "aktiviert" sein, um Nachrichtenpakete von dem Porteingang 5020 empfangen zu können. Zu diesem Zweck beinhaltet der Porteingang 5020 ein 6-Bit-Portfreigaberegister 652, welches Informationen darüber enthält welche Portausgänge 504 berechtigt sind, Nachrichtenpakete von dem Porteingang 5020 zu empfangen. Jede Bitposition des Portfreigaberegisters 562 entspricht einem Portausgang 504 und abhängig von dem Zustand der jeweiligen Bitposition kann der entsprechende Portausgang "aktiviert" sein, so dass ein Nachrichtenverkehr von dem Porteingang zu ihm hin möglich ist, oder "deaktiviert", in welchem Fall kein Nachrichtenverkehr von dem Eingang 5020 zu ihm geleitet werden kann. Angenommen zum Beispiel der Porteingang 5020 beginnt, ein Nachrichtenpaket zu empfangen, das eine Bestimmungsort-Information enthält, welche die Zielport-Auswahllogik veranlassen würde, den Portausgang 5044 als Zielport anzugeben. Es sei jedoch weiterhin angenommen, dass der Zustand des Portfreigaberegisters 562 entsprechend beschaffen ist, so dass es dem Portausgang 5044 nicht erlaubt ist, Nachrichtenverkehr von dem Porteingang 5020 zu empfangen. Da dies der Fall ist, verhindert der Inhalt des Portfreigaberegisters 562, dass irgendeine von der Zielport-Auswahllogik 506 erstellte Auswahlinformation an die Kreuzschienenlogik 500 angelegt wird. Das Paket wird vielmehr verworfen und ein Fehlersignal wird erstellt, um anzuzeigen, dass der Routen 14A ein Paket empfangen hatte, das für einen Port bestimmt war, welcher für den Port, an dem das Paket empfangen worden war, als Zielport nicht erlaubt war. Der Fehler wird über den OLZP 285' (19A) an den IP 18 gemeldet.The selected port output 504 however, must be "enabled" to receive message packets from the port inbox 502 0 to be able to receive. For this purpose, the port entrance includes 502 0 a 6-bit port release register 652 , which contains information about which port outputs 504 are entitled to receive message packets from the port 502 0 to recieve. Each bit position of the port enable register 562 corresponds to a port exit 504 and depending on the state of the respective bit position, the corresponding por output be "activated" so that message traffic from the port entrance to it is possible, or "deactivated", in which case no message traffic from the entrance 502 0 can be directed to him. For example, suppose the port entrance 502 0 begins to receive a message packet containing destination information that would cause the destination port selection logic to exit the port 504 4 to be specified as the destination port. However, it is still assumed that the state of the port release register 562 is appropriately designed so that it is the port exit 504 4 is not allowed to send traffic from the port entrance 502 0 to recieve. As this is the case, the content of the port release register prevents 562 that any of the destination port selection logic 506 created selection information to the crossbar logic 500 is created. Rather, the packet is discarded and an error signal is generated to indicate that the routes 14A received a packet that was destined for a port that was not allowed as the destination port for the port on which the packet was received. The error is about the OLZP 285 ' ( 19A ) to the IP 1 8 reported.
Das Portfreigabemerkmal dient daher dazu, gezielt bestimmte Routing-Pfade durch den Routen 14 zu verhindern. Dieses Merkmal kann einen wichtigen Mechanismus bei der Verhinderung von Systemblockierungszuständen darstellen. Ein Systemblockierungszustand tritt dann ein, wenn ein zur Übermittlung von Nachrichten dienendes Netzwerk "Routingschleifen" enthält, welche aus Routinggeräten und Verbindungs-Links gebildet werden. Dies läuft so ab, dass eine Nachricht, die an einem Routinggerät empfangen wird, davon abgehalten wird, den Routen an einem bestimmten Ausgangsport zu verlassen, da bereits eine andere Nachricht gerade über diesen Port geleitet wird. Diese andere Nachricht wird jedoch ihrerseits an einem anderen Routinggerät durch eine dritte Nachricht blockiert, und so weiter. Alle Nachrichten werden jeweils in einer kreisförmigen Schleife blockiert. Es bewegt sich nichts mehr, da jede Nachricht in der Schleife von einer anderen Nachricht in der Schleife blockiert wird und ihrerseits eine andere Nachricht in der Schleife blockiert; die Nachrichten blockieren einander gegenseitig. Ohne sachgemässem Entwurf kann es bei grossen Routernetzwerken unter Umständen zu einer ganzen Reihe von systemblockadeträchtigen Umgebungen kommen, welche zu Gruppen von Nachrichtenpaketen führen, die in dem Übertragungsnetzwerk nicht mehr weiter kommen, und zwar aufgrund solcher zirkulärer Abhängigkeiten, bei denen ein jedes Nachrichtenpaket aus der Gruppe von Nachrichtenpaketen warten muss bis ein anders Paket weiter vorangekommen ist bevor es selber Zugang einem Verbindungs-Link erhält. Dank der Möglichkeit, die Freigabe bestimmter Übermittlungspfade durch den Router zu deaktivieren, wird es möglich, sämtliche möglicherweise auftretenden Routingschleifen zu eliminieren und somit das Auftreten von Systemblockadezuständen zu vermeiden.The port release feature is therefore used to target specific routing paths through the routes 14 to prevent. This feature can be an important mechanism in preventing system stall conditions. A system blocking state occurs when a network used for the transmission of messages contains "routing loops" which are formed from routing devices and connection links. This is done in such a way that a message that is received at a routing device is prevented from leaving the routes at a specific output port, since another message is already being routed via this port. However, this other message is blocked on another routing device by a third message, and so on. All messages are blocked in a circular loop. Nothing moves since each message in the loop is blocked by another message in the loop and in turn blocks another message in the loop; the messages block each other. Without proper design, a large number of system-block-prone environments can arise in large router networks, which lead to groups of message packets that can no longer progress in the transmission network, because of such circular dependencies in which each message packet from the group of message packets has to wait until another packet has made further progress before it itself gets access to a connection link. Thanks to the option of deactivating the release of certain transmission paths by the router, it becomes possible to eliminate any routing loops that may occur and thus to avoid the occurrence of system blockages.
Natürlich besteht der beste Schutz gegen Routingschleifen und möglicherweise daraus entstehende Systemblockaden in erster Linie darin, sicherzustellen, dass zur Auswahl der Zielportadresse ordnungsgemässe Routinginformationen verwendet werden, so dass ein eingehendes Nachrichtenpaket nicht zu einem Ausgangsport des Routers 14 geleitet werden, der Teil einer Routingschleife sein könnte. Durch die Fähigkeit, die Freigabe bestimmter Routingpfade durch den Router 14 zu deaktivieren, wie dies durch die Portfreigaberegister möglich ist, kann gewährleistet werden, dass Routingfehler oder sonstige Fehler nicht zu Systemblockadezuständen führen. Die Realisierung dieses Konzepts wird weiter unten im Detail besprochen.Of course, the best protection against routing loops and possibly resulting system blockages is primarily to ensure that proper routing information is used to select the destination port address so that an incoming message packet does not go to an exit port of the router 14 routed, which could be part of a routing loop. By the ability to share certain routing paths through the router 14 Deactivating, as is possible with the port release registers, can ensure that routing errors or other errors do not lead to system blockages. The implementation of this concept is discussed in detail below.
Auch hier wieder, um nun mit 20A fortzufahren, werden wenn die Header der eingehenden Nachrichtenpakete empfangen werden die Bestimmungsort-IDs der Reihe nach an die Zielport-Auswahllogik 560 weitergereicht und dort in der Reihenfolge ihres Eintreffens einer Prüfung unterzogen. Die Zielport-Auswahllogik 560 stellt daraufhin eine Zielportadresse zusammen, in welcher der zugeteilte Portausgang angegeben ist. Diese Adresse wird an die Kreuzschienenlogik 500 angelegt, welche die Auswahl der entsprechenden Kreuzschiene vornimmt, die die Ausgangsdaten des das Nachrichtenpaket empfangenden, elastischen FIFOs 506 an den korrekten Portausgang 504 übermittelt – vorausgesetzt, wie weiter oben erwähnt, der ausgewählte Portausgang 504 ist für die Annahme der Porteingangsdaten freigegeben. (Falls es sich bei dem Router 14 um einen im Duplexbetrieb arbeitenden Router mit direkter TNet-Anbindung an die CPUs 12 handelt, wird ein eingehendes Nachrichtenpaket, das für die CPUs bestimmt ist, von der Kreuzschienen-Logikeinheit insofern dupliziert, als es gleichzeitig an beide Portausgänge 5049 und 5045 geleitet wird.) Die Zielport-Auswahllogik 560 wird im Detail in 21A veranschaulicht, und beinhaltet, wie in der Figur dargestellt, ein Bestimmungsortregister 570, welches von den elastischen FIFOs 506 der Portausgänge 502 ( 19 und 22A) die 3 Byte umfassende Bestimmungsort-ID des eingehenden Pakets empfängt. Die Bestimmungsort-ID beinhaltet die folgenden drei bereits weiter oben in Verbindung mit 3B besprochenen Felder: Regions-ID, Geräte-ID, und ein 1-Bit-Feld welches das Pfadauswahlbit (P) enthält. Die Regions-ID gibt, wie schon der Name sagt, einen Bestimmungsort nach Region an und die Geräte-ID gibt das konkrete Gerät innerhalb dieser Region an. Das Pfadauswahlbit (P) gibt an, welcher der beiden Pfade (X oder Y) verwendet werden soll, um auf zwei Subprozesseinheiten des Geräts zuzugreifen.Again, to now with 20A To continue, when the headers of the incoming message packets are received, the destination IDs will be sent to the destination port selection logic in order 560 passed on and subjected to an examination in the order in which they arrive. The destination port selection logic 560 then compiles a destination port address in which the assigned port output is specified. This address is sent to the crossbar logic 500 created, which makes the selection of the corresponding crossbar, the output data of the elastic FIFO receiving the message packet 506 to the correct port exit 504 transmitted - provided, as mentioned above, the selected port output 504 is approved for the acceptance of the port incoming data. (If it is the router 14 a router working in duplex mode with a direct TNet connection to the CPUs 12 an incoming message packet destined for the CPUs is duplicated by the crossbar logic unit in that it is sent to both port outputs simultaneously 504 9 and 504 5 The destination port selection logic 560 is detailed in 21A and includes, as shown in the figure, a destination register 570 which of the elastic FIFOs 506 the port exits 502 ( 19 and 22A ) receives the 3-byte destination ID of the incoming packet. Destination ID includes the following three in connection with 3B discussed fields: region ID, device ID, and a 1-bit field which contains the path selection bit (P). The region ID, as the name suggests, indicates a destination by region and the device ID indicates the specific device within this region. The path selection bit (P) indicates which of the two paths (X or Y) should be used to access two subprocess units of the device.
Die Router 14 schaffen die Fähigkeit, ein grossdimensioniertes, vielseitiges Routingnetzwerk zum Beispiel für massiv parallele Verarbeitungsarchitekturen aufzubauen. Die Router werden entsprechend ihrer Anordnung (d. h. Ebene) in dem Netzwerk durch die Information konfiguriert, welche in gewissen in der Steuerlogik 509 eines Routers enthaltenen Konfigurationsregistern festgelegt ist. Diese Konfigurationsregister sind in 21A dargestellt, und zwar als obere Regions-ID-Register 509a, untere Regions-ID-Register 509b, HiLo-Register 509c, Vorgabe-Register 509d, Quervernetzungsport-Register 509 d, Leitweg-zu-Standard-Register 509f, Geräte-ID-Vergleichs-Register 509g und Seitenregister 509h. Zwei zusätzliche Konfigurationsregister werden in 21C als Gerätepositions- und Mit-Register 509j bzw. 509k. gezeigt. Der Inhalt dieser verschiedenen Konfigurationsregister bestimmt gemeinsam mit der Bestimmungsort-ID und dem begleitenden Pfadauswahlbit (P) eines Nachrichtenpakets die Auswahl des Portausgangs 504, zu welchem das Nachrichtenpaket durch die Querschienenlogik 500 geleitet wird.The routers 14 create the ability to build a large, versatile routing network, for example for massively parallel processing architectures. The routers are configured according to their arrangement (ie level) in the network by the information contained in certain in the control logic 509 configuration registers contained in a router. These configuration registers are in 21A shown as an upper region ID register 509 a , Lower Region ID Register 509 b , HiLo register 509 c , Default register 509 d , Cross-Link Port Register 509 d , route-to-standard register 509 f , Device ID comparison register 509 g and page register 509 h . Two additional configuration registers are in 21C as device position and co-register 509 j or 509 k . shown. The content of these various configuration registers, together with the destination ID and the accompanying path selection bit (P) of a message packet, determine the selection of the port output 504 to which the message packet through the crossbar logic 500 is directed.
Die Ebene eines Routers ist mitbestimmend dafür, welche Abschnitte der Bestimmungsort-ID bei der Auswahl eines Zielports verwendet werden und ob eine algorithmische Adressauswahl verwendet werden kann. Zu diesem Zweck ist die Regions-ID weiterhin in zwei überlappende 10-Bit-Ebenenbezeichnungen unterteilt. Die wichtigsten 10 Bit des Inhalts der Regions-ID werden als die obere Ebene definiert, während die weniger wichtige 10 Bits der Regions-ID eine untere Ebene darstellen. Die beiden Ebenenbezeichnungen werden jeweils an einem entsprechenden der beiden 10-Bit-Eingänge eines Multiplexers 572 angelegt. Der Multiplexer 572 wählt einen der beiden 10-Bit-Eingänge als Reaktion auf den Inhalt des die (obere oder untere) Router-Ebene angebenden HiLo-Registers 509 aus und führt die ausgewählten 10 Bits einer Routing-Tabelle 584 als Adresse zu.The level of a router determines which sections of the destination ID are used when selecting a destination port and whether an algorithmic address selection can be used. For this purpose, the region ID is further divided into two overlapping 10-bit level labels. The most important 10 bits of the content of the region ID are defined as the upper level, while the less important 10 bits of the region ID represent a lower level. The two level designations are each on a corresponding one of the two 10-bit inputs of a multiplexer 572 created. The multiplexer 572 selects one of the two 10-bit inputs in response to the content of the HiLo register indicating the (upper or lower) router level 509 and executes the selected 10 bits of a routing table 584 as an address to.
Die 20A und 21A veranschaulichen die Porteingänge 502 und zeigen, dass jeder über eine eigene, individuelle Zielport-Auswahllogik 560 und Routing-Tabelle 584 verfügt. Für einschlägig gebildete Fachleute ist jedoch offensichtlich, dass aus Gründen der Platzersparnis eine einzige Routing-Tabelle zur gemeinsamen Verwendung durch die Zielport-Auswahllogiken aller sechs Porteingänge 502 verwendet werden kann. Die Ausgabedaten des Multiplexers 572 können ihrerseits an die Routing-Tabelle 584 (die in der Zustands- und Steuerlogik enthalten sein kann) multiplexiert werden, und zwar auf der Basis einer Zuordnungsentscheidung, unter Verwendung eines herkömmlichen Verfahrens der zyklischen Zuordnung Das Ergebnis des Zugriffs auf die Routing-Tabelle wird an den Eingang des Multiplexers 586 zurückgegeben und an diesen angelegt. Der Einfachheit halber werden diese Schritte der Zuordnungsentscheidung und des Multiplexens in 21 nicht dargestellt.The 20A and 21A illustrate the port entrances 502 and show that everyone has their own, individual destination port selection logic 560 and routing table 584 features. However, it will be apparent to those of skill in the art that, for the sake of saving space, a single routing table for common use by the destination port selection logic of all six port inputs 502 can be used. The output data of the multiplexer 572 can in turn go to the routing table 584 (which may be included in the state and control logic) can be multiplexed, based on an assignment decision, using a conventional cyclic assignment method. The result of access to the routing table is sent to the input of the multiplexer 586 returned and applied to this. For simplicity, these allocation decision and multiplexing steps are shown in 21 not shown.
Die 4 wichtigsten Bits der Regions-ID werden ausserdem an eine 4-Bit-Vergleichsschaltung 574 angelegt, wo sie mit dem Inhalt eines 'obere Regions-ID'-Registers 509a verglichen werden. Die am wenigsten bedeutenden 10 Bits der Regions-ID werden an eine Vergleichsschaltung 587 gekoppelt, wo sie mit dem Inhalt des 'untere Regions-ID'-Registers 509b verglichen werden.The 4 most important bits of the region ID are also sent to a 4-bit comparison circuit 574 created where it contains the content of an 'upper region ID' register 509 a be compared. The least significant 10 bits of the region ID are sent to a comparison circuit 587 where it is linked to the content of the 'Lower Region ID' register 509 b be compared.
Die Routing-Tabelle 584, die zum Beispiel die Form eines Schreib-Lese-Speichers haben kann, wird betrieben, um eine Mehrzahl von 3-Bit-Zielportangaben zu speichern. Wenn von dem einen oder anderen 10-Bit-Abschnitt der Regions-ID auf sie zugegriffen wird, werden die drei Bits an Zielport-Auswahlinformation an einen Eingang des Multiplexers 586 gekoppelt; der andere Eingang des Multiplexers 586 empfängt den 3 Bit umfassenden Inhalt des Standardportregisters 509d. Die Auswahl der Ausgangsdaten der Routing-Tabelle 584 durch den Multiplexer 586 erfolgt entweder über den Inhalt des HiLo-Registers 509 c, im Fall einer EINS (wodurch angezeigt wird, dass es sich bei dem Router um einen Router der oberen Ebene handelt), oder über einen erfolgreichen Vergleich zwischen dem Inhalt des 'obere Regions-ID'-Register 509a und den vier MSBs der Regions-ID durch die Vergleichsschaltung 574 (wodurch angezeigt wird, dass der Bestimmungsort in derselben "hohen Region" gelegen ist wie dieser "Router niedriger Ebene"). Ist keine dieser Bedingungen erfüllt, so wählt der Multiplexer 586 stattdessen den (3 Bit umfassenden) Inhalt des Standard-Port-Registers 509d als Zielportangabe aus.The routing table 584 For example, which may take the form of a random access memory, is operated to store a plurality of 3-bit destination port information. When accessed by one or another 10-bit portion of the region ID, the three bits of destination port selection information are passed to an input of the multiplexer 586 coupled; the other input of the multiplexer 586 receives the 3-bit content of the standard port register 509 d , The selection of the output data from the routing table 584 through the multiplexer 586 takes place either via the content of the HiLo register 509 c , in the case of a ONE (indicating that the router is an upper-level router), or through a successful comparison between the contents of the 'upper region ID' register 509 a and the four MSBs of the region ID by the comparison circuit 574 (indicating that the destination is in the same "high region" as this "low level router"). If none of these conditions are met, the multiplexer chooses 586 instead, the (3-bit) content of the standard port register 509 d as the destination port information.
Die Routing-Tabelle 584 kann jede beliebige Grösse haben. Für einschlägig gebildete Fachleute ist jedoch klar, dass die Grösse der Routing-Tabelle 584 von Faktoren wie zum Beispiel der Anzahl der adressierbaren Elemente in dem System, in welchem der Router verwendet wird, und dem für die Tabelle verfügbaren Speicherplatz bestimmt wird. Die Zielport-Auswahllogik 560 führt einen neuartigen Kompromiss ein, welcher darin besteht, sofern erforderlich eine Tabellen-Nachschlagetechnik zu verwenden, und falls dies nicht erforderlich ist, ein algorithmisches Routingverfahren zu benutzen, um Platz in der Routing-Tabelle zu sparen. Diese Kombination ermöglicht es, eingehende Nachrichtenpakete an jeden beliebigen der sechs verfügbaren Ports des Routers 14 zu leiten und auch von diesem aus weiterzuübertragen und schafft so eine sehr vielseitige Routingfähigkeit.The routing table 584 can be any size. However, it is clear to experts with relevant training that the size of the routing table 584 factors such as the number of addressable elements in the system in which the router is used and the space available for the table. The destination port selection logic 560 introduces a novel compromise, which is to use a table lookup technique if necessary and, if not, to use an algorithmic routing technique to save space in the routing table. This combination enables incoming message packets to be sent to any of the six available ports on the router 14 to route and also to transmit from this and thus creates a very versatile routing ability.
Die von dem Multiplexer 586 ausgewählte, 3 Bit umfassende Zielportangabe wird an einen (3 Bit umfassenden) Eingang eines weiteren Multiplexers 590 übermittelt, welcher zwischen den Ausgangsdaten des Multiplexers 586 und dem 3 Bit umfassenden Inhalt des Quervernetzungsportregister 509 auswählt. Welcher der beiden Werte ausgewählt wird, wird von der Seite (z. B. X oder Y) bestimmt, auf welcher der Endbestimmungsort gelegen ist, was durch den Zustand des Pfadauswahlbits (P) der eingehenden Nachricht angezeigt wird. Das Pfadauswahlbit (P) des eingehenden Nachrichtenpakets wird durch die Vergleichslogik 592 mit dem Inhalt des Seitenregisters 509h verglichen, wobei die von dem Multiplexer 590 zu treffende Auswahl durch die Ausgabedaten der Vergleichslogik bestimmt wird. Befindet sich der Router nicht auf der Seite (X oder Y), für welche das Nachrichtenpaket bestimmt ist, so beeinflussen die Ausgabedaten der Vergleichslogik 592 die Auswahl des Inhalts des Quervernetzungsportregisters 509e entsprechend. Dadurch wird das Nachrichtenpaket zu jenem Portausgang 504 geleitet, welcher entweder auf direktem oder auf indirektem Weg (d. h. über einen anderen Router bzw. über andere Router) das Nachrichtenpaket von der X- bzw. der Y-Seite, auf welcher sich der Router befindet, auf die andere Seite leitet, auf der sich der Bestimmungsort des Nachrichtenpakets befindet.The one from the multiplexer 586 selected, 3-bit destination port information is sent to an (3-bit) input of another multiplexer 590 which transmits between the output data of the multiplexer 586 and the 3-bit content of the crosslink port register 509 selects. Which of the two values is selected is determined by the page (e.g. X or Y) on which the final destination is located, which is indicated by the state of the path selection bit (P) of the incoming message. The path selection bit (P) of the incoming message packet is determined by the comparison logic 592 with the content of the page register 509 h compared, being from the multiplexer 590 the selection to be made is determined by the output data of the comparison logic. If the router is not on the side (X or Y) for which the message packet is intended, the output data of the comparison logic influence 592 from Selection of the content of the cross-linking port register 509 e corresponding. This makes the message packet that port exit 504 routed, which either in a direct or indirect way (ie via another router or via other routers) routes the message packet from the X or Y side on which the router is located to the other side on which the destination of the message packet is.
Die von dem Multiplexer 590 getroffene Auswahl wird an den Eingang eines Multiplexers 594 angelegt, dessen Auswahleingang die Ausgangsdaten der UND-Gatter-Logik 596 empfängt. Der Multiplexer 594 wählt zwischen den von dem Multiplexer 590 und einem Multiplexer 598 bereitgestellten Portadressen aus. Der Multiplexer 598 wählt seinerseits zwischen den Ausgangsdaten der algorithmischen Routinglogik 600 und dem Inhalt des Standard-Port-Registers 509d aus. Diese Auswahl wird von der Auswahl- und Vergleichsschaltung 601 getroffen, welche den Inhalt des Geräte-ID(Konfigurations-)Registers 509 und einen ausgewählten Abschnitt der sechs Bits der Geräte-ID der eingehenden Nachricht empfängt. Es ist hier nicht im speziellen dargestellt, dass die jeweiligen Gerätebitpositions- und -expansionsregister 509j bzw. 509k der algorithmischen Routinglogik 600 (21C) ebenfalls an die Auswahl- und Vergleichslogik 601 (21C) angelegt werden. Die in den Gerätebitpositions- und -expansionsregistern 509j und 509k enthaltenen Werte dienen dazu, die Geräte-ID-Bits der Nachricht zu maskieren, so dass nur die nicht von der algorithmischen Routing-Technik verwendeten, höherwertigen Bits der Geräte-ID mit dem Inhalt des Geräte-ID-Registers 5099 verglichen werden.The one from the multiplexer 590 selection is made to the input of a multiplexer 594 created, the selection input of the output data of the AND gate logic 596 receives. The multiplexer 594 chooses between those from the multiplexer 590 and a multiplexer 598 provided port addresses. The multiplexer 598 in turn selects between the output data of the algorithmic routing logic 600 and the content of the standard port register 509 d out. This selection is made by the selection and comparison circuit 601 hit the contents of the device ID (configuration) register 509 and receives a selected portion of the six bits of the device ID of the incoming message. It is not specifically shown here that the respective device bit position and expansion registers 509 j respectively. 509 k algorithmic routing logic 600 ( 21C ) also to the selection and comparison logic 601 ( 21C ) can be created. The in the device bit position and expansion registers 509 j and 509 k The values contained serve to mask the device ID bits of the message, so that only the higher order bits of the device ID not used by the algorithmic routing technology with the content of the device ID register 509 9 be compared.
Eine Übereinstimmung zwischen den ausgewählten (maskierten) Bits der Regions-ID der Nachricht und dem Inhalt des Geräte-ID-Registers 5099 führt zur Auswahl der Ergebnisse des algorithmischen Routers 600 mit dem Multiplexer 598 als möglicher Zieladresse. Wenn zum Beispiel die Regions-ID "abcdef" lautet (wobei a das höherwertige Bit darstellt) und wenn die in den Gerätebitpositions- und -expansionsregistern 509j und 509k enthaltenen Werte dergestalt sind, dass die Bits "def" in dem algorithmischen Prozess verwendet werden, dann werden die Bits "abc" der Regions-ID von der Auswahl- und Vergleichsschaltung 601 mit dem Inhalt des Geräte-ID-Registers 509g verglichen. Wenn umgekehrt die Bits "cdef" für das algorithmische Routing verwendet werden, dann werden nur die Bits "ab" mit dem Inhalt des Geräte-ID-Registers 509g verglichen.A match between the selected (masked) bits of the region ID of the message and the content of the device ID register 509 9 leads to the selection of the results of the algorithmic router 600 with the multiplexer 598 as a possible destination address. For example, if the region ID is "abcdef" (where a is the most significant bit) and if it is in the device bit position and expansion registers 509 j and 509 k contained values are such that the "def" bits are used in the algorithmic process, then the "abc" bits become the region ID from the selection and comparison circuit 601 with the content of the device ID register 509 g compared. Conversely, if the "cdef" bits are used for algorithmic routing, then only the "ab" bits with the content of the device ID register 509 g compared.
Welche Bits der Geräte-ID der Nachricht in den algorithmischen Routingprozess involviert sind und welche nicht, wird auch, wie weiter unten unter Bezugnahme auf 21C besprochen, von den Gerätebitpositions- und -expansionsregistern 509j, 509k bestimmt.Which bits of the device ID of the message are involved in the algorithmic routing process and which are not, is also discussed below with reference to FIG 21C discussed, from the device bit position and expansion registers 509 j . 509 k certainly.
Die algorithmische Routing-Logik 600, deren Funktionsweise weiter unten umfassender beschrieben wird, empfängt die 6 Bit umfassende Geräte-ID sowie Informationen, die von den Gerätebitpositions- und -expansionsregistern 509j, 509k (in 21A aus Gründen der Klarheit nicht dargestellt, siehe 21C) bereitgestellt werden, um daraus eine 3 Bit umfassende Zielportidentität zu erstellen, die anstelle der Zielportidentitäten ausgewählt werden kann, welche von der Routing-Tabelle 584 bzw. dem Inhalt des Standardregisters 509d geliefert werden. Die algorithmische Routing-Logik 600 kommt nur in jenen Fällen zum Einsatz, in denen ein Router als Router unterer Ebene konfiguriert ist.The algorithmic routing logic 600 , the operation of which is described in more detail below, receives the 6-bit device ID and information provided by the device bit position and expansion registers 509 j . 509 k (in 21A not shown for reasons of clarity, see 21C ) are provided in order to create a 3-bit target port identity, which can be selected instead of the target port identities, which are from the routing table 584 or the content of the standard register 509 d to be delivered. The algorithmic routing logic 600 is only used in cases where a router is configured as a lower level router.
Die von dem Multiplexer 594 getroffene Auswahl wird an den letzten Multiplexer 599 angelegt, welcher diese Auswahl bzw. den 3 Bit umfassenden Inhalt des Standardportregisters (je nachdem Zustand des Inhalts des Leitweg-zu-Standard-Registers 509f) an die letzte Station des Auswahlprozesses übergibt: die Prüflogik 602. Die Prüflogik 602 wird betrieben, um den Zustand der Portausgangsdaten zu prüfen, die von dem Produkt der Zielportauswahlentscheidung angezeigt werden: es sind dies die Ausgangsdaten des Multiplexers 599. So muss es sich zum Beispiel um eine gültige Zielportangabe handeln (z. B. nicht 6 oder 7). Es werden auch andere Prüfungen vorgenommen, die unter anderem darin bestehen, zu prüfen, dass der angegebene Portausgang für den konkreten Porteingang, der – wie oben geschildert – Zugriff sucht, "freigegeben" sein muss. Diese letztere Prüfung wird dazu verwendet, um gegenüber Fehlern sicher zu sein, welche zu Routing-Schleifen führen können, die in weiterer Folge Systemblockierungszustände verursachen können.The one from the multiplexer 594 The selection made is sent to the last multiplexer 599 which contains this selection or the 3-bit content of the standard port register (depending on the state of the content of the route-to-standard register 509 f ) to the last stage of the selection process: the test logic 602 , The test logic 602 is operated to check the state of the port output data indicated by the product of the target port selection decision: it is the output data of the multiplexer 599 , For example, it must be a valid destination port specification (e.g. not 6 or 7). Other checks are also carried out, which include, among other things, checking that the specified port exit for the specific port entrance, which - as described above - is looking for access, must be "released". This latter check is used to be safe from errors that can lead to routing loops that can subsequently cause system lockup conditions.
Die Prüflogik 602 empfängt, wie in 21A gezeigt, den Inhalt des Portfreigaberegisters 562 eines jeden der sechs Portausgänge 502. Wie bereits erwähnt, bestimmt der Inhalt eines jeden Portfreigaberegisters 562 für jeden Eingangsport 502 zu welchen Ausgangsports 504 eine eingehende Nachricht weitergereicht werden kann und natürlich auch zu welchen nicht. Wenn somit zum Beispiel Port 0 einen Nachrichtenverkehr empfängt, welcher eine Bestimmungsort-ID enthält, die angibt, dass die Nachricht an den Port 3 zu leiten ist, um von dort aus weiterübertragen zu werden, so erstellt die Auswahllogik 560 eine 3-Bit-Menge, durch welche der Port 3 als Zielport angegeben wird, und legt diese Menge an die Prüflogik 602 an. Falls es sich im weiteren herausstellt, dass eine von Port 3 abgehende Übertragung von Nachrichtenverkehr für eingehenden Nachrichtenverkehr, der an Port 0 empfangen wurde, nicht erlaubt ist, so blockiert der Inhalt des Portfreigaberegisters für Port 0 die Übermittlung der Zielportadresse an die Kreuzschienenlogik 500. Die Nachricht wird statt dessen zu einem nichtexistenten Ausgang der Kreuzschienenlogik 500 geleitet und tatsächlich ausgeschieden, und es wird ein Fehlersignal generiert, durch welches das IP-System 18 benachrichtigt wird.The test logic 602 receives as in 21A shown the content of the port release register 562 each of the six port outputs 502 , As already mentioned, the content of each port release register determines 562 for every input port 502 to which starting ports 504 an incoming message can be passed on and of course not to which. Thus, for example, if port 0 receives message traffic that contains a destination ID that indicates that the message is to be routed to port 3 in order to be retransmitted from there, the selection logic creates 560 a 3-bit set, through which port 3 is specified as the target port, and applies this set to the test logic 602 on. If it further turns out that a transmission of message traffic outgoing from port 3 for incoming message traffic that was received at port 0 is not permitted, the content of the port release register for port 0 blocks the transmission of the destination port address to the crossbar logic 500 , Instead, the message becomes a non-existent exit of the crossbar logic 500 passed and actually eliminated, and an error signal is generated by which the IP system 18 will be notified.
Ist der Port 3 jedoch andererseits für Nachrichtenverkehr, der vom Port 0 zu ihm geleitet wird, freigegeben, so übergibt die Prüflogik 602 die von der Auswahllogik 560 erstellte Zielportangabe an die Kreuzschienenlogik 500, wodurch die Nachricht zu Port 3 geleitet wird.On the other hand, if port 3 is released for message traffic that is routed from port 0 to it, the test logic transfers 602 that of the selection logic 560 created destination port information to the crossbar logic 500 , which routes the message to port 3.
Die Prüflogik 602 ist von herkömmlicher Bauart und umfasst zum Beispiel kombinatorische Logik, die entsprechend strukturiert ist, um die durchzuführenden Prüfungen und Entscheidungen in herkömmlicher Weise zu realisieren.The test logic 602 is of conventional design and includes, for example, combinatorial logic, which is structured accordingly in order to implement the tests and decisions to be carried out in a conventional manner.
Ein Grund dafür, dass die konzeptuelle Hierarchie in obere und untere Ebene visualisiert worden ist, liegt unter anderem in dem Bestreben, die Komponentenzahl der Zielport-Auswahllogik und die Grösse der Routing-Tabelle 584 gering zu halten. Und nicht zuletzt aufgrund ebendieser Hierarchie kann ein Router 14 als Router der oberen Ebene bzw. als Router der unteren Ebene bezeichnet werden und kann er in dem einen oder dem anderen der Subprozessorsysteme 10A, 10B gelegen sein. Ob ein Router ein Router der oberen Ebene oder ein Router der unteren Ebene ist, hängt von der Konfiguration dieses Routers ab, so wie sie durch die Informationen bestimmt wird, die in seine verschiedenen Konfigurationsregister der Steuerlogik 509 geschrieben worden sind, die ausserdem auch darüber Aufschluss geben, welche Abschnitte der Regions-ID der eingehenden Nachricht dazu verwendet werden, um auf die Routing-Tabelle 584 zuzugreifen.One reason why the conceptual hierarchy has been visualized in the upper and lower levels is, among other things, the endeavor, the number of components of the destination port selection logic and the size of the routing table 584 to keep low. And last but not least, because of this hierarchy, a router can 14 can be referred to as a router of the upper level or as a router of the lower level and it can be used in one or the other of the subprocessor systems 10A . 10B be located. Whether a router is an upper level router or a lower level router depends on the configuration of this router, as determined by the information contained in its various configuration registers of control logic 509 have been written, which also provide information about which sections of the region ID of the incoming message are used to refer to the routing table 584 access.
Nach Kenntnisnahme dieser Konzepte kann nun zur Betrachtung der 21B übergegangen werden, welche die Entscheidungstafel 604 zeigt„ die dazu verwendet wird, die letzte Zielportadresse auszuwählen, die dazu dient, den Leitweg eines eingehenden Nachrichtenpakets durch die Kreuzschienenlogik 500 zu dem richtigen Portausgang auszuwählen. Die Entscheidungstafel 604 veranschaulicht die Entscheidungen, welche auf der Basis der Bestimmungsort-ID (und des Pfadauswahlbits P) des eingehenden Nachrichtenpakets und der Konfiguration des betreffenden Routers (d. h. der in 21A gezeigten Register 509a, ..., 509h) getroffen worden sind.After taking note of these concepts, you can now consider the 21B to be passed over to the decision board 604 shows "which is used to select the last destination port address which is used to route an incoming message packet through the crossbar logic 500 to select the correct port output. The decision board 604 illustrates the decisions made based on the destination ID (and path selection bit P) of the incoming message packet and the configuration of the router in question (ie 21A shown register 509 a , ..., 509 h ) have been hit.
Wie 21B zeigt, hat der Inhalt des Leitweg-zum-Standardport-Registers 509 Vorrang vor allen andern Entscheidungen: ist er entsprechend eingestellt, so dass er den Inhalt des Standardportregisters 509d auswählt, so werden sämtliche anderen Informationen (Bestimmungsort-ID, Pfadauswahlbit P, der Inhalt der anderen Konfigurationsregister, usw.) überflüssig.How 21B shows the content of the route to the standard port register 509 Priority over all other decisions: it is set accordingly so that it contains the content of the standard port register 509 d is selected, all other information (destination ID, path selection bit P, the content of the other configuration registers, etc.) becomes superfluous.
Wie weiter oben erklärt, ist jeder Router entweder als Router der oberen oder der unteren Ebene konfiguriert. Die Router-Ebene bestimmt, welche Bits der Bestimmungsort-ID verwendet werden, um auf die Routing-Tabelle 584 zuzugreifen und um zu entscheiden, ob das algorithmische Routingverfahren zu verwenden ist. Router der oberen Ebene (als solche angegeben durch den Inhalt des HiLo-Registers 509c) verwenden entweder die Routing-Tabelle, eine Quervernetzungsadresse oder eine Standardadresse. Router der unteren Ebene (das HiLo-Register 509c enthält eine NULL) verwenden tabellenbasierte, Standard-, Quervernetzungs- und algorithmische Routingverfahren.As explained above, each router is configured as either an upper or lower level router. The router level determines which bits of destination ID are used to point to the routing table 584 to access and decide whether to use the algorithmic routing method. Upper level router (as such indicated by the content of the HiLo register 509 c ) use either the routing table, a cross-linking address or a standard address. Lower level router (the HiLo register 509 c contains a NULL) use table-based, standard, cross-linking and algorithmic routing methods.
Generell werden Router, welche als Router der oberen Ebene konfiguriert sind, dazu verwendet, um Netzwerk-"Wolken" (arbiträre Netzwerke) bestehend aus einer Anzahl von Routern 14 und TNet-Verbindungs-Links L, die eine Anzahl von CPUs 12 und E/A-Geräte 16 untereinander verbinden, wodurch ein Massenparallelverarbeitungssystem (MPP) gebildet wird Es können andere solche MPP-Systeme existieren, und es sind diese als Router der oberen Ebene konfigurierten Router, die in erster Linie dazu verwendet werden, um die Netzwerk-Wolken eines MPP-Systems mit anderen MPP-Systemen zu verbinden.Generally, routers configured as upper level routers are used to create network "clouds" (arbitrary networks) consisting of a number of routers 14 and TNet connection links L, which are a number of CPUs 12 and I / O devices 16 interconnect to form a mass parallel processing (MPP) system. Other such MPP systems may exist, and they are routers configured as upper-level routers that are primarily used to connect to an MPP system's network clouds to connect to other MPP systems.
Im folgenden wird vorübergehend wieder auf die 19 und 20A Bezug genommen, worin veranschaulicht wird, dass die Bestimmungsort-ID eingehender Nachrichtenpakete, wenn sie von der Eingangslogik 502 eines bestimmten Ports empfangen wird, an das elastische FIFO 506 übermittelt wird, und von dem elastischen FIFO 506 weiter an das Register 570 der Zielport-Auswahllogik 560 (21A) übermittelt wird, wo es erfasst wird. Sobald die Bestimmungsort-ID des Nachrichtenpakets auf diese Weise erfasst ist, beginnt der Auswahlprozess, der im Hinblick auf die Herausbildung einer Zielportadresse voranschreitet, die dazu verwendet wird, um das Nachrichtenpaket durch die Kreuzschienenlogik zu dem korrekten Ausgangsport zu leiten – vorausgesetzt dieser Ausgangsport ist freigegeben, und zwar sowohl allgemein als auch für den speziellen Eingangsport, der das Nachrichtenpaket empfängt.The following will temporarily return to the 19 and 20A Reference is made, which illustrates that the destination ID of incoming message packets when received by the inbound logic 502 of a specific port is received to the elastic FIFO 506 is transmitted, and by the elastic FIFO 506 continue to the register 570 the destination port selection logic 560 ( 21A ) is transmitted where it is recorded. Once the destination ID of the message packet is captured in this manner, the selection process begins that proceeds towards the formation of a destination port address that is used to route the message packet through the crossbar logic to the correct exit port - provided that exit port is enabled , both generally and for the particular input port that receives the message packet.
Im folgenden sei unter Bezugnahme auf 21C die algorithmische Routing-Logik 600 im Detail veranschaulicht, welche drei 8-Bit-zu-eins-Multiplexer 620, 622 und 624 umfasst. Die drei Auswahleingänge (A, B, C) eines jeden der Multiplexer 620, 622, 624 empfängt den Inhalt eines 3 Bit umfassenden Gerätepositionsregisters 509j, bei dem es sich um ein anderes der in der Steuerlogik 509 enthaltenen Konfigurationsregister handelt. Die Eingänge (0, 1,...) eines jeden Multiplexers 620, 622, 624 empfangen vorgegebene Bits aus den sechs Bits der Geräte-ID. Der Inhalt des Gerätepositionsregisters 509j steuert die Auswahl jener drei Bits, die als Zielportadresse gemäss der Codierung aus der weiter unten besprochenen Tabelle 4 verwendet werden.The following is with reference to 21C the algorithmic routing logic 600 illustrates in detail which three 8-bit to one multiplexers 620 . 622 and 624 includes. The three selection inputs (A, B, C) of each of the multiplexers 620 . 622 . 624 receives the content of a 3-bit device position register 509 j which is a different one in the control logic 509 contained configuration register. The inputs (0, 1, ...) of each multiplexer 620 . 622 . 624 receive predetermined bits from the six bits of the device ID. The content of the device position register 509 j controls the selection of those three bits that are used as the destination port address in accordance with the coding from Table 4 discussed below.
Die von den Multiplexern 620, 622, 624 ausgewählten drei Bits der Geräte-ID werden nicht unmittelbar verwendet. Die ausgewählten Bits werden vielmehr an die kombinatorische Logik angelegt, welche ein ODER-Glied 626 mit zwei Eingängen sowie drei UND-Glieder 628 (628a, 628b und 628c) umfasst, abhängig von dem Inhalt eines 2 Bit umfassenden Breite-Registers 509k, bei dem es sich um ein anderes der in der Steuer- und Zustandslogik 509 enthaltenen Konfigurationsregister (21A) handelt. Das Produkt der kombinatorischen Logik ist eine 3 Bit umfassende Zielportangabe. Das Breite-Feld spezifiziert die für die Portauswahl zu verwendende Anzahl an Gerätefeldbits. Ein Wert 0 (Null) in dem Breite-Feld deutet darauf hin, dass alle algorithmisch adressierten Geräte über den Port 0 angeschlossen sind. Ein Wert 3 in dem Breite-Feld deutet darauf hin, dass algorithmisch adressierte Geräte an jedem beliebigen Port angeschlossen werden können.The one from the multiplexers 620 . 622 . 624 selected three bits of the device ID are not used immediately. The selected bits are rather applied to the combinatorial logic, which is an OR gate 626 with two inputs and three AND gates 628 ( 628a . 628b and 628c ), depending on the content of a 2-bit width register 509 k which is a different one in the control and state logic 509 contained configuration register ( 21A ) acts. The product of combinatorial logic is a 3-bit target port specification. The width field specifies the number of device field bits to be used for the port selection. A value of 0 (zero) in the width field indicates that all algorithmic addressed devices are connected via port 0. A value of 3 in the width field indicates this indicates that algorithmic addressed devices can be connected to any port.
Der Inhalt des Gerätefeldbreitenexpansionsregisters 509k spezifiziert die Bitauswahl, die zu verwenden ist, um die Zielportadresse zu bezeichnen, die an die Kreuzschienenlogik 500 angelegt wird. Die Werte und die Bedeutung der Positions- und Breite-Bits sind nachfolgend in den Tabellen 4 uns 5 dargelegt. TABELLE 4 Gerätebit= positionVerwendete Geräte-ID-Bits0002, 1, 0001 3, 2, 10104, 3, 20115, 4, 31005, 41015110NA (Zielport = 0)111" " " " TABELLE 5 Gerätefeldbreiten= expansionNr. des verwendeten ID-Bits00001 1102113The content of the device array width expansion register 509 k specifies the bit selection to use to designate the destination port address that is to the crossbar logic 500 is created. The values and the meaning of the position and width bits are set out below in Tables 4 and 5. TABLE 4 Device bit = position Device ID bits used 000 2, 1, 0 001 3, 2, 1 010 4, 3, 2 011 5, 4, 3 100 5, 4 101 5 110 NA (destination port = 0) 111 """" TABLE 5 Device field widths = expansion No. of the ID bit used 00 0 01 1 10 2 11 3
Tabelle 5 zeigt welche Bits der Geräte-ID des eingehenden Nachrichtenpakets von einem jeden der Multiplexer 620, 622, 624 ausgewählt werden. So werden zum Beispiel für einen (Binär-)Wert 000 in dem Gerätebitpositionsregister 509 von den Multiplexern 620, 622 und 624 jeweils die Bits 2, 1 und 0 aus der Geräte-ID des eingehenden Nachrichtenpakets ausgewählt. Umgekehrt werden, wenn der Inhalt des Gerätebitpositionsregisters 509 den Binärwert 100 aufweist, von den Multiplexern 620 und 622 jeweils nur die Bits 5 und 4 aus der Geräte-ID ausgewählt; für den Ausgang des MUX 624 wird für die verbleibende Bitposition eine NULL erzwungen. Für die (Binär-)Werte 110 und 111 in dem Gerätebitpositionsregister 509 wird von den Multiplexern 620, 622 und 624 jeweils eine NULL erzwungen und somit der Zielport 0 ausgewählt.Table 5 shows which bits of the device ID of the incoming message packet from each of the multiplexers 620 . 622 . 624 to be selected. For example, for a (binary) value 000 in the device bit position register 509 from the multiplexers 620 . 622 and 624 the bits each 2 . 1 and 0 selected from the device ID of the incoming message packet. Conversely, when the content of the device bit position register 509 the binary value 100 has from the multiplexers 620 and 622 only the bits each 5 and 4 selected from the device ID; for the output of the MUX 624 a NULL is forced for the remaining bit position. For the (binary) values 110 and 111 in the device bit position register 509 is used by the multiplexers 620 . 622 and 624 each forced a NULL and thus the destination port 0 selected.
Die von den Multiplexern 620, 622 und 624 auf diese Weise ausgewählten Bits werden gemäss dem Inhalt des Gerätefeldbreitenexpansionsregisters 509k verwendet. Ein Breite-Wert 00 wählt somit, wie in 6 gezeigt, keines der Bits von den Multiplexern 620, 622 und 624 aus und erzwingt dadurch eine Zielportadresse 000. Umgekehrt verwendet ein Breite-Wert 10 in dem Gerätefeldbreitenexpansionsregister 509k zwei der von den Multiplexern 620, 622 und 624 ausgewählten Bits.The one from the multiplexers 620 . 622 and 624 bits selected in this manner are added according to the contents of the device field width expansion register 509 k used. A width value of 00 thus selects, as in 6 shown, none of the bits from the multiplexers 620 . 622 and 624 and thereby forces a destination port address 000. Conversely, uses a width value 10 in the device array width expansion register 509 k two of the multiplexers 620 . 622 and 624 selected bits.
Das Ergebnis ist eine 3 Bit umfassende Zielportnummer mit einer in vielen Fällen eingeschränkten Wertemenge. Bewirkt wird dadurch die Generierung eines 3 Bit umfassenden Feldes, beginnend mit der von dem Inhalt des Registers 509 spezifizierten Bitposition mit einer Breite, die von dem Inhalt des Registers 509k spezifiziert wird.The result is a 3-bit destination port number with a limited amount of values in many cases. This causes the generation of a 3-bit field, starting with that of the content of the register 509 specified bit position with a width that is dependent on the content of the register 509 k is specified.
Im folgenden wird vorübergehend erneut auf die 19 und 21C Bezug genommen, worin gezeigt wird, dass die Ausgangsports 504 für die Reihung der Nachrichtenpakete verantwortlich sind. Generell erfolgt die Inempfangnahme und die Wegeleitung der Nachrichtenpakete durch einen Portausgang 504 in der Reihenfolge ihres Einlangens. Befindet sich allerdings ein Nachrichtenpaket gerade in Übertragung von einem bestimmten Portausgang, so können mehrere andere Pakete zurückgehalten werden, während sie auf ein Freiwerden dieses Portausgangs warten. Dadurch kann es erforderlich werden, auf Zuweisungsentscheidungsmethoden zurückzugreifen, um zwischen diesen Paketen auszuwählen. Dazu kann eine Reihe herkömmlicher Zuweisungsentscheidungstechniken, wie etwa das Entscheidungsverfahren der zyklischen Zuordnung. Die bevorzugte Zuweisungsentscheidungstechnik ist allerdings jene, die in der ebenfalls schwebenden Patentanmeldung 'Biased Routing Arbitration of Message Traffic in a Communications System' (Beeinflusste Routing-Zuweisungsentscheidung von Nachrichtenverkehr in einem Kommunikationssystem), lfd. Nr. 08/469.756, eingereicht am 6. Juni 1995 und an den Abtretungsempfänger der vorliegenden Anmeldung abgetreten.The following is temporarily again on the 19 and 21C Reference, which shows that the output ports 504 are responsible for the order of the message packets. In general, the receiving and routing of the message packets takes place through a port exit 504 in the order of their arrival. However, if a message packet is currently being transmitted from a particular port output, several other packets can be held back while waiting for this port output to become free. This may make it necessary to use assignment decision methods to choose between these packages. This can be done using a number of conventional assignment decision techniques, such as the cyclical assignment decision process. The preferred assignment decision technique, however, is that which was filed on June 6, in pending patent application 'Biased Routing Arbitration of Message Traffic in a Communications System', Serial No. 08 / 469,756 1995 and assigned to the assignee of the present application.
Kurz gesagt beinhaltet jeder Portausgang 504 die autonome Zuweisungsentscheidungslogik 630 (22). Diese Zuweisungsentscheidungseinheiten 630 nehmen Routing-Anforderungen von einem jeden der Porteingänge 502 entgegen und erteilen die entsprechenden Zuweisungen in einer Reihenfolge, welche auf einer Beeinflussungstechnik basiert, bei welcher jeder Porteingang 502 in Kraft ist und wobei ein Beeinflussungswert vorausgesetzt wird, der einen Anteil an der gesamten Bandbreite jedes beliebigen Portausgangs repräsentiert, den dieser zu benutzen berechtigt ist.In short, each port exit includes 504 the autonomous allocation decision logic 630 ( 22 ). These assignment decision units 630 take routing requests from each of the port inputs 502 counter and give the appropriate assignments in an order based on an influencing technique in which each port entrance 502 is in force and assumes an influence value that represents a share of the total bandwidth of any port output that it is authorized to use.
Gemäss dieser Zuweisungsentscheidungstechnik melden die Porteingänge 502, welche Nachrichtenverkehr an einen der Portausgänge 504 zu übermitteln haben, ihre Zugriffsanforderungen an. Wollen zwei oder mehrere Porteingänge auf einen Portausgang zugreifen, so trifft der angeforderte Portausgang eine Prioritätsentscheidung zwischen diesen Porteingängen, indem er den Beeinflussungswert eines jeden von ihnen mit denen der anderen vergleicht und einen davon (z. B. den Porteingang mit dem höchsten Beeinflussungswert) auswählt, dem der Zugriff gewährt wird. Der Porteingang (bzw. die Porteingänge), welche bei dieser Zuweisungsentscheidung keine Berücksichtigung gefunden haben, erhalten neue, modifizierte Beeinflussungswerte, um ihre Erfolgschancen bei der folgenden Zuweisungsentscheidung zu erhöhen; der Porteingang 502, welcher Zugriff erhalten hat, bekommt seinen Beeinflussungswert ebenfalls geändert, jedoch in einer Weise, die seine Chancen für die nächste Zuweisungsentscheidung verringert.According to this allocation decision technique, the port entries report 502 what message traffic to one of the port exits 504 have to submit their access requests to. If two or more port inputs want to access a port output, the requested port output makes a priority decision between these port inputs by comparing the influencing value of each of them with those of the others and selecting one of them (e.g. the port input with the highest influencing value) who is granted access. The port entrance (or the port entrances), which have not been taken into account in this assignment decision, receive new, modified influencing values in order to increase their chances of success in the following assignment decision; the port entrance 502 Those who have been given access also get their influence value changed, but in a way that reduces their chances of making the next assignment decision.
Im folgenden wird auf 22 Bezug genommen, in welcher ein Blockdiagramm des Portausgangs 504n veranschaulicht wird, von dem aus Nachrichtenpakete durch den Router 14A (19A) übertragen werden. Die Grundkomponenten des Portausgangs 504 und deren Funktionen sind wie folgt:The following is on 22 Reference is made in which is a block diagram of the port output 504 n is illustrated from which message packets through the router 14A ( 19A ) be transmitted. The basic components of the port exit 504 and their functions are as follows:
- – die Zuweisungsentscheidungslogik 630, welche betrieben wird, um Prioritätsentscheidungen zwischen Eingabeports zu treffen, wodurch die Reihenfolge bestimmt wird, in welcher die Pakete von dem Ausgangsport übertragen werden;- the allocation decision logic 630 which operates to make priority decisions between input ports, thereby determining the order in which the packets are transmitted from the output port;
- – der Befehlssymbolgenerator 632, der betrieben wird, um (unter Verwendung des Multiplexers 634) Befehlssymbole zu generieren und in den Symbolstrom einzugeben, die erforderlich sind, um die Regeln des Protokolls aufrechtzuerhalten und zu befolgen. Stellt zum Beispiel der Router 14A fest, dass er nicht in der Lage ist zu senden, da das empfangende Element belegt ist, so muss der zugeordnete Portausgang 504"Gegendruck" ausgeben, indem er als Reaktion auf den Empfang eines BELEGT-Befehlssymbols die Übertragung des Nachrichtenpakets stoppt und statt dessen so lange FÜLLEN- oder LEERLAUF-Symbole einfügt bis mit der Übertragung des Nachrichtenpakets fortgefahren werden kann, was durch den Empfang eines BEREIT-Befehlssymbols angezeigt wird. Füllsymbole werden gesendet, wenn der Router ein bereits in Übertragung befindliches Nachrichtenpaket stoppen muss. Befand sich der Router 14A hingegen im Ruhezustand (kein Nachrichtenpaket in Übertragung), als das BELEGT-Symbol empfangen wurde, so sendet er LEERLAUF-Symbole und verzögert den Beginn der Übertragung eines Nachrichtenpakets so lange, bis von jenem Systemelement, das zuvor ein BELEGT-Befehlssymbol übertragen hatte, ein BEREIT-Symbol empfangen wird. Die FÜLLEN-Symbole werden von dem Befehlssymbolgenerator 632 an den Portausgang 504 geliefert. Das Protokoll erfordert auch, dass die Ausgangslogik einen "Halte"-Mechanismus implementieren: darunter ist die periodische Übertragung von Symbolen (d. h. BELEGT, LEERLAUF, falls kein Nachrichtenpaket zur Übertragung ansteht) zu verstehen, die dazu dienen, das empfangende Element darüber zu informieren, dass der Router 14A sich nach wie vor im Betriebszustand befindet. Die Art des Symbols, das für diesen Haltemechanismus verwendet wird, hängt von dem gerade ausgeführten Betriebsmodus ab. Während Perioden, in denen kein Nachrichtenverkehr stattfindet, werden zum Beispiel BEREIT-Symbole verwendet und periodisch mit jedem Taktintervall bzw. Zyklus des Sendetaktes, S Tkt, übertragen. Alternativ dazu werden, wenn ein Portausgang Gegendruck ausgeübt hat, BELEGT-Symbole gesendet. Wird innerhalb eines vorgegebenen Zeitraums (z. B. 10,24 Mikrosekunden) überhaupt kein Signal empfangen, so führt dies zu einer Fehlermeldung, die über den OLZP des Routers (oder der Schnittstelleneinheit) zur Bearbeitung an den IP 18 übermittelt wird.- the command symbol generator 632 that is operated to (using the multiplexer 634 ) Generate and enter command symbols in the symbol stream that are required to maintain and follow the rules of the protocol. For example, the router 14A determines that it is not able to send because the receiving element is busy, the assigned port output must 504 ' Back pressure "by stopping the transmission of the message packet in response to the receipt of a BUSY command symbol and instead inserting FILL or IDLE symbols until transmission of the message packet can continue, which is due to the receipt of a READY command symbol Fill symbols are sent when the router has to stop a message packet that is already being transmitted 14A on the other hand, in the idle state (no message packet in transmission) when the BUSY symbol was received, it sends IDLE symbols and delays the start of the transmission of a message packet until the system element that had previously transmitted a BUSY command symbol READY symbol is received. The FILL symbols are from the command symbol generator 632 to the port exit 504 delivered. The protocol also requires the output logic to implement a "hold" mechanism: this means the periodic transmission of symbols (ie BUSY, IDLE if there is no message packet to be transmitted) that are used to inform the receiving element of this, that the router 14A is still in the operating state. The type of symbol used for this holding mechanism depends on the operating mode currently being carried out. During periods in which there is no message traffic, READY symbols are used, for example, and are transmitted periodically with every clock interval or cycle of the transmission clock, S Tkt. Alternatively, if a port exit has backpressed, BUSY symbols are sent. If no signal is received at all within a specified period of time (e.g. 10.24 microseconds), this leads to an error message that is sent to the IP via the OLZP of the router (or the interface unit) for processing 18 is transmitted.
Es sei hier nur nebenbei erwähnt, dass diese von den Routern 14 beachteten Protokollregeln auch von den CPUs 12 (d. h. den Schnittstelleneinheiten 24) und den E/A-Paket-Schnittstellen 17 eingehalten werden.It should be mentioned here by the way that these are from the routers 14 observed protocol rules also from the CPUs 12 (ie the interface units 24 ) and the I / O packet interfaces 17 be respected.
Und schliesslich ist noch zu erwähnen, dass wenn der Router 14A in dem System 10 (1A) direkt mit den CPUs 12A, 12B kommunizieren soll, und der Duplexbetrieb verwendet wird, eine Duplexbetriebs-Logikeinheit 638 verwendet wird, um den an eine der CPUs 12A, 12B angeschlossenen Portausgang mit dem anderen Portausgang, der ebenfalls an eine der CPUs 12A, 12B angeschlossen ist, zu koordinieren.And finally it should be mentioned that if the router 14A in the system 10 ( 1A ) directly with the CPUs 12A . 12B to communicate, and the duplex mode is used, a duplex mode logic unit 638 is used to connect to one of the CPUs 12A . 12B connected port output with the other port output, which is also connected to one of the CPUs 12A . 12B is connected to coordinate.
Jeder der Portausgänge 504 des Routers 14A ist für die Reihung der Pakete verantwortlich. Generell werden die Pakete in der Reihenfolge ihres Einlangens weitergeleitet. Wenn jedoch bereits ein Paket in Übertragung befindlich ist, müssen unter Umständen mehrere andere in einem Wartezustand belassen werden. Dabei besteht die Funktion der Zuweisungsentscheidungslogik 630 eines jeden Ausgangsportausgangs 504 darin, Routing-Anforderungen von jeder Routereingangslogik 502 entgegenzunehmen und jedem anfordernden Eingangsport in der richtigen Reihenfolge basierend auf dem Prioritätsschema, das in der oben erwähnten, ebenfalls schwebenden Anmeldung beschrieben ist, Zugriff auf den jeweiligen Ausgangsport zu gewähren. Jede Zuweisungsentscheidungseinheit 630 des Portausgangs 504, die einen angeforderten Zugriff gewährt, meldet dies an alle anderen Zuweisungsentscheidungseinheiten 630.Each of the port exits 504 of the router 14A is responsible for the order of the packages. In general, the packets are forwarded in the order in which they arrive. However, if a packet is already in transmission, several others may have to be left in a waiting state. The function of the assignment decision logic exists 630 of each exit sport exit 504 in that routing requests from any router input logic 502 to accept and grant each requesting input port access to the respective output port in the correct order based on the priority scheme described in the above-mentioned pending application. Each assignment decision unit 630 the port exit 504 , which grants requested access, reports this to all other assignment decision units 630 ,
Von den Taktsynchronisierungs-FIFOs 518 der Eingabelogik werden (im Duplexbetrieb) Paare identischer Symbole empfangen, welche von den beiden CPUs 12 übermittelt werden. Jedes Taktsynchronisierungs-FIFO ist in der Lage, jedes verzögerungsbedingte Auseinanderdriften, das zwischen den von den beiden CPUs kommenden Symbolströmen auftreten kann auszugleichen.From the clock synchronization FIFOs 518 The input logic receives (in duplex mode) pairs of identical symbols, which are from the two CPUs 12 be transmitted. Each clock synchronization FIFO is able to compensate for any delay drift that may occur between the symbol streams coming from the two CPUs.
Wie wohl noch aus der weiter oben erfolgten Abhandlung der CPUs 12 in Erinnerung ist, war in der SpSt ein Online-Zugangspunkt (OLZP) enthalten, welcher dem IC 18 einen Zugriff zum Datenaustausch mit der CPU 12 ermöglichte. Der IP 18 war in der Lage, Befehle in den OLZP 285 zu schreiben, die von den Prozessoren 20 ausgeführt würden, um ein kleines Speicherabbild und eine Routine zu erstellen, die es der CPU 12 erlaubten, eine Boot(Hochfahr-) Operation abzuschliessen. Ein ähnlicher Zugriff wird dem IP 18 durch die Router 14 ermöglicht. Im folgenden wird vorübergehend wieder auf 19A Bezug genommen, in welcher der Router 14A veranschaulicht wird, der einen OLZP 285' beinhaltet, der eine Reihe von Konfigurationsregistern enthält, wie zum Beispiel die 'obere' und 'untere Region'-Register 509a, 509b (21A) der Zielport-Auswahllogik, und die Gerätebitpositions- und -expansionsregister 509j, 509k der algorithmischen Routing-Logik 600 (21C). Während der Initialisierung des den Router 14A enthaltenden Subprozessorsystems 10A werden die in dem OLZP 285' enthaltenen Konfigurationsregister mit Informationen beschrieben, die von dem IP 18 (über den OLZP-Bus 287') bereitgestellt werden, um den Router 14A mit einer Konfiguration zu versehen, die es ihm erlaubt, in der einen oder anderen Weise betrieben zu werden.As probably from the discussion of the CPUs above 12 is remembered was in the SpSt contain an online access point (OLZP), which the IC 18 access for data exchange with the CPU 12 allowed. The IP 18 was able to issue commands in the OLZP 285 to write by the processors 20 would be executed to create a small memory dump and a routine that the CPU 12 allowed to complete a boat (boot) operation. A similar access is given to the IP 18 through the router 14 allows. The following is temporarily on again 19A Referenced in which the router 14A is illustrated by an OLZP 285 ' which contains a number of configuration registers, such as the 'upper' and 'lower region' registers 509a . 509b ( 21A ) the destination port selection logic, and the device bit position and expansion registers 509 j . 509 k algorithmic routing logic 600 ( 21C ). During the initialization of the router 14A containing subprocessor system 10A are those in the OLZP 285 ' contained configuration register with information described by the IP 18 (via the OLZP bus 287 ' ) are provided to the router 14A with a configuration that allows it to operate in one way or another.
Jedoch auch der Router 14A kann Informationen (Fehlermeldungen, etc.) über den OLZP 285' an den IP 18 übergebn. Zum Beispiel wird der CRC eines jeden von dem Router 14A geleiteten Nachrichtenpakets, wie weiter oben beschrieben, einer Prüfung unterzogen. Wird dabei von dem Router 14 festgestellt, dass der CRC des Pakets schlecht ist, so wird das Nachrichtenpaket mit einem TPB-Symbol als schlecht gekennzeichnet und der Router meldet darüber hinaus den Fehler dem IP 18 durch Setzen eines in dem OLZP 285' enthaltenen Fehlerregisters (nicht dargestellt), welches später von dem IP 18 ausgelesen werden kann. Somit ist das System durch dieses Merkmal mit einer Einrichtung zur Meldung eines Übertragungsfehlers ausgestattet.But also the router 14A can provide information (error messages, etc.) about the OLZP 285 ' to the IP 18 übergebn. For example, the CRC of each of the routers 14A routed message packet, as described above, subjected to a check. Is from the router 14 If the packet's CRC is found to be bad, the message packet is marked as bad with a TPB symbol and the router also reports the error to the IP 18 by setting one in the OLZP 285 ' contained error register (not shown), which is later used by the IP 18 can be read out. This feature thus provides the system with a device for reporting a transmission error.
Taktgabe:Clocking:
Sollen die CPUs 12 ordnungsgemäss als synchron gleichlaufende Paare im Duplexbetrieb laufen, so müssen die von ihnen verwendeten Taktsignale klarerweise synchronisiert sein. 24 zeigt den Aufbau der Taktgabeschaltung. In jedem synchron zu haltenden Subprozessorsystem 10A/10B (1) ist eine Taktgeberschaltung vorhanden. Die generell mit der Bezugszahl 650 versehene Taktgeberschaltung beinhaltet einen Schwingkreis 652, welcher einen Quarzoszillatorkreis 652a und einen mit der Bezugszahl 652b versehenen Teilerzähler im Verhältnis 1 : 8 umfasst. Der Quarzoszillatorkreis 652a produziert ein periodisches Signal mit einer Frequenz von 12,5 MHz, welches durch 8 dividiert wird, um ein Haupttaktsignal (H_TKT) mit einer Frequenz von 25/16 MHz zu erhalten. Das H_Tkt-Signal wird auch SYNC-TKT genannt. Das H_Tkt-Signal wird an den Taktgenerator 654 angelegt und dazu verwendet, ein Anzahl von 50-MHz-Taktsignalen zu erzeugen, die alle mit dem H_Tkt phasensynchronisiert sind. Diese 50-MHz-Signale werden an die verschiedenen Elemente (z. B. an die CPU 12, die Router 14, usw.) des Subprozessorsystems, das die Taktschaltung 650 enthält (z. B. 10A), verteilt und von diesen verwendet.Should the CPUs 12 run properly as synchronous pairs in duplex mode, the clock signals they use must be clearly synchronized. 24 shows the structure of the clock circuit. In every subprocessor system to be kept in sync 10A / 10B ( 1 ) there is a clock circuit. The generally with the reference number 650 provided clock circuit includes an oscillating circuit 652 which is a quartz oscillator circuit 652a and one with the reference number 652b provided divider counter in a ratio of 1: 8. The quartz oscillator circuit 652a produces a periodic signal with a frequency of 12.5 MHz which is divided by 8 to obtain a master clock signal (H_TKT) with a frequency of 25/16 MHz. The H_Tkt signal is also called SYNC-TKT. The H_Tkt signal is sent to the clock generator 654 and used to generate a number of 50 MHz clock signals, all of which are phase synchronized with the H_Tkt. These 50 MHz signals are sent to the various elements (e.g. to the CPU 12 who have favourited Routers 14 , etc.) of the subprocessor system that the clock circuit 650 contains (e.g. 10A ), distributed and used by them.
Wie gezeigt, beinhaltet der Taktgenerator 654 einen Phasenvergleicher 660, der entsprechend geschaltet ist, um das H_TKT-Signal zu empfangen und es mit einem Rückführungs-Taktsignal, einer phasensynchronisierten Kopie seiner selbst zu vergleichen. Die Ausgangsdaten der Phasenvergleichsschaltung 660, eine analoge Spannung (V), welche den Phasenunterschied zwischen dem H_TKT- und dem Rückführungs-Taktsignal anzeigt, wird an einen spannungsgesteuerten Quarzoszillator (VCXO) 662 angelegt, um die Synchronisierung der von dem Taktgenerator erzeugten 50-MHz-Signale mit dem H_TKT-Signal sowohl in Bezug auf Phasengang als auch in Bezug auf Frequenz beizubehalten. Falls der Phasenvergleicher 660 einen Phasenunterschied zwischen den H_TKT- und den Rückführungssignalen erkennt, die einen vorgegebenen Phasenbereich überschreitet, so deaktiviert er ein VERRIEGELUNG-Signal, um anzuzeigen, dass die Phasenverriegelung bzw. Phasensynchronisation nicht mehr gegeben ist.As shown, the clock generator includes 654 a phase comparator 660 which is switched accordingly to receive the H_TKT signal and to compare it with a feedback clock signal, a phase-synchronized copy of itself. The output data of the phase comparison circuit 660 , an analog voltage (V) indicating the phase difference between the H_TKT and the feedback clock signal is applied to a voltage controlled crystal oscillator (VCXO) 662 designed to maintain the synchronization of the 50 MHz signals generated by the clock generator with the H_TKT signal both in terms of phase response and in terms of frequency. If the phase comparator 660 Detects a phase difference between the H_TKT and the feedback signals that exceeds a predetermined phase range, so it deactivates a LOCK signal to indicate that the phase lock or phase synchronization is no longer given.
Der VCXO 662 (24) ist ein spannungsgesteuerter Quarzoszillator mit 100 MHz, der entsprechend konfiguriert ist, um innerhalb von engen Toleranzgrenzen betrieben zu werden. Das Produkt des VCXO 662 wird an einen Synchronzähler angelegt, der die Ausgangsdaten des VCXD 662 um die Hälfte nach unten zählt (durch 2 dividiert), um die 50-MHz-Signale zu erzeugen, und durch 64 dividiert, um eine Kopie des H_Tkt-Signals, das Rückführungssignal, zu erzeugen. Die von dem Zähler 663 erzeugten 50-MHz-Taktsignale werden über das gesamte Subprozessorsystem verteilt und überall bereitgestellt, wo sie benötigt werden.The VCXO 662 ( 24 ) is a 100 MHz voltage controlled crystal oscillator that is configured to operate within narrow tolerance limits. The product of the VCXO 662 is applied to a synchronous counter that stores the output data of the VCXD 662 counts down by half (divided by 2) to produce the 50 MHz signals and divided by 64 to produce a copy of the H_Tkt signal, the feedback signal. The one from the counter 663 generated 50 MHz clock signals are distributed across the entire subprocessor system and provided wherever they are needed.
Im folgenden wird auf 25 Bezug genommen, in welcher die Zwischenverbindung und die Verwendung zweier Taktsignale 650 veranschaulicht wird, die dazu benutzt werden, synchrone Taktsignale für ein Paar von Subprozessorsystemen 10A, 10B (1) für einen frequenzsynchronisierten Betrieb zu erzeugen. Wie in 25 veranschaulicht, verfügen die CPUs 12A und 12B der Subprozessorsysteme 10A, 10B über je eine Taktschaltung 650, die in 25 als Taktschaltungen 650A und 650B dargestellt sind und Schwingkreise 652A, 652B beinhalten. Es wird jedoch nur der Taktoszillator 652 einer der CPUs 12 verwendet, um daraus das H_TKT-Signal für beide CPUs 12 zu bilden. 25 zeigt den Schwingkreis 625A der CPU 12A, der zum Steuern des Taktgenerators 654A und 654B beider CPUs 12 verwendet wird. Eine Steuer- und Signalleitung 667 verbindet die beiden Subprozessorsysteme untereinander, um das von dem Schwingkreis 652A gebildete H_TKT-Signal an den Taktgenerator 654B des Subprozessorsystems 10B zu liefern. Zur Fehlereingrenzung und zur Aufrechterhaltung der Signalqualität wird das H_TKT-Signal über ein getrenntes Ansteuerungsglied und über eine Rückübertragungsverbindung 668 an den Taktgenerator 654A des Subprozessorsystems 10A geliefert. Der Grund für die Rückübertragungsverbindung 668 besteht darin, ein Verzögerung zwischen dem Schwingkreis 652A und dem Taktgenerator 654A zu erzwingen, welche annähernd jener entspricht, die der Taktgenerator 654B aufgrund der durch die Signalverbindung 667 erzwungenen Verzögerung erfährt.The following is on 25 Referred to in which the interconnection and the use of two clock signals 650 that are used to generate synchronous clock signals for a pair of subprocessor systems 10A . 10B ( 1 ) for frequency-synchronized operation. As in 25 illustrated, the CPUs 12A and 12B of subprocessor systems 10A . 10B via one clock circuit each 650 , in the 25 as clock circuits 650A and 650B are shown and resonant circuits 652A . 652B include. However, it only becomes the clock oscillator 652 one of the CPUs 12 used to get the H_TKT signal for both CPUs 12 to build. 25 shows the resonant circuit 625A the CPU 12A which is used to control the clock generator 654A and 654B of both CPUs 12 is used. A control and signal line 667 connects the two subprocessor systems to each other, around that of the resonant circuit 652A formed H_TKT signal to the clock generator 654B of the subprocessor system 10B to deliver. For error limitation and in order to maintain the signal quality, the H_TKT signal is transmitted via a separate control element and via a retransmission connection 668 to the clock generator 654A of the subprocessor system 10A delivered. The reason for the retransmission connection 668 is a delay between the resonant circuit 652A and the clock generator 654A to force, which corresponds approximately to that which the clock generator 654B due to the through the signal connection 667 experienced delay.
Aus Gründen der Klarheit wird in 25 nicht spezifisch dargestellt, dass der Schwingkreis 652 über Treiber und Verbindungen verfügt, welche jenen des Oszillators 652A spiegelbildlich entsprechen. Durch die Kabelverbindung zwischen den CPUs 12A, 12B wird bestimmt, welcher der Schwingkreise 652A, 652B der Oszillator ist, der die beiden Taktgeneratoren 654A, 654B steuert. Das heisst wenn das Kabel (nicht dargestellt) auf die eine Weise angeschlossen ist, so wird die in 25 gezeigte Verbindung zwischen den Subprozessorsystemen 10A, 10B realisiert; wenn es in einer anderen Weise angeschlossen ist, so sind die Verbindungen ähnlich aber es ist nun der Schwingkreis 652B, der als Oszillator verwendet wird.For the sake of clarity, in 25 not specifically shown that the resonant circuit 652 has drivers and connections that match those of the oscillator 652A correspond in mirror image. Through the cable connection between the CPUs 12A . 12B it is determined which of the resonant circuits 652A . 652B is the oscillator that is the two clock generators 654A . 654B controls. This means that if the cable (not shown) is connected in one way, the in 25 shown connection between the subprocessor systems 10A . 10B realized; if it is connected in a different way, the connections are similar but it is now the resonant circuit 652B which is used as an oscillator.
Im folgenden wird mit 25 fortgefahren, wobei das von dem Schwingkreis 652A des Unterverarbeitungssystems 10A erzeugte H_TKT-Signal von beiden Unterverarbeitungssystemen 10A, 10B als ihr jeweiliges SYNC-TKT-Signal verwendet wird und die verschiedenen anderen Taktsignale aus den 50-MHz-Signalen gebildet werden, die von den Taktgeneratoren 654A, 654B erzeugt werden. Dadurch werden die Taktsignale der gepaarten Unterverarbeitungssysteme 10A, 10B im Hinblick auf eine frequenzsynchronisierte Funktionsweise, wie sie für den Duplexbetrieb erforderlich ist, synchronisiert.The following is with 25 continued, which is from the resonant circuit 652A of the sub-processing system 10A generated H_TKT signal from both sub-processing systems 10A . 10B is used as their respective SYNC-TKT signal and the various other clock signals are formed from the 50 MHz signals generated by the clock generators 654A . 654B be generated. This makes the clock signals of the paired sub-processing systems 10A . 10B with a view to a frequency-synchronized mode of operation, as required for duplex operation.
Die VCXOs 662 der Taktgeneratoren 654A, 654B sind von herkömmlicher Bauart und von einem Typ, welcher eine gewünschte Frequenz selbst dann beibehält, wenn die angelegte, analoge Spannung (V) von dem Phasenvergleicher 660 ausserhalb des Steuergrenzbereichs liegt (was darauf hindeutet, dass die von dem Phasenvergleicher 660 kommenden Taktsignale in beträchtlichem Ausmass phasenverschoben sind. Dadurch wird es möglich, dass beide Taktgeneratoren 654A, 654B auch bei nicht ordnungsgemässer Funktionsweise des Schwingkreises 652A weiterhin Taktsignale an die beiden Unterverarbeitungssysteme 10A , 10B liefern, obwohl die Subprozessorsysteme nicht mehr phasensynchronisiert sind.The VCXOs 662 of the clock generators 654A . 654B are of conventional construction and of a type which maintains a desired frequency even when the applied analog voltage (V) is from the phase comparator 660 is outside the tax limit (suggesting that the phase comparator 660 coming clock signals are phase-shifted to a considerable extent. This makes it possible for both clock generators 654A . 654B even if the resonant circuit does not function properly 652A clock signals continue to the two sub-processing systems 10A . 10B deliver, although the subprocessor systems are no longer phase-locked.
Die VERRIEGELUNG-Signale, welche von dem Phasenvergleicher 660 der Taktgeberschaltungen 654A, 654B ausgegeben werden (und darauf hindeuten, dass der H_TKT vorhanden ist und mit seiner Kopie, dem Rückführungssignal synchron ist), sind beide an eine Fehlerlogik 670A, 670B gekoppelt. Die Ausgabe des VERRIEGELUNG-Signals zeigt an, dass die von dem Taktgenerator 654 erzeugten 50-MHz-Signale, was den Phasengang und die Frequenz betrifft, mit dem H_TKT-Signal synchronisiert sind. Wenn somit eines der VERRIEGELUNG-Signale gleich NULL (d. h. deaktiviert) ist, so ermittelt die Fehlerlogik 670 welcher der Taktgeneratoren sein VERRIEGELUNG-Signal deaktiviert hat und melden dies über den OLZP 285 an den IP 18. Sind beide VERRIEGELUNG- Signale deaktiviert, so können die CPUs davon ausgehen, dass der Schwingkreis 652A, der die Taktgeneratoren 654A, 654B steuert, nicht ordnungsgemäss funktioniert.The LOCK signals from the phase comparator 660 the clock circuits 654A . 654B output (and indicate that the H_TKT is present and is in sync with its copy, the feedback signal) are both at fault logic 670A . 670B coupled. The output of the LOCK signal indicates that from the clock generator 654 generated 50 MHz signals in terms of phase response and frequency are synchronized with the H_TKT signal. If one of the LOCK signals is equal to ZERO (ie deactivated), the error logic determines 670 which of the clock generators has deactivated their LOCK signal and report this via the OLZP 285 to the IP 18 , If both LOCK signals are deactivated, the CPUs can assume that the resonant circuit 652A who the clock generators 654A . 654B controls, does not work properly.
Konstantverhältnistaktgabe:Constant Ratio Clocking:
Wie weiter oben erwähnt, erfolgen Symbolübertragungen zwischen einem Paar von duplexbetriebenen CPUs 12 und Routern 14A, 14B (1) in einem frequenzsynchronisierten Betriebsmodus; das bedeutet, dass das den Symbolstrom begleitende Taktsignal, das dazu verwendet wird, um Symbole in das Taktsynchronisierungs-FIFO des empfangenden Elements (des Routers 14, oder der CPU 12) einzugeben, zwar nicht dem Phasengang aber der Frequenz nach im wesentlichen mit jenem des empfangenden Elements identisch ist, das verwendet wird, um Symbole aus dem Taktsynchronisierungs-FIFO zu entnehmen. So ist zum Beispiel in 23, auf die im folgenden Bezug genommen wird und in welcher Symbole veranschaulicht werden, die von einem Router 14A zu einem Paar von duplexbetrieben CPUs 12A, 12B gesendet werden, das Taktsignal, welches seinen Ursprung am Router 14A nimmt (und den an den CPUs 12A, 12B zu empfangenden Symbolstrom als Empfangstakt (Empf-Tkt) begleitet, im wesentlichen frequenzidentisch mit dem lokalen Takt (Lokaler Tkt). Der erstere (Empf-Tkt) wird verwenden, um Symbole in die Taktsynchronisierungs-FIFOs 126 einer jeden CPU einzugeben, wohingegen der letztere dazu dient, Symbole aus den FIFOs zu entnehmen.As mentioned above, symbol transfers occur between a pair of duplex-operated CPUs 12 and routers 14A . 14B ( 1 ) in a frequency-synchronized operating mode; that is, the clock signal accompanying the symbol stream used to insert symbols into the clock synchronization FIFO of the receiving element (the router 14 , or the CPU 12 ), not the phase response, but the frequency is essentially identical to that of the receiving element, which is used to extract symbols from the clock synchronization FIFO. For example, in 23 , which are referred to below and in which symbols are illustrated by a router 14A to a pair of duplex-operated CPUs 12A . 12B are sent, the clock signal, which originates at the router 14A takes (and that on the CPUs 12A . 12B symbol stream to be received accompanied as receive clock (receive clock), essentially frequency-identical to the local clock (local clock). The former (Receive-Tkt) will use symbols in the clock synchronization FIFOs 126 to enter each CPU, whereas the latter serves to extract symbols from the FIFOs.
Diese Technik eignet sich ausgezeichnet für Taktsignale (S_Tkt, Empf-Tkt und lokaler Tkt), die dieselbe Frequenz aufweisen, welche darüber hinaus noch der Taktfrequenz entspricht, die für die Kommunikation auf den TNet-Links L verwendet wird. Angenommen jedoch, dass aus Kompatibilitätsgründen mit den elektrischen und sonstigen Eigenschaften des Übertragungsmediums, d. h. der TNet-Links L, die Frequenz des Taktsignals, das dazu verwendet wird, um Symbole über dieses Medium zu übertragen, begrenzt ist, dass aber die empfangende Einheit, in diesem Fall die CPUs 12, in der Lage ist, mit einem Taktsignal von wesentlich höherer Frequenz betrieben zu werden. In solchen Situationen müssen entsprechende Vorkehrungen getroffen werden, um zu gewährleisten, dass die Synchronisation, mit der Symbole aus den Synchronisierungs-FIFOs 126 einer jeden CPU entnommen werden, zwischen den beiden CPUs aufrechterhalten bleibt.This technique is ideal for clock signals (S_Tkt, Receive-Tkt and local Tkt) that have the same frequency, which also corresponds to the clock frequency that is used for communication on the TNet-Links L. However, suppose that for reasons of compatibility with the electrical and other properties of the transmission medium, ie the TNet-Link L, the frequency of the clock signal used to transmit symbols via this medium is limited, but that the receiving unit, in in this case the CPUs 12 , is able to be operated with a clock signal of a significantly higher frequency. In such situations, appropriate precautions must be taken to ensure that the synchronization with the symbols from the synchronization FIFOs 126 taken from each CPU, is maintained between the two CPUs.
In diesem Fall wird ein Konstantverhältnistaktgabemechanismus verwendet, um die Funktion der beiden Taktsynchronisierungs-FIFOs 126 zu steuern, wodurch gewährleistet wird, dass das Taktsignal, welches Symbole aus den beiden FIFOs entnimmt, mit derselben Geschwindigkeit arbeitet, mit der diese in die FIFOs eingegeben werden. In 26A, auf welche im folgenden Bezug genommen wird, wird ein solcher Konstantverhältnistaktgabemechanismus gezeigt und mit der Bezugszahl 700 bezeichnet. Wie in 26A veranschaulicht, beinhaltet der Taktsynchronisierungs-FIFO-Steuermechanismus 700 ein voreinstellbares, mehrstufiges, serielles Schieberegister 702, dessen parallele Ausgänge an einen N-zu-1-Multiplexer (MUX) 704 angelegt werden. Das serielle Schieberegister 702 wird mit dem schnelleren (höherfrequenten) lokalen Taktsignal (Lokaler Tkt) betrieben, der an den Takteingang (TKT) des Schieberegisters angelegt wird. Ein 15-Bit-Bus 701 überträgt eine Vorgabe (Vgbl) an den Dateneingang (DE), um das serielle Schieberegister 702 voreinzustellen.In this case, a constant ratio clocking mechanism is used to perform the function of the two clock synchronization FIFOs 126 to control, thereby ensuring that the clock signal which Takes symbols from the two FIFOs, works at the same speed at which they are entered into the FIFOs. In 26A To which reference is made hereinafter, such a constant ratio clocking mechanism is shown and with the reference number 700 designated. As in 26A illustrated includes the clock synchronization FIFO control mechanism 700 a presettable, multi-level, serial shift register 702 whose parallel outputs to an N-to-1 multiplexer (MUX) 704 be created. The serial shift register 702 is operated with the faster (higher frequency) local clock signal (local clock) which is applied to the clock input (TKT) of the shift register. A 15 bit bus 701 transfers a default (Vgbl) to the data input (DE) to the serial shift register 702 preset.
Für einschlägig gebildete Fachleute ist klar, dass die Anzahl der das serielle Schieberegister bildenden Stufen beliebig sein kann und, wie noch zu zeigen sein wird, von dem Verhältnis abhängig ist, welches zwischen dem Taktsignal, mit dem Symbole übermittelt und in die Taktsynchronisierungs-FIFOs 126 eingegeben werden, und der Frequenz des lokal verwendeten Taktsignals herrscht. Im vorliegenden Fall kann davon ausgegangen werden, dass 15 Stufen ausreichen.It will be clear to those skilled in the art that the number of stages forming the serial shift register can be arbitrary and, as will be shown, depends on the relationship between the clock signal, the symbols, and the clock synchronization FIFOs 126 can be entered, and the frequency of the locally used clock signal prevails. In the present case, it can be assumed that 15 levels are sufficient.
Der MUX 704 wird betrieben, um einen der 15 parallelen Datenausgänge (DA) von dem Schieberegister 702 auszuwählen und an die Eingänge (E) des MUX anzulegen, und zwar als Ausgabedaten des Konstantverhältnistaktsteuermechanismus, der als Lokales Tkt-Signal verwendet wird, um Symbole aus den Taktsynchronisierungs-FIFOs 126 zu entnehmen und den Entnahmezeigerzähler 130 zu betätigen (d. h. zu aktualisieren). Der ausgewählte Ausgang wird auch von dem Ausgang (0) des MUX gekoppelt und an den Rückschalteingang (SI-Eingang) des seriellen Schieberegisters angelegt. Die Auswahl erfolgt durch die Zykluslängenlogik 706, die durch einen (4-Bit-)Vorgabewert (Vgb2) voreinstellbar, der an den Dateneingang (DE) der Zykluslängenlogik angelegt wird – realisierbar beispielsweise als 4-Bit-Zähler. Der 4-Bit-Ausgangswert der Zykluslängenlogik bildet den Auswahlwert, der an den Auswahleingang (C) des MUX 704 angelegt wird.The MUX 704 is operated to one of the 15 parallel data outputs (DA) from the shift register 702 to select and apply to the inputs (E) of the MUX as output data from the constant ratio clock control mechanism, which is used as the local clock signal, to obtain symbols from the clock synchronization FIFOs 126 to remove and the withdrawal pointer counter 130 to operate (ie to update). The selected output is also coupled from the output (0) of the MUX and applied to the switch-back input (SI input) of the serial shift register. The selection is made using the cycle length logic 706 , which can be preset using a (4-bit) default value (Vgb 2 ) that is applied to the data input (DE) of the cycle length logic - can be implemented, for example, as a 4-bit counter. The 4-bit output value of the cycle length logic forms the selection value that is sent to the selection input (C) of the MUX 704 is created.
Wesentlich ist, dass die Konstantverhältnistaktsteuerung betrieben wird, um ein Ausgangssignal zu erzeugen, welches über eine vorgegebene Zeitspanne hinweg dieselbe Anzahl an Taktausschlägen beim Empf-Tkt aufweist. Unter der Annahme eines Verhältnisses von N : M (wobei N > M) zwischen dem Taktsignal der CPU 12 und dem Taktsignal, das dazu verwendet wird, um Symbole in das Taktsynchronisierungs-FIFO 126 einzugeben (Empf-Tkt), wird das serielle Schieberegister entsprechend voreingestellt, so dass M Stufen des Schieberegisters einen ersten digitalen Zustand enthalten (z. B. eine EINS), und andere einen anderen digitalen Zustand enthalten (z. B. eine NULL). Die Zykluslängenlogik ist mit einem Wert voreingestellt, welcher Ausgangsdaten des seriellen Schieberegisters auswählt, wodurch praktisch ein abgeschnittenes, serielles Schieberegister mit M Stufen erzeugt wird (dies natürlich nur sofern M nicht gleich 15 ist, in welchem Fall die letzte oder 15. Stufe die Rückkopplung auf die erste Stufe bildet). Ein Beispiel soll dies verdeutlichen.It is essential that the constant ratio clock control is operated in order to generate an output signal which has the same number of clock deflections at the receive time over a predetermined period of time. Assuming a ratio of N: M (where N> M) between the clock signal of the CPU 12 and the clock signal used to insert symbols into the clock synchronization FIFO 126 the serial shift register is preset accordingly, so that M stages of the shift register contain a first digital state (e.g. a ONE) and others contain a different digital state (e.g. a ZERO). The cycle length logic is preset with a value which selects the output data of the serial shift register, which practically produces a truncated serial shift register with M stages (of course only if M is not 15, in which case the last or 15th stage of the feedback) forms the first stage). An example should clarify this.
Es sei unter vorübergehender Bezugnahme auf 23 angenommen, dass Symbole von dem Router 14A mit einem 50-MHz-Takt zu den beiden duplexbetriebenen CPUs 12 übertragen werden. Somit werden Symbole mit einer Geschwindigkeit von 50 MHz in die Taktsynchronisierungs-FIFOs 126 der CPUs eingegeben. Weiterhin sei angenommen, dass die Taktsignale der CPUs bei 40 MHz liegen. Das Verhältnis zwischen lokalem Takt (80 MHz) und dem Empf-Tkt-Signal ist somit 8 : 5. Das serielle Schieberegister ist mit einem Bitmuster voreingestellt, gemäss welchem die am Anfang befindlichen bzw. ersten acht der fünfzehn Stufen 5 EINSEN und 3 NULLEN enthalten. Die Zykluslängenlogik ist mit einem Wert voreingestellt, der die Auswahl der achten Stufe des seriellen Schieberegisters durch den MUX 704 vornimmt.It is with temporary reference to 23 assumed symbols from the router 14A with a 50 MHz clock to the two duplex-operated CPUs 12 be transmitted. Thus, symbols are inserted into the clock synchronization FIFOs at a speed of 50 MHz 126 of CPUs entered. It is also assumed that the clock signals of the CPUs are at 40 MHz. The ratio between the local clock (80 MHz) and the receive signal is thus 8: 5. The serial shift register is preset with a bit pattern according to which the first or first eight of the fifteen stages contain 5 ONE and 3 ZERO , The cycle length logic is preset with a value that indicates the selection of the eighth level of the serial shift register by the MUX 704 performs.
Somit werden dem Schieberegister und der Zykluslängenlogik Werte zugeführt, durch welche praktisch ein serielles Schieberegister mit acht Stufen gebildet wird, in denen drei "Warten"-Zustände und fünf "Aus"-Zustände mit einer Dauer von jeweils 100 ns beinhaltet sind. Demgemäss beinhalten die Ausgabesignale des MUX 704, welche das Taktsignal erzeugen, das Symbole aus den Taktsynchronisierungs-FIFOs 126 entnimmt, Empf-Tkt, fünf Taktimpulse pro 100-ns-Periode. Somit werden während jeder 100-ns-Periode fünf Symbole in die Taktsynchronisierungs-FIFOs 126 eingegeben und ebenso viele wieder daraus entnommen.Thus, values are supplied to the shift register and the cycle length logic, by means of which a serial shift register with eight stages is practically formed, in which three "wait" states and five "off" states each with a duration of 100 ns are included. Accordingly, the output signals of the MUX include 704 which generate the clock signal which symbols from the clock synchronization FIFOs 126 takes, receive, five clock pulses per 100 ns period. Thus, five symbols are put into the clock synchronization FIFOs during each 100 ns period 126 entered and just as many removed from it.
Dieses Beispiel ist in 26B symbolisch dargestellt, während das in 27 gezeigte Ablaufdiagramm die Funktionsweise der Steuerlogik 700 veranschaulicht. Pro 100-ns-Periode geben fünf Taktimpulse (in 27 mit "EIN" bezeichnet) des Empf-Taktes Symbole in die Taktsynchronisierungs-FIFOs 126 ein. Während derselben 100-ns-Periode verschiebt das serielle Schieberegister 702 eine "01101011"-Sequenz zyklisch durch die von dem MUX 704 ausgewählte Stufe 710, wodurch ein Lokales Tkt-Signal erzeugt wird, welches dieselbe Anzahl an aktiven Taktimpulsen aufweist wie das Empf-Tkt-Signal.This example is in 26B represented symbolically while the in 27 Flowchart shown the operation of the control logic 700 illustrated. There are five clock pulses (in 27 labeled "ON") of the receive clock symbols in the clock synchronization FIFOs 126 on. During the same 100 ns period, the serial shift register shifts 702 a "01101011" sequence cyclically by that of the MUX 704 selected level 710 , whereby a local Tkt signal is generated which has the same number of active clock pulses as the receive Tkt signal.
Für einschlägig gebildete Fachleute ist klar ersichtlich, dass die Anzahl der Stufen des Schieberegisters 702 entsprechend modifiziert werden kann, um die am häufigsten vorkommenden Taktgeschwindigkeitsunterschiede in Systemen wie dem hier veranschaulichten zu bewältigen. Vorzugsweise hat das Schieberegister 702, wie erwähnt, 15 Stufen, wodurch es die Fähigkeit hat, einen relativ weiten Taktverhältnisbereich abzudecken. Wie nunmehr ersichtlich ist, kommt es bei dieser Technik der Konstantverhältnistaktgabe niemals zu einer Verschiebung um mehr als einen Takt. Weiterhin ist es eine bessere Implementation als zum Beispiel fünf Takte zu zählen und drei Takte innezuhalten, was zusätzlichen Speicherplatz (d. h. einen Zuwachs bei der Grösse des Synchronisierungs-FIFOs) beanspruchen würde und mehr Latenz verursachen würde.Those skilled in the art can clearly see that the number of levels of the shift register 702 can be modified accordingly to cope with the most common clock speed differences in systems such as that illustrated here. Preferably the shift register has 702 As mentioned, 15 levels, which gives it the ability to cover a relatively wide duty cycle range. As can now be seen, this constant ratio clocking technique never shifts by more than one clock. Furthermore, it is a better implementation than counting five clocks and pausing three clocks, for example, which would take up additional space (ie, increase the size of the synchronization FIFO) and cause more latency.
Die hier in den 26 vorgestellte Konstantverhältnistaktschaltung wird dazu verwendet, um Datenelemente von einem Taktsystem mit einer bestimmten Frequenz in ein Taktsystem mit einer anderen, d. h. höheren Frequenz zu übertragen. Die Verwendung eines Taktsynchronisierungs-FIFOs ist hier erforderlich, um die Auswirkungen von Signalverzögerungen auszugleichen, die auftreten, während das System in synchronisiertem Duplexbetrieb läuft, damit Paare von identischen Befehls/Datensymbolen von zwei verschiedenen Quellen empfangen werden können. Für einschlägig gebildete Fachleute ist es jedoch klar ersichtlich, dass die hier offenbarte Konstantverhältnistaktschaltung zum Austausch von Daten zwischen zwei beliebigen, verschiedenen Taktsystemen verwendbar ist, solange zumindest zwei Register an der Stelle des Taktsynchronisierungs-FIFOs vorhanden sind. Für das Übertragen von Daten von einem höherfrequenten Taktsystem zu einem niedrigerfrequenten Taktsystem würde die Konstantverhältnistaktschaltung 702 verwendet, um Datenelemente zu der Eingangsstufe bzw. dem Register zu übertragen, welche(s) sich unter der Kontrolle des von der Konstantverhältnistaktschaltung 702 gebildeten Taktsignals befinden; das Taktsignal des niedrigerfrequenten Taktsystems würde dazu verwendet, um die Datenelemente zwischen den beiden (oder, wie hier, mehreren) empfangenden Registerstufen zu übertragen und um Datenelemente daraus zu entfernen. Umgekehrt würden Datenelemente, die von einem niedrigerfrequenten Taktsystem in eines mit höherer Frequenz übertragen werden, im wesentlichen wie hier gezeigt ansprechen.Those here in the 26 The constant ratio clock circuit presented is used to transfer data elements from a clock system with a specific frequency to a clock system with a different, ie higher frequency. The use of a clock synchronization FIFO is required here to compensate for the effects of signal delays that occur while the system is operating in synchronized duplex mode so that pairs of identical command / data symbols can be received from two different sources. However, it will be clearly apparent to those skilled in the art that the constant ratio clock circuit disclosed herein can be used to exchange data between any two different clock systems as long as there are at least two registers in place of the clock synchronization FIFO. The constant ratio clock circuit would be used to transfer data from a higher frequency clock system to a lower frequency clock system 702 used to transfer data elements to the input stage or register, which is under the control of the constant ratio clock circuit 702 formed clock signal are; the lower frequency clock system clock signal would be used to transfer the data elements between the two (or, as here, several) receiving register stages and to remove data elements therefrom. Conversely, data elements transmitted from a lower frequency clock system to one with a higher frequency would respond essentially as shown here.
Dieses Konzept könnte überall dort eingesetzt werden, wo unterschiedliche Taktsignale zum Einsatz kommen. So sind zum Beispiel, wie in der Mikroprozessortechnik wohlbekannt, viele Mikroprozessoren so aufgebaut, dass sie "Warte"-Zustände einfügen, wenn ein Miroprozessor, welcher in Abhängigkeit von Taktsignalen einer bestimmten Frequenz betrieben wird, mit einem synchronen Gerät (z. B. einem Speicher oder einem externen Systembus) kommuniziert, das in Abhängigkeit von einem Taktsignal mit einer unterschiedlichen, üblicherweise niedrigeren Frequenz betrieben wird. Typischerweise ist es bei einer solchen Mikroprozessor/Geräte-Konfiguration erforderlich, dass das langsamere Taktsignal ein ganzes Vielfaches der Taktfrequenz des Mikroprozessors darstellt. Die Konstantverhältnistaktsteuerschaltung 702 könnte einen grossen Bereich möglicher Taktverhältnisse bereitstellen.This concept could be used wherever different clock signals are used. For example, as is well known in microprocessor technology, many microprocessors are designed to insert "wait" states when a microprocessor, which operates in response to clock signals of a particular frequency, with a synchronous device (e.g., a Memory or an external system bus) communicates, which is operated depending on a clock signal with a different, usually lower frequency. Typically, such a microprocessor / device configuration requires that the slower clock signal be an integral multiple of the microprocessor's clock frequency. The constant ratio clock control circuit 702 could provide a wide range of possible clock ratios.
E/A-Paket-Schnittstelle:I / O packet interface:
Ein jedes der Subprozessorsysteme l0A, 10B, etc. verfügt über einen gewissen Grad an Eingabe-Ausgabe-Fähigkeit, welche mit verschiedenen Peripherieeinheiten realisiert ist, obwohl es auch denkbar ist, dass die E/A-Einrichtungen anderer Unterverarbeitungssysteme verfügbar sind, so dass ein Unterverarbeitungssystem nicht unbedingt über lokale E/A-Einrichtungen verfügen muss. Wie dem auch sein, sofern lokale E/A-Einrichtungen vorhanden sind, erfolgt die Kommunikation der Peripheriegeräte und/oder des IP 18 über die E/A-Paket-Schnittstelle 16.Each of the subprocessor systems L0A . 10B , etc. has a certain degree of input-output capability, which is realized with different peripheral units, although it is also conceivable that the I / O devices of other sub-processing systems are available, so that a sub-processing system does not necessarily have local I / O A facilities must have. However, if there are local I / O devices, the peripheral devices and / or the IP 18 communicate via the I / O packet interface 16 ,
Die E/A-Paket-Schnittstelle 16 wird betrieben, um die eingehenden Nachrichtenpakete, die sie von einem TNet-Link L empfängt, in eine mit dem angeschlossenen E/A-Gerät besser kompatible bzw. native Form zu übersetzen; andererseits übersetzt die E/A-Paket-Schnittstelle auch in die entgegengesetzte Richtung, wobei sie "native E/A-Daten" (NEA) von den angeschlossenen E/A-Geräten empfängt, Datenbytes in das weiter oben beschriebene '8B–9B'-Format (siehe weiter oben, Tabelle 1) codiert und die erforderlichen Pakete erstellt, um die Daten an den Bestimmungsort zu leiten. Darüber hinaus werden von den E/A-Geräten kommende Interrupts, welche in der für das betreffende E/A-Gerät üblichsten Form (z. B. über Signalleitung) ausgegeben werden, von der E/A-Paket-Schnittstelleneinheit 16 empfangen und dazu verwendet, um daraus ein Interrupt-Paket zu erstellen, das an die CPU 12 gesendet wird, wo es wie weiter oben beschrieben verarbeitet wird. Somit erfolgt die Durchführung von Leseund Schreiboperationen sowie die Ausgabe von Interrupts durch die an den NEA-Bus angeschlossenen Geräte routinemässig über Nachrichtenpakete, wobei Daten/Steuerinformationen in transparenter Weise durch die TNet-Links L und die Router 14 zu dem Speicher 28 einer CPU 12 befördert werden.The I / O packet interface 16 is operated to translate the incoming message packets that it receives from a TNet-Link L into a form that is more compatible or native with the connected I / O device; on the other hand, the I / O packet interface also translates in the opposite direction, receiving "native I / O data" (NEA) from the connected I / O devices, data bytes into the '8B-9B' described above Format (see Table 1 above) and creates the necessary packets to route the data to its destination. In addition, interrupts coming from the I / O devices, which are issued in the most common form for the relevant I / O device (e.g. via signal line), are generated by the I / O packet interface unit 16 received and used to create an interrupt packet that is sent to the CPU 12 is sent where it is processed as described above. Reading and writing operations and the issuing of interrupts by the devices connected to the NEA bus are thus routinely carried out via message packets, with data / control information being transmitted transparently by the TNet-Links L and the routers 14 to the store 28 a CPU 12 to get promoted.
Schliesslich beinhaltet die E/A-Paket-Schnittstelle 16 – obwohl die E/A-Paket-Schnittstelle 16 als eines ihrer E/A-Geräte einen IP 18 angeschlossen haben kann – auch einen OLZP, welcher in vieler Hinsicht jenem (OLZP 285) ähnelt, der in der SpSt 26 (17) und in dem Router 14 (OLZP 285'19A) enthalten ist, um über den OLZP-Bus Konfigurationsinformationen zu empfangen.Finally, the I / O packet interface includes 16 - although the I / O packet interface 16 an IP as one of their I / O devices 18 may have connected - also an OLZP, which in many respects that (OLZP 285 ) similar to that in the SpSt 26 ( 17 ) and in the router 14 (OLAP 285 ' 19A ) is included to receive configuration information via the OLZP bus.
Online-Zugangspunkt:Online access point:
Der IP 18 ist mit der Schnittstelleneinheit 24, der Speichersteuerung (SpSt) 26, den Routern 14 und den E/A-Paket-Schnittstellen verbunden, wobei die Schnittstellensignale der IEEE-Spezifikation 1149.1 (basierend auf IEEE 1149.1-1990 vom 21. Mai 1990, SH13144, Institute of Electrical and Electronic Engineers, 345 East 47th Street, New York, NY 10017) entsprechen. Der OLZP 259 implementiert diese IEEE-Spezifikation und der Aufbau und die Funktionsweise des OLZP 259 sind im wesentlichen dieselben, ungeachtet dessen mit welchem Element (z. B. einem Router 14, einer Schnittstelleneinheit 24, usw.) er verwendet wird. 28 veranschaulicht in Diagrammform den allgemeinen Aufbau des OLZP 259, der eine Schnittstelle gemäss der IEEE-Spezifikation 1149.1 realisiert. Vorzugsweise ist der OLZP auf jedem IC-Chip vorhanden, der zur Realisierung gewisser hier besprochener Elemente verwendet wird. So ist zum Beispiel jede Schnittstelleneinheit 24, jede Speichersteuerung 26 und jeder Router 14 mit einer anwendungsspezifischen integrierten Schaltung (ASIC) ausgestattet, die auch einen OLZP beinhaltet, der es dem IP 18 erlaubt, auf die Schaltungsanordnung der ASIC zuzugreifen. So beschreibt etwa die in 28 gezeigte Beschreibung des OLZP 259 den OLZP in Verbindung mit der Schnittstelleneinheit 24, der SpSt 26 und dem Router 14 des Systems.The IP 18 is with the interface unit 24 , the memory controller (SpSt) 26 , the routers 14 and the I / O packet interfaces, the interface signals of the IEEE specification 1149.1 (ba based on IEEE 1149 .1-1990 of May 21, 1990, SH13144, Institute of Electrical and Electronic Engineers, 345 East 47th Street, New York, NY 10017). The OLZP 259 implements this IEEE specification and the structure and functioning of the OLZP 259 are essentially the same regardless of which element (e.g., a router 14 , an interface unit 24 , etc.) it is used. 28 ver illustrates the general structure of the OLZP in diagram form 259 that implements an interface according to IEEE specification 1149.1. The OLZP is preferably present on every IC chip that is used to implement certain elements discussed here. For example, every interface unit is 24 , every memory controller 26 and every router 14 equipped with an application-specific integrated circuit (ASIC), which also includes an OLZP, which allows the IP 18 to access the circuitry of the ASIC. For example, the in 28 shown description of the OLZP 259 the OLZP in connection with the interface unit 24 , the SpSt 26 and the router 14 of the system.
Wie in 28 gezeigt, umfasst der serielle Bus 19A vier 1-Bit-Signalleitungen: eine Prüftakt-Signalleitung (P_TKT-Leitung), die ein periodisches Taktsignal an den OLAP 295 überträgt; eine Prüfbefehls-Signalleitung (P_BEF-Leitung), um ein Zweizustands-Befehlssignal zu übertragen; eine Testdaten_Ein-Signalleitung (TDE-Leitung), auf welcher Daten zu dem OLZP übertragen werden; und eine Testdaten_Aus-Signalleitung (TDA-Leitung), auf welcher von dem OLZP abgehende Daten übertragen werden. Diese Signale entsprechend den Anforderungen der Spezifikation IEEE 1149.1. Der OLZP 259 beinhaltet eine 4-Bit-Ablaufsteuereinheit, welche die Funktion des OLZP in Bezug auf die an den P_TKT- und P_BEF-Leitungen des seriellen Busses 19A empfangenen Takt- und Befehlssignale steuert. Daten (und/oder Befehle), welche von dem OLZP 259 empfangen werden, werden in einem 16-Bit-Befehlsregister (BR), dem Speicher 802 und/oder einem 32-Bit-Datenregister (DR) 104 gespeichert; es können von beiden Registern, dem BR und dem DR Daten übermittelt werden, mit der einen Ausnahme, dass nur das DR 804 mit Daten von der zugeordneten Logik (z. B. einem Router 14) geladen werden kann.As in 28 shown includes the serial bus 19A four 1-bit signal lines: a test clock signal line (P_TKT line) that sends a periodic clock signal to the OLAP 295 transfers; a test command signal line (P_BEF line) to transmit a two-state command signal; a Testdaten_Ein signal line (TDE line) on which data is transmitted to the OLZP; and a Testdaten_Ous signal line (TDA line) on which data coming from the OLZP are transmitted. These signals meet the requirements of the IEEE specification 1149.1 , The OLZP 259 contains a 4-bit sequence control unit, which functions the OLZP in relation to the on the P_TKT and P_BEF lines of the serial bus 19A controls received clock and command signals. Data (and / or commands) issued by the OLZP 259 are received in a 16-bit instruction register (BR), the memory 802 and / or a 32-bit data register (DR) 104 saved; data can be transmitted from both registers, the BR and the DR, with the one exception that only the DR 804 with data from the assigned logic (e.g. a router 14 ) can be loaded.
Dem OLZP 259 zugeordnet, aber nicht Teil davon, ist ein Konfigurationsregister 806 in Form einer Registerdatei, welche bis zu 64 32-Bit-Register enthält, auf die sowohl von dem IP 18 (über den OLZP 258) als auch von den Logikschaltungen aus, denen der OLZP 259 zugeordnet ist, zugegriffen werden kann. Zum Beispiel bilden bestimmte der Register des Konfigurationsregisters 806 die Steuer- und Zustandslogik 509 (19A) eines Routers 14. Das Konfigurationsregister 806 wird von dem DR 804 an einen (32-Bit-)Speicherort (d. h. an eine ausgewählte der 64 verfügbaren 32-Bit-Adressen) geschrieben, die von 10-Bit- Befehlen vorgegeben sind, welche zuvor ihrerseits von dem BR 802 bereitgestellt wurden. Die Befehle zum Laden des Konfigurationsregisters 806 beinhalten einen 4-Bit-Abschnitt, welcher von der Befehlsdecodierlogik 810 decodiert wird, und die sich daraus ergebenden, decodierten Daten werden an einen Befehlsgenerator 812 angelegt, der eine Lese- oder eine Schreiboperation identifiziert. Der Gegenstand der Operation, d. h. das eine der 64 Register, das das zu lesende bzw. zu beschreibende Konfigurationsregister 806 bildet, wird durch eine 6-Bit-Adresse identifiziert, die von der Adressendecodierlogik 814 decodiert wird. Der Befehlsgenerator 812 empfängt auch den Zustand der Ablaufsteuereinheit 800. So wird in Abhängigkeit zu dem von der Ablaufsteuereinheit 800 jeweils eingenommenen, besonderen Zustand und zusammen mit dem von der Befehlsdecodierlogik 810 kommenden, decodierten Befehl von der Befehlsgeneratorlogik 812 ein Schreib- oder Lesebefehl generiert, um das Konfigurationsregister 806 dazu zu veranlassen, an dem einen der 64 Register, das durch die 6-Bit-Adresse des (von der Adressdecodierlogik 814 decodierten) Befehls bezeichnet wird, eine Lese- oder Schreiboperation vorzunehmen.The OLZP 259 assigned, but not part of it, is a configuration register 806 in the form of a register file, which contains up to 64 32-bit registers, on which both the IP 18 (via the OLZP 258 ) as well as from the logic circuits to which the OLZP 259 assigned, can be accessed. For example, certain of the registers form the configuration register 806 the control and status logic 509 ( 19A ) of a router 14 , The configuration register 806 is from the DR 804 written to a (32-bit) memory location (ie to a selected one of the 64 available 32-bit addresses), which are predetermined by 10-bit instructions, which in turn were previously issued by the BR 802 were provided. The commands to load the configuration register 806 include a 4-bit section which is from the instruction decode logic 810 is decoded, and the resulting decoded data is sent to an instruction generator 812 created that identifies a read or a write operation. The object of the operation, ie the one of the 64 registers, the configuration register to be read or written to 806 is identified by a 6-bit address used by the address decoding logic 814 is decoded. The command generator 812 also receives the state of the sequencer 800 , So depending on that of the sequence control unit 800 each assumed special state and together with that of the command decoding logic 810 incoming decoded instruction from the instruction generator logic 812 a write or read command is generated to the configuration register 806 to cause one of the 64 registers, which is defined by the 6-bit address of the (from the address decoding logic 814 decoded) command is called to perform a read or write operation.
Die von dem IP 18 (1A) gelieferten Daten werden durch den Multiplexer 816 in das DR 804 geschrieben. Die den OLZP 259 verwendende Logik kann das DR 804 von zwei getrennten Quellen aus beschreiben, wobei an diesen Quellen 32-Bit-Register bereitgestellt werden, die von dem IP 18 wahlweise mit dem DR 804 gekoppelt und unter Verwendung von bereits zuvor in das BR 802 geschriebenen Befehlsinformationen in dieses geschrieben werden, und zwar unter Zuhilfenahme der Ablaufsteuereinheit 800 durch Signalübertragung über die P_TKT- und P_BEF-Signalleitungen des seriellen Busses 19A. Der Zugriff auf das 32-Bit-DR 804 erfolgt durch schrittweises Positionieren der Ablaufsteuereinheit 800 durch die in der Spezifikation 1149.1 als "CAPTURE-DR," "SHIFT-DR," und "UPDATE-DR" beschriebenen Zustände unter Verwendung eines geeigneten Befehls aus 1149.1. In dem Befehl enthaltene, zusätzliche Bits ermöglichen es dem DR 804, anhand des CAPTURE-DR-Zustands ausgewählte Werte chip-interne Werte, welche die Chip-Statusinformation enthalten, zu lesen. Andere Befehle aus 1149.1 erlauben es dem UPDATE-DR-Zustand, den Registerinhalt zu Konfigurations- und Initialisierungszwecken an ausgewählte Register zu kopieren. Die Inhalte des DR 804 werden unter Verwendung des SHIFT-DR-Zustands aus 1149.1 (über den seriellen Bus 19A) mit dem IP 18 ausgetauscht. Weitere Informationen über Aufbau und Funktion des OLZP können in der Spezifikation IEEE 1149.1 (IEEE 1149.1-1990 vom 21. Mai 1990, SH13144) nachgelesen werden.The IP 18 ( 1A ) Data supplied are through the multiplexer 816 into the DR 804 written. The OLZP 259 the DR 804 from two separate sources, which sources provide 32-bit registers provided by the IP 18 optionally with the DR 804 coupled and using previously in the BR 802 written command information are written into this, with the aid of the sequence control unit 800 by signal transmission via the P_TKT and P_BEF signal lines of the serial bus 19A , Access to the 32-bit DR 804 is done by gradually positioning the sequence control unit 800 through the in the specification 1149.1 States described as "CAPTURE-DR,""SHIFT-DR," and "UPDATE-DR" using a suitable command from 1149.1. Additional bits included in the command enable the DR 804 to read values selected on the basis of the CAPTURE-DR state of chip-internal values which contain the chip status information. Other commands from 1149.1 allow the UPDATE-DR state to copy the register contents to selected registers for configuration and initialization purposes. The contents of the DR 804 are generated using the SHIFT-DR state from 1149.1 (via the serial bus 19A ) exchanged with the IP 18. Further information on the structure and function of the OLZP can be found in the specification IEEE 1149.1 (IEEE 1149.1-1990 of May 21, 1990, SH13144).
Asymmetrische Variablen:Asymmetric variables:
Unter "asymmetrischen Variablen" sind Werte zu verstehen, welche sich in einer CPU eines Paars von CPUs 12 von jenen der anderen CPU unterscheiden bzw. unterscheiden können. Beispiele für asymmetrische Variablen sind unter anderem eine Seriennummer, die zugewiesen wurde und an einem von der CPU lesbaren Speicherort, zum Beispiel einem Register ausserhalb des Speichers 28, aufbewahrt wird und die sich von jener der anderen CPU unterscheidet, oder ein Inhalt eines Registers, der verwendet wird, um das Vorkommen von korrigierbaren Speicher- oder Cachespeicherfehlern zu verfolgen (unter der Voraussetzung, dass das Erkennen, das Korrigieren und das Melden des Fehlers nicht dazu führt, dass die duplexbetriebenen CPUs von ihrem synchron im Gleichschritt laufenden Betrieb abgebracht werden)."Asymmetric variables" are to be understood as values which are in a CPU of a pair of CPUs 12 distinguish or can distinguish from those of the other CPU. Examples of asymmetrical variables include a serial number that has been assigned and in a location that can be read by the CPU, for example a register outside the memory 28 , which is different from that of the other CPU, or a content of a register which is used to detect the occurrence of Track correctable memory or cache errors (provided that detecting, correcting, and reporting the error does not result in duplex-powered CPUs being detached from their synchronous, synchronous operation).
Im Duplex-Betriebsmodus ist die sorgfältige Behandlung von asymmetrischen Variablen von grosser Bedeutung, um zu gewährleisten, dass (in dem Speicher 28 einer jeden CPU 12) mehrfach vorhandene Kopien des Systemspeichers, welche logisch äquivalent sein sollen, zu jeder Zeit identische Daten enthalten. Würde eine asymmetrische Variable einfach von jeder der beiden duplexbetriebenen CPUs gelesen und anschliessend in den Speicher geschrieben, so würden sich die Inhalte des Speichers 28 einer jeden CPU dadurch um mindestens diesen von jeder CPU gelesenen Wert unterscheiden.In duplex mode of operation, careful handling of asymmetric variables is of great importance to ensure that (in the memory 28 of every CPU 12 ) duplicate copies of the system memory, which should be logically equivalent, contain identical data at all times. If an asymmetrical variable were simply read by each of the two duplex-operated CPUs and then written to the memory, the contents of the memory would be different 28 distinguish each CPU by at least this value read by each CPU.
Um einem Paar von CPUs 12, welche im Duplexmodus betrieben werden, die Verarbeitung asymmetrischer Variablen zu ermöglichen, wird einer jeden Schnittstelleneinheit 24 einer jeden CPU 12 ein "Soft-Vote"-Logikelement 900 (SV-Logikelement) zur Seite gestellt. Wie in 30 veranschaulicht, sind die SV-Logikelemente 900 einer jeden Schnittstelleneinheit 24 untereinander über einen 2-Bit-SV-Bus 902 verbunden, welcher die Busleitungen 902a und 902b umfasst. Die Busleitungen 902a übertragen Ein-Bit-Werte von den Schnittstelleneinheiten 24 der CPU 12A zu jenen der CPU 12B. Umgekehrt überträgt die Busleitung 902b Ein-Bit-Werte von den SV-Logikelementen 900 der CPU 12B zu jenen der CPU 12A.To a pair of CPUs 12 of each interface unit, which are operated in duplex mode to enable the processing of asymmetrical variables 24 of every CPU 12 a "soft vote" logic element 900 (SV logic element) is provided. As in 30 are the SV logic elements 900 of each interface unit 24 with each other via a 2-bit SV bus 902 connected which the bus lines 902a and 902b includes. The bus lines 902a transmit one-bit values from the interface units 24 the CPU 12A to those of the CPU 12B , Conversely, the bus line transmits 902b One bit values from the SV logic elements 900 the CPU 12B to those of the CPU 12A ,
In 30B wird das SV-Logikelement 900a der Schnittstelleneinheit 24a der CPU 12A veranschaulicht. Jedes SV-Logikelement 900 ist was Aufbau und Funktionsweise betrifft im wesentlichen identisch mit jedem anderen SV-Logikelement 900, so dass die Beschreibung des Logikelements 900a auch auf die anderen Logikelemente 900a (der Schnittstelleneinheit 24b, CPU 12A) und 900b (der Schnittstelleneinheiten 24a, 24b der CPU 12B) anwendbar zu verstehen ist, sofern keine anderslautenden Angaben gemacht werden. Wie in 30B veranschaulicht, beinhaltet das SV-Logikelement 900a vier Ein-Bit-Register: ein Ausgaberegister 904, ein Lokaleingaberegister 906, ein Ferneingaberegister 907 und ein Ausgabedatenfreigaberegister 912. Das Ausgaberegister 904 ist über einen Multiplexer (MUX) 914 und einen Treiber 916 mit Dreizustandsverhalten an die gemeinsam genutzte Busleitung 902a gekoppelt. Nur die Logikelemente 900a der CPU 12A steuern die Busleitung 902a, und immer nur eines der beiden Logikelemente übernimmt die Steuerung. Welches das ist, hängt von dem Inhalt des Freigaberegisters 912 ab. Die Logikelemente 900b der CPU 12B können auf der Busleitung 902a nur empfangen. Die Busleitung 902a übermittelt daher die Ausgaberegister 904 der Logikelemente 900a an die Ferneingaberegister 907 eines jeden der Logikelemente 900b der CPU 12B. Die Busleitung 902a übermittelt ausserdem die Ausgaberegister 904 (über den Multiplexer 914 und den Treiber 916) eines der Logikelemente 900a an die Lokaleingaberegister des anderen der Logikelemente 900a (sowie auch an ihr eigenes). Auf diese Weise sind die beiden Schnittstelleneinheiten 24a, 24b der CPU 12A in der Lage, asymmetrische Variablen untereinander auszutauschen.In 30B becomes the SV logic element 900a the interface unit 24a the CPU 12A illustrated. Any SV logic element 900 is essentially identical to any other SV logic element in terms of structure and mode of operation 900 , so the description of the logic element 900a also on the other logic elements 900a (the interface unit 24b , CPU 12A ) and 900b (the interface units 24a . 24b the CPU 12B ) is to be understood as applicable, unless otherwise stated. As in 30B illustrated includes the SV logic element 900a four one-bit registers: one output register 904 , a local input register 906 , a remote entry register 907 and an output data enable register 912 , The output register 904 is via a multiplexer (MUX) 914 and a driver 916 with tri-state behavior on the shared bus line 902a coupled. Only the logic elements 900a the CPU 12A control the bus line 902a , and only one of the two logic elements takes over control. Which one that depends on the content of the release register 912 from. The logic elements 900b the CPU 12B can on the bus line 902a just received. The bus line 902a therefore transmits the output registers 904 of the logic elements 900a to the remote input registers 907 of each of the logic elements 900b the CPU 12B , The bus line 902a also transmits the output register 904 (via the multiplexer 914 and the driver 916 ) one of the logic elements 900a to the local input registers of the other of the logic elements 900a (as well as their own). In this way, the two interface units 24a . 24b the CPU 12A able to exchange asymmetrical variables with each other.
Auf ähnliche Weise werden die Ausgaberegister 904 der Logikelemente 900v der CPU 12B über die Busleitung 902b an das entfernte Register 907 des Logikelements 902a (und an jenes der anderen Schnittstelleneinheit 24b) übermittelt.Similarly, the output registers 904 of the logic elements 900b the CPU 12B over the bus line 902b to the remote register 907 of the logic element 902a (and to that of the other interface unit 24b ) transmitted.
Die Logikeinheiten 902 bilden einen Teil der Konfigurationsregister 74 (5). Somit können sie von der (den) Prozessoreinheit(en) 20 beschrieben werden, indem diese die nötigen Daten-/Adressinformationen über zumindest einen Teil des Adress-/Datenbusses 74 (in 30B als Bus 74' dargestellt) übermitteln, um das Ausgaberegister 904 und/oder das Freigaberegister 912 auszuwählen und zu beschreiben, oder um das lokale und das entfernte Register 906 und 907 zu lesen.The logic units 902 form part of the configuration register 74 ( 5 ). Thus, you can from the processor unit (s) 20 be described by this the necessary data / address information on at least part of the address / data bus 74 (in 30B as a bus 74 ' shown) transmit to the output register 904 and / or the release register 912 to select and describe, or to use the local and remote registers 906 and 907 to read.
Der MUX 914 wird betrieben, um jeder Schnittstelleneinheit 24 der CPU 12A die selektive Benutzung der Busleitung 902a für die SV-Logikelemente 900a zu ermöglichen, oder um ein BUSFEHLER-Signal zu übermitteln, falls während des (weiter unten beschriebenen) Reintegrationsprozesses, mithilfe dessen ein Paar von CPUs 12 in im Gleichschritt laufenden Duplexbetrieb gebracht wird, ein Busfehler auftritt. Das Ausgabedatenfreigaberegister wird mit einem Bit beschrieben, welches den Treiber mit Dreizustandsverhalten aktiviert (bzw. deaktiviert), so dass dieser die Busleitung 902a gemäss dem Inhalt des SV-Ausgaberegisters 904 steuert.The MUX 914 is operated to each interface unit 24 the CPU 12A the selective use of the bus line 902a for the SV logic elements 900a to enable, or to transmit a BUS ERROR signal, if a pair of CPUs if used during the reintegration process (described below) 12 is brought into duplex operation in step, a bus error occurs. The output data release register is written with a bit that activates (or deactivates) the driver with tri-state behavior, so that it triggers the bus line 902a according to the content of the SV output register 904 controls.
Wie weiter oben erwähnt, erlauben es die SV-Logikelemente 900 den CPUs 12a, 12B, im Duplexbetrieb einen bitweisen Austausch von asymmetrischen Variablen durchzuführen. Es sei hier nochmals daran erinnert, dass beim Duplexbetrieb der CPUs 12A, 12B beide CPUs dieselben Befehle identischer Befehlsströme im wesentlichen zum selben virtuellen Zeitpunkt, wenn nicht zum selben Zeitpunkt ausführen. Der Austausch asymmetrischer Variablen zwischen ihnen erfolgt in der nachfolgend beschriebenen Weise. Beide CPUs beschreiben in Reaktion auf den Befehlsstrom und im wesentlichen zur selben Zeit die Freigaberegister 912 des Logikelements 900 beider Schnittstelleneinheiten 24 einer jeden CPU. Eines der beiden Logikelemente 900 einer jeden CPU wird mit einer Zustandsinformation beschrieben, durch welche der zugeordnete Treiber 916 freigegeben wird; das andere wird mit einem Zustand beschrieben, der den Ausgang des Treibers in einen hochohmigen Zustand versetzt.As mentioned above, the SV logic elements allow it 900 the CPUs 12a . 12B to perform a bit-wise exchange of asymmetrical variables in duplex mode. It should be remembered here that when duplexing the CPUs 12A . 12B both CPUs execute the same instructions from identical instruction streams at substantially the same virtual time, if not at the same time. Asymmetric variables are exchanged between them in the manner described below. Both CPUs write to the enable registers in response to the instruction stream and at substantially the same time 912 of the logic element 900 both interface units 24 any CPU. One of the two logic elements 900 Each CPU is described with status information by which the assigned driver 916 is released; the other is described with a state that puts the output of the driver in a high-resistance state.
Beschrieben werden annahmegemäss jene Ausgabedatenfreigaberegister 912, welche den Logikelementen 900 der Schnittstelleneinheiten 24a beider CPUs 12A, 12B zugeordnet sind, um die zugeordneten Treiber freizugeben. Somit werden die Ausgaberegister 904 der Schnittstelleneinheiten 24a einer jeden CPU an die Busleitungen 902 übermittelt; das heisst das dem Logikelement 900a der Schnittstelleneinheit 24a (CPU 12A) zugeordnete Ausgaberegister 904 wird an die Busleitung 902a übermittelt, während das dem Logikelement 900b der Schnittstelleneinheit 24a der CPU 12B zugeordnete Ausgaberegister an die Busleitung 902b übermittelt wird. Die CPUs 12 schreiben beide ein Bit der asymmetrischen Variable in ihre jeweiligen Ausgaberegister 904, gefolgt von einer Leseoperation der einem jeden von diesen zugeordneten Ferneingaberegister 907, und zwar unter Einberechnung eines grösstmöglichen Taktimpulsabstandes. Die Ausgaberegister 904 werden hierauf erneut von jeder CPU beschrieben, worauf eine neuerliche Leseoperation der Ferneingaberegister 907 erfolgt. Dieser Prozess wird Bit für Bit fortgesetzt bis die Variable in ihrer Gesamtheit von dem Ausgaberegister 904 einer jeden CPU 12 zudem Ferneingaberegister der jeweils anderen übertragen worden ist. Es gilt zu beachten, dass beide Schnittstelleneinheiten 24 der CPU 12B das asymmetrische Informationsbit empfangen.According to the assumption, those output data release registers are described 912 which are the logic elements 900 of the interface units 24a of both CPUs 12A . 12B are assigned to release the assigned drivers. Thus the output registers 904 of the interface units 24a of every CPU to the bus lines 902 transmitted; that means the logic element 900a the interface unit 24a (CPU 12A ) assigned output register 904 is sent to the bus line 902a transmitted while that to the logic element 900b the interface unit 24a the CPU 12B assigned output register to the bus line 902b is transmitted. The CPUs 12 both write a bit of the asymmetric variable in their respective output registers 904 , followed by a read operation of the remote input register associated with each of them 907 , taking into account the largest possible clock pulse spacing. The output register 904 are then rewritten by each CPU, followed by a new read of the remote input registers 907 he follows. This process continues bit by bit until the variable in its entirety from the output register 904 of every CPU 12 remote entry register of each other has also been transmitted. It should be noted that both interface units 24 the CPU 12B receive the asymmetric information bit.
Ein Anwendungsbeispiel des Soft-Vote-Mechanismus ist der Austausch von Seriennummern. Eines der Konfigurationsregister 74 ist ein Ein-Bit-Register (nicht dargestellt), welches bei Inbetriebnahme gesetzt wird, um eine jede der beiden CPUs, die miteinander in Duplexbetrieb gebracht werden können, zu identifizieren und um sie voneinander zu unterscheiden. Daher wird das Ein-Bit-Register der einen CPU in einen Zustand gesetzt, der sich von jenem der anderen CPU unterscheidet. Dasselbe geschieht, nach wie vor während der Inbetriebnahme, mit anderen Konfigurationsregistern, in welche die Seriennummer der betreffenden CPU zu laden ist. Welches der Konfigurationsregister für Seriennummern geladen wird, hängt vom Zustand des Ein-Bit-Identitätsregisters ab. Somit haben die beiden CPUs jeweils zwei identische Register, die Ihre Seriennummern enthalten, mit der einen Ausnahme, dass ein Register, nachfolgend "R1" genannt, (nicht dargestellt) in der einen CPU die eigene Seriennummer enthält, während die andere CPU ihre Seriennummer in einem Konfigurationsregister "R2" (nicht dargestellt) enthält. Bevor diese Werte von den duplexbetriebenen CPUs in den Speicher geschrieben werden können, müssen die Konfigurationsregister R1 unter Verwendung des Soft-Vote-Mechanismus miteinander "harmonisiert" werden.An application example of the soft vote mechanism is the exchange of serial numbers. One of the configuration registers 74 is a one-bit register (not shown) which is set during commissioning in order to identify each of the two CPUs that can be put into duplex mode with one another and to distinguish them from one another. Therefore, the one-bit register of one CPU is set to a state different from that of the other CPU. The same happens, as before, during commissioning with other configuration registers, into which the serial number of the CPU concerned is to be loaded. Which of the serial number configuration registers is loaded depends on the state of the one-bit identity register. Thus, the two CPUs each have two identical registers that contain their serial numbers, with the one exception that one register, hereinafter referred to as "R1" (not shown) in one CPU contains its own serial number, while the other CPU contains its serial number in contains a configuration register "R2" (not shown). Before these values can be written into the memory by the duplex-operated CPUs, the configuration registers R1 must be "harmonized" with one another using the soft-vote mechanism.
Die SV-Logikelemente 900 werden auch dazu verwendet, um Busfehler zu übermitteln, zu denen es während des noch zu beschreibenden Reintegrationsprozesses kommen kann. Während der Durchführung der Reintegration wird ein REINT-Signal ausgegeben. Wie in 30B gezeigt, wird das REINT-Signal an den Steuereingang (St) des MUX 914 angelegt. Wenn daher REINT ausgegeben wird, wird von dem MUX 914 ein BUSFEHLER-Signal ausgewählt und an die Busleitung 902a übermittelt.The SV logic elements 900 are also used to transmit bus errors that can occur during the reintegration process to be described. A REINT signal is output during the reintegration. As in 30B shown, the REINT signal to the control input (St) of the MUX 914 created. Therefore, when REINT is issued, the MUX 914 a BUS ERROR signal is selected and sent to the bus line 902a transmitted.
Synchronisierung:synchronization:
Um einen ordnungsgemässen Betrieb des Unterverarbeitungssystems 10A, 10B (1A, 2), sei es unabhängig voneinander (Simplexbetrieb) oder gepaart und synchron im Gleichschritt miteinander laufend (Duplexbetrieb) zu gewährleisten, ist es erforderlich sicherzustellen, dass zwischen den CPUs 12A, 12B und den Routern 14A, 14B ausgetauschte Daten ordnungsgemäss empfangen werden und dass ein ursprünglicher Inhalt der Taktsynchronisierungs-FIFOs 102 (der CPUs 12A, 12B; 5) und 519 (der Router 14A, 14B; 20A) nicht fälschlicherweise als Daten bzw. als Befehle interpretiert wird. Die Eingabe- und Entnahmezeiger der verschiedenen Taktsynchronisierungs-FIFOs 102 (in den CPUs 12) und 518 (in den Routern 14) müssen initialisiert werden, um zumindest einen frequenznahen Betrieb zu gewährleisten. Normalerweise erfolgt dies in der herkömmlichen Art durch ein Einschaltsignal (nicht dargestellt) wenn zu Beginn der Strom zugeschaltet wird, wodurch der Eingabe- und der Entnahme-Zeigerzähler um eine bestimmte Solldistanz voneinander beabstandet werden und die zugeordneten FIFO-Warteschlangen in einen bekannten Zustand voreingestellt werden. Nachdem dies erfolgt ist, sind alle Taktsynchronisierungs-FIFOs für einen frequenznahen Betrieb initialisiert. Wenn somit das System 10 zu Beginn in Online-Betrieb gesetzt (d. h. eingeschaltet) wird, befinden sich die Kommunikationsverbindungen zwischen den CPUs 12A, 12B und den Routern 14A, 14B in frequenznahem Betriebsmodus.To ensure proper operation of the sub-processing system 10A . 10B ( 1A . 2 ), be it independent of each other (simplex operation) or paired and synchronous in sync with each other (duplex operation), it is necessary to ensure that between the CPUs 12A . 12B and the routers 14A . 14B exchanged data is properly received and that an original content of the clock synchronization FIFOs 102 (the CPUs 12A . 12B ; 5 ) and 519 (the router 14A . 14B ; 20A ) is not incorrectly interpreted as data or as commands. The input and extraction pointers of the various clock synchronization FIFOs 102 (in the CPUs 12 ) and 518 (in the routers 14 ) must be initialized to ensure at least close-to-frequency operation. Typically, this is done in the conventional manner by a turn-on signal (not shown) when the power is initially turned on, thereby spacing the input and removal pointer counters by a specified distance and setting the associated FIFO queues to a known state , After this has been done, all clock synchronization FIFOs are initialized for near-frequency operation. So if the system 10 at the beginning in online mode (ie switched on), there are communication links between the CPUs 12A . 12B and the routers 14A . 14B in near-frequency operating mode.
Die Anforderungen sind jedoch höher, wenn die CPUs 12A, 12B in den Duplex-Betriebsmodus umgeschaltet werden. Als erstes muss die zur Datenübermittlung zwischen den CPUs 12A, 128 und den Routern 14A, 14B verwendete Taktgabe auf jedem TNet-Link auf frequenzsynchronisierten Betrieb umgeschaltet werden. Danach müssen im Hinblick auf eine ordnungsgemässe Implementierung des für den Duplex-Betriebsmodus erforderlichen Gleichschrittbetriebs die Taktsynchronisierungs-FIFOs entsprechend synchronisiert und auf das jeweilige Ursprungselement abgestimmt werden, von welchem sie Daten empfangen, um etwa eine Verzögerung berücksichtigen zu können, die in einem Pfad, nicht jedoch in einem anderen Pfad auftritt. Es sei zum Beispiel daran erinnert, dass es der Betrieb im Duplexmodus erfordert, dass gepaarte CPUs 12 jeden Befehl eines identischen Befehlsstroms zur selben virtuellen Zeit ausführen. (Mit "virtueller" Zeit ist gemeint, dass obwohl die tatsächliche Echtzeitausführung eines identischen Befehls durch gepaarte CPUs 12 um einen geringfügigen Betrag abweichen kann, deren Aktionen von aussen betrachtet exakt dieselben sind.) Eingehende, von den Routern 14A, 14B kommende Daten müssen in einer frequenzsynchronisierten Betriebsumgebung von den beiden CPUs nahezu gleichzeitig empfangen werden. Jede Verzögerung, zu der es in dem Kommunikationspfad zwischen dem einen oder anderen der Router 14A, 14B und den CPUs 12A, 12B kommen kann, muss berücksichtigt werden. Die Taktsynchronisierungs-FIFOs 102 der gepaarten CPUs 12 sind dafür zuständig, die Nachrichtenpaketsymbole zu empfangen, allfällige im Kommunikationspfad auftretende Verzögerungen auszugleichen und den beiden CPUs die Symbole unter Wahrung der Gleichzeitigkeit vorzulegen, um so den synchronisierten Gleichlauf aufrechtzuerhalten, welcher für den Duplex-Betriebsmodus erforderlich ist.However, the requirements are higher when the CPUs 12A . 12B can be switched to duplex mode. First, the data transfer between the CPUs 12A . 128 and the routers 14A . 14B clocking used on each TNet link can be switched to frequency-synchronized operation. Thereafter, in order to properly implement the step-by-step operation required for the duplex mode of operation, the clock synchronization FIFOs must be synchronized accordingly and matched to the respective original element from which they receive data, in order, for example, to be able to take into account a delay which is not in a path however occurs in a different path. For example, it should be remembered that operating in duplex mode requires paired CPUs 12 execute each command of an identical command stream at the same virtual time. (By "virtual" time it is meant that although the actual real time execution of an identical instruction by paired CPUs 12 may differ by a small amount, the actions of which are exactly the same from the outside.) Incoming from the routers 14A . 14B In a frequency-synchronized operating environment, incoming data must be received by the two CPUs almost simultaneously. Any delay in the commu Path of communication between one or the other of the routers 14A . 14B and the CPUs 12A . 12B must come into account. The clock synchronization FIFOs 102 the paired CPUs 12 are responsible for receiving the message packet symbols, compensating for any delays in the communication path and presenting the symbols to the two CPUs while maintaining simultaneity, in order to maintain the synchronized synchronism that is required for the duplex operating mode.
In ähnlicher Weise muss jedes Symbol, das von einer der CPUs 12 kommend von den Routern 14A, 14B empfangen wird, mit dem von der jeweils anderen CPU kommenden Symbol verglichen werden und (wie weiter unten im genauer abgehandelt) auf mögliche Abweichungen zwischen den CPUs hin geprüft werden. Auch hier sind es wieder die Taktsynchronisierungs-FIFOs 518 der Router 14A, 14B, welche Nachrichtenpakete von den CPUs 12 empfangen und in den Kommunikationspfaden auftretende Verzögerungen ausgleichen, so dass die von den beiden CPUs 12 kommend empfangenen Symbole gleichzeitig aus den Taktsynchronisierungs-FIFOs abgerufen werdenSimilarly, every symbol created by one of the CPUs 12 coming from the routers 14A . 14B is received, compared with the symbol coming from the respective other CPU and (as discussed in more detail below) checked for possible deviations between the CPUs. Again, it is the clock synchronization FIFOs 518 the router 14A . 14B what message packets from the CPUs 12 received and compensate for delays occurring in the communication paths, so that those of the two CPUs 12 incoming symbols can be retrieved simultaneously from the clock synchronization FIFOs
Bevor nun besprochen wird, wie die Taktsynchronisierungs-FIFOs der CPUs und der Router rückgesetzt, initialisiert und synchronisiert werden, wird es als hilfreich erachtet, sich ein besseres Verständnis davon zu verschaffen, wie sie betrieben werden, um den synchronisierten Gleichlauf beim Duplexbetrieb aufrechtzuerhalten. Im folgenden wird daher vorübergehend au 23 Bezug genommen, in welcher die Taktsynchronisierungs-FIFOs 102 der CPUs 12A, 12B gezeigt werden, welche Daten empfangen, die zum Beispiel von dem Router 14A kommen können. 23 veranschaulicht die Portausgänge 5044 und 5045 des Routers 14A, die an die 10-Bit-Busse 32x und 32y angeschlossen sind, welche ihrerseits jeweils Daten-/Befehlssymbole und Takt von dem Router 14A an die beiden duplexbetriebenen CPUs 12A, 12B koppeln. Zur Erinnerung sei hier nochmals darauf hingewiesen, dass ein Nachrichtenpaket zwar eine einzige Bestimmungsadresse haben kann, welche eine CPU 12 bezeichnet, dass dieses Paket im Duplexbetrieb jedoch von dem Router 14A symbolweise dupliziert und im wesentlichen zeitgleich an beide CPUs 12A und 12B übertragen wird.Before discussing how to reset, initialize, and synchronize the clock synchronization FIFOs of the CPUs and routers, it is considered helpful to get a better understanding of how they operate to maintain synchronized synchronism in duplex mode. In the following, therefore, will be temporarily 23 Reference in which the clock synchronization FIFOs 102 of CPUs 12A . 12B are shown what data is received, for example, by the router 14A can come. 23 illustrates the port exits 504 4 and 504 5 of the router 14A that are connected to the 10-bit buses 32 x and 32 y are connected, which in turn each data / command symbols and clock from the router 14A to the two duplex-operated CPUs 12A . 12B couple. As a reminder, it should be pointed out once again that a message packet can have a single destination address, which is a CPU 12 indicates that this packet is duplexed by the router 14A duplicated symbol by symbol and essentially at the same time on both CPUs 12A and 12B is transmitted.
Unter Umständen können die beiden CPUs 12A, 12B so angeordnet sein, dass ein Symbol, das vom Router 14A kommend von einer der beiden CPUs (z. B. der CPU 12B) empfangen wird, eine Verzögerung von unbekanntem (jedoch maximalbegrenztem) Ausmass in Bezug auf den Empfang des identischen (von dem Router duplizierten) Symbols durch die andere CPU (CPU 12A) erfährt. Diese Verzögerung ist in dem Bus 32, der das Symbol und den dazugehörigen Sendetakt, S_Tkt, von dem Router 14A zu der CPU 12B überträgt, mit der Bezugszahl 640 gekennzeichnet.Under certain circumstances, the two CPUs 12A . 12B be arranged so that an icon issued by the router 14A coming from one of the two CPUs (e.g. the CPU 12B ) is received, a delay of unknown (but maximum limited) extent with respect to the receipt of the identical symbol (duplicated by the router) by the other CPU (CPU 12A ) experiences. This delay is on the bus 32 , the symbol and the associated send clock, S_Tkt, from the router 14A to the CPU 12B transfers, with the reference number 640 characterized.
Nachfolgend sei der Betrieb der Taktsynchronisierungs-FIFOs 102x, 102y im Zusammenhang mit dem Empfang identischer Daten im Zuge des Duplexbetriebs betrachtet. Die nachfolgende Tabelle 6 veranschaulicht diesen Betrieb. Der Einfachheit halber wird in Tabelle 6 davon ausgegangen, dass die Verzögerung 640 nicht mehr als ein Taktintervall des Sendetaktes (S_Tkt) beträgt. Falls jedoch die Verzögerung 640 grösser ist als eine Taktzeit des Sendetaktes, S_Tkt, so muss die Tiefe der Warteschlange 126 entsprechend vergrössert werden, um eine grössere Distanz zwischen dem Inhalt des Eingabe- und des Entnahme-Zeigerzählers 128 und 130 unterstützen zu können. Ist zum Beispiel die Verzögerung 640 so gross, dass das Eintreffen eines Symbols bei der CPU 12B um ganze drei S_Tkt-Intervalle später erfolgt als das Eintreffen desselben Symbols bei der CPU 12A, so sollte der Abstand zwischen dem Eingabe- und dem Entnahme-Zeigerzähler zumindest vier betragen. Somit ist die Tiefe der Warteschlange 126 in einem solchen Fall sechs Symbolspeicherplätze oder grösser.The following is the operation of the clock synchronization FIFOs 102 x . 102 y considered in connection with the receipt of identical data in the course of duplex operation. Table 6 below illustrates this operation. For the sake of simplicity, Table 6 assumes that the delay 640 is not more than one clock interval of the transmission clock (S_Tkt). However, if the delay 640 is greater than a cycle time of the send cycle, S_Tkt, the depth of the queue must 126 be increased accordingly by a greater distance between the contents of the input and the removal pointer counter 128 and 130 to be able to support. For example, is the delay 640 so big that a symbol arrives at the CPU 12B by three S_Tkt intervals later than the arrival of the same symbol at the CPU 12A , the distance between the input and the removal pointer counter should be at least four. So the depth of the queue is 126 in such a case six symbol memory locations or larger.
TABELLE 6
Die Reihen der oberen Hälfte der Tabelle 6 zeigen die von den Entnahme-Zeigerzählern 128, 130 für die CPU 12A (Schnittstelleneinheit 24A) angenommenen Werte, sowie den Inhalt eines jeden der vier Speicherorte (Byte 0. ..., Byte 3) der Warteschlange 126, und den Inhalt des Ausgaberegisters 132 während einer anfänglichen Reset-Periode (RST) und während der darauffolgenden Taktintervalle des Sendetaktes (S_Tkt). Die Reihen der unteren Hälfte der Tabelle 6 zeigen dasselbe für das FIFO 102 . der Schnittstelleneinheit 24a der CPU 12B, und zwar für jedes Symbol des duplizierten Symbolstroms.The rows in the upper half of Table 6 show those from the extraction pointer counters 128 . 130 for the CPU 12A (Interface unit 24A ) assumed values, as well as the content of each of the four storage locations (byte 0 , ..., byte 3 ) the queue 126 , and the content of the output register 132 during an initial reset period (RST) and during the subsequent clock intervals of the transmit clock (S_Tkt). The rows in the lower half of Table 6 show the same for the FIFO 102 , the interface unit 24a the CPU 12B for each symbol in the duplicated symbol stream.
Angenommen, die Verzögerung 640 ist nicht grösser als ein S_Tkt-Intervall, so zeigen die (in den Zählern 128, 130 jeweils auf dem aktuellen Stand gehaltenen) Eingabeund Entnahmezeiger auf Speicherorte in der Warteschlange 126, welche zwei Speicherorte voneinander entfernt sind. Die Eingabe-Zeigerzähler 128 zeigen jeweils auf den nächsten Speicherort in der Warteschlange 126 an welchem ein empfangenes Symbol gespeichert wird, und die Entnahme-Zeigerzähler 130 zeigen auf einen Ort, von welchem ein Symbol aus der Warteschlange entnommen wird.Suppose the delay 640 is not longer than an S_Tkt interval, they show (in the counters 128 . 130 input and removal pointers to storage locations in the queue 126 which are two locations apart. The input pointer counter 128 each point to the next location in the queue 126 on which a received symbol is stored, and the extraction pointer counters 130 point to a location from which a symbol is removed from the queue.
Unter Bezugnahme auf Tabelle 6 und 23 sei nun angenommen, dass der Router 14A gemäss dem Protokoll wonach er zuvor einen Strom von "LEERLAUF"-Symbolen übertrug, dazu übergeht, einen Symbolstrom (Nachrichtenpaket) zu senden und dabei mit dem Symbol A beginnt. Wie in Tabelle 6 veranschaulicht, trifft das Symbol A aufgrund der Verzögerung 640 bei der CPU 12B um einen Zyklus später ein als bei der CPU 12A. Hier ist jedoch zu beachten, dass der Inhalt des Eingabe-Zeigerzählers 128 für die CPU 12B ebenfalls um einen Zyklus verzögert auf jenen der CPU 12A folgt. Obwohl also das Symbol A bei der CPU 12B um einen Zyklus später eintrifft als bei der CPU 12A, werden daher dennoch beide an "Byte 0"-Speicherorten der Warteschlangen 126 gespeichert. Dies ist deshalb möglich, weil (1) die FIFOs 102 im Hinblick auf einen Synchronbetrieb synchronisiert worden sind (ein weiter unten genauer beschriebener Prozess), und (2) die Eingabe-Zeigerzähler 128 von dem Taktsignal getaktet werden, das am Herkunftsort der Symbole erzeugt wird, d. h. von dem vom Router 14A kommenden S_Tkt, und dieses Taktsignal derselben Verzögerung 640 unterliegt wie die Symbole. Die Entnahme-Zeigerzähler 130 stimmen andererseits stets miteinander überein, weil sie durch die lokalen Empfangstakte (Empf-Tkt) getaktet werden, die von den Paketempfängern 94 der CPUs 12 erzeugt werden Diese lokalen Empfangstakte sind im Duplexbetrieb darüber hinaus frequent- und phasensynchronisiert; sie unterliegen somit keinerlei Verzögerung.With reference to Table 6 and 23 let's assume that the router 14A according to the protocol after which he previously transmitted a stream of "IDLE" symbols, starts to send a symbol stream (message packet) and begins with the symbol A. As illustrated in Table 6, symbol A hits due to the delay 640 with the CPU 12B one cycle later than with the CPU 12A , However, it should be noted here that the content of the input pointer counter 128 for the CPU 12B also delayed by one cycle to that of the CPU 12A follows. So although the symbol A on the CPU 12B arrives one cycle later than the CPU 12A , both are therefore still connected to "Byte 0 " Locations of the queues 126 saved. This is possible because (1) the FIFOs 102 have been synchronized for synchronous operation (a process described in more detail below), and (2) the input pointer counters 128 be clocked by the clock signal that is generated at the origin of the symbols, that is, by that of the router 14A coming S_Tkt, and this clock signal of the same delay 640 subject like the symbols. The withdrawal pointer counter 130 on the other hand, always agree with each other because they are clocked by the local receive clocks (receive clocks) that are used by the packet receivers 94 of CPUs 12 These local receive clocks are also frequency and phase synchronized in duplex mode; they are therefore not subject to any delay.
Eine andere Art, die Verzögerung 640 zu betrachten besteht darin, sie sich als Teil einer Pipeline innerhalb des Kommunikationspfads (Bus 32y) zwischen dem Router 14A und der CPU 12B vorzustellen. Die Verzögerung 640 kann jeden beliebigen Wert annehmen, solange auch durch die maximale Verzögerung gewährleistet bleibt, dass die Symbole noch rechtzeitig in die Speicherwarteschlange 126 eingegeben werden können, und zwar zumindest einen Taktzyklus bevor das betreffende Symbol wieder aus der Warteschlange entnommen wird. Die an die CPU 12A übermittelten Symbole warten nämlich einen zusätzlichen Zyklus lang, bevor sie aus der Warteschlange 126 entnommen werden, und zwar zur selben Zeit, zu der ihre jeweilige Kopie aus der Warteschlange 126 der CPU 12B entnommen wird. Auf diese Weise wird jedes Symbol des von dem Routen 14A übertragenen Symbolstroms jeweils gleichzeitig aus dem Taktsynchronisierungs-FIFO 102 der CPUs 12A, 12B entnommen, und zwar unter Beibehaltung der für den Duplex-Betriebsmodus erforderlichen Synchronisierung der empfangenen Daten. Die Tiefen der Warteschlangen der TS-FIFOs 102 passen sich nämlich an, um die beiden von dem Routen 14A zu den CPUs 12A, 12B führenden Pfade mit derselben Verzögerung auszustatten.Another way, the delay 640 To consider them as part of a pipeline within the communication path (bus 32y ) between the router 14A and the CPU 12B imagine. The delay 640 can take any value, as long as the maximum delay ensures that the symbols are still in the queue in time 126 can be entered, at least one clock cycle before the relevant symbol is removed from the queue. The to the CPU 12A Namely, transmitted symbols wait an additional cycle before being released from the queue 126 are taken at the same time that their respective copies are queued 126 the CPU 12B is removed. In this way, each symbol of the route 14A symbol stream transmitted simultaneously from the clock synchronization FIFO 102 of CPUs 12A . 12B taken, while maintaining the synchronization of the received data required for the duplex mode of operation. The depths of the queues of the TS FIFOs 102 namely adapt to the two of the routes 14A to the CPUs 12A . 12B equip leading paths with the same delay.
Um die soeben unter Bezugnahme auf Tabelle 6 beschriebene Operation zustandezubringen, wird der in 31A gezeigte Reset- und Synchronisierungsprozess verwendet. Der Prozess initialisiert nicht nur die Taktsynchronisierungs-FIFOs 102 der CPUs 12A, 12B für den Duplex-Betriebsmodus, sondern dient auch dazu, die Taktsynchronisierungs-FIFOs 518 (19A) der CPU-Ports eines jeden der Routen 14A, 14B für den Duplexbetrieb zu initialisieren. Der Reset- und Synchronisierungsprozess verwendet das SYNC-Befehlssymbol, um eine Zeitdauer zu initiieren, die von dem SYNC-Tkt-Signal 970 (31B) begrenzt ist, um die entsprechenden Taktsynchronisierungs-FIFOs der CPUs 12A, 128 und der Routen 14A, 14B rückzusetzen und zu initialisieren. (Das SYNC-TKT-Signal wird von dem Taktgenerator 654 (24) zum Zweck der Verteilung an die Elemente des Systems 10, insbesondere die Router 14A, 14B und die CPUs 12A, 12B erzeugt. Es weist eine niedrigere Frequenz auf als jenes, das verwendet wird, um Symbole durch die Taktsynchronisierungs-FIFOs zu empfangen, S_Tkt. Wenn S_Tkt zum Beispiel ungefähr 50 MHz beträgt, liegt das SYNC-TKT-Signal bei etwa 3,125 MHz.)In order to accomplish the operation just described with reference to Table 6, the in 31A shown reset and synchronization process used. The process does not just initialize the clock synchronization FIFOs 102 of CPUs 12A . 12B for the duplex operating mode, but also serves there to, the clock synchronization FIFOs 518 ( 19A ) the CPU ports of each of the routes 14A . 14B initialize for duplex operation. The reset and synchronization process uses the SYNC command symbol to initiate a period of time from the SYNC Tkt signal 970 ( 31B ) is limited to the corresponding clock synchronization FIFOs of the CPUs 12A . 128 and the routes 14A . 14B reset and initialize. (The SYNC-TKT signal is from the clock generator 654 ( 24 ) for the purpose of distribution to the elements of the system 10 , especially the routers 14A . 14B and the CPUs 12A . 12B generated. It has a lower frequency than that used to receive symbols through the clock synchronization FIFOs, S_Tkt. For example, if S_Tkt is approximately 50 MHz, the SYNC-TKT signal will be approximately 3.125 MHz.)
Der Reset- und Initialisierungsprozess beginnt, wie in 31A gezeigt, bei Schritt 950 damit, dass die Taktsignale, welche von den CPUs 12A, 12B und den Routern 14A, 14B als Sendetakt (S_Tkt) verwendet werden, und die lokalen Taktsignale (Lokaler Tkt) der Einheit entsprechend geschaltet werden, so dass sie von demselben Taktsignal abgeleitet werden. Die S_Tkt-Signale und die Lokalen Tkt-Signale haben im wesentlichen dieselbe Frequenz, wenn auch infolge von bei der Übermittlung der verschiedenen Taktsignale inhärenten Verzögerungen nicht notwendigerweise dieselbe Phase. Ausserdem werden die Konfigurationsregister in den CPUs 12A, 12B (die Konfigurationsregister 74 in den Schnittstelleneinheiten 24) und in den Routern 14A, 14B (in der Steuerlogikeinheit 509 der Router 14A, 14B enthalten) in den frequenzsynchronisierten (FregSync) Zustand versetzt.The reset and initialization process begins, as in 31A shown at step 950 that the clock signals from the CPUs 12A . 12B and the routers 14A . 14B be used as the transmit clock (S_Tkt), and the local clock signals (Local Tkt) of the unit are switched accordingly, so that they are derived from the same clock signal. The S_Tkt signals and the local Tkt signals have essentially the same frequency, although not necessarily in the same phase due to delays inherent in the transmission of the various clock signals. In addition, the configuration registers in the CPUs 12A . 12B (the configuration register 74 in the interface units 24 ) and in the routers 14A . 14B (in the control logic unit 509 the router 14A . 14B included) in the frequency-synchronized (FregSync) state.
Die folgende Abhandlung betrifft den Schritt 952 und nimmt Bezug auf die Schnittstelleneinheit 24 (5), den Router 14A (19A), sowie auf die 31A und 31B. Bei frequenzsynchronisiertem Taktbetrieb sendet die CPU 12A ein Nachrichtenpaket an die im Offline-Zustand befindliche CPU 12B, um diese dazu zu veranlassen, mit dem Aussenden von SCHLAFEN-Befehlssymbole zu beginnen. Die CPU 12A beginnt daraufhin ebenfalls mit dem Senden von SCHLAFEN-Befehlssymbolen an den Router 14A, die an die Stelle der ansonsten gesendeten BEREIT-Befehlssymbole treten, und auf die ein eigenadressiertes Nachrichtenpaket folgt. Ein beliebiges Nachrichtenpaket, das sich gerade in Empfang oder in Übertragung befinden mag, während die SCHLAFEN-Befehlssymbole von dem Router 14A empfangen und erkannt werden, kann dabei fertig abgearbeitet werden. Alle weiteren Nachrichtenpakete werden jedoch zurückgehalten, mit einer Ausnahme: die von der CPU 12A kommenden, eigenadressierten Nachrichtenpakete. Diese Nachrichtenpakete werden empfangen und von dem Router 14A (über die Bestimmungsort-Adresse) zurück an die CPU 12A gesendet. Das SCHLAFEN-Befehlssymbol hat die Funktion, den Router 14A zum Zweck des Synchronisierungsprozesses in einen Ruhezustand zu versetzen. Das von der CPU 12A gesendete, eigenadressierte Nachrichtenpaket dient dazu, wenn es von der CPU 12A wieder rückempfangen worden ist, letztere davon in Kenntnis zu setzen, dass sich der Router 14A nun in einem Ruhezustand befindet, da das nach den SCHLAFEN-Befehlssymbolen gesendete, eigenadressierte Nachrichtenpaket notwendigerweise das zuletzt von dem Router 14A verarbeitete Paket sein muss.The following discussion relates to step 952 and refers to the interface unit 24 ( 5 ), the router 14A ( 19A ), as well as on the 31A and 31B , The CPU sends in frequency-synchronized clock mode 12A a message packet to the offline CPU 12B to cause them to start sending SLEEP command symbols. The CPU 12A then also begins sending SLEEP command symbols to the router 14A , which take the place of the otherwise sent READY command symbols and which is followed by a self-addressed message packet. Any packet of messages that may be in the process of being received or transmitted while the SLEEP command symbols are received from the router 14A can be received and recognized, can then be processed. However, all other message packets are held back, with one exception: that from the CPU 12A coming, self-addressed message packets. These message packets are received and sent by the router 14A (via the destination address) back to the CPU 12A Posted. The SLEEP command symbol has the function of the router 14A to hibernate for the purpose of the synchronization process. That from the CPU 12A Sent, self-addressed message packet is used when it is sent by the CPU 12A has been received back, the latter to be informed that the router 14A is now in an idle state, since the self-addressed message packet sent after the SLEEP command symbols must necessarily be the last one sent by the router 14A processed package must be.
Bei Schritt 954 prüft die CPU 12A, ob sie das eigenadressierte Nachrichtenpaket, das sie im Anschluss an die Initiierung des Sendens von SCHLAFEN-Befehlssymbolen gesendet hat, zurückerhalten hat. Falls sie den Rückempfang des Nachrichtenpakets feststellt und somit sicher sein kann, dass der Router 14A vorübergehend keine weiteren Nachrichtenpakete bearbeitet, geht die CPU 12A zu Schritt 956 über und sendet ein SYNC-Befehlssymbol an den Router 14A. Wenn das SYNC-Befehlssymbol von dem Router empfangen worden ist und von der Befehlsdecodierlogik 544 (20A ) als solches erkannt worden ist, wird die Steuerlogik 509 benachrichtigt. Die Steuerlogik 509 wartet auf die nächste Anstiegsflanke des SYNC-Taktes 970 (Zeit t1 – 31B), um den Befehlssymbolgenerator 632 (22) der Portausgänge 5044, 5045 anzuweisen, SYNC-Befehlssymbole zu generieren, welche an die CPUs 12A , 12B zurückreflektiert werden (Schritt 958).At step 954, the CPU checks 12A whether it has received back the self-addressed message packet that it sent following the initiation of sending SLEEP command symbols. If it determines that the message packet has been received back and can therefore be sure that the router 14A the CPU temporarily does not process any further message packets 12A to step 956 and sends a SYNC command symbol to the router 14A , When the SYNC command symbol has been received by the router and by the command decoding logic 544 ( 20A ) has been recognized as such, the control logic 509 notified. The control logic 509 waits for the next rising edge of the SYNC clock 970 (Time t 1 - 31B ) to the command symbol generator 632 ( 22 ) of the port exits 504 4 . 504 5 to instruct to generate SYNC command symbols which are sent to the CPUs 12A . 12B be reflected back (step 958).
Als nächstes gibt in Schritt 960 (und Zeitabschnitt t2 des SYNC-Taktes 970) die Steuerlogik 509 des Routers ein RESET-Signal 972 aus, welches an die beiden Taktsynchronisierungs-FIFOs 518 angelegt werden, die in der Eingangslogik 5054, 5055 jenes Routers enthalten sind, welcher Symbole unmittelbar von den CPUs 12A, 12B empfängt. Solange RESET aktiviert ist, werden dadurch die beiden Taktsynchronisierungs-FIFOs 518 in einem vorübergehend nicht-operativen Reset-Zustand gehalten, wobei der Eingabeund der Entnahme-Zeigerzähler 530, 532 (20A) jeweils in einen bekannten Zustand versetzt werden und auf Speicherorte innerhalb der Speicherwarteschlange 518 zeigen, die um eine vorgegebene Anzahl von Speicherorten (zwei in dem vorliegenden Beispiel) voneinander beabstandet sind, wie bereits weiter oben in Verbindung mit der Reset-Prozedur beim Einschalten des Stroms besprochen.Next in step 960 (and time period t 2 of the SYNC clock 970 ) the control logic 509 a RESET signal from the router 972 from which to the two clock synchronization FIFOs 518 be created in the input logic 5054 . 5055 those routers are included, which symbols directly from the CPUs 12A . 12B receives. As long as RESET is activated, the two clock synchronization FIFOs 518 held in a temporarily non-operative reset state with the input and extraction pointer counters 530 . 532 ( 20A ) are each put in a known state and to locations within the storage queue 518 show which are spaced apart from each other by a predetermined number of storage locations (two in the present example), as already discussed above in connection with the reset procedure when the power is switched on.
Ähnlich verhält es sich mit den SYNC-Symbolen, die von den Routern 14A, 14B an die CPUs 12 zurück reflektiert werden. Da jedes der von den CPUs 12 empfangenen SYNC-Symbole von den Speicher- und Verarbeitungseinheiten der Paketempfänger 96 (5 und 6) dazu führt, dass das RESET-Signal von den Paketempfängern 96 (eigentlich von den Speicher- und Verarbeitungselementen 110; Fig. 6) einer jeden CPU 12 ausgegeben wird, wird das RESET-Signal an die Taktsynchronisierungs-FIFOs 102 (6) der CPUs 12 angelegt. Dieses CPU RESET-Signal hält ebenfalls die CPU-Taktsynchronisierungs-FIFOs 102 beider CPUs 12 in einem Reset-Zustand, wobei deren Speicherwarteschlangen 126 ( 7A) und deren Eingabe- und Entnahmezähler 128, 130 jeweils in einen bekannten Zustand versetzt werden.The situation is similar with the SYNC symbols used by the routers 14A . 14B to the CPUs 12 be reflected back. Because each of the CPUs 12 received SYNC symbols from the storage and processing units of the packet receiver 96 ( 5 and 6 ) causes the RESET signal from the packet receivers 96 (actually from the storage and processing elements 110 ; Fig. 6) of each CPU 12 is output, the RESET signal is sent to the clock synchronization FIFOs 102 ( 6 ) of the CPUs 12 created. This CPU RESET signal also holds the CPU clock synchronization FIFOs 102 of both CPUs 12 in a reset state, with their storage queues 126 ( 7A ) and their input and Ent acceptance counter 128 . 130 are each put in a known state.
Bei Schritt 962, und Zeitabschnitt t3 des SYNC-TKT-Signals 970, werden die Sendetaktsignale (S_Tkt), welche die Symbolübertragung zwischen den CPUs 12A, 12B und den Routern 14A, 14B begleiten, vorübergehend gestoppt. Bei Schritt 963 (Zeitabschnitt t4) deaktivieren die CPUs 12 und die Router 14A, 14B die RESET-Signale, wodurch die Taktsynchronisierungs-FIFOs der CPUs 12A, 12B und der Router 14A, 14B aus ihrem Reset-Zustand entlassen werden. Bei Schritt 964 (t5) nehmen der Router 14A und die CPUs 12 die S_TKT-gestützte Übertragung wieder auf, wobei mit einer kurzen, konfigurierbaren Verzögerung begonnen wird, die es erlaubt, Einstellungen vorzunehmen betreffend die während der Übertragung auf den Links maximal zu erwartende Verzögerungszeit. Nach Beendigung dieser Verzögerung fahren die Router 14A und die CPUs 12 damit fort, Daten aus ihren jeweiligen Taktsynchronisierungs-FIFOs zu entnehmen und führen so ihren normalen Betrieb weiter. Die Taktsynchronisierungs-FIFOs des Routers 14A beginnen damit, Symbole aus der Warteschlange zu entnehmen (zuvor durch RESET auf LEERLAUF-Symbole eingestellt), und der S_Tkt beginnt, Symbole in Warteschlange einzugeben. Zu beachten ist dabei, dass das erste Symbol, welches von der CPU 12A kommend mit dem S_Tkt empfangen wird, beispielsweise an dem Warteschlangenspeicherort 0 (oder an irgendeinem anderen Speicherort, auf welchen der Wert, auf den der Eingabe- Zeigerzähler zurückgesetzt worden ist, zeigt) gemeinsam mit dem begleitenden S_Tkt-Signal in das Taktsynchronisierungs-FIFO eingegeben wird. In ähnlicher Weise wird auch das erste von der CPU 12B kommende Symbol ebenfalls an dem Speicherort 0 (bzw. an jedem beliebigen anderen Speicherort, auf welchen der Eingabe-Zeiger während des RESET-Vorgangs eingestellt wurde) in die FIFO-Warteschlange eingegeben. Die Taktsynchronisierungs-FIFOs des Routers 14A sind nun entsprechend synchronisiert, um sich auf jede denkbare Verzögerung 640 einstellen zu können, zu der es in dem einen Kommunikationspfad zwischen dem Router 14A und den CPUs 12A, 12B in Bezug auf den anderen Pfad kommen kann.At step 962, and time period t 3 of the SYNC-TKT signal 970 , the send clock signals (S_Tkt), which are the symbol transmission between the CPUs 12A . 12B and the routers 14A . 14B accompany, temporarily stopped. At step 963 (time period t 4 ) the CPUs deactivate 12 and the router 14A . 14B the RESET signals, causing the clock synchronization FIFOs of the CPUs 12A . 12B and the router 14A . 14B be released from their reset state. At step 964 (t 5 ) the router take 14A and the CPUs 12 S_TKT-based transmission again, starting with a short, configurable delay that allows settings to be made regarding the maximum delay time to be expected during the transmission on the links. After this delay has ended, the routers are running 14A and the CPUs 12 continue to extract data from their respective clock synchronization FIFOs and thus continue their normal operation. The router's clock synchronization FIFOs 14A begin removing symbols from the queue (previously set to IDLE symbols by RESET), and the S_Tkt begins entering symbols in the queue. It should be noted that the first symbol that is assigned by the CPU 12A is received with the S_Tkt, for example at queue location 0 (or any other location to which the value to which the input pointer counter has been reset) is entered into the clock synchronization FIFO along with the accompanying S_Tkt signal , Similarly, the first from the CPU 12B coming symbol also in the storage location 0 (or any other location to which the input pointer was set during the RESET process) entered into the FIFO queue. The router's clock synchronization FIFOs 14A are now synchronized accordingly to accommodate every conceivable delay 640 to be able to set it in the one communication path between the router 14A and the CPUs 12A . 12B can come in relation to the other path.
In ähnlicher Weise wird zur selben virtuellen Zeit der Betrieb der Taktsynchronisierungs-FIFOs 102 beider CPUs 12A, 12B wiederaufgenommen und somit mit dem Router 14A synchronisiert. Die CPUs 12A, 12B stellen daher auch das Senden von SCHLAFEN-Befehlssymbolen zugunsten von BEREIT-Symbolen ein und nehmen ordnungsgemäss die Übertragung von Nachrichtenpaketen wieder auf.Similarly, at the same virtual time, the clock synchronization FIFOs will operate 102 of both CPUs 12A . 12B resumed and thus with the router 14A synchronized. The CPUs 12A . 12B therefore also stop sending SLEEP command symbols in favor of READY symbols and properly resume the transmission of message packets.
Damit ist der Synchronisierungsprozess für den Router 14A abgeschlossen. Der Prozess muss jedoch auch für den Router 14B durchlaufen werden. Die CPU springt also zum Schritt 952 zurück und führt die Schritte 952–966 erneut durch, diesmal allerdings mit dem Router 14B anstelle des Routers 14A, woraufhin alle CPUs 12A, 12B und Router 14A, 14B für einen frequenzsynchronisierten Betriebsmodus initialisiert sind. Was zur Einrichtung des Duplex-Betriebsmodus noch zu tun bleibt, ist die beiden CPUs 12A, 12B in denselben Betriebszustand zu versetzen und dafür zu sorgen, dass sie dieselben Befehle im wesentlichen zum selben Zeitpunkt ausführen. Die Vorgangsweise, die darin besteht, zwei CPUs 12 in denselben Zustand zu versetzen, auch Reintegration genannt, wird weiter unten beschrieben. Zuvor gilt es jedoch noch, unter Voraussetzung, dass die CPUs 12A, 12B nun im Duplexbetrieb arbeiten, das Verfahren und die Vorrichtung zu beschreiben, die verwendet werden, um einen möglichen Fehler zu erkennen und zu bearbeiten, welcher zu einer Divergenz der CPUs in Bezug auf deren Duplexbetrieb führt.This is the synchronization process for the router 14A completed. However, the process must also be for the router 14B be run through. The CPU therefore jumps back to step 952 and carries out steps 952-966 again, but this time with the router 14B instead of the router 14A , whereupon all CPUs 12A . 12B and router 14A . 14B are initialized for a frequency-synchronized operating mode. What remains to be done to set up the duplex operating mode is the two CPUs 12A . 12B put in the same operating state and ensure that they execute the same commands at substantially the same time. The procedure, which consists of two CPUs 12 Getting into the same state, also called reintegration, is described below. Before that, however, it still applies, provided that the CPUs 12A . 12B now working in duplex mode, to describe the method and the device used to detect and process a possible error which leads to a divergence of the CPUs with regard to their duplex mode.
Divergenzerkennung und -handhabung: Durch den Duplex-Betriebsmodus wird eine funktionellfehlende Fehlertoleranz auf CPU-Ebene implementiert. Eine jede des Paars von duplexbetriebenen CPUs (z. B. die CPUs 12A, 12B des Systems 10 – 1A) ist im wesentlichen eine identische Kopie der jeweils anderen, einschliesslich der Zustandsinformationen und des Speicherinhalts, und beide führen im wesentlichen zur selben Zeit identische Befehle eines identischen Befehlsstroms aus und bilden somit eine logische, fehlertolerante CPU. Durch einen Fehler der einen oder der anderen der CPUs 12A, 12B wird der Betrieb des Systems 10 nicht gestoppt bzw. nicht einmal verlangsamt – sofern dieser Fehler erkannt und ordnungsgemäss gehandhabt wird. Zur Erkennung einer fehlerhaften CPU ergibt sich naheliegenderweise aus dem Duplexbetrieb: die E/A-Ausgabedaten beider CPUs 12A, 12B sind bei einem ordnungsgemässen Duplexbetrieb Symbol für Symbol miteinander identisch. Alles was also zu tun ist, um die ordnungsgemässe Fortsetzung des Duplexbetriebs bestätigt zu bekommen, ist, die beiden E/A-Ausgabedaten der duplexbetriebenen CPUs symbolweise miteinander zu vergleichen. Eine fehlerhafte CPU weicht von dem Betriebszustand der anderen ab und diese Divergenz kommt schlussendlich in den E/A-Ausgabedaten der CPUs zum Ausdruck.Divergence detection and handling: The duplex operating mode implements a functionally missing fault tolerance at the CPU level. Each of the pair of duplexed CPUs (e.g. the CPUs 12A . 12B of the system 10 - 1A ) is essentially an identical copy of each other, including the status information and memory contents, and both execute identical commands from an identical command stream at substantially the same time, thus forming a logical, fault-tolerant CPU. A fault in one or the other of the CPUs 12A . 12B becomes the operation of the system 10 not stopped or even slowed down - as long as this error is recognized and handled properly. To detect a faulty CPU, it is obvious from the duplex operation: the I / O output data of both CPUs 12A . 12B are identical to each other symbol by symbol in a proper duplex operation. So all you have to do to confirm that the duplex operation continues correctly is to compare the two I / O output data of the duplex-operated CPUs symbol by symbol. A faulty CPU deviates from the operating state of the other and this divergence is finally expressed in the I / O output data of the CPUs.
In 32 wird die Vorgehensweise veranschaulicht, die verwendet wird, um als erstes eine Divergenz bei den Routern 14A, 14B zu erkennen (Schritte 1000, 1002), und in weiterer Folge diese Divergenz auf elegante Weise handzuhaben, um den Betrieb der fehlerhaften CPU so bald wie möglich zu beenden und sie so daran zu hindern, schlechte Daten innerhalb des Systems 10 zu verbreiten. In Schritt 1000 der 32 arbeitet das duplexbetriebene Paar von CPUs 12A, 12B (l) somit synchron im Gleichschritt als eine logische CPU. In regelmässigen Abständen senden die CPUs 12 E/A-Daten über ein Nachrichtenpaket, das für ein Peripheriegerät des einen oder anderen Subprozessorsystems 10A , 10B bestimmt ist. Je nach Bestimmungsort des abgehenden Nachrichtenpakets empfängt bei Schritt 1002 einer der Router 14A oder 14B diese E/A-Daten und vergleicht beim Empfang des Pakets jedes Symbol des von der CPU 12A kommenden Nachrichtenpakets mit jenem der CPU 12B. Der Vergleich erfolgt an den Ausgängen der Eingangslogik 505 der Porteingängen 502 und 5025, die entsprechend geschaltet sind, um über eine (nicht dargestellte) Vergleichsschaltung herkömmlicher Bauart E/A-Daten von den CPUs 12A, 12B zu empfangen. Falls die empfangenen Symbole gleich sind, verbleibt das Verfahren auf den Schritten 1000 und 1002 – was auf eine ordnungsgemässen Betrieb hindeutet.In 32 illustrates the procedure used to first establish a divergence in the routers 14A . 14B Detect (steps 1000, 1002), and subsequently handle this divergence in an elegant manner to stop the faulty CPU from operating as soon as possible, thereby preventing it from getting bad data within the system 10 to spread. In step 1000 the 32 works the duplex-powered pair of CPUs 12A . 12B ( l ) thus synchronously in step as a logical CPU. The CPUs send at regular intervals 12 I / O data via a message packet, which is for a peripheral device of one or the other subprocessor system 10A . 10B is determined. Depending on the destination of the outgoing message packet, one of the routers receives in step 1002 14A or 14B this I / O data and compares each symbol received by the CPU when the packet is received 12A coming message packet with that of the CPU 12B , The comparison takes place at the outputs of the input logic 505 the port entrances 502 and 5025 , which are switched accordingly, to receive I / O data from the CPUs via a ( not shown) comparison circuit of conventional type 12A . 12B to recieve. If the received symbols are the same, the method remains on steps 1000 and 1002 - indicating correct operation.
Sollten während des Schritts des Vergleiches 1002 unterschiedliche Symbole erkannt werden, so gibt die (nicht dargestellte) Vergleichsschaltung des Routers 14 ein FEHLER-Signal an die Router-Steuerlogik 509 aus, wodurch der Prozess zu Schritt 1004 weiterspringt, bei welchem der die Divergenz erkennende Router 14 ein DVRG-Befehlssymbol an beide CPUs 12A, 12B überträgt. Vorzugsweise wartet der Router so lange wie möglich zu, bevor er das DVRG-Signal sendet, um die Zeit zwischen dem Melden der Divergenz und dem Abklären, welche CPU den Betrieb fortsetzt, möglichst gering zu halten.Should be during the step of the comparison 1002 different symbols are recognized, so gives the (not shown) comparison circuit of the router 14 an ERROR signal to the router control logic 509 off, whereby the process jumps to step 1004, in which the router that detects the divergence 14 a DVRG command symbol to both CPUs 12A . 12B transfers. The router preferably waits as long as possible before sending the DVRG signal in order to keep the time between reporting the divergence and clarifying which CPU continues to operate as short as possible.
Es mag an diesem Punkt hilfreich sein, in einem kurzen Exkurs nachfolgend verschiedene gegensätzliche Ziele zu beschreiben, die durch diese Technik der Divergenzerkennung verfolgt werden sollen: Als erstes müssen die Router 14A, 14B unverzüglich Schritte setzen, um eine Ausbreitung des Fehlers auf den Rest des Systems zu verhindern. So setzen die Router ungeachtet der Erkennung einer Divergenz mit dem Senden der Nachrichtenpakete über ihre vorbestimmten Leitwege fort, allerdings unter Zurückhaltung des abschliessenden Symbols des Nachrichtenpakets: des Zustandssymbols, welches ein "Paket schlecht"- bzw. ein "Paket gut"-Zustandssymbol (TPBbzw. TPG-Zustandssymbol) sein kann. Ohne dieses Symbol kann ein im Informationsstrom nachgeordnetes Bestimmungselement ein empfangenes Nachrichtenpaket nicht verwenden.At this point it may be helpful to describe in a short digression various opposing goals that should be pursued by this technique of divergence detection: First of all, the routers 14A . 14B Take immediate steps to prevent the error from spreading to the rest of the system. Thus, regardless of the detection of a divergence, the routers continue to send the message packets via their predetermined routes, but with restraint to the final symbol of the message packet: the status symbol, which represents a "packet bad" or a "packet good" status symbol (TPB or TPG status symbol). Without this symbol, a determination element downstream in the information stream cannot use a received message packet.
Als zweites Ziel sollen möglichst wenige Nachrichtenpakete zertrennt werden. Wie weiter unten beschrieben, wird eine der CPUs 12A, 12B als "bevorzugte" oder primäre CPU bestimmt, und wenn die CPUs im Duplexmodus betrieben werden, wird nur der von der bevorzugten CPU eines Routers kommende Nachrichtenverkehr weiterübertragen. Die Paketzertrennung wird minimiert, indem es einem Router ermöglicht wird, angesichts der Erkennung einer Divergenz die Fertigstellung der Übertragung eines Nachrichtenpakets so lange fortzusetzen, bis bestimmt werden kann, welche CPU fehlerhaft ist, sofern eine solche Bestimmung möglich ist.The second goal is to cut as few message packets as possible. As described below, one of the CPUs 12A . 12B designated as the "preferred" or primary CPU, and when the CPUs are operating in duplex mode, only the message traffic coming from the preferred CPU of a router is retransmitted. Packet separation is minimized by allowing a router to continue completing the transmission of a message packet in the face of divergence detection until it can determine which CPU is faulty, if such a determination is possible.
Wenn es sich dabei nicht um die bevorzugte CPU handelt, so wird das Nachrichtenpaket durch die Übertragung des Abschlusssymbols, in diesem Fall eines TPG-Symbols, freigegeben.If it is not the preferred one CPU is acting, the message packet is transmitted the final symbol, in this case a TPG symbol.
Als drittes muss ein Router, der eine Divergenz erkennt, genau bestimmen, welche Fehler es sind, die passiert sind, damit es zu einer Divergenz kommen konnte. Zu diesem Zweck sucht er nach einfachen Linkfehlern, nach verlorengegangenen Linkebenen-"Halte"-Symbolen und nach CRC-Fehlern. Die CPUs 12 räumen im Anschluss an dem Empfang des DVRG-Symbols hinreichend Zeit ein, um die Ausgabe allfälliger Linkebenen-Haltesymbol-Zeitablauf-Fehlermeldungen abwarten zu können. Ein Router, der eine Divergenz erkennt (ohne dabei einen entsprechenden, einfachen Linkfehler erkennen zu können) nimmt sich die Zeit, um den CRC des empfangenen Nachrichtenpakets zu prüfen, indem er auf das Ende des Nachrichtenpakets wartet, bevor er die Divergenz mittels des DVRG-Symbols meldet.Third, a router that detects a divergence needs to determine exactly what errors are that have occurred so that a divergence could occur. To this end, it looks for simple link errors, lost link level "hold" symbols, and CRC errors. The CPUs 12 after receiving the DVRG symbol, allow sufficient time to wait for the output of any link level stop symbol timeout error messages. A router that detects a divergence (without being able to identify a corresponding simple link error) takes the time to check the CRC of the received message packet by waiting for the end of the message packet before it detects the divergence using the DVRG Symbols reports.
Viertens und letztens muss das System 10 die Divergenzhandhabung innerhalb einer kurzen, begrenzten Zeitspanne vollenden, um TNet-Transaktions-Zeitablauffehler bzw. untragbare E/A-Verzögerungen zu vermeiden. Dieses Ziel steht gewissermassen im Widerspruch zu dem Zurückhalten der Freigabe des Nachrichtenpakets (durch das Zurückhalten des abschliessenden Zustandssymbols), da das Warten auf die Fertigstellung der Übertragung eines von einer CPU kommenden Nachrichtenpakets viel Zeit in Anspruch nehmen kann. Eine solche Verzögerung kann jedoch nicht zu einem TNet Zeitablauffehler führen, wenn die ungünstigste Zeitspanne, innerhalb derer eine CPU ein Nachrichtenpaket übertragen muss, garantiert ist.Fourth and lastly, the system 10 Complete divergence handling within a short, limited period of time to avoid TNet transaction timing errors or intolerable I / O delays. To a certain extent, this goal contradicts the withholding of the release of the message packet (by the withholding of the final status symbol), since waiting for the completion of the transmission of a message packet coming from a CPU can take a long time. However, such a delay cannot lead to a TNet timing out error if the least favorable period within which a CPU has to transmit a message packet is guaranteed.
Die CPUs 12 starten beim Empfang eines DVRG-Symbols einen Zeitgeber, der dazu verwendet wird, eine vorgegebene Zeitspanne festzusetzen, innerhalb derer die CPUs 12 zu bestimmen versuchen, welche von ihnen den Fehler aufweist und den Betrieb beenden muss und welche von ihnen weiterarbeiten muss (Schritt 1006). Ausserdem reflektieren beide CPUs 12A, 12B das DVRG-Befehlssymbol an die beiden Router 14A, 14B zurück. Wenn ein Router 14A, 14B, der dieses reflektierte DVRG-Symbol empfängt, keine Divergenz erkannt hat, oder zuvor noch auf kein DVRG-Symbol gestossen ist, so reflektiert er auch ein DVRG-Symbol zurück an die CPUs. Durch das in dieser Weise erfolgende Reflektieren der DVRG-Befehlssymbole wird gewährleistet, dass alle CPUs 12 und Router 14A, 14B auf ein DVRG-Symbol gestossen sind und so von dem möglichen Vorhandensein einer Divergenz unterrichtet sind.The CPUs 12 when a DVRG symbol is received, start a timer that is used to set a predetermined period of time within which the CPUs 12 try to determine which of them has the error and must stop operating and which of them must continue (step 1006). In addition, both CPUs reflect 12A . 12B the DVRG command symbol to the two routers 14A . 14B back. If a router 14A . 14B who receives this reflected DVRG symbol, has not recognized any divergence, or has not previously encountered a DVRG symbol, it also reflects a DVRG symbol back to the CPUs. Reflecting the DVRG command symbols in this way ensures that all CPUs 12 and router 14A . 14B have encountered a DVRG symbol and are thus informed of the possible presence of a divergence.
Sind erst einmal alle Beteiligten (die CPUs 12A, 12B, und die Router 14A, 148) informiert, dass eine Divergenz erkannt worden ist, was auf einen Fehler einer der CPUs (oder eines Routers) schliessen lässt, so gilt es, darauf zu achten, dass keine Folgeerscheinungen aus diesem Fehler in Form von schlechten Daten auf den Rest des Systems 10 übertragen werden. Gleichzeitig muss das System 10 den Fehler tolerieren und seinen Betrieb fortsetzen.Are all involved (the CPUs 12A . 12B , and the routers 14A . 148 ) informs you that a divergence has been detected, which indicates a fault in one of the CPUs (or a router), it is important to ensure that there are no sequelae from this fault in the form of bad data on the rest of the system 10 be transmitted. At the same time, the system 10 tolerate the error and continue its operation.
Somit müssen alle (von den CPUs) abgehenden Paketübertragungen zumindest teilweise fortgesetzt werden, bis entschieden werden kann, ob ein Nachrichtenpaket, das zur selben Zeit von den CPUs kommend eintrifft, zu welcher der Router eine Divergenz erkennt, gut oder schlecht ist.So everyone has to go out (from the CPUs) packet transmissions at least partially continue until a decision can be made whether a message packet arriving from the CPUs at the same time to which the router detects a divergence, good or bad is.
Ausserdem muss die divergenzverursachende CPU bestimmt werden und in transparenter Weise (d. h. ohne äusseres Zutun) aus dem System entfernt werden. Diese letztere Aufgabe fällt in den Verantwortungsbereich der CPUs 12, denn nachdem die Divergenz und allfällige Fehler an die CPUs 12 gemeldet worden sind, müssen diese untereinander entscheiden, welche von ihnen den Betrieb fortsetzt und welche ihren weiteren Betrieb beendet und sich somit praktisch selber aus dem System 10 zurückzieht.In addition, the divergence-causing CPU must be determined and transparent (i.e. H. without external intervention) are removed from the system. This latter task is the responsibility of the CPUs 12 , because after the divergence and any errors to the CPUs 12 have been reported, they must decide among themselves which of them will continue to operate and which will end their further operation and thus practically remove itself from the system 10 withdraws.
Somit analysiert unter Schritt 1006 der Divergenzroutine eine jede der CPUs 12A, 12B die verschiedenen ihr bereitgestellten Fehlerangaben; diese Fehleranalyse wird weiter unten noch genauer besprochen.Thus, at step 1006 of the divergence routine, each of the CPUs analyzes 12A . 12B the various error messages provided to it; this error analysis is discussed in more detail below.
Vorerst bedarf jedoch die Funktion des (bzw. der) divergenzerkennenden Router(s) 14, durch welche die Ausbreitung schlechter Daten begrenzt wird, einer Erklärung. Nachdem das DVRG-Symbol von einem Router 14 ausgegeben, oder empfangen, worden ist, werden alle weiteren Nachrichtenpakete, die zu dem Zeitpunkt, da die Divergenz erkannt wurde, von den CPUs kommend empfangen worden sind bzw. im Begriff sind, weitergeleitet zu werden, bzw. das empfangene DVRG-Symbol, ausgenommen allerdings das paketabschliessende Zustandssymbol, d. h. das Zustandsanzeigesymbol 'TPG' (Paket gut) bzw. 'TPB' (Paket schlecht), durch den Router hindurchgeleitet. Während des Duplexbetriebs wird, wie weiter oben bereits kurz erklärt, ein jeder der Router 14A, 14B durch Setzen einer Bitposition in dem in der Steuerlogik 509 (19A) enthaltenen Konfigurationsregister (nicht gezeigt) entsprechend konfiguriert, so dass er über eine "bevorzugte" CPU verfügt. Im Duplexbetrieb überträgt der Router das von der bevorzugten CPU empfangene Nachrichtenpaket weiter; das von der anderen oder "nicht bevorzugten" CPU kommende Paket wird nur zum Zweck der Divergenzerkennung verwendet. Die Router müssen abwarten, bis die CPUs eine Entscheidung getroffen haben, welche von ihnen den Betrieb fortsetzt, wovon die Router 14A, 14B benachrichtigt werden (Schritt 1012), bevor das Paket durch Anfügen des TPG/TPB-Zustandsanzeigesymbols "freigegeben" werden (Schriet 1014). Wenn der Router benachrichtigt wird, dass die bevorzugte CPU 12 zur Fortführung des Betriebs bestimmt wurde, so gibt der Router das Nachrichtenpaket durch Hinzufügen und Senden des Zustandsanzeigesymbols 'TPG' frei. Wenn der Router hingegen benachrichtigt wird, dass es sich umgekehrt verhält, d. h. dass es nicht die bevorzugte CPU ist, die den Betrieb fortführt, wird das Nachrichtenpaket mit dem Symbol 'TPB' versehen und somit ausgeschieden.For the time being, however, the function of the (or) divergence-detecting router (s) 14, by means of which the spreading of bad data is limited, needs to be explained. After the DVRG symbol from a router 14 output, or received, all other message packets that were received by the CPUs or are about to be forwarded at the time when the divergence was recognized, or the received DVRG symbol, are excluded however, the packet-terminating status symbol, ie the status display symbol 'TPG' (package good) or 'TPB' (package bad), is passed through the router. As already explained briefly above, each of the routers is activated during the duplex operation 14A . 14B by setting a bit position in the in the control logic 509 ( 19A ) contained configuration register (not shown) configured accordingly so that it has a "preferred" CPU. In duplex mode, the router retransmits the message packet received by the preferred CPU; the packet coming from the other or "not preferred" CPU is only used for the purpose of divergence detection. The routers have to wait until the CPUs have made a decision as to which of them will continue to operate, of which the routers 14A . 14B be notified (step 1012) before the package is "released" by adding the TPG / TPB status indicator symbol (Schriet 1014 ). When the router is notified that the preferred CPU 12 was determined to continue operation, the router releases the message packet by adding and sending the status display symbol 'TPG'. If, on the other hand, the router is notified that the situation is reversed, ie that it is not the preferred CPU that continues to operate, the message packet is provided with the 'TPB' symbol and is therefore eliminated.
Um die Menge an verlorenen Daten zu beschränken (wie weiter oben als zweites Ziel erwähnt), werden die beiden Router mit unterschiedlichen bevorzugten CPUs konfiguriert (z. B. die bevorzugte CPU von Router 14A ist CPU 12A, die bevorzugte CPU von Router 14B ist CPU 12B).To limit the amount of data lost (as mentioned above as a second destination), the two routers are configured with different preferred CPUs (e.g. router preferred CPU 14A is CPU 12A , Router's preferred CPU 14B is CPU 12B ).
Nachdem die Nachricht über die erkannte Divergenz per Rundruf an die CPUs 12A, 12B und an die Router 14A und 14B übermittelt worden ist, wird fortgesetzt, indem eine jede der CPUs 12A, 12B damit beginnt, die bei Schritt 1006 eingetretene Situation zu bewerten, in dem Bemühen, unabhängig voneinander zu bestimmen, wo der Fehler liegt, der für die Divergenz verantwortlich ist. Sobald feststeht, in welcher der CPUs 12A, 12B der Fehler aufgetreten ist (Schritt 1008), beendet diese CPU ihren Berieb selbsttätig (Schritt 1012) und lässt die andere alleine, wenn auch im Simplexmodus, weiterarbeiten. Für den Fall, dass die CPUs 12A, 12B nicht in der Lage sind, aus einem der erkannten bzw. gemeldeten Fehler zu bestimmen, bei welcher von ihnen der Fehler liegt, so kommt ein "Tie-Break"-Bit (Schritt 1010) zum Einsatz, welches in jeweils einem der Konfigurationsregister 74 (5) der Schnittstelleneinheit 24 einer jeden CPU enthalten ist.After broadcasting the message about the detected divergence to the CPUs 12A . 12B and to the router 14A and 14B has been transmitted continues by each of the CPUs 12A . 12B this begins to assess the situation that occurred at step 1006, in an effort to independently determine where the error that is responsible for the divergence lies. As soon as it is certain in which of the CPUs 12A . 12B the error has occurred (step 1008), this CPU ends its operation automatically (step 1012) and leaves the other one to continue working, albeit in simplex mode. In the event that the CPUs 12A . 12B If you are unable to determine from one of the detected or reported errors which of them the error is, a "tie break" bit (step 1010) is used, which is stored in one of the configuration registers 74 ( 5 ) of the interface unit 24 of each CPU is included.
Im folgenden wird vorübergehend wieder auf Schritt 1006 Bezug genommen, wobei die Entscheidung der Frage, bei welcher der CPUs 12A , 12B der Fehler liegen mag, in erster Line darauf basiert, welche Fehler auf dem Kommunikationspfad zwischen den CPUs 12A, 12B und den Routern 14A, 14B erkannt werden. Nachdem die Router 14A, 14B das Vorhandensein einer Divergenz bemerkt haben, setzt jeder, wie oben erwähnt, seinen normalen Betrieb fort: jedes einzelne Nachrichtenpaket, das zu dem Zeitpunkt, da der eine Divergenz anzeigende Symbolunterschied erkannt wurde, oder im Anschluss daran, von den CPUs 12A, 12B kommend gerade von einem Router 14A, 148 empfangen wird, mit Ausnahme des abschliessenden Zustandsanzeigesymbols, wird durch den Router hindurchgeleitet. Beide Router 14A, 14B überwachen weiterhin die Kommunikationspfade (TNet-Links L), zwischen dem speziellen Router 14 und den CPUs 12 auf mögliche Linkprotokollfehler und/oder Verletzungen wie zum Beispiel auf einen erkannten CRC-Fehler, auf Befehlssymbolfehler oder auf andere Arten von Linkfehlern hin. Wenn ein solcher Fehler bzw. eine solche Verletzung auf einem Link L (z. B. dem Link Lx – 1A) erkannt wird, so sendet der erkennende Router 14A, 14B auf diesem Link (Lx) ein 'Link schlecht'-Symbol (TLB-Symbol) an die CPU zurück. Zur selben Zeit sendet der erkennende Router an die andere CPU 12 (über das andere Link Ly) ein 'Anderes Link schlecht'-Symbol (OLB-Symbol). Auf diese Weise werden beide CPUs 12 davon in Kenntnis gesetzt, dass ein Kommunikationspfad (die Zinkverbindung Lx) zu einem der Router 14A, 14B, oder irgendein mit diesem Link verbundenes Element, fehlerhaft oder unzuverlässig sein kann. Diese Information wird von den CPUs bei dem in Schritt 1006 erfolgenden Versuch benutzt, zu bestimmen, welche CPU den Betrieb beenden sollte, während die andere CPU ihre Arbeit, wenn auch im Simplexbetriebsmodus, fortsetzt. Die CPUs akkumulieren diese Fehlerinformationen und erstellen eine Tabelle ähnlich der nachfolgenden Tabelle 7. TABELLE 7
Die Tabelle 7 listet die fünf möglichen Zustände auf, die von einer CPU erkannt bzw. dieser gemeldet werden können und auf deren Basis eine CPU bestimmen kann, was bei Eintreten einer Divergenzmeldung zu tun ist. Der in Tabelle 7 verwendete Begriff "lokal" soll sich auf den Router 14A, 14B beziehen, welcher in demselben Subprozessorsystem 10A, 10B wie die CPU enthalten ist. So ist zum Beispiel, unter Bezugnahme auf 1A, der Router 14A der "lokale" Router in Bezug auf die CPU 12A, jedoch der "entfernte" Router in Bezug auf die CPU 12B. Das in Tabelle 7 verwendete "primär" bezieht sich auf das bereits weiter oben erwähnte Tie-Break-Bit: das in einem der Konfigurationsregister 74 der Schnittstelleneinheit 24 (5) einer jeden CPU enthaltene Bit. Ist dieses Bit in einen ersten Zustand versetzt, so wird die betreffende CPU 12 dadurch als Primäre CPU gekennzeichnet, und umgekehrt muss bei der anderen CPU 12 dasselbe Konfigurationsbit in einen umgekehrten Zustand gesetzt sein, um anzuzeigen, dass es sich um die "Zweit-CPU" handelt. Diese Bits werden im Zuge der Divergenzhandhabung in jenen Fällen verwendet, um eine der CPUs auszuwählen, die den Betrieb fortsetzt, in denen die CPUs auf andere Weise nicht imstande sind, diese Bestimmung vorzunehmen. Es sei hier angemerkt, dass in allen Fällen, in denen der lokale Router keine Fehler meldet, die CPU das Fällen einer diesbezüglichen Entscheidung verzögert. Damit wird der Möglichkeit Rechnung getragen, dass die andere CPU Fehler erkennt und einer Selbstprüfung unterzieht, und dass der lokale Router in der Folge das Aussetzen der Haltesymbole erkennt und den Fehler in Form eines OLB-Symbols an die lokale CPU meldet.Table 7 lists the five possible states that can be recognized or reported by a CPU and on the basis of which a CPU can determine what to do if a divergence message occurs. The term "local" used in Table 7 is intended to refer to the router 14A . 14B which is in the same subprocessor system 10A . 10B how the CPU is included. For example, referring to 1A , the router 14A the "local" router in relation to the CPU 12A , but the "remote" router in relation to the CPU 12B , The "primary" used in Table 7 refers to the tie break bit already mentioned above: that in one of the configuration registers 74 the interface unit 24 ( 5 ) of each CPU contained bit. If this bit is set to a first state, the CPU concerned becomes 12 thereby marked as the primary CPU, and vice versa for the other CPU 12 the same configuration bit is set to an inverted state to indicate that it is the "second CPU". These bits are used in the course of divergence handling in those cases to select one of the CPUs that will continue to operate where the CPUs are otherwise unable to make this determination. It should be noted here that in all cases in which the local router reports no errors, the CPU delays making a decision in this regard. This takes into account the possibility that the other CPU detects errors and subjects them to a self-check, and that the local router subsequently recognizes the suspend symbols and reports the error to the local CPU in the form of an OLB symbol.
Die Bemerkung "Beliebiger Zustand" bedeutet lediglich, dass ungeachtet des Meldezustands (Meldung eines Fehlers oder keine Fehlermeldung) seitens des entfernten Routers, die lokale CPU jene Aktion setzt, die unter dem Titel "Aktion der Lokalen CPU" angeführt ist.The remark "Any condition" only means that regardless of the status of the message (message from a Error or no error message) from the remote router, the local CPU takes the action that is called "Action of the Local CPU " is.
Die Bemerkung "Aktion der Lokalen CPU" bezeichnet die von einer bestimmten der CPUs 12A, 12B zu setzenden Aktion, wenn die auf diese bestimmte CPU die in einer der Reihen der Tabelle angeführten Bedingungen zutreffen. Wenn zum Beispiel die in Reihe 4 angeführten Bedingungen auf die CPU 12A zutreffen (der Router 14A hat einen Fehler gemeldet, bzw. die CPU 12A hat einen Fehler erkannt), so entscheidet die CPU 12A, dass sie ihren Betrieb zu Gunsten der anderen CPU des duplexbetriebenen CPU-Paars abbricht und somit der CPU 12B ermöglicht, ihren Betrieb fortzusetzen. Umgekehrt geben die Bedingungen der Reihe 4 an, dass die andere CPU 12B von ihrem "entfernten" Router (dem Router 14A) ein OLB-Symbol empfangen hat, mit welchem ihr die Tatsache gemeldet wurde, dass der Kommunikationspfad zwischen dem Router 14A und der CPU 12A fehlerverdächtig ist. Aus der Sicht der CPU 12B handelt es sich hierbei um die Bedingung, die in der Reihe 3 oder 5 ausgedrückt wird. Hat nur einer der Router 14A, 14B einen Fehler entdeckt (in diesem Fall der Router 14A), so wird der CPU 12B eine in Reihe 3 angeführte Meldung vorgelegt. Für den Fall, dass beide Router 14A, 14B einen Fehler erkennen, meldet ein jeder ein TLB an die CPU 12A und ein OLB an die CPU 12B. Die CPU 12B nimmt das von dem Router 14B kommende OLB zur Kenntnis, setzt es mit der Bedingung aus Reihe 5 in Verbindung, gibt ein IOY-Symbol an den Router 14B aus und setzt ihren Betrieb fort.The remark "action of the local CPU" denotes that of a specific one of the CPUs 12A . 12B Action to be taken if the CPU specified for this particular CPU meets the conditions specified in one of the rows in the table. If, for example, those in series 4 conditions mentioned on the CPU 12A apply (the router 14A has reported an error or the CPU 12A has detected an error), the CPU decides 12A that it stops operating in favor of the other CPU of the duplex-operated CPU pair and thus the CPU 12B allows you to continue operating. Conversely, the conditions give the turn 4 that the other CPU 12B from your "remote" router (the router 14A ) received an OLB symbol, which was used to report the fact that the communication path between the router 14A and the CPU 12A is suspect. From the perspective of the CPU 12B this is the condition in the series 3 or 5 is expressed. Has only one of the routers 14A . 14B discovered an error (in this case the router 14A ), so the CPU 12B one in a row 3 submitted message presented. In case both routers 14A . 14B detect an error, everyone reports a TLB to the CPU 12A and an OLB to the CPU 12B , The CPU 12B takes that from the router 14B coming OLB to knowledge, it sets with the condition from series 5 connected, gives an IOY symbol to the router 14B and continues to operate.
Zu beachten ist hier, dass die Reihen 4 und 5 der Tabelle 7 Anlass zu einigen Problemen geben könnten. Wenn zum Beispiel der Router 14A ein TLB an die CPU 12A meldete und der Router 14B ein TLB an die CPU 12B meldete, so würden beide CPUs sich selbst ausser Gefecht setzen (einfrieren). Wenn jedoch angenommen wird, dass zu einer gegebenen Zeit immer nur höchstens ein Fehler auftritt, so dass es nicht zu einem Zustand kommen kann, in welchem beide lokalen Router Fehler entwickeln, was keineswegs eine ungewöhnliche Annahme darstellt, so sind die Bedingungen der Tabelle annehmbar. Andererseits ist es nicht erforderlich, dass das System am Laufen gehalten wird, wenn Mehrfachfehler an mehr als einem Link zwischen den Routern 14 und den CPUs 12 auftreten. In ähnlicher Weise könnte es auch passieren, dass wenn beide Router OLBs an ihre lokalen CPUs melden, beide CPUs versuchen, den Betrieb im Alleingang fortzusetzen. Dies würde auf einen Taktgabefehler schliessen lassen. Die Taktschaltungen sollten solche Fehler erkennen und die fehlerbehaftete CPU einfrieren.It should be noted here that the rows 4 and 5 Table 7 could give rise to some problems. If for example the router 14A a TLB to the CPU 12A reported and the router 14B a TLB to the CPU 12B reported, both CPUs would put themselves out of action (freeze). However, if it is assumed that at most one error occurs at a time, so that there cannot be a condition in which both local routers develop errors, which is by no means an unusual assumption, the conditions of the table are acceptable. On the other hand, it is not necessary for the system to be kept running if there are multiple errors on more than one link between the routers 14 and the CPUs 12 occur. Similarly, if both routers report OLBs to their local CPUs, both CPUs may try to continue operating on their own. This would indicate a timing error. The clock circuits should detect such errors and freeze the faulty CPU.
Die Tabelle 7 stellt daher jene Fehlerangaben dar, die von den CPUs 12 und den Routern 14A, 14B erkannt werden können. Generell verhält es sich so, dass wenn eine CPU 12 von ihrem lokalen Router eine Fehlermeldung empfängt, diese ihren Betrieb zu Gunsten der anderen abbricht und es so der anderen des CPU-Paars ermöglicht, den Betrieb fortzusetzen.Table 7 therefore shows the error information from the CPUs 12 and the routers 14A . 14B can be recognized. Generally, when a CPU 12 receives an error message from its local router, which stops its operation in favor of the others and thus enables the other of the CPU pair to continue operation.
Auf die Bezeichnungen Primäre CPU und Zweit-CPU muss nur dann zurückgegriffen werden, wenn keine der CPUs bei Ablauf ihres jeweiligen Zeitgebers (der zum Zeitpunkt des Empfangs des DVRG-Befehlssymbols gestartet wurde) eine wie auch immer geartete Fehlermeldung empfangen hat. In diesem Fall fällt die Entscheidung durch den Rückgriff auf das primäre Konfigurationsbit einer jeden CPU. Die als Primäre CPU bezeichnete CPU setzt den Betrieb fort und nimmt an, dass die andere abgebrochen hat.On the names Primary CPU and Second CPU only has to be used if none of the CPUs expire when their respective timers expire (which started when the DVRG command symbol was received has received an error message of whatever kind. In this case, falls the decision by recourse on the primary Configuration bit of every CPU. The CPU referred to as the primary CPU sets continues operating and assumes that the other has terminated.
Auf diese Weise treffen die CPUs 12 eine Entscheidung (Schritt 1008) wer den Betrieb fortsetzt und wer nicht und gehen anschliessend zu Schritt 1012 über, in welchem eine CPU gemäss der in einem der Schritte 1006, 1010 getroffenen Entscheidung ihren Betrieb abbricht.This is how the CPUs hit 12 a decision (step 1008) who continues the operation and who does not and then go to step 1012, in which a CPU stops its operation in accordance with the decision made in one of the steps 1006, 1010.
Die CPU 12, welche den Betrieb abbricht, tut dies indem sie eine Selbstprüfung einleitet und anschliessend einfriert. Die CPU, welche den Betrieb fortsetzt, sendet ein IOY-Symbol ('Ich bin dir übergeordnet') an die Router 14A, 14B, um sie zu informieren, dass die Router sich nur an der CPU orientieren sollen, die den Betrieb fortsetzt, und sämtliche Übertragungen seitens der anderen CPU ignorieren sollen. Als Reaktion darauf ändern die in der Steuer- und Zustandseinheit 509 (19A) enthaltenen Ablaufsteuereinheiten (nicht dargestellt) die weiter oben beschriebenen "primären" Bits entsprechend ab.The CPU 12 , which terminates the business, does this by initiating a self-check and then freezing it. The CPU, which continues to operate, sends an IOY symbol ('I am superior to you') to the router 14A . 14B to inform them that the routers should only focus on the CPU that is continuing to operate and should ignore all transmissions from the other CPU. In response to that change in the control and status unit 509 ( 19A ) contain sequential control units (not shown) from the "primary" bits described above.
Einige Beispiele sollen in folgenden das Konzept der Divergenz verdeutlichen. Unter erneuter Bezugnahme auf 1A sei angenommen, dass die CPUs 12A, 12B im Duplex-Betriebsmodus arbeiten, und dass bei der CPU 12A ein Fehler auftritt, so dass alle nachfolgenden E/A-Operationen sich von jenen der CPU 12B unterscheiden. Demgemäss wird anlässlich der nächsten E/A-Übertragung einer der Router 14A, 14B (und zwar der, an den Daten adressiert sind, bzw. beide, falls die CPU 12A E/A-Daten fehlerbedingt an einen anderen Bestimmungsort adressiert als jenen der CPU 128) eine Divergenz erkennen. Sie warten jedoch ab, wie oben erwähnt, bis das gesamte Paket empfangen ist, um zu bestimmen ob die CRC-Prüfung des vorliegenden Nachrichtenpakets erfolgreich ist, oder bis irgendwelche einfache Fehler auftreten, woraufhin jeder Router ein DVRG-Symbol auf beiden Links L überträgt. Angenommen beide Router treffen auf Protokollfehler. Erkannte Protokollfehler führen umgehend dazu, dass die Router 14A, 14B ein DVRG-Symbol an beide CPUs 12 senden, und ein 'Link schlecht'-Symbol (TLB-Symbol) auf die Links L zurücksenden, auf denen die Fehler erkannt wurden, d. h. die Links Lx, Ly, welche jeweils die Router 14A, 14B mit der CPU 12A verbinden. Zur selben Zeit, zu der sie das TLB-Symbol senden, senden beide Router 14A, 14B'Anderes Link schlecht'-Symbole (OLB-Symbole) an die CPU 12B. Bei Empfang des DVRG-Symbols reflektiert die CPU 12A dieses Symbol an die Router 14A, 14B zurück, startet ihren internen Divergenzprozess-Zeitgeber, und beginnt mit der Bestimmung ob ihr Betrieb fortgesetzt oder abgebrochen werden soll. Da sie ein TLB-Symbol von ihrem lokalen Router 14A empfangen hat, entscheidet die CPU 12A unverzüglich, dass sie ihren Betrieb zugunsten der CPU 12B abbrechen muss, welche dadurch ihrerseits ihren Betrieb fortsetzen kann (Reihe 4, Tabelle 7).Some examples are intended to illustrate the concept of divergence in the following. Referring again to 1A assume that the CPUs 12A . 12B work in duplex mode, and that with the CPU 12A an error occurs so that all subsequent I / O operations differ from those of the CPU 12B differ. Accordingly, one of the routers will become available on the next I / O transfer 14A . 14B (namely the one to which data is addressed, or both if the CPU 12A Due to errors, I / O data is addressed to a different destination than that of the CPU 128 ) detect a divergence. However, as mentioned above, you wait until the entire packet is received to determine whether the CRC check of the present message packet is successful or until any simple errors occur, whereupon each router transmits a DVRG symbol on both links L. Suppose both routers encounter protocol errors. Detected protocol errors immediately lead to the router 14A . 14B a DVRG symbol on both CPUs 12 send, and send back a 'link bad' symbol (TLB symbol) to the links L on which the errors were detected, ie the links Lx, Ly, which are the routers 14A . 14B with the CPU 12A connect. Both routers are transmitting at the same time that they are sending the TLB symbol 14A . 14B ' Another link bad 'symbols (OLB symbols) to the CPU 12B , The CPU reflects when the DVRG symbol is received 12A this icon to the router 14A . 14B back, starts its internal divergence process timer, and begins determining whether to continue or abort its operation. Since they have a TLB symbol from their local router 14A received, the CPU decides 12A immediately that they are operating in favor of the CPU 12B must terminate, which in turn can continue its operation (row 4 , Table 7).
Gemäss diesem Szenario hat die CPU 12B weiterhin von beiden Routern 14A, 14B OLB-Symbole empfangen und auf Grund dieser Meldungen entschieden, dass sie jene CPU ist, die den Betrieb fortsetzen soll. Demgemäss sendet sie ein I0Y-Symbol an beide Router 14A, 14B. In Reaktion darauf konfigurieren sich die Router entsprechend, so dass Paketübertragungen nur mehr in Verbindung mit der CPU 12B durchgeführt werden und jedwede von der CPU 12A kommenden Übertragungen ignoriert werden.According to this scenario, the CPU 12B continue from both routers 14A . 14B OLB symbols received and on the basis of these messages decided that it is the CPU that is to continue operating. Accordingly, it sends an I0Y symbol to both routers 14A . 14B , In response, the routers configure themselves accordingly, so that packet transfers are only possible in connection with the CPU 12B be performed and any by the CPU 12A upcoming transmissions are ignored.
Die Divergenzerkennung kann auch einen fehlerbehafteten Router erkennen. Angenommen zum Beispiel der Router 14A ist mit einen Fehler behaftet, welcher bewirkt, dass der Router divergierende Aktionen ausführt, die wiederum zur Folge haben, dass die beiden CPUs 12A, 12B ein divergierendes Verhalten aufweisen. Der funktionstüchtige Router, d. h. der Router 14B, erkennt diese Divergenz und meldet sie mit einem DVRG-Symbol an eine jede der CPUs. Jede CPU reflektiert das DVRG-Symbol an beide Router 14A, 14B zurück. Je nach Art des vorliegenden Fehlers reflektiert der Router 14A das DVRG-Symbol an die CPUs zurück oder auch nicht. Die CPU 12A bemerkt das Vorhandensein von Fehlern auf ihrem lokalen Link, welcher sie mit dem fehlerbehafteten Router 14A verbindet, und entscheidet demgemäss, dass sie eine Selbstprüfung durchführen und den Betrieb abbrechen muss. Umgekehrt erkennt der Router 14B diesen Betriebsabbruch und gibt ein TLB-Symbol an die CPU 12A und ein OLB-Symbol an die CPU 12B zurück. Die CPU 12B gibt daraufhin ein I0Y-Befehlssymbol an beide Router aus.The divergence detection can also detect a faulty router. For example, suppose the router 14A has an error that causes the router to perform divergent actions, which in turn means that the two CPUs 12A . 12B show divergent behavior. The functional router, ie the router 14B , detects this divergence and reports it to each of the CPUs with a DVRG symbol. Each CPU reflects the DVRG symbol on both routers 14A . 14B back. The router reflects depending on the type of error 14A the DVRG symbol back to the CPUs or not. The CPU 12A notices the presence of errors on their local link, which links them to the failed router 14A connects, and accordingly decides that they must carry out a self-check and stop operations. Conversely, the router detects 14B this operation abort and gives a TLB symbol to the CPU 12A and an OLB symbol to the CPU 12B back. The CPU 12B thereupon an I0Y command symbol to both routers.
Bei der oben beschriebenen Divergenz handelte es sich um eine "saubere" Divergenz, bei welcher der eine oder andere Router 14A, 14B oder auch beide eine Divergenz erkennen und ein DVRG-Symbol an die CPUs ausgeben, bei der jedoch weder die CPUs 12A, 12B, noch die Router 14A, 14B irgendeinen Fehler erkennen. Demgemäss entscheidet die "primäre" CPU, die zuvor während der Initialisierung in den Konfigurationsregistern als solche festgelegt worden ist, dass sie den Betrieb fortsetzen und ein IOY-Symbol an beide Router 14A, 14B ausgeben muss. Zur selben Zeit führt die "Zweit"-CPU eine Selbstprüfung durch und bricht anschliessend ihren Betrieb ab.The divergence described above was a "clean" divergence, in which one or the other router 14A . 14B or both recognize a divergence and output a DVRG symbol to the CPUs, but neither the CPUs 12A . 12B , nor the router 14A . 14B recognize any mistake. Accordingly, the "primary" CPU, which was previously set as such in the configuration registers during initialization, decides to continue operation and an IOY symbol to both routers 14A . 14B must spend. At the same time, the "second" CPU performs a self-check and then stops operating.
Neben den weiter oben beschriebenen sind unter anderem auch die folgenden Arten von Fehlern und Störungen als Ursachen von Divergenzen in Betracht zu ziehen:In addition to those described above include the following types of errors and malfunctions as well Consider causes of divergence:
- – Unkorrigierbare Speicherfehler, die dazu führen, dass die CPU sofort den Betrieb einfriert, um eine möglichen Ausbreitung des Fehlers zu verhindern. Für die Router 14A, 14B erscheint die CPU stromlos, wodurch sie veranlasst werden, ein TLB-Symbol an die fehlerbehaftete CPU und ein OLB-Symbol an die andere (in Betrieb befindliche) CPU zu senden. Die in Betrieb befindliche CPU entscheidet, dass sie ihren Betrieb fortsetzen muss und sendet jeweils ein IOY-Symbol an beide Router 14A, 14B.- Incorrectable memory errors that cause the CPU to freeze operation immediately to prevent the error from spreading. For the router 14A . 14B The CPU will appear dead, whereby they are caused to a TLB symbol to the faulty CPU, and an OLB symbol to the other (working located) CPU to send. The operating CPU decides that it must continue operating and sends an IOY symbol to both routers 14A . 14B ,
- – Ein Softwarefehler, der zum Auftreten einer Divergenz zwischen den CPUs 12 führt, wobei allerdings keine Fehlermeldungen ausgegeben werden. Dazu kann es nur kommen, wenn Software (welche auf den Prozessoren 20 läuft) bekannte, divergierende Daten verwendet, um den Zustand zu wechseln. Angenommen zum Beispiel jede CPU 12 hat eine unterschiedliche Seriennummer (die z. B. in einem Nur-Lese-Bereich bzw. in einem programmierbaren Nur-Lese-Bereich des Adressraums aufbewahrt ist). Die Seriennummer der CPU 12A unterscheidet sich von jener der CPU 12B. Wenn nun die Prozessoren die Seriennummer dazu verwenden, um die Folge der auszuführenden Befehle zu verändern (etwa durch Verzweigen, wenn die Seriennummer nach einem bestimmten Wert kommt), oder um den in einem Prozessorregister enthaltenen Wert zu modifizieren, so unterscheidet sich der gesamte "Zustand" der einzelnen CPUs 12 voneinander. In solchen Fällen kommen die Mechanismen zur Handhabung asymmetrischer Variablen (z. B. der Soft-Vote-Mechanismus) zur Anwendung. Dadurch ist es den beiden CPUs 12 möglich, Informationen auszutauschen, so dass diese basierend auf identischen Daten identische Entscheidungen treffen und identische Operationen ausführen können. In diesem Beispiel würden die CPUs die Werte ihrer Seriennummern austauschen, so dass beide über eine Kopie verfügen. Sie könnten dann Code ausführen für "Wenn die Seriennummer der CPU 12A nach einem bestimmten Wert kommt, dann führe diese Sequenz aus", usw. Durch die Vorkonfiguration und die schlussendlich erfolgende Auswahl einer primären CPU wird es für eine CPU, und somit für das System 10 möglich, ohne Softwareintervention den Verarbeitungsbetrieb fortzusetzen.- A software bug that causes divergence between CPUs 12 leads, but no error messages are issued. This can only happen if software (which is on the processors 20 running) known, divergent data used to change the state. For example, suppose every CPU 12 has a different serial number (e.g. stored in a read-only area or in a programmable read-only area of the address space). The serial number of the CPU 12A differs from that of the CPU 12B , If the processors now use the serial number to change the sequence of the instructions to be executed (for example by branching if the serial number comes after a specific value) or to modify the value contained in a processor register, the overall "state" differs "of the individual CPUs 12 from each other. In such cases, the mechanisms for handling asymmetrical variables (e.g. the soft vote mechanism) are used. This makes it the two CPUs 12 possible to exchange information so that they can make identical decisions and perform identical operations based on identical data. In this example, the CPUs would exchange the values of their serial numbers so that both have a copy. You could then run code for "If the CPU serial number 12A comes after a certain value, then execute this sequence ", etc. Due to the preconfiguration and the final selection of a primary CPU, it becomes a CPU and thus the system 10 possible to continue processing without software intervention.
- – Ein Fehler am Ausgang der Schnittstelleneinheit 24 einer CPU 12 wird von dem Router 14A, 14B, je nachdem an bzw. auf welchem Link L der Fehler auftritt, als Divergenz erkannt, und ein TLB/OLB-Zustand wird im Anschluss an das DVRG-Symbol an die CPUs zurückgegeben. CRC-Fehler und Befehlssymbolkorruptionen werden in ähnlicher Weise erkannt und gehandhabt.- An error at the output of the interface unit 24 a CPU 12 is from the router 14A . 14B , depending on or on which link L the error occurs, is recognized as divergence, and a TLB / OLB state is returned to the CPUs following the DVRG symbol. CRC errors and command symbol corruptions are recognized and handled in a similar manner.
- – Ein Fehler am Ausgang eines Routers 14A, 14B, welcher an eine CPU 12 angeschlossen ist, wird von der Schnittstelleneinheit 24 der betreffenden CPU erkannt. Die CPU sendet ein TLB-Symbol an den fehlerbehafteten Router 14, welches von diesem Router als Divergenz erkannt wird, der daraufhin die Divergenzbehandlungsroutine aus 31 einleitet. Die CPU, die den Fehler erkannt hat, beendet ihren Betrieb, und die CPU, die ihren Betrieb fortsetzt, sendet IOY-Symbole an beide Router.- An error at the output of a router 14A . 14B which is connected to a CPU 12 is connected by the interface unit 24 of the CPU concerned. The CPU sends a TLB symbol to the faulty router 14 , which is recognized by this router as divergence, which then executes the divergence handling routine 31 initiates. The CPU that detected the error stops operating, and the CPU that continues operating sends IOY symbols to both routers.
Die Divergenz ermöglicht es dem System 10 ( 1A), wenn es im Duplex-Betriebsmodus betrieben wird, ein mögliches Versagen zu erkennen, und ohne äusseres Zutun und in für den Systembenutzer transparenter Weise die fehlerbehaftete Einheit (die CPU 12A bzw. 12B oder den Router 14A bzw. 14B) aus dem System zu entfernen, um die Ausbreitung von Fehlern auf das System zu verhindern bzw. zu begrenzen, und zwar ohne dass dadurch ein Benutzer seine Operationen zu stoppen braucht. Ist es eine CPU 12, die von dem Fehler betroffen war, so kann die CPU aus dem System genommen und durch eine geprüfte, funktionierende CPU ersetzt werden. Wie dieses Ersatzelement in das System integriert und in Duplexbetrieb versetzt wird, soll Gegenstand des folgenden Abschnitts: Reintegration.The divergence enables the system 10 ( 1A ), if it is operated in the duplex operating mode, to detect a possible failure and, without external action and in a manner transparent to the system user, the defective unit (the CPU 12A or 12B or the router 14A or 14B) from the system in order to prevent or limit the spread of errors onto the system, without a user having to stop his operations. Is it a CPU 12 that was affected by the error, the CPU can be removed from the system and replaced by a tested, functioning CPU. How this replacement element is integrated into the system and put into duplex operation is the subject of the following section: Reintegration.
Reintegration:reintegration:
Überblick:Overview:
Dieser Abschnitt beschreibt die Verfahrensweise, die angewendet wird, um zwei CPUs 12 durch "Reintegration" in im Gleichschritt laufenden Duplex-Betriebsmodus zu versetzen. Die Abhandlung bezieht sich auf die CPUs 12A, 12B, die Router 14A, 14B, und die Instandhaltungsprozessoren 18A, 18B, welche – wie gezeigt – Teil des in 1A veranschaulichten Verarbeitungssystems 10 sind. Darüber hinaus wird in der Abhandlung auf die Prozessoren 20a, 20b, die Schnittstelleneinheiten 24a, 24b und die Speichersteuerungen 26a, 26b (2) der CPUs 12A, 12B als einzelne Einheiten Bezug genommen, da dies ihrer Funktionsweise entspricht.This section describes the procedure that is applied to two CPUs 12 to be put into "duplex" operating mode by "reintegration". The treatise relates to the CPUs 12A . 12B who have favourited Routers 14A . 14B , and the maintenance processors 18A . 18B which - how shown - part of the in 1A illustrated processing system 10 are. In addition, in the treatise on processors 20a . 20b , the interface units 24a . 24b and the memory controls 26a . 26b ( 2 ) of the CPUs 12A . 12B referred to as individual units, since this corresponds to their mode of operation.
Die Reintegration wird dazu verwendet, um zwei CPUs anlässlich ihrer erstmaligen Integration in das Leitungssystem, oder nachdem sie für eine gewisse Zeit im Simplexmodus betrieben worden sind, oder nachdem ein vorgängiger Duplexbetrieb des Systems 10 zu einer Divergenz geführt hat und das fehlerbehaftete Element (z. B. eine der CPUs) entfernt und ersetzt worden ist, in den Duplexbetrieb zu versetzten.The reintegration is used to connect two CPUs on the occasion of their first integration into the line system, or after they have been operated in simplex mode for a certain time, or after a previous duplex operation of the system 10 has led to a divergence and the defective element (e.g. one of the CPUs) has been removed and replaced, to put it into duplex mode.
Die Reintegration muss mit einer der CPUs 12 beginnen, die sich noch in Betrieb (d. h. in einem Online-Zustand) befindet und mit grösster Wahrscheinlichkeit Benutzeranwendungen ausführt, da die Reintegration im Hintergrund und ohne äusseres Zutun erfolgt und daher im wesentlichen in einer für den Benutzer transparenten Weise abläuft. Die andere CPU 12 befindet sich insofern im Offline-Zustand als sie keinen Benutzercode ausführt; sie führt eine ausreichende Codemenge aus, welche es ihr ermöglicht, die erforderlichen Mindestaufgaben für ihre Initialisierung und Reintegration auszuführen. Diese Initialisierung beinhaltet das Versetzen eines CPU-Paars 12 in einen virtuell identischen Zustand für den Duplex-Betriebsmodus, so dass diese in der Lage sind, dieselben Befehle identischer Befehlsströme virtuell zur selben Zeit auszuführen und folglich dieselben Aktionen zu setzen. Die Reintegration hat auch zur Folge, dass die Router 14A, 14B für den Duplex-Betriebsmodus konfiguriert werden, so dass eine Divergenzerkennung implementiert werden kann und der für die CPUs 12 bestimmte Nachrichtenverkehr an beide der gepaarten CPUs virtuell zur selben Zeit ausgeliefert wird.Reintegration must be done with one of the CPUs 12 begin, which is still in operation (ie in an online state) and is most likely to execute user applications, since the reintegration takes place in the background and without external intervention and therefore essentially takes place in a manner which is transparent to the user. The other CPU 12 is offline in that it does not execute a user code; it executes a sufficient amount of code that enables it to carry out the minimum tasks required for its initialization and reintegration. This initialization involves moving a CPU pair 12 into a virtually identical state for the duplex mode of operation so that they are able to virtually execute the same commands from identical command streams at the same time and consequently take the same actions. The reintegration also results in the router 14A . 14B be configured for the duplex operating mode so that divergence detection can be implemented and that for the CPUs 12 certain message traffic is delivered to both of the paired CPUs virtually at the same time.
Als wesentliche Prozessschritte für den Wechsel von einem Simplex-Betriebsmodus der einen Online-CPU in den Duplex-Betriebsmodus zweier CPUs, welche in etwas detaillierterer Form durch die Flussdiagramme der 33A–33D skizziert sind, sind die folgenden zu nennen:As essential process steps for the change from a simplex operating mode of one online CPU to the duplex operating mode of two CPUs, which are described in somewhat more detail by the flowcharts of the 33A - 33D The following are to be mentioned:
- 1. Das Einrichten und Synchronisieren der beiden CPUs (die eine online, die andere offline) und der an sie angeschlossenen Router in Form eines verzögerten ("schatten-")frequenzsynchronisierten Duplex-Betriebsmodus, wobei unterschiedliche Befehlsströme abgearbeitet werden;1. Setting up and synchronizing the two CPUs (the one online, the other offline) and the one connected to it Router in the form of a delayed ("shadow -") frequency-synchronized duplex mode, where different streams of commands be processed;
- 2. Das Kopieren des Speichers der Online-CPU in die Offline-CPU, und zwar unter Wahrung eines Nachlaufprozesses, welcher Änderungen in dem Speicher der Online-CPU überwacht, die noch nicht erfolgt sind und unter Umständen noch in die Offline-CPU hinüberkopiert werden müssen;2. Copying the memory of the online CPU into the offline CPU, while maintaining a follow-up process, which changes monitored in the memory of the online CPU, which have not yet taken place and may still be in the offline CPU copied over Need to become;
- 3. Das Einrichten und das Synchronisieren der CPUs, so dass diese in einem verzögerten (untergeordneten) Duplexmodus betrieben werden, und zwar basierend auf demselben Befehlsstrom (im Gleichschritt laufender Betrieb);3. Setting up and synchronizing the CPUs so that this in a delayed (subordinate) duplex mode can be operated, based on the same command stream (operation in sync);
- 4. Das Kopieren sämtlicher verbleibender Speicherorte von der Online-CPU in die Offline-CPU (In diesem Schritt wird jeder Speicherort des Online-Speichers gelesen, es werden jedoch nur jene Speicherorte kopiert, von denen anzunehmen ist, dass sie sich von jenen der Offline-CPU unterscheiden, und zwar so lange bis der gesamte Speicher ausgelesen worden ist.); und4. The copying of all remaining locations from the online CPU to the offline CPU (In this step, every location of the online storage is read, however, only those locations are copied from which to assume is that they are different from those of the offline CPU, and until the entire memory has been read out.); and
- 5. Das Einleiten eines vollständig im Gleichschritt laufenden Duplexbetriebs der beiden CPUs.5. The initiation of a completely in step Duplex operation of the two CPUs.
SetupSet up
Im folgenden wird auf 33A Bezug genommen, wobei bevor das Reintegrationsverfahren an sich in Angriff genommen wird, die CPUs 12A, 12B und ihre Primärleitungsrouter (d. h. jene, die unmittelbar an die CPUs angeschlossen sind) eingerichtet werden müssen. Dies macht die Verwendung des IP 18A erforderlich. Bei Schritt 1050 schreibt der IP 18A die vorherbestimmten Register (nicht dargestellt) der Steuerregister 74 in den Schnittstelleneinheiten 24 der CPUs 12A und 12B in einen nächsten Zustand (nach einer Soft-Operation), in welchem, obwohl sich die beiden CPUs in einem frequenzsynchronisierten Modus befinden, eine (die Offline-CPU) in verzögerter Weise, bzw. im "Schatten" der anderen betrieben wird und eine Anzahl von (z. B. 8) Taktzyklen hinter der anderen nachgeht. Dieser Betriebsmodus der CPUs und der Router wird im folgenden als "Schattenmodus" bezeichnet. Die Konfigurationsregister (nicht dargestellt) der Routen werden in Schritt 1052 in ähnlicher Weise von dem IP 18A gesetzt. Ausserdem wird von dem IP 18A ein Konfigurationsregister entsprechend beschrieben, um die Online-CPU 12A dem Router 14A, 14B gegenüber als "bevorzugte" CPU zu kennzeichnen. Das hat zur Folge, dass die Router 14A, 14B, wenn sie sich im Schattenmodus befinden, sich ausschliesslich auf die CPU 12A hin orientieren, was den Empfang von Übertragungen betrifft und alle Übertragungen, welche von der Offline-CPU 12B kommen, ignoriert.The following is on 33A Referenced, before starting the reintegration process itself, the CPUs 12A . 12B and their primary line routers (that is, those directly connected to the CPUs) must be set up. This requires the use of the IP 18A. At step 1050, the IP 18A writes the predetermined registers (not shown) of the control registers 74 in the interface units 24 of CPUs 12A and 12B in a next state (after a soft operation) in which, although the two CPUs are in a frequency-synchronized mode, one (the offline CPU) is operated in a delayed manner or in the "shadow" of the other and a number of (e.g. 8) clock cycles after the other. This operating mode of the CPUs and the router is referred to below as "shadow mode". The configuration registers (not shown) of the routes are similarly set by the IP 18A in step 1052. In addition, the IP 18A writes a configuration register to the online CPU 12A the router 14A . 14B to be marked as a "preferred" CPU. As a result, the router 14A . 14B , if they are in shadow mode, only on the CPU 12A orientate as to the reception of transmissions and all transmissions by the offline CPU 12B come ignored.
Als nächstes folgt eine Reihe von Schritten (Schritte 1060–1070), in denen die Taktsynchronisierungs-FIFOs der CPUs 12A, 12B und der Router 14A, 14B in im grossen und ganzen derselben Weise wie weiter oben beschrieben synchronisiert werden und daraufhin in einen Schattenbetriebszustand versetzt werden. Der Schattenbetriebszustand ist ein Zustand, in welchem die beiden CPUs 12A, 12B dieselben Nachrichtenpakete und anderen TNet-Symbole von den Routern 14A, 14B empfangen, in mehr oder weniger derselben Art, wie dies auch beim echten Duplex-Betriebsmodus der Fall ist, ausser dass Übertragungen, die an die Offline-CPU 12B gesendet werden, Symbol für Symbol um eine Anzahl von (z. B. acht) S_Tkt-Takten hinter jenen liegen, die an die Online-CPU 12A gesendet werden. Das bedeutet, dass ein Symbol, das von einem der Routen 14A, 14B übertragen wird, von der Online-CPU 12A um acht S Tkt-Takte früher empfangen werden als dasselbe Symbol von der Offline-CPU 12B empfangen wird.Next follows a series of steps (steps 1060-1070) in which the clock synchronization FIFOs of the CPUs 12A . 12B and the router 14A . 14B are synchronized in broadly the same manner as described above and are then placed in a shadow mode. The shadow mode is a state in which the two CPUs 12A . 12B the same message packets and other TNet symbols from the routers 14A . 14B received, in more or less the same way as in the true duplex mode, except that transmissions sent to the off line CPU 12B are sent, symbol by symbol, by a number of (e.g. eight) S_Tkt cycles behind those sent to the online CPU 12A be sent. That means a symbol from one of the routes 14A . 14B is transferred from the online CPU 12A received by eight S tkt clocks earlier than the same symbol from the offline CPU 12B Will be received.
Die Schritte 1060 und 1062 führen im wesentlichen dieselben Schritte des Synchronisierens der Taktsynchronisierungs-FIFOs aus, die weiter oben in Verbindung mit der Abhandlung der 31A, 31B beschrieben worden sind. Die Online-CPU 12A sendet eine Sequenz bestehend aus einem SCHLAFEN-Symbol; einem eigenadressierten Nachrichtenpaket und einem SYNC-Symbol, welches zusammen mit dem SYNC-TKT-Signal dazu dient, die CPUs und die Router zu synchronisieren. Nachdem sie auf diese Weise synchronisiert ist, sendet die CPU 12A dann in Schritt 1066 ein Soft-Reset-Befehlssymbol (SRST-Symbol), welches bewirkt, dass als erstes die Router in den nächsten Zustand gebracht werden, der in Schritt 1052 von dem IP 18A festgelegt wurde. Die Router 14A, 14B befinden sich nun in verzögertem Duplexmodus, so dass der gesamte Datenverkehr, der zu der Online-CPU 12A geleitet wird, dupliziert und auch an die Offline-CPU 12B geleitet wird, allerdings um 8 Takte nach hinten versetzt in Bezug auf die Online-CPU 12A . Ausserdem werden die Router 14A, 14B entsprechend eingestellt, so dass sie sich ausschliesslich auf die CPU 12A hin orientieren, was den Empfang von Nachrichtenpaketen betrifft und alle Übertragungen, welche von der Offline-CPU 12B kommen, ignoriertSteps 1060 and 1062 perform essentially the same steps of synchronizing the clock synchronization FIFOs as described above in connection with the discussion of FIG 31A . 31B have been described. The online CPU 12A sends a sequence consisting of a SLEEP symbol; a self-addressed message packet and a SYNC symbol, which together with the SYNC-TKT signal serves to synchronize the CPUs and the routers. After being synchronized in this way, the CPU sends 12A then in step 1066 a soft reset command symbol (SRST symbol) which causes the routers to be first brought to the next state that was set by the IP 18A in step 1052. The routers 14A . 14B are now in delayed duplex mode, so all traffic to the online CPU 12A is duplicated and also to the offline CPU 12B is routed, but offset by 8 bars in relation to the online CPU 12A , In addition, the router 14A . 14B set accordingly, so that they only refer to the CPU 12A orientate as to the receipt of message packets and all transmissions by the offline CPU 12B come ignored
Das SRST-Symbol wird an die CPUs 12A, 12B zurück reflektiert (wobei das SRST-Symbol um 8 Takte später bei der Offline-CPU 12B eintrifft). Mit dessen Empfang durch die CPUs 12A, 12B werden die CPUs in den nächsten von dem IP 18A festgelegten Betriebszustand gesetzt: den Schattenmodus.The SRST symbol is sent to the CPUs 12A . 12B reflected back (with the SRST symbol 8 bars later on the offline CPU 12B arrives). With its receipt by the CPUs 12A . 12B the CPUs are set to the next operating state defined by the IP 18A: the shadow mode.
Die Prozedur geht nun zu Schritt 1080 über ( 33B), um die Überwachung von Speicher und Zustand einzurichten (z. B. Register, Cachespeicher, etc.), welche durchgeführt wird, während der Speicher von der Online-CPU 12A in die Offline-CPU 12B hinüberkopiert wird. Der Schritt des Kopierens des Zustands der Online-CPU in die Offline-CPU könnte einfach dadurch erfolgen, dass alle laufenden Operationen der Online-CPU gestoppt werden, dass der Zustand aller Konfigurationsregister und Steuerregister (z. B. die Konfigurationsregister 74 der Schnittstelleneinheiten 24), der Cachespeicher und dergleichen in den Speicher 28 der Online-CPU geschrieben werden, dass der gesamte Inhalt des Speichers 28 der Online-CPU auf die Offline-CPU hinüberkopiert wird und dass beide CPUs einer Reset-Routine unterzogen werden, um sie beide wieder in Betrieb zu nehmen. Bei grossen Systemen könnte die Fertigstellung dieses Vorgangs jedoch eine Zeitspanne in Anspruch nehmen, die in einem Bereich von mehreren zehn Sekunden liegen würde, was einen unannehmbar langen Zeitraum darstellen würde, in dem das System zu Reintegrationszwecken offline wäre. Aus diesem Grund wird der Reintegrationsprozess in einer Art und Weise durchgeführt, die es der Online-CPU ermöglicht, mit der Ausführung von Benutzer-Anwendungscode fortzufahren, während der das Hinüberkopieren des Zustands auf die Offline-CPU grösstenteils im Hintergrund abläuft.The procedure now proceeds to step 1080 ( 33B ) to set up memory and state monitoring (e.g. registers, caches, etc.) that is performed while the memory is being run by the online CPU 12A into the offline CPU 12B is copied over. The step of copying the state of the online CPU into the offline CPU could be done simply by stopping all current operations of the online CPU, the state of all configuration registers and control registers (e.g. the configuration registers) 74 of the interface units 24 ), the cache memory and the like in the memory 28 the online CPU will write that all the content of the memory 28 the online CPU is copied over to the offline CPU and that both CPUs are subjected to a reset routine in order to put them both back into operation. For large systems, however, this process could take several tens of seconds to complete, which would be an unacceptably long period of time in which the system would be offline for reintegration purposes. For this reason, the reintegration process is performed in a manner that enables the online CPU to continue executing user application code during which the copying of the state onto the offline CPU is largely in the background.
Da allerdings die Online-CPU mit der Ausführung von Benutzer-Anwendungscode fortfährt, ist die Wahrscheinlichkeit gross, dass während des Kopierens des Zustands in die Offline-CPU Bereiche des Speichers 28 verändert werden, nachdem sie kopiert worden sind, so dass nach Abschluss eines ersten Arbeitsgangs des Kopierens des Speichers der Speicher der Online-CPU nicht identisch ist mit jenem der Offline-CPU. Der Grund dafür liegt darin, dass die normale Verarbeitung durch den Prozessor 20 der Online-CPU den Speicherinhalt verändern kann, nachdem er bereits in die Offline-CPU hinüberkopiert worden ist. (Im Speicher 28 der Online-CPU 12A vorgenommene E/A-Schreiboperationen haben keine dahingehenden Auswirkungen auf den Kopiervorgang dass dadurch der Inhalt der Speicher der CPUs 12A, 12B inkonsistent würde, da sie ja auch in der Offline-CPU vorgenommen werden.) Zwei Mechanismen werden verwendet, um diesem Problem während der Reintegration zu begegnen: Erstens, wenn ein Speicherort in der Online-CPU während des Reintegrationsprozesses beschrieben wird, so wird er als "unsauber" markiert; zweitens, jeder Vorgang des Kopierens von Speicher in die Offline-CPU wird durch einen "AtomicWrite"-Mechanismus durchgeführt, der die Speicherorte überwacht, die gerade kopiert werden, um sie vor einem Überschreiben durch Daten aus der Online-CPU zu schützen, bevor der Kopiervorgang bestätigt ist (wodurch, wie noch zu zeigen sein wird, der kopierte Speicherort überschrieben wird). Beide Mechanismen werden nur während der Reintegrationsprozedur verwendet, und ein Verständnis der beiden trägt zu einem besseren Verständnis des Speicher-Vorabkopiervorgangs und des darauf folgenden Kopierens des Zustands von der Online-CPU in die Offline-CPU bei.However, since the online CPU continues to execute user application code, chances are high that areas of memory will be copied while the state is being copied to the offline CPU 28 be changed after they have been copied so that after completion of a first operation of copying the memory, the memory of the online CPU is not identical to that of the offline CPU. The reason for this is that normal processing by the processor 20 the online CPU can change the memory content after it has already been copied into the offline CPU. (In the storage room 28 the online CPU 12A I / O write operations performed have no effect on the copying process in that the content of the memories of the CPUs 12A . 12B would be inconsistent, since they are also done in the offline CPU.) Two mechanisms are used to counter this problem during the reintegration: First, if a storage location in the online CPU is described during the reintegration process, it is called marked "dirty"; second, any process of copying memory to the offline CPU is performed by an "AtomicWrite" mechanism that monitors the locations that are being copied to protect them from being overwritten by data from the online CPU before the Copying is confirmed (which, as will be shown, overwrites the copied location). Both mechanisms are used only during the reintegration procedure, and an understanding of the two helps to better understand the memory pre-copy process and the subsequent copying of the state from the online CPU to the offline CPU.
Speichermarkierungstorage mark
Das Markieren von Speicherbereichen als "unsauber" erfolgt über die Verwendung eines der FKC-Prüfbits, das spezifisch diesem Zweck dient. Es sei hier daran erinnert, dass 64-Bit-Datenwörter mit 8 FKC-Bits gespeichert werden, um eine Einzelbitfehlerkorrektur und eine Doppelbitfehlererkennung bereitzustellen. Die Verwendung eines der 8 FKC-Bits hat keinerlei Einfluss auf die Einzelbitkorrekturfähigkeit. Sie kann allerdings das Erkennungsvermögen von Doppelbitfehlern einschränken. Da jedoch Speicherkopiervorgang nur eine relativ kurze Zeitzpanne andauert, wird dieses Risiko als annehmbar betrachtet.Marking of memory areas as "dirty" is done using one of the FKC check bits, which is used specifically for this purpose. It should be remembered here that 64-bit data words are stored with 8 FKC bits to provide single bit error correction and double bit error detection. The use of one of the 8 FKC bits has no influence on the single bit correction capability. However, it can limit the ability to detect double bit errors. However, since memory copying if the risk is relatively short, this risk is considered acceptable.
Während der Reintegration wird mit jeder Schreiboperation an einen Speicherort durch die Online-CPU 12A ein Bit des FKC-Prüfcodes invertiert, wodurch bewirkt wird, dass eine später erfolgende Leseoperation desselben Speicherortes ein vorgegebenes FKC-Syndrom hervorruft, das als Markierungszeichen für einen unsauberen Speicherort interpretiert wird. (Es gibt zwei Ausnahmen: die erste sind Schreiboperationen von eingehenden E/A-Daten, da ja der Offline-Speicher ebenfalls mit denselben E/A-Daten beschrieben wird. Die zweite sind Schreiboperationen im Zusammenhang mit dem AtomicWrite-Mechanismus ("Write Conditional".) Auf diese Weise werden Veränderungen des Inhalts des Speichers 28 der Online-CPU 12A, die eventuell nicht in den Speicher 28 der Offline-CPU 12B mit übernommen worden sind, gekennzeichnet und in der Folge durch Kopieren dieser Speicherorte in den Speicher 28 der Offline-CPU 12B" sauber" gemacht.During the reintegration, the online CPU saves each write operation to a storage location 12A inverts a bit of the FKC check code, which causes a later read operation of the same memory location to cause a predetermined FKC syndrome, which is interpreted as a marker for a dirty memory location. (There are two exceptions: the first are write operations of incoming I / O data, since the offline memory is also written with the same I / O data. The second are write operations in connection with the AtomicWrite mechanism ("Write Conditional ".) This way changes the content of the memory 28 the online CPU 12A that may not be in memory 28 the offline CPU 12B have been taken over, marked and subsequently by copying these storage locations into the memory 28 the offline CPU 12B " cleaned.
Welches der FKC-Bits für diese Markierungszwecke verwendet wird, ist weniger von Bedeutung, solange gewährleistet ist, dass immer dasselbe Bit verwendet wird.Which of the FKC bits for this Marking purposes is less important as long as guaranteed is that the same bit is always used.
AtomicWrite-MechanismusAtomicWriteFile mechanism
Das Hinüberkopieren des Zustands der Online-CPU 12A in die Offline-CPU 12B macht die Verwendung von Nachrichtenpaketübertragungen auf der TNet-Struktur über einen der Router 14A, 14B erforderlich. Da aber die Router 14A, 14B für den Duplex-Betriebsmodus eingerichtet sind, so dass E/A-Schreiboperationen in den Speicher 28 der Online-CPU 12A zugleich auch in den Speicher der Offline-CPU 12B geschrieben werden, wird die Übertragung von Nachrichtenpaketen, welche den Online-Zustand enthalten, in ähnlicher Weise an beide CPUs 12A, 12B übertragen, jedoch auf sinnvolle Weise nutzbar gemacht: der Empfang des den Zustand enthaltenden Nachrichtenpakets durch die Online-CPU 12A bestätigt dessen fehlerfreien Empfang und Weiterübermittlung durch den Router 14 (14A bzw. 14B, je nachdem welcher benutzt wurde). Überdies wird durch die Schreiboperation des AtomicWrite-Mechanismus als sauber markiert. Somit werden die markierten Speicherorte erst dann als sauber markiert, wenn die Daten, welche sie enthielten, in dem Nachrichtenpaket, welches sie zur Offline-CPU beförderte, zurückerhalten werden und in den Speicher geschrieben werden, von dem Sie kamen. Auf diese Weise erfolgt eine Bestätigung, dass die Speicherorte erfolgreich in den Speicher der Offline-CPU kopiert worden sind.Copying over the state of the online CPU 12A into the offline CPU 12B makes use of message packet transfers on the TNet structure through one of the routers 14A . 14B required. But since the router 14A . 14B are set up for the duplex mode of operation so that I / O write operations into memory 28 the online CPU 12A also in the memory of the offline CPU 12B will be written, the transmission of message packets containing the online state will be similar to both CPUs 12A . 12B transmitted, but made usable in a meaningful way: the receipt of the message packet containing the state by the online CPU 12A confirms that it has been received and forwarded correctly by the router 14 (14A or 14B, whichever was used). Furthermore, the write operation of the AtomicWrite mechanism marks it as clean. Thus, the marked storage locations are only marked as clean when the data which they contained are received back in the message packet which carried them to the offline CPU and are written into the memory from which they came. This confirms that the storage locations have been successfully copied into the offline CPU's memory.
Angenommen jedoch es erfolgt zwischen dem Auslesen eines Speicherorts der Online-CPU 12A zum Zweck des Hinüberkopierens in die Offline-CPU 12B und dem darauffolgenden Zurückschreiben der kopierten Daten in den Online-Speicher eine andere Schreiboperation in den betreffenden Speicherort in der CPU 12A (entweder eine eingehende E/A-Schreiboperation oder eine Prozessor-Schreiboperation). Die zurückkehrenden Daten (die in die Offline-CPU hinüberkopiert worden waren) würden an den Speicherort geschrieben, von dem sie ursprünglich gekommen waren, und somit alle neuen Werte, die der Speicherort inzwischen enthielt, überschreiben, den Speicherort als sauber markieren, und Daten zerstören, die unter Umständen für den fortlaufenden Betrieb der Online-CPU 12A benötigt werden. Um diesem Problem zu begegnen, wurde der AtomicWrite-Mechanismus geschaffen.However, suppose it occurs between reading out a location of the online CPU 12A for the purpose of copying over into the offline CPU 12B and the subsequent writing back of the copied data to the online memory, another write operation to the relevant memory location in the CPU 12A (either an incoming I / O write or a processor write). The returning data (copied over to the offline CPU) would be written to the location from which it originally came, overwriting any new values that the location now contained, marking the location as clean, and destroying data , which may be necessary for the continuous operation of the online CPU 12A are needed. To deal with this problem, the AtomicWrite mechanism was created.
Der AtomicWrite-Mechanismus benutzt die Speichersteuerung 26 (2) der Online-CPU, um Speicherorte zu überwachen, die gerade dabei sind, in die Offline-CPU 12B hinüberkopiert zu werden. Die Speichersteuerung verwendet einen Satz von Registern und eine Kontroll-Ablaufsteuereinheit, die während der Reintegration in Betrieb genommen werden, um in diesen Registern die Adressen jener Speicherorte nachzuverfolgen, die zum Zweck des Hinüberkopierens in .die Offline-CPU 12B ausgelesen worden sind, die jedoch noch nicht mit den zurückgegebenen Daten beschrieben worden sind, um sie als sauer zu markieren. Sollte es dazwischen zu einer Schreiboperation von Daten (d. h. anderen Daten als denen, die zurückgegeben werden) kommen an einem auf der Liste befindlichen Speicherort kommen, bevor die kopierten Daten wieder an die CPU zurückgekehrt sind, so wird die Liste entsprechend gekennzeichnet. Wenn die kopierten Daten an die Online-CPU zurückgegeben werden, wird diese Liste geprüft, bevor die Daten in den Speicher geschrieben werden. Falls Speicherorte in der Zwischenzeit als mit neuen Daten beschrieben gekennzeichnet sind, werden die zurückgegebenen Daten ausgeschieden und die ausgelassenen Speicherorte als unsauber markiert. Wenn andererseits die Speicherorte seit ihrem Auslesen zum Zweck des Hinüberkopierens in die Offline-CPU nicht beschrieben worden sind, werden die zurückgegebenen, kopierten Daten in die Speicherorte zurückgeschrieben und diese Speicherorte als sauber markiert.The AtomicWrite mechanism uses memory control 26 ( 2 ) of the online CPU to monitor storage locations that are currently in the offline CPU 12B to be copied over. The memory controller uses a set of registers and a control sequence controller which are put into operation during the reintegration in order to keep track of the addresses of those memory locations in these registers which are used for the purpose of copying them into the offline CPU 12B have been read out, but have not yet been described with the returned data in order to mark them as acid. If there is an intermediate write operation of data (ie data other than those that are returned) to a location on the list before the copied data has returned to the CPU, the list is marked accordingly. When the copied data is returned to the online CPU, this list is checked before the data is written to the memory. In the meantime, if storage locations have been marked as having new data, the returned data is eliminated and the omitted storage locations are marked as dirty. On the other hand, if the storage locations have not been written since they were read out for the purpose of copying over into the offline CPU, the returned, copied data are written back into the storage locations and these storage locations are marked as clean.
Im wesentlichen verwendet der AtomicWrite-Mechanismus zwei Operationen: eine "ReadLinked" Speicheroperation und eine "WriteConditional" Operation. Die ReadLinked Speicheroperation dient dazu, um die Speicherorte des Speichers 28 der Online-CPU 12A, die in die Offline-CPU 12B hinüberkopiert werden sollen, die Adresse dieser Operation in einer Link-Tabelle zu speichern, die von der SpSt 26 aufrechterhalten wird, und die zu kopierenden Daten in einer Warteschlange der BÜM 88 zu installieren, wo Sie zusammengefügt und als Nachrichtenpaket an die Offline-CPU (sowie auch an die Online-CPU) gesendet werden. Durch das Speichern der Adresse der ReadLinked Operation wird diese mit einer zukünftigen WriteConditional Operation verbunden, welche die Daten an den Speicherort zurückgibt und den entsprechenden Eintrag in der Link-Tabelle löscht.Essentially, the AtomicWrite mechanism uses two operations: a "ReadLinked" store operation and a "WriteConditional" operation. The ReadLinked storage operation is used to locate the storage locations 28 the online CPU 12A that are in the offline CPU 12B should be copied over, to save the address of this operation in a link table, which the SpSt 26 is maintained, and the data to be copied in a queue of the BÜM 88 install where they are assembled and sent as a message package to the offline CPU (as well as to the online CPU). By saving the address of the ReadLinked operation, it is linked to a future WriteConditional operation, which returns the data to the storage location and the corresponding entry in the Link-Ta Belle clears.
Typischerweise handelt es sich bei der Operation um eine herkömmliche Blockleseoperation, bei der ein Block von Daten aus einer Anzahl von Speicherorten gebildet wird. Die Adresse, die in die Link-Tabelle geschrieben wird, ist jene des am Beginn oder am Ende des Blocks von Speicherorten befindlichen Speicherorts. Wenn das Datenpaket, welches Daten enthält, die aus einem Block von kopierten Speicherorten ausgelesen wurden, von der Online-CPU 12A zurückerhalten wird, werden sie mittels einer WriteConditional-Operation in den Speicher 28 geschrieben. Bevor jedoch die Daten zurückgeschrieben werden, überprüft die SpSt 26 die Link-Tabelle. Wenn der Speicherort innerhalb des Blocks in der Zwischenzeit durch eine andere Operation (z. B. eine Schreiboperation durch den Prozessor 20, eine E/A-Schreiboperation, etc.) beschrieben worden ist, so kennzeichnet diese frühere Schreiboperation den Speicherort in der Link-Tabelle mit einem Flag (und markiert darüber hinaus die beschriebenen Speicherorte als unsauber). Die SpSt 26 bemerkt das Flag und scheidet die WriteConditional Daten aus, ohne sie zu schreiben, wodurch die betreffenden Speicherorte als unsauber markiert belassen werden, was anzeigt, dass sie noch in die Offline-CPU 12B hinüberkopiert werden müssen.Typically, the operation is a conventional block read operation in which a block of data is formed from a number of locations. The address written in the link table is that of the location at the beginning or end of the block of locations. If the data packet, which contains data read from a block of copied storage locations, by the online CPU 12A is restored, they are written to the memory by means of a write conditional operation 28 written. Before the data is written back, however, the SpSt 26 the link table. If the location within the block is in the meantime due to another operation (e.g. a write operation by the processor 20 , an I / O write, etc.), this previous write operation flags the location in the link table (and also marks the locations described as dirty). The SpSt 26 notices the flag and drops the WriteConditional data without writing it, leaving the affected locations marked as dirty, indicating that they are still in the offline CPU 12B have to be copied over.
Im folgenden wird wieder auf den Reintegrationsprozess Bezug genommen, und zwar auf 33B, worin die Speicherrückverfolgung (der AtomicWrite-Mechanismus und die Verwendung des FKC zur Markierung von Speicherorten) in den Schritten 1080 und 1082 aktiviert werden. Dies beinhaltet das Beschreiben eines Reintegrationsregisters (nicht dargestellt; eines der Konfigurationsregister 74 der Schnittstelleneinheit 24 – 5), um zu bewirken, dass ein Reintegrationssignal (REINT-Signal) ausgegeben wird. Das REINT-Signal wird an die FKC-Logik 85 einer jeden Speicherschnittstelle 70 ( 10) gekoppelt, um das eine der acht FKC-Bits, die von der FKC-Logik 85 für alle Schreiboperationen ausser WriteConditional-Operationen und für alle E/A-Schreiboperationen erzeugt werden, zu invertieren, so dass beim darauffolgenden Lesen die Daten mit diesem invertierten Bit ein Syndrom erzeugen, welches die Speicherorte als unsauber markiert identifiziert.In the following, reference is made again to the reintegration process, namely to 33B wherein memory tracing (the AtomicWrite mechanism and using the FKC to mark locations) is enabled in steps 1080 and 1082. This includes writing to a reintegration register (not shown; one of the configuration registers 74 the interface unit 24 - 5 ) to cause a reintegration signal (REINT signal) to be output. The REINT signal is sent to the FKC logic 85 any storage interface 70 ( 10 ) coupled to the one of the eight FKC bits that are used by the FKC logic 85 for all write operations except WriteConditional operations and for all I / O write operations, so that when reading the data thereafter, this inverted bit creates a syndrome that identifies the locations as dirty.
Nachdem die Speichernachverfolgung auf diese Weise aktiviert worden ist, springt die Reintegrationsprozedur zu der "Vorabkopier"-Sequenz (Schritte 1084–1088), in welcher Inhalte des Online-Speichers 28 in einem ersten Durchgang in den Speicher der Offline-CPU 12B hinüberkopiert werden, und zwar von unten nach oben (oder von oben nach unten, falls gewünscht) (Schritt 1084). Speicherorte, welche später durch Schreiboperationen beschrieben werden, die nicht von eingehenden E/A-Daten und dem AtomicWrite-Mechanismus herrühren, verwenden das FKC-Bit, um den beschriebenen Speicherort (bzw. die Speicherorte, je nach Sachlage) als unsauber zu kennzeichnen. Schreiboperationen, die an einem Speicherort erfolgen, nachdem dieser durch eine ReadLinked-Operation kopiert worden ist, jedoch bevor eine darauffolgende WriteConditional Operation durchgeführt wird, ebenfalls markiert wird.After memory tracking has been activated in this way, the reintegration procedure jumps to the "pre-copy" sequence (steps 1084-1088), in which contents of the online memory 28 in a first run into the offline CPU's memory 12B be copied over from bottom to top (or top to bottom if desired) (step 1084). Storage locations that are later described by write operations that do not originate from incoming I / O data and the AtomicWrite mechanism use the FKC bit to mark the described storage location (or the storage locations, depending on the situation) as dirty. Write operations that occur in a storage location after it has been copied by a ReadLinked operation, but before a subsequent WriteConditional operation is carried out, are also marked.
Nachdem der gesamte Inhalt des Speichers 28 einmal durchlaufen und in den Offline-Speicher hinüberkopiert worden ist, springt die Sequenz zu den Schritten 1086 und 1088, um nun im Zuge eines inkrementellen Kopiervorgangs all jene Online-Speicherorte zu kopieren, welche verglichen mit jenen des Offline-Speichers inkonsistent sind, d. h. jene Speicherorte, die bei Abschluss des Schrittes 1084 noch als unsauber markiert verbleiben. Das inkrementelle Kopieren umfasst mehrere Durchgänge, bei denen jeweils der gesamte Online-Speicher durchlaufen wird und jeder Speicherort gelesen wird, um das resultierende Syndrom dahingehend zu prüfen, ob der so markierte Speicherort unsauber oder sauber ist. Ist er als unsauber markiert, so wird der Speicherort in die Offline-CPU kopiert und als sauber markiert. Wenn der Speicherort als sauber markiert ist, wird er nicht angerührt. Während der Durchführung der inkrementellen Kopiervorgänge markieren die normalen Aktionen des Online-Prozessors einige Speicherorte als unsauber.After all the content of the store 28 once it has been run through and copied into the offline memory, the sequence jumps to steps 1086 and 1088 in order to now copy, in the course of an incremental copying process, all those online storage locations which are inconsistent compared to those of the offline memory, ie those Storage locations that are still marked as dirty when step 1084 is completed. Incremental copying involves multiple passes, each of which goes through all of the online storage and reads each location to check the resulting syndrome to see if the location marked is dirty or clean. If it is marked as dirty, the storage location is copied to the offline CPU and marked as clean. If the location is marked as clean, it will not be touched. While the incremental copy is in progress, the normal actions of the online processor mark some locations as dirty.
Mehrere Durchgänge des inkrementellen Kopierens müssen unter Schritt 1052 vollzogen werden bis ein Punkt erreicht ist, bei welchem die Rate mit der unsaubere Speicherorte kopiert und gesäubert werden, im wesentlichen jener Rate entspricht, mit der Speicherplatz als unsauber markiert wird. Zu diesem Zweck sind in der SpSt 26 jeweils spezielle Zähler für ReadLinked-, WriteConditional-, fehlgeschlagene ReadLinked-, und fehlgeschlagene WriteConditional-Operationen integriert. Durch Notieren der Anzahl der erfolgreichen WriteConditional-Operationen am Ende eines jeden Durchgangs durch den Speicher ist der Prozessor 20 in der Lage, den Wirkungsgrad eines gegebenen Durchgangs verglichen mit jenem des vorausgegangenen Durchgangs zu bestimmen. Wenn der Nutzen nachlässt, beenden die Prozessoren 20 die Vorabkopieroperationen. An diesem Punkt ist der Reintegrationsprozess bereit, die beiden CPUs 12A, 12B in im Gleichschritt laufenden Betrieb zu setzen.Multiple incremental copy passes must be performed at step 1052 until a point is reached where the rate at which dirty locations are copied and cleaned is substantially the same rate as where the location is marked as dirty. For this purpose the SpSt 26 integrated special counters for ReadLinked, WriteConditional, failed ReadLinked, and failed WriteConditional operations. By noting the number of successful WriteConditional operations at the end of each pass through memory, the processor is 20 able to determine the efficiency of a given run compared to that of the previous run. When the benefits wane, the processors quit 20 the pre-copy operations. At this point the reintegration process is ready, the two CPUs 12A . 12B to put in operation running in sync.
Damit springt die Reintegrationsprozedur zu der in 33C veranschaulichten Sequenz von Schritten, wobei in Schritt 1100 die Online-CPU 12A kurzzeitig die Vordergrundverarbeitung, d. h. die Ausführung einer Benutzeranwendung, stoppt Der verbleibende Zustand (z. B. Konfigurationsregister, Cachespeicher, usw.) des Online-Prozessors 20 und seiner Cachespeicher wird dann gelesen und in einen Puffer (eine Reihe von Speicherorten) in dem Speicher 28 geschrieben (Schritt 1102). Dieser Zustand wird dann in die Offline-CPU 12B hinüberkopiert, gemeinsam mit einem "Reset-Vektor", der die Prozessoreinheiten 20 beider CPUs 12A, 12B zu einem Reset-Befehl leitet.The reintegration procedure jumps to that in 33C illustrated sequence of steps, wherein in step 1100 the online CPU 12A For a short time the foreground processing, ie the execution of a user application, stops The remaining state (e.g. configuration register, cache memory, etc.) of the online processor 20 and its cache is then read and placed in a buffer (a series of locations) in memory 28 written (step 1102). This state is then in the offline CPU 12B copied over, along with a "reset vector" that represents the processor units 20 of both CPUs 12A . 12B to a reset command.
Als nächstes werden in Schritt 1106 die Router 14A, 14B durch ein SCHLAFEN-Symbol in einen Ruhezustand versetzt, gefolgt von einem eigenadressierten Nachrichtenpaket, um sicherzustellen, dass die FIFOs der Router gelöscht sind, dass die FIFOs der Prozessorschnittstellen 24 gelöscht sind und dass keine weiteren eingehenden E/A-Daten anstehen. In Schritt 1108 überträgt die Online-CPU 12A ein SRST-Befehlssymbol an die Router 14A, 14B, welche das SRST-Symbol an beide CPUs 12A , 12B zurückreflektieren. Da der zurückreflektierende Router nach wie vor in dem weiter oben beschriebenen, untergeordneten Duplexmodus betrieben wird, kommt das an die Offline-CPU 12B zurückreflektiere SRST immer noch 8 Takte nach jenem an, das an die Online-CPU 12A zurückreflektiert wird. Das zurückreflektierte SRST-Symbol wird von beiden CPUs 12A, 12B empfangen und beide CPUs reagieren darauf, indem sie die Prozessoreinheiten 20 einer jeden CPU dazu veranlassen, zu jenem Ort im Speicher 28 zu springen, welcher den Reset-Vektor enthält, und eine Subroutine einzuleiten, welche den gespeicherten Zustand beider CPUs 12A, 12B in den Prozessoreinheiten 20, den Cachespeichern 22, den Registern, etc. wiederherstellt. Die CPUs 12A, 12B beginnen daraufhin, denselben Befehlsstrom auszuführen.Next, in step 1106, the routers 14A . 14B put to sleep by a SLEEP icon followed by a self-addressed message packet to ensure that the FIFOs of the routers are deleted that the FIFOs of the processor interfaces 24 are deleted and that no further incoming I / O data is pending. In step 1108, the online CPU transfers 12A an SRST command symbol to the router 14A . 14B which the SRST symbol to both CPUs 12A . 12B reflect back. Since the retroreflective router is still operated in the subordinate duplex mode described above, this is due to the offline CPU 12B SRST still reflects back 8 clocks after the one sent to the online CPU 12A is reflected back. The back-reflected SRST symbol is used by both CPUs 12A . 12B received and both CPUs respond by sending the processor units 20 cause each CPU to go to that location in memory 28 to jump, which contains the reset vector, and to initiate a subroutine, which stores the stored state of both CPUs 12A . 12B in the processor units 20 , the caches 22 , the registers, etc. The CPUs 12A . 12B then begin executing the same command stream.
Somit befinden sich die CPUs 12A, 12B bei Schritt 1112 immer noch im Schattenbetriebsmodus, d. h. die beiden arbeiten zwar denselben Befehlsstrom ab, die CPU 12B liegt dabei jedoch um 8 Taktzyklen hinter der CPU 12A und die Router sind nach wie vor so konfiguriert, dass sie von der CPU 12B kommende Übertragungen ignorieren. Die CPU 12A kehrt in den Online-Zustand zurück und fährt mit der Ausführung der Benutzeranwendung fort.The CPUs are thus located 12A . 12B at step 1112 still in shadow mode, ie the two are executing the same instruction stream, the CPU 12B however, it is 8 clock cycles behind the CPU 12A and the routers are still configured to be from the CPU 12B ignore upcoming transmissions. The CPU 12A returns to the online state and continues executing the user application.
Die Reintegrationsprozedur tritt nun in die letzten Reintegrationsetappen ein, welche auch als "Träge Reintegration" bezeichnet und in 33D veranschaulicht werden. Die Freigabe des FKC-Bits zum Markieren unsauberer Speicherorte muss nun deaktiviert werden, da die Prozessoren mit demselben Speicher dasselbe machen. Wenn die Online-CPU 12A während dieser Etappe der Reintegrationsprozedur beim Auslesen des Speichers im Zuge der Ausführung von Befehlen (welche die Offline-CPU ebenfalls ausführt – wenn auch mit einer Verzögerung von 8 Takten) auf einen Speicherort im Speicher 28 trifft, der als unsauber gekennzeichnet ist, so leitet sie die Ausgabe eines "Busfehlers" ein (Schritt 1120). Eine Meldung dieses Busfehlers wird unter Verwendung der Auswahllogik 920 des "Soft-Flag"-Logikelements 900 (30B) an die CPU 12B übertragen (Schritt 1122), um in der Offline-CPU 12B für denselben Befehl einen Busfehler zu erzwingen. Unter vorübergehender Bezugnahme auf 30B lässt sich zeigen, dass durch die Ausgabe von REINT über den MUX 914 das BUSFEHLER-Signal zu Übergabe an die CPU 12B ausgewählt wird, wodurch die CPU 12B benachrichtigt wird, dass die CPU 12A auf einen Busfehler gestossen ist.The reintegration procedure now enters the last stages of reintegration, which is also referred to as "slow reintegration" and in 33D are illustrated. The release of the FKC bit for marking dirty locations must now be deactivated, since the processors do the same with the same memory. If the online CPU 12A during this stage of the reintegration procedure when reading out the memory in the course of executing commands (which the offline CPU also executes - albeit with a delay of 8 clocks) to a storage location in the memory 28 that is marked as dirty, it initiates the output of a "bus error" (step 1120). A notification of this bus error is generated using the selection logic 920 of the "soft flag" logic element 900 ( 30B ) to the CPU 12B transferred (step 1122) to in the offline CPU 12B force a bus error for the same command. With a temporary reference to 30B can be shown that the output of REINT via the MUX 914 the BUS ERROR signal for transfer to the CPU 12B is selected, causing the CPU 12B is notified that the CPU 12A encountered a bus error.
Unterdessen bewirkt der Busfehler in der CPU 12A, dass die Prozessoreinheit 20 in eine Fehlerbehandlungsroutine versetzt wird, um zu bestimmen (1) was die Ursache des Fehlers ist, und (2) wie, sofern möglich, mit dem Fehler umzugehen ist. In diesem Augenblick wird ermittelt, dass der Fehler durch den Versuch ausgelöst wurde, einen als unsauber gekennzeichneten Speicherort auszulesen. Demgemäss leitet die Prozessoreinheit 20 (über die BÜM 88 – 5) den AtomicWrite-Mechanismus ein, um den Inhalt des Speicherorts in die CPU 12B hinüberzukopieren. Die CPU 12A führt daraufhin den Befehl, welcher den Busfehler verursachte, erneut aus, und fährt in der Verarbeitung fort.Meanwhile, the bus error in the CPU 12A that the processor unit 20 is placed in an error handler to determine (1) what is the cause of the error and (2) how, if possible, to deal with the error. At that moment it is determined that the error was triggered by an attempt to read a location marked as dirty. Accordingly, the processor unit conducts 20 (about the BÜM 88 - 5 ) the AtomicWrite mechanism to get the contents of the location into the CPU 12B hinüberzukopieren. The CPU 12A then executes the command that caused the bus error again and continues processing.
Bei der CPU 12B, welche mit einem Versatz von 8 Takten hinter der CPU 12A betrieben wird, wird ebenfalls ein Busfehler erzwungen, und zwar durch die Übermittlung dieses Fehlers von der CPU 12A über den Bus 902, welche vor der Ausführung desselben Befehls erfolgt, welcher den Busfehler bei der CPU 12A verursacht hatte. Zu dem Zeitpunkt, da die CPU 12B diesen Befehl ausführt, ist jedoch die Busfehlermeldung bereits an die CPU 12B übermittelt worden und wird mit demselben, 8 Takte später erfolgenden Befehl der CPU 12B in Beziehung gesetzt. Dieses In-Beziehung-setzen wird dadurch erreicht, dass die Verzögerung bei der Übertragung des Busfehlersignals von der Online-CPU 12A zu der Offline-CPU 12B mit der acht-Takte-Verzögerung zur Übereinstimmung gebracht wird, welche durch die Routerübertragungen an die CPUs bewirkt werden (d. h. mit der acht-Takte-Verzögerung des Schattenbetriebsmodus). Die CPU 12B wird dabei dennoch gezwungen, dieselbe Busfehlerbehandlungsroutine zu durchlaufen, wie sie von der CPU 12A eingeleitet wurde. Um in synchronem, im Gleichschritt laufendem Betrieb zu bleiben, führt die Offline-CPU 12B exakt dieselbe Sequenz an Operationen aus wie die Online-CPU 12A, und zwar einschliesslich der Busfehlerroutine und der Übertragung der Daten von "unsauberen" Speicherorten an den Router. Wohlgemerkt, die Router ignorieren zwar von der CPU 12B kommende Übertragungen, es muss jedoch gewährleistet sein, dass die CPU 12B zur Ausführung derselben Operation wie sie von der CPU 12A ausgeführt wird, auch dieselbe Zeitspanne wie diese benötigt.With the CPU 12B which are offset by 8 clocks behind the CPU 12A is operated, a bus error is also forced by the transmission of this error from the CPU 12A over the bus 902 , which takes place before the execution of the same command which causes the bus error at the CPU 12A had caused. At the time the CPU 12B executes this command, however, the bus error message is already sent to the CPU 12B has been transmitted and is carried out with the same instruction of the CPU 8 clocks later 12B related. This relationship is achieved in that the delay in the transmission of the bus error signal from the online CPU 12A to the offline CPU 12B is matched with the eight clock delay caused by the router transfers to the CPUs (ie, the eight clock delay of the shadow mode). The CPU 12B it is still forced to go through the same bus error handling routine as that of the CPU 12A was initiated. In order to remain in synchronous, synchronous operation, the offline CPU 12B exactly the same sequence of operations as the online CPU 12A , including the bus error routine and the transfer of data from "dirty" storage locations to the router. Mind you, the routers ignore the CPU 12B upcoming transfers, however, it must be guaranteed that the CPU 12B to perform the same operation as that of the CPU 12A the same amount of time as it takes.
In der Zwischenzeit verwendet die Online-CPU 12A eine gewisse Zeit darauf, um einen letzten Durchgang durch den gesamten Speicher der CPU 12A zu vollziehen, wobei jene Speicherorte, die immer noch als unsauber gekennzeichnet sind, hinüberzukopieren, während gleichzeitig die Ausführung eines Benutzer-Anwendungsprogramms fortgesetzt wird. Während der letzten Etappe der Reintegration wird der gesamte Speicher ausgelesen und dabei jeder Speicherort überprüft. Jeder Speicherort, der geprüft und als unsauber markiert erkannt wird, wird in die Offline-CPU, d. h. die CPU 12B kopiert. Schlussendlich sind die Zustände der CPUs 12A, 12B konsistent, so dass die beiden CPUs in einen echten, nicht-verzögerten, im Gleichschritt laufenden Betrieb gesetzt werden können.In the meantime, the online CPU is using 12A some time later to make a last pass through the entire memory of the CPU 12A to do so, copying over those locations that are still marked as dirty while continuing to execute a user application program. During the last stage of reintegration, the entire memory is read out and every storage location is checked. Every storage location that is checked and identified as dirty is transferred to the offline CPU, ie the CPU 12B copied. Ultimately, the states of the CPUs 12A . 12B consistent, so that the two CPUs can be set to real, non-delayed, synchronous operation.
Nachdem somit dank dem Schritt 1124 feststeht, dass tatsächlich der gesamte Speicher überprüft, und gegebenenfalls kopiert, worden ist, setzt der IP 18 in Schritt 1128 die Router 14A in einen nächsten Duplex-Betriebszustand, indem er die in der Steuerlogik 509 enthaltenen Konfigurationsregister entsprechend beschreibt. Die CPU 12A gibt daraufhin, wie bereits zuvor, die Sequenz bestehend aus SCHLAFEN-Symbolen und eigenadressiertem Nachrichtenpaket aus. Wenn die CPU 12A sichergestellt hat, dass der Router sich in einem Ruhezustand befindet, sendet die CPU 12A an beider Router 14A, 14B (gleichzeitig) ein SRST-Symbol. Durch den Empfang dieses Symbols werden die Router 14A 14B in den Duplexbetrieb versetzt, so dass wenn sie das SRST-Symbol an die CPUs 12A , 12B zurückreflektieren, beide Symbole gleichzeitig zurückreflektiert werden. Wenn die SRST-Symbole nun von den CPUs 12A, 12B empfangen werden, so veranlassen sie beide Prozessoreinheiten 20 der CPUs, zurückgesetzt zu werden und ihren Betrieb von demselben Speicherort in demselben Zustand und zur selben virtuellen Zeit aufzunehmen. Die CPUs 12A, 128 befinden sich nun in im Gleichschritt laufendem Betrieb.After it is thus determined, thanks to step 1124, that the entire memory is actually checked, and if copied, the IP 18 sets the routers in step 1128 14A in a next duplex operating state by the in the control logic 509 contained in the configuration register. The CPU 12A then, as before, outputs the sequence consisting of SLEEP symbols and a self-addressed message packet. If the CPU 12A has ensured that the router is in an idle state, the CPU sends 12A on both routers 14A . 14B an SRST symbol (at the same time). By receiving this symbol, the router 14A 14B put in duplex mode so that when it sends the SRST symbol to the CPUs 12A . 12B reflect back, both symbols are reflected back simultaneously. If the SRST symbols are now from the CPUs 12A . 12B are received, they cause both processor units 20 the CPUs to reset and start operating from the same location in the same state and at the same virtual time. The CPUs 12A . 128 are now in synchronous operation.
Zusätzliche Merkmaleadditional characteristics
Kostenreduziertes DuplexsystemReduced costs duplex system
Im folgenden wird vorübergehend auf 1 Bezug genommen, wobei die CPUs 12A, 12B wie erwähnt entweder getrennt oder als duplexbetriebenes Paar verwendet werden. Im ersteren Fall schafft die in dem Entwurf einer jeden der unabhängig voneinander betriebenen CPUs verwendete Redundanz eine schnellfehlende Architektur. CPUs können gepaart (nicht im Duplexmodus) betrieben werden, so dass eine CPU als "primäre" CPU und die andere CPU als "sekundäre" CPU bezeichnet wird, wodurch ein softwarebezogener Ansatz zur Fehlertoleranz implementiert wird. Somit hat die sekundäre CPU eine Benutzer-Anwendung zur Verfügung, welche auf der primären CPU läuft, und die primäre CPU aktualisiert in regelmässigen Abständen z. B. eine Datenbank oder eine Auditdatei, welche Aufschluss gibt über die bis zu dem Zeitpunkt der Aktualisierung erfolgten Verarbeitungsaktivitäten der primären CPU. Sollte die primäre CPU ausfallen, so aktiviert die sekundäre CPU die Datensicherungsanwendung und übernimmt die Aufgabe der ausgefallenen CPU, und zwar von dem Zeitpunkt an, da die Datenbank bzw. die Auditdatei zum letzten Mal aktualisiert wurde. Darauf basiert der softwarebezogene Ansatz zur Fehlertoleranz.The following is temporarily on 1 Referenced with the CPUs 12A . 12B as mentioned, can be used either separately or as a duplex-operated pair. In the former case, the redundancy used in the design of each of the independently operated CPUs creates a rapidly missing architecture. CPUs can be paired (not in duplex mode) so that one CPU is referred to as a "primary" CPU and the other CPU is referred to as a "secondary" CPU, thereby implementing a software-based approach to fault tolerance. Thus, the secondary CPU has a user application available that runs on the primary CPU, and the primary CPU updates at regular intervals, e.g. B. a database or an audit file, which provides information about the processing activities of the primary CPU up to the time of the update. If the primary CPU fails, the secondary CPU activates the backup application and takes over from the failed CPU from the time the database or audit file was last updated. The software-based approach to fault tolerance is based on this.
Softwarebezogene Ansätze zur Fehlertoleranz werden charakteristischerweise durch Betriebssysteme implementiert. Für jene Betriebssysteme, die nicht so robust ausgelegt sind, und daher nicht über eine entsprechende Fähigkeit verfügen, wird der weiter oben (siehe 1) beschriebene Duplex-Betriebsmodus mit zwei CPUs 12 vorgestellt, welche betrieben werden, um identische Befehle ein und desselben Befehlsstroms auszuführen. In 34 wird ein kostenreduziertes, duplexbetriebenes Paar von CPUs gezeigt, wobei eine der CPUs nicht über dieselbe Redundanz verfügt wie die andere.Software-related approaches to fault tolerance are typically implemented by operating systems. For those operating systems that are not designed so robustly and therefore do not have the appropriate capability, the above (see 1 ) described duplex operating mode with two CPUs 12 presented which are operated to execute identical commands of the same command stream. In 34 a reduced-cost, duplex-powered pair of CPUs is shown, with one of the CPUs not having the same redundancy as the other.
Allerdings sei, unter Bezugnahme auf 1, darauf hingewiesen, dass die CPU 12A in fehlerprüfender Redundanz zu der CPU 12B betrieben werden kann, und zwar in derselben Weise, in der die einzelnen Prozessoreinheiten 20a, 20b der CPU 12A eine schnellfehlende Fehlertoleranz für die CPU bereitstellen – sofern beide im Duplexmodus und in im Gleichschritt laufendem Betrieb zueinander betrieben werden. Somit kann für den Duplexbetrieb, wie in 34 veranschaulicht, ein kostenreduziertes System angewendet werden. Wie in 34 gezeigt, beinhaltet ein Verarbeitungssystem 10' die CPU 12A und die Router 14A, 14B in der weiter oben beschriebenen Struktur. Die CPU, mit welcher die CPU 12A gepaart ist, hier als CPU 12B' dargestellt, ist jedoch als einprozessorbasiertes CPU-System strukturiert. Die Verbindungen zwischen den Routern 14A, 14B und den CPUs sind ebenfalls dieselben.However, referring to 1 , noted that the CPU 12A in error checking redundancy to the CPU 12B can be operated in the same way in which the individual processor units 20a . 20b the CPU 12A provide a fast missing fault tolerance for the CPU - provided both are operated in duplex mode and in synchronous operation with each other. Thus, for duplex operation, as in 34 illustrates a cost-reduced system can be applied. As in 34 shown includes a processing system 10 ' the CPU 12A and the router 14A . 14B in the structure described above. The CPU with which the CPU 12A is paired, here as a CPU 12B ' shown, but is structured as a processor-based CPU system. The connections between the routers 14A . 14B and the CPUs are also the same.
Somit umfasst die CPU 12B' nur eine Einprozessoreinheit 20' und dieser zugeordnete, unterstützende Komponenten, unter anderem den Cachespeicher 22', die Schnittstelleneinheit (SE) 24', die Speichersteuerung 26' und den Speicher 28'. Während die CPU 12A in der in 2 gezeigten Art strukturiert ist, d. h. mit Redundanzen in den Bereichen der Cachespeichereinheit, der Schnittstelleneinheit und der Speichersteuerung, wird annähernd eine Hälfte dieser Komponenten zur Implementierung der CPU 12B' benötigt.So the CPU includes 12B ' only one processor unit 20 ' and associated supporting components, including the cache 22 ' , the interface unit (SE) 24 ', the memory controller 26 ' and the memory 28 ' , While the CPU 12A in the in 2 is shown structured, ie with redundancies in the areas of the cache memory unit, the interface unit and the memory controller, approximately half of these components for the implementation of the CPU 12B ' needed.
Was ihren Betrieb betrifft, würden die CPUs 12A, 12B' im Duplexmodus betrieben, wobei eine jede im wesentlichen zur selben Zeit dieselben Befehle eines identischen Befehlsstroms ausführen. Die CPU 12A von ihrem Entwurf her entsprechend ausgelegt, um durch die Verdoppelung der Prozessoreinheit 20 und anderer die CPU konstituierender Elemente einen schnellfehlenden Betrieb bereitzustellen. Darüber hinaus stellt die CPU 12A durch den Duplexbetrieb und durch die von den Routern 14A, 14B vorgenommenen Divergenzprüfungen auch ein Prüfverfahren für ihre Partner-CPU, die CPU 12B', bereit. Die von dem CPU-Paar gebildete logische CPU stellt insofern eine funktionellfehlende Betriebsweise bereit, als für den Fall, dass von einem der Router 14A, 14B eine Divergenz erkannt werden sollte, und auf diese Divergenzerkennung in der oben beschriebenen Art durch Stoppen der fehlerbehafteten CPU reagiert wird, die in Betrieb verbleibende CPU mit der Ausführung der laufenden Anwendung fortfahren kann.As for their operation, the CPUs 12A . 12B ' operated in duplex mode, each executing the same commands of an identical command stream at substantially the same time. The CPU 12A designed accordingly by doubling the processor unit 20 and other elements constituting the CPU to provide fast missing operation. In addition, the CPU 12A through duplex operation and through the routers 14A . 14B performed divergence tests also a test procedure for your partner CPU, the CPU 12B ' , ready. The logical CPU formed by the CPU pair provides a functionally missing mode of operation in the event that one of the routers 14A . 14B a divergence should be detected and this divergence detection is responded to in the manner described above by stopping the faulty CPU, the CPU remaining in operation can continue to execute the running application.
Handelt es sich bei der in Betrieb verbleibenden CPU um die CPU 12A, so existiert immer noch ein kleines Mass an Datenintegrität dank der duplizierten Komponenten, aus denen die CPU 12A gebildet ist. Sollte es sich bei der in Betrieb verbleibenden CPU um die CPU 12B' handeln, so muss allerdings eingeräumt werden, dass ausgenommen für die in konventioneller Weise implementierte Fehlerprüfungen (z. B. Paritätsprüfungen an verschiedenen Schnittstellen) eine Datenintegrität nicht gewährleistet ist.If the CPU remaining in operation is the CPU 12A , so there is still a small amount of data integrity thanks to the duplicated components that make up the CPU 12A is formed. Should the remaining CPU in operation was the CPU 12B ' act, it must be admitted, however, that data integrity is not guaranteed except for the error checks implemented in a conventional manner (e.g. parity checks at different interfaces).
Wie in 34 gezeigt, beinhaltet das Verarbeitungssystem 10' ein Paar von Routern 14A, 14B, um den Vergleich der von den CPUs 12A und 12B' kommenden Ausgabedaten durchzuführen. Für einschlägig gebildete Fachleute ist klar ersichtlich, dass nur ein Router 14 (z. B. der Router 14A) benötigt wird, wenn nur eine Divergenzprüfung durchgeführt werden soll. Die Verwendung eines Routers könnte in der Praxis auch durch nichts weiter als eine blosse Vergleichsschaltung ersetzt werden, welche die erforderliche Divergenzprüfung vornimmt, vorausgesetzt die beiden Eingänge, die entsprechend geschaltet sind, um die Ausgangsdaten von den CPUs 12A, 12B' zu empfangen, verfügen über Taktsynchronisierungs-FIFOs der weiter oben beschriebenen Art, um den in gewisser Weise asynchronen Ausgabedaten zu empfangen, wobei diese empfangenen Ausgabedaten in synchroner Weise aus den FIFOs entnommen werden.As in 34 shown includes the processing system 10 ' a pair of routers 14A . 14B to compare the of the CPUs 12A and 12B ' to carry out upcoming output data. It is clear to those skilled in the art that there is only one router 14 (e.g. the router 14A ) is required if only one divergence test is to be carried out. In practice, the use of a router could also be replaced by nothing more than a mere comparison circuit which carries out the required divergence test, provided the two inputs, which are switched appropriately, to the output data from the CPUs 12A . 12B ' receive clock synchronization FIFOs of the type described above in order to receive the somewhat asynchronous output data, these received output data being taken from the FIFOs in a synchronous manner.
Standby-RedundanzprinzipStandby Sparing
Im folgenden wird vorübergehend auf die 1A–1C Bezug genommen, wobei ein wichtiges Merkmal der Architektur des in diesen Figuren veranschaulichten Verarbeitungssystems darin besteht, dass jede CPU 12 die Dienste einer jeden E/A-Paket-Schnittstelle 16 und eines jeden mit einer solchen verbundenen E/A-Geräts für sich zur Verfügung hat, und zwar ohne dass dazu eine andere CPU in dem System benötigt wird. Zahlreiche Parallelverarbeitungssysteme nach dem Stand der Technik ermöglichen einen Zugriff auf E/A-Geräte bzw. die Inanspruchnahme ihrer Dienste nur auf dem Weg über eine Zuhilfenahme eines bestimmten Prozessors oder einer bestimmten CPU. In einem solchen Fall steht, sollte der für die Dienste eines E/A-Geräts verantwortliche Prozessor ausfallen, das betreffende E/A-Gerät für den Rest des Systems nicht mehr zur Verfügung. Andere Systeme nach dem Stand der Technik bieten Zugriff auf E/A-Einrichtungen über Prozessorpaare, so dass bei Ausfall eines Prozessors der Zugriff auf die entsprechende E/A-Einrichtung immer noch über den in Betrieb verbleibenden Prozessor verfügbar ist. Wenn natürlich beide Prozessoren ausfallen, so geht der Zugriff auf die E/A-Einrichtung erneut verloren.The following will temporarily refer to the 1A -1C Reference, an important feature of the architecture of the processing system illustrated in these figures is that each CPU 12 provides the services of each I / O packet interface 16 and each I / O device connected to it without the need for another CPU in the system. Numerous state-of-the-art parallel processing systems allow access to I / O devices or the use of their services only by using a specific processor or CPU. In such a case, should the processor responsible for the services of an I / O device fail, the I / O device in question will no longer be available to the rest of the system. Other prior art systems provide access to I / O devices through processor pairs, so that if one processor fails, access to the appropriate I / O device is still available through the processor remaining in operation. Of course, if both processors fail, access to the I / O device is lost again.
Ausserdem stellt das Anfordern der Ressourcen eines Prozessors mit dem Ziel, diese einem anderen Prozessor eines parallelen Systems bzw. eines Mehrprozessorsystems bereitzustellen, eine Leistungseinbusse für das System dar.In addition, requesting the Resources of one processor with the aim of another processor to provide a parallel system or a multiprocessor system, a performance penalty for the system.
Die Fähigkeit, einer jeden CPU eines Multiprozessorsystems Zugriff auf jedes Peripheriegerät zu gewähren, wie dies hier der Fall ist, trägt dazu bei, den "Primär"/"Datensicherungs"-Prozess auszuweiten, der in dem oben angegebenen U.S.-Patentschrift Nr. 4.228.496 offenbart wird. Dort kann ein Mehr-CPU-System über einen Primärprozess verfügen, welcher auf einer CPU läuft, während ein Datensicherungsprozess auf einer anderen der CPUs im Hintergrund abläuft. In regelmässigen Abständen führt der Primärprozess eine Operation des "Sicherungspunkt-Setzens" durch, im Zuge derer Daten betreffend die Operation des Prozesses an einem Speicherort gespeichert werden, auf welchen von dem Datensicherungsprozess aus zugegriffen werden kann. Wenn die CPU, auf welcher der Primärprozess durchgeführt wird, einen Fehler aufweist, so wird dieser Fehler von den verbleibenden CPUs, einschliesslich jener, auf welcher sich die Datensicherung befindet, erkannt. Diese Erkennung des CPU-Fehlers führt dazu, dass der Datensicherungsprozess aktiviert wird, und dass dieser auf die Sicherungspunkt-Daten zugreift, wodurch es der Datensicherung ermöglicht wird, von dem Punkt der letzten Sicherungspunkterstellungsoperation an den Betrieb des früheren Primärprozesses fortzuführen. Der Datensicherungsprozess wird nun zum Primärprozess und es wird eine andere CPU aus dem Pool der verbleibenden CPUs ausgewählt, um den Datensicherungsprozess zu übernehmen. Demgemäss kann das System rasch wieder in einen Zustand versetzt werden, in welchem ein weiterer Fehler toleriert werden kann, der sogar bereits auftreten kann bevor die Reparatur des ursprünglichen Fehlers (d. h. der fehlerhaften CPU) abgeschlossen ist.The ability to give each CPU one Multiprocessor system to grant access to any peripheral, such as this is the case here help the "primary" / "data backup" process which is disclosed in U.S. Patent No. 4,228,496. There, a multi-CPU system can be operated via a primary process feature, which runs on a CPU, while a backup process on another of the CPUs in the background expires. In regular intervals leads the primary process an operation of "securing point setting" in the course of which Data related to the operation of the process in one location are saved on which of the data backup process can be accessed. If the CPU on which the primary process carried out If there is an error, this error will be recognized by the remaining CPUs, including those on which the data backup is located is detected. This detection of the CPU error leads to that the backup process is activated and that this on the savepoint data accesses, which enables data backup from that point the last savepoint creation operation to the operation of the earlier primary process continue. The backup process now becomes the primary process and it becomes different CPU selected from the pool of remaining CPUs to complete the data backup process to take over. Accordingly, the system can quickly be restored to a state in which another error can be tolerated, which is already can occur before the original fault (i.e. the faulty CPU) is completed.
Somit wird ersichtlich, dass durch das Verfahren und die Vorrichtung zur wechselseitigen Verbindung der verschiedenen Elemente eines Verarbeitungssystems 10 jede CPU Zugriff auf jedes E/A-Element des Systems sowie auf jede andere CPU des Systems erhält. Jede CPU kann auf jede E/A-Einrichtung zugreifen, ohne dazu die Dienste einen anderen Prozessors in Anspruch nehmen zu müssen. Dadurch wird die Systemleistung erhöht und im Vergleich zu jenen Systemen verbessert, die sehr wohl einen spezifischen Prozessor für die Realisierung des Zugriffs auf E/A-Einrichtungen benötigen.It can thus be seen that the method and the device for the mutual connection of the various elements of a processing system 10 Every CPU has access to every I / O element of the system and to every other CPU in the system. Each CPU can access any I / O device without having to use the services of another processor. This increases system performance and improves it compared to those systems that do require a specific processor to implement access to I / O devices.
Ausserdem ist zu bemerken, dass wenn eine CPU 12 einen Fehler aufweisen sollte oder in Offline-Betrieb gesetzt wird, dies keinerlei Auswirkungen auf den Zugriff irgendeiner anderen CPU auf irgendeine E/A-Einrichtung des Systems hat.It should also be noted that if a CPU 12 should have an error or be taken offline that has no effect on any other CPU's access to any I / O device of the system.
Transaktionsfolgeprotokoll und Barrieren-Transaktionen:Transaction Sequence Protocol and barrier transactions:
Wie weiter oben erklärt, beinhaltet das Headerfeld eines Pakets eine 4 Bit umfassendes 'Transaktionsfolgenummer'-Feld (TFN-Feld); siehe die 3A und 3B. Elemente des Verarbeitungssystems 10 (19; die in der Lage sind, mehr als eine ausstehende Anforderung zu verwalten, wie zum Beispiel die CPUs 12 oder bestimmte E/A-Geräte, stellen für jede ausstehende Anforderung in dem TFN-Feld eine nur einmal vorkommende Folgenummer bereit. Wenn das Bestimmungselement ein Antwortpaket zu der spezifischen Anforderung generiert, so enthält das TFN-Feld in dem Antwortpaket denselben TFN-Wert wie in dem Anforderungspaket, das zur Generierung der Antwort geführt hat. Das Systemelement, welches die Antwort empfängt, kann daraufhin die in der Antwort enthaltene TFN mit jenen der Anforderungen vergleichen, um zu bestimmen, welcher Anforderung die Antwort zuzuordnen ist.As explained above, the header field of a packet contains a 4 bit transaction sequence number 'field (TFN field); see the 3A and 3B , Elements of the processing system 10 ( 19 ; that are able to manage more than one pending request, such as the CPUs 12 or certain I / O devices, provide a unique sequence number for each pending request in the TFN field. When the determination element generates a response packet for the specific request, the TFN field in the response packet contains the same TFN value as in the request packet that led to the generation of the response. The system element receiving the response can then compare the TFN contained in the response with that of the requests to determine which request the response is to be associated with.
Die TFN erlaubt es einem Systemelement, zu bestimmen, ob die Antwort einer Anforderung zuzuordnen ist, welche nicht mehr existiert. Zum Beispiel ist es bei manchen Systemen, wie auch bei dem vorliegenden, erforderlich, dass die Antworten auf eine Anforderung innerhalb einer vordefinierten Zeitspanne empfangen werden. Wird innerhalb der dafür eingeräumten Zeit keine Antwort empfangen, gibt das Systemelement, das die Anforderung initiierte, einfach eine zweite (wiederholte) Anforderung aus. Wird im Anschluss daran die Antwort auf die frühere Anforderung empfangen, so ist das Systemelement in der Lage, aufgrund der TFN zu bestimmen, welche Anforderung (die frühere, mittlerweile gelöschte Anforderung, oder die spätere gültige Anforderung) durch die Antwort beantwortet wird. Handelt es sich um die frühere, so wird die Antwort ausgeschieden.The TFN allows a system element to determine whether the response is associated with a request, which does not exist anymore. For example, in some systems, as with the present, the answers required received on request within a predefined period of time become. Will be within the for that granted Time no response received, the system element that issued the request initiated, simply a second (repeated) request. Becomes then received the response to the previous request, so the system element is able to determine based on the TFN what requirement (the previous, meanwhile deleted Requirement, or the later valid Request) is answered by the answer. Is it to the former, so the answer is eliminated.
TFNs sind auch hilfreich bei der Handhabung des sogenannten Problems der "veralteten Pakete". Bei Auftreten eines Fehlers ist es möglich, dass gerade in Übertragung befindliche Nachrichtenpakete irgendwo im Netzwerk blockiert werden. Ist keine Möglichkeit vorgesehen, diese veralteten Nachrichtenpakete zu entfernen, so können sich diese möglicherweise später wieder bemerkbar machen, nachdem das System im Anschluss an einen Fehler wiederhergestellt ist, und dessen Betrieb unter Umständen stören. Eine TFN eines empfangenen Nachrichtenpakets ermöglicht es dem Empfänger, durch Vergleichen der in der Antwort enthaltenen TFN mit der TFN des Nachrichtenpakets, das zur Beantwortung aufgefordert hat, zu bestimmen, ob es sich um eine aktuelle Antwort handelt oder nicht.TFNs are also helpful in Dealing with the so-called problem of "outdated packages". When it occurs of an error it is possible that just being broadcast message packets located somewhere in the network are blocked. Is not an option provided to remove these outdated message packets, so can yourself this may be later again noticeable after the system following one Error is restored and may disrupt its operation. A TFN of a received message packet enables the recipient to pass through Comparing the TFN contained in the response with the TFN of the message packet, that has asked for the answer to determine whether it is is a current answer or not.
Bei Verwendung eines kleinen TFN-Feldes besteht die Möglichkeit, dass eine veraltete, spät eintreffende Antwort eine TFN trägt, welche mit der einer aktuell ausstehenden Anforderung übereinstimmt. Ein grosses TFN-Feld hat hingegen zur Folge, dass entweder jedes der zu übertragenden Nachrichtenpakete um vieles grösser wird oder aber dass die verfügbaren Datenfelder entsprechend verringert werden.When using a small TFN field it is possible, that an outdated, late incoming answer carries a TFN, which matches a currently pending request. A large TFN field, however, means that either each the one to be transferred Message packets much larger will or that the available Data fields are reduced accordingly.
Die vorliegende Erfindung löst dieses Problem durch einen Mechanismus, welcher als "Barrieren-Transaktion" bezeichnet wird. TFNs werden zwar auch hierbei verwendet, jedoch verringert der Barrieren-Transaktionsmechanismus die erforderliche Grösse einer TFN auf ein nur vier Bits umfassendes Feld.The present invention solves this Problem caused by a mechanism called a "barrier transaction" becomes. TFNs are also used here, but they are reduced the barrier transaction mechanism the size required TFN on a field consisting of only four bits.
Kurz gesagt, wird eine Barrieren-Transaktion dazu verwendet, um die Integrität eines Übertragungsleitwegs zwischen einem sendenden Knoten und einem empfangenden Knoten zu prüfen. Eine Barrieren-Transaktion wird primär durch eine CPU eingeleitet, obwohl sie auch von einer E/A-Schnittstelle 16 ausgegeben werden könnte. Sie wird in erster Linie dann eingesetzt, wenn eine erwartete Antwort auf ein zuvor an eine E/A-Einheit 17 oder eine CPU 12 ausgegebenes Anforderungs-Nachrichtenpaket nicht innerhalb einer vordefinierten und dafür zugemessenen Zeitspanne empfangen wird. Eine CPU 12 hat die Möglichkeit, den Leitweg zu überprüfen, indem sie ein Barrieren-Transaktions-Nachrichtenpaket in Form eines HADC-Pakets (3A) erstellt und sendet, welches die üblichen Header-Adress-, Daten- und CRC-Felder enthält. Die von dem Barrieren-Transaktions-Nachrichtenpaket übertragenen Daten dienen ausschliesslich der Identifikation der Transaktion und eine Kopie dieser Daten wird von der CPU zum Zweck eines später von der CPU durchzuführenden Vergleichs abgespeichert.In short, a barrier transaction is used to check the integrity of a transmission route between a sending node and a receiving node. A barrier transaction is primarily initiated by a CPU, although it is also initiated by an I / O interface 16 could be spent. It is primarily used when an expected response to a previously sent to an I / O unit 17 or a CPU 12 issued request message packet is not received within a predefined and allocated time period. A CPU 12 has the option of verifying the route by sending a barrier transaction message packet in the form of a HADC packet ( 3A ) creates and sends, which contains the usual header address, data and CRC fields. The data transmitted by the barrier transaction message packet are used exclusively for the identification of the transaction and a copy of this data is stored by the CPU for the purpose of a comparison to be carried out later by the CPU.
Das Systemelement (z. B. eine der E/A-Schnittstellen 16, obwohl es sich dabei ebenso gut um eine andere CPU handeln könnte), welches ein Barrieren-Transaktions-Nachrichtenpaket empfängt, wird dadurch aufgefordert, seinerseits eine Barrieren-Transaktions-Antwort zu generieren und zu senden. Zuvor jedoch muss der Barrieren-Transaktions-Antwortadressat alle (von dem Systemelement, das die Anforderung ausgegeben hat erhaltenen) Anforderungen, welche vor dem Empfang des Barrieren-Transaktions-Nachrichtenpaket empfangen wurden, entweder vollenden oder ausscheiden, bevor er auf die Barrieren-Transaktion reagieren kann. Die Barrieren-Transaktions-Antwort erfolgt in Form eines HDC-Pakets (4B), welches dieselben Daten enthält, die mit der Barrieren-Transaktions-Anforderung übertragen wurden. Wenn die Barrieren-Transaktions-Antwort von der CPU, welche die Transaktion eingeleitet hat, empfangen wird, so werden die in der Antwort enthaltenen Daten mit jenen Daten verglichen, die in dem zuvor gesendeten (und zuvor von der CPU gespeicherten) Barrieren-Transaktions-Nachrichtenpaket enthalten waren, um unter anderem festzustellen, welcher Barrieren-Transaktion die Antwort zuzuordnen ist (es können nämlich eine ganze Reihe von ausständigen Barriere-Transaktionen vorhanden sein).The system element (e.g., one of the I / O interfaces 16, although it could just as well be a different CPU), which receives a barrier transaction message packet, is thereby prompted, in turn, a barrier transaction response to generate and send. Before that, however, the barrier transaction response addressee must either complete or drop any requests (received by the system element that issued the request) that were received prior to receipt of the barrier transaction message packet before responding to the barrier transaction can. The barrier transaction response takes the form of an HDC packet ( 4B ), which contains the same data that was transmitted with the barrier transaction request. When the barrier transaction response is received from the CPU that initiated the transaction, the data contained in the response is compared to the data contained in the barrier transaction previously sent (and previously stored by the CPU) Messages were included to determine, among other things, which barrier transaction the answer is to be assigned (there may be a number of outstanding barrier transactions).
Da es nur einen gültigen Leitweg zwischen jedem beliebigen Systemelement und jedem anderen Systemelement (z. B. der CPU 12A und dem E/A-Einrichtung 17n; 1) geben kann, und da kein Nachrichtenpaket auf dem Weg zu seinem Bestimmungsort ein anderes Nachrichtenpaket überholen kann, entspricht die Reihenfolge, in der die Nachrichtenpakete empfangen werden auch der Reihenfolge, in der sie gesendet wurden. Somit wird die Barrieren-Transaktion dazu verwendet, um den Leitweg zwischen dem die Barrieren-Transaktion sendenden Systemelement und dem die Barrieren-Transaktion empfangenden und darauf reagierenden Systemelement freizumachen. Der Empfang der Barrieren-Transaktions-Antwort setzt das Systemelement, das die Barrieren-Transaktion ausgegeben hat, davon in Kenntnis, dass alle vor dem Versand der Barrieren-Transaktion gesendeten Anforderungen beantwortet sind bzw. dass keine Antwort zu erwarten ist. Unbeantwortete Anforderungen können somit erneut ausgegeben werden, wobei davon ausgegangen werden kann, dass wenn schliesslich eine Antwort eintrifft, es sich dabei um das Ergebnis der erneut ausgegebenen Anforderung und nicht um eine verspätet einlangende Antwort auf die frühere (und zuvor unbeantwortet gelassene) Anfrage handelt. Es lässt sich unschwer erkennen, dass der Barrieren-Transaktions-Mechanismus mit einer sehr geringen Anzahl von TFN-Nummern auskommt (Hier wird ein nur vier Bits umfassendes TFN-Feld verwendet, im Gegensatz zu Systemen nach dem Stand der Technik, die etwas längere Felder verwenden müssen.)Since there is only one valid route between any system element and any other system element (e.g. the CPU 12A and the I / O device 17 n ; 1 ), and since no message packet can overtake another message packet on its way to its destination, the order in which the message packets are received also corresponds to the order in which they were sent the. Thus, the barrier transaction is used to clear the route between the system element sending the barrier transaction and the system element receiving and responding to the barrier transaction. The receipt of the barrier transaction response informs the system element that issued the barrier transaction that all requests sent before the barrier transaction was sent have been answered or that no response is expected. Unanswered requests can thus be reissued, whereby it can be assumed that when a response finally arrives, it is the result of the reissued request and not a delayed response to the previous (and previously unanswered) request. It can easily be seen that the barrier transaction mechanism manages with a very small number of TFN numbers (here a TFN field comprising only four bits is used, in contrast to systems according to the prior art, which are somewhat longer fields have to use.)
Die Funktionsweise der Barrieren-Transaktion ist in 35 veranschaulicht, in welcher eine CPU 12A gezeigt wird, die an eine E/A-Paket-Schnittstelle 16A gekoppelt ist, und zwar über einen X-Pfad, welcher die in Reihe geschalteten Router 14A und 14X sowie die TNet-Links L () umfasst. Wie weiter oben beschrieben, verfügt jeder Router über einen Porteingang 502, welcher elastische FIFOs 506 beinhaltet. Da für die folgende Abhandlung nur das elastische FIFO benötigt wird, wird auch nur dieses gezeigt.The functioning of the barrier transaction is in 35 illustrates in which a CPU 12A is shown, which is coupled to an I / O packet interface 16A, via an X path, which the routers connected in series 14A and 14X as well as the TNet links L (). As described above, each router has a port input 502 which elastic FIFOs 506 includes. Since only the elastic FIFO is required for the following treatise, only this is shown.
Angenommen der abgehende Abschnitt des Links L(1) zwischen den Routern 14A und 14X, der Linkabschnitt L(1)', wird unbenutzbar, wie in 35 durch die gestrichelte Linie angedeutet. Dazu kann es aus einer ganzen Reihe von Gründen kommen: fehlerhafte Anschlüsse, ein verrücktes Kabel, usw. Somit endet der abgehende Nachrichtenverkehr von dem Router 14A zu dem Router 14X. Alle von der CPU 12A eingeleiteten Nachrichtenpaketübertragungen, die sich gerade auf dem Weg zu der E/A-Paket-Schnittstelle 16A, jedoch noch vor dem fehlerbehafteten Linkabschnitt L(1)', befinden, erhalten keine Reaktion und enden daher mit der Anzeige einer Zeitablauffehlermeldung für den betreffenden Kommunikationspfad. Es wird intern ein Interrupt generiert und die Prozessoren 20 (20a, 20b – 2) leiten die Ausführung einer Barrieren-Anforderungsroutine (BA-Routine) ein. Diese Barrieren-Anforderungsroutine (BA) deaktiviert zuerst den Pfad durch Löschen des PEX-Bits in dem 'Erlaubnisse'-Feld (13B) eines jeden ZVÜ-Eintrags (13A) für jede ausgegebene Transaktion (d. h. jedes Nachrichtenpaket), das in Ermangelung einer Antwort mit einer Zeitablauffehlermeldung endet. Dadurch wird gewährleistet, dass wenn das von der ausstehenden Transaktion geforderte Antwort-Nachrichtenpaket verspätet eintritt, es ausgeschieden wird, wenn auf die ZVÜ-Tabelle zugegriffen wird, um diese Antwort anhand der Tabelle zu prüfen; damit sind jene Nachrichtenpakete gemeint, welche nicht aufgrund eines Fehlers in einem Link blockiert werden, sondern nur vorübergehend ausser Evidenz geraten, bevor sie schliesslich einen Bestimmungsort erreichen.Suppose the outgoing section of link L (1) between the routers 14A and 14X , the link section L (1) ', becomes unusable, as in 35 indicated by the dashed line. This can happen for a number of reasons: faulty connections, a crazy cable, etc. This means that outgoing message traffic from the router ends 14A to the router 14X , All from the CPU 12A Initiated message packet transfers that are currently on the way to the I / O packet interface 16A, but before the faulty link section L (1) ', do not receive any response and therefore end with the display of a timeout error message for the relevant communication path. An interrupt is generated internally and the processors 20 (20a, 20b - 2 ) initiate the execution of a barrier request routine (BA routine). This barrier request routine (BA) first disables the path by clearing the PEX bit in the 'Permissions' field ( 13B ) of each ZVÜ entry ( 13A ) for each transaction issued (ie each message packet) that ends with a timeout error message in the absence of a response. This ensures that if the response message packet requested by the pending transaction arrives late, it will be dropped if the ZVÜ table is accessed to check that response against the table; This means those message packets that are not blocked due to an error in a link, but are only temporarily out of evidence before they finally reach a destination.
Zu einem späteren Zeitpunkt wird das Link L(1) repariert und gibt nun veraltete Nachrichtenpakete frei, wie zum Beispiel jenes, das in 1152 in dem elastischen FIFO 506' des Routers 14A angezeigt wird. Die Wiederherstellung des Links L(1) wird von dem IP 18 an die CPU 12A gemeldet, so dass die CPU 12A nun von der Möglichkeit unterrichtet ist, dass der X-Pfad zwischen ihr und der E/A-Schnittstelle 16A nunmehr wieder in Betrieb ist. Die CPU kann jedoch diesen Pfad (durch Zurücksetzen der PEX-Bits in den jeweiligen ZVÜ-Einträgen, welche der E/A-Paket-Schnittstelle 16A entsprechen) noch nicht aktivieren. Der Grund dafür liegt in dem möglichen Vorhandensein veralteter Transaktions-Nachrichtenpakete, wie zum Beispiel jenes, das in 1152 in dem elastischen FIFO 506' angezeigt wird, welches zu seinem ursprünglichen Bestimmungsort (der E/A-Paket-Schnittstelle) weiterfliesst, und die E/A-Paket-Schnittstelle 16A dazu veranlasst, es als ein völlig anderes Nachrichtenpaket zu interpretieren und dementsprechend darauf zu reagieren.At a later time link L (1) is repaired and now releases outdated message packets, such as the one in 1152 in the elastic FIFO 506 ' of the router 14A is shown. The restoration of link L (1) is from the IP 18 to the CPU 12A reported so the CPU 12A is now informed of the possibility that the X path between it and the I / O interface 16A is now operational again. However, the CPU can follow this path (by resetting the PEX bits in the respective ZVÜ entries that the I / O packet interface 16A do not yet activate. The reason for this is the possible presence of outdated transactional message packets, such as that in 1152 in the elastic FIFO 506 ' is displayed which flows to its original destination (the I / O packet interface) and the I / O packet interface 16A prompted to interpret it as a completely different message packet and to react accordingly.
Um diesem Problem zu begegnen, und bevor der X-Pfad von der CPU 12A erneut für den normalen Datenverkehr genutzt wird, verwendet die in der CPU 12A laufenden BA-Subroutine die BÜM-Logik 88 (siehe auch die 5 und 15), um eine Barrieren-Transaktion einzuleiten, indem sie ein "Barrieren-Anforderungs"-Nachrichtenpaket zu der E/A-Paket-Schnittstelle 16A sendet. Das Barrieren-Anforderungs-Nachrichtenpaket wird von einem Unterfeld des in dem Header des Nachrichtenpakets enthaltenen Ursprungsort-Feldes als solches erkannt (siehe die 3A und 3B). Wie weiter oben angemerkt, enthält das Datenfeld des Barrieren-Anforderungs-Nachrichtenpakets einen von der bestimmten Transaktion einmalig verwendeten Datenwert.To counter this problem and before the X path from the CPU 12A is used again for normal data traffic, used in the CPU 12A running BA subroutine the BÜM logic 88 (see also the 5 and 15 ) to initiate a barrier transaction by sending a "barrier request" message packet to the I / O packet interface 16A sends. The barrier request message packet is recognized as such by a subfield of the origin field contained in the header of the message packet (see FIG 3A and 3B ). As noted above, the data field of the barrier request message packet contains a data value used once by the particular transaction.
Wenn das Barrieren-Anforderungs-Nachrichtenpaket (d. h. 1150) von der X-Schnittstelleneinheit 16a der E/A-Paket-Schnittstelle 16A empfangen wird, formuliert diese ein Antwort-Nachrichtenpaket, dessen Datenabschnitt denselben, identischen, einmalig verwendeten Datenwert enthält, der in dem empfangenen Barrieren-Anforderungs-Nachrichtenpaket 1150 enthalten war. Die E/A-Paket-Schnittstelle 16A überträgt daraufhin die Antwort über die Router 14X, 14A zurück zu der CPU 12A.If the barrier request message packet (ie 1150) from the X interface unit 16a the I / O packet interface 16A is received, it formulates a response message packet, the data section of which contains the same, identical, one-time data value that is used in the received barrier request message packet 1150 was included. The I / O packet interface 16A then transmits the answer via the router 14X . 14A back to the CPU 12A ,
Wenn die Antwort auf das Barrieren-Anforderungs-Nachrichtenpaket von der CPU 12A empfangen wird, wird es durch die ZVÜ-Logik 90' verarbeitet (siehe auch die 5 und 11). Die Barrieren-Antwort verwendet einen Zvü-Eintrag mit aktiviertem "B"-Feld in dem entsprechenden 'Erlaubnisse'-Feld des Eintrags, um es Barrieren-Antworten, jedoch keinen anderen Transaktionsarten, zu ermöglichen, vollständig verarbeitet zu werden. (Zum Zeitpunkt des Sendens der Barrieren-Transaktion wurde von der CPU ein zur Verwendung bei der Überprüfung der Antwort bestimmter ZVÜ-Eintrag erstellt.) Wie oben erklärt, enthält jede Barrieren-Transaktion einen Datenwert, welcher in der Antwort an den Absender zurückgegeben wird. Dieser einmalig verwendete Wert erlaubt es der CPU (d. h. der BA-Routine), den gesendeten Datenwert mit dem in der Antwort empfangenen zu vergleichen, wodurch gewährleistet werden kann, dass es sich bei der Antwort nicht um einen Teil einer anderen Barrieren-Transaktion handelt. Ist die Barrieren-Antwort an die CPU 12A zurückgekehrt, so ist damit die Möglichkeit ausgeschlossen, dass sich noch irgendwo entlang diesem Pfad irgendwelche veralteten Pakete in den FIFO-Puffern befinden. Ausserdem hat die CPU 12A damit auch abgeklärt, dass der zuvor deaktivierte Pfad nunmehr wieder für den normalen Datenverkehr genutzt werden kann. Demgemäss reaktiviert die CPU 12A den Pfad durch Setzen des PEX-Erlaubnisse-Feldes in allen ZVÜ-Einträgen, die diesen Pfad verwenden.If the response to the barrier request message packet from the CPU 12A is received, it is through the ZVÜ logic 90 ' processed (see also the 5 and 11 ). The barrier response uses a Zvü entry with the "B" field enabled in the corresponding 'Permissions' field of the entry to allow barrier responses, but no other transaction types, to be fully processed become. (At the time the barrier transaction was sent, the CPU created a ZVÜ entry for use in checking the response.) As explained above, each barrier transaction contains a data value that is returned in the response to the sender. This one-time value allows the CPU (ie, the BA routine) to compare the data value sent with that received in the response, which can ensure that the response is not part of another barrier transaction. Is the barrier response to the CPU 12A returned, so the possibility is excluded that there are still some obsolete packets somewhere along this path in the FIFO buffers. In addition, the CPU 12A This also clarifies that the path previously deactivated can now be used again for normal data traffic. The CPU reactivates accordingly 12A the path by setting the PEX permission field in all ZVÜ entries that use this path.
Obgleich hier eine vollständige und komplette Offenlegung der Erfindung vorgenommen wurde, ist es für einschlägig gebildete Fachleute offensichtlich, dass verschiedene Abänderungen und Modifikationen an den verschiedenen Aspekten der Erfindung vorgenommen werden können, ohne dass dadurch von dem wahren Umfang der nachfolgenden Ansprüche abgegangen wird. So wurde zum Beispiel ein Schema zur Schaffung einer Erkennung von Fehlern, die bei der Übertragung von Befehls-/Datensymbolen auftreten können, in Form eines 8-Bit/9-Bit-Codes, welcher gewisse Fehler erkennen kann, offengelegt. Es sollte für einschlägig gebildete Fachleute klar sein, dass dieses Konzept auf andere, ähnliche Codes, wie zum Beispiel einen 9-Bit/10-Bit-Code oder einen sich über mehrere Bytes erstreckenden Code erweitert werden kann. Weiterhin könnten die Router 14 entsprechend konfiguriert werden, sodass sie eine beliebige Anzahl von Ports aufweisen; die Befehls/Datenpaketformate könnten anders gestaltet sein (mit mehr oder weniger Bits in dem Headerfeld und in anderen Feldern); die Leitwegtopologien können, unter Verwendung der Router 14, als Ringe, als Bäume, als Hypercube und dergleichen ausgebildet sein.While a full and complete disclosure of the invention has been made herein, it will be apparent to those skilled in the art that various changes and modifications can be made in the various aspects of the invention without departing from the true scope of the following claims. For example, a scheme for creating a detection of errors that can occur during the transmission of command / data symbols in the form of an 8-bit / 9-bit code, which can detect certain errors, has been disclosed. It should be clear to those skilled in the art that this concept can be extended to other similar codes, such as a 9-bit / 10-bit code or a multi-byte code. The router could 14 be configured accordingly so that they have any number of ports; the command / data packet formats could be designed differently (with more or fewer bits in the header field and in other fields); the routing topologies can be made using the routers 14 , rings, trees, hypercubes and the like.