Τα χρώματα των Ολυμπιακών κύκλων δεν είναι τυχαία, αλλά έχουν σημαντικό νόημα.
Μια λάθος αντίληψη για τα χρώματα, είναι πως αντιπροσωπεύουν διαφορετικά μέρη ανά τον κόσμο ή τις ηπείρους. Στη πραγματικότητα, κάθε σημαία κράτους που συμμετείχε στους αγώνες την περίοδο που σχεδιάστηκε το σήμα, είχε έστω ένα από τα χρώματα των κύκλων.
To 1913, o Πιερ ντε Κουμπερτέν χρησιμοποίησε τα 5 αυτά χρώματα μαζί με το λευκό background της σημαίας, ώστε να εκπροσωπήσει όλα τα κράτη που συμμετείχαν στους αγώνες εκείνη τη χρονιά.
Παρουσίασε τη σημαία με τους κύκλους τον Ιούνιο του 1914 στο Ολυμπιακό Συνέδριο που έγινε στο Παρίσι, 2 χρόνια μετά από τους Ολυμπιακούς Αγώνες στη Στοκχόλμη (οι πρώτοι αγώνες με συμμετοχές από 5 ηπείρους).
Επίσης το κίτρινο και το κόκκινο της σημαίας της Ισπανίας είναι μέσα στα 5 χρώματα, εκπροσωπώντας παράλληλα και τις σημαίες της Βραζιλίας, της Αυστραλίας, της Ιαπωνίας και της Κίνας.
Πρόκειται δηλαδή για ένα σήμα που είναι ο ορισμός του «διεθνούς» Ολυμπιακού σήματος. Τα δακτυλίδια είναι αλληλοσυνδεόμενα, ώστε να συμβολίζουν την ενότητα ανάμεσα στα έθνη. Ωστόσο, αρχικά συνδέονταν με αυτόν τον τρόπο:
