למרות הפתיחה המהירה של ציר ההליכה הרגלי שיועד אך ורק לביקור בכותל המערבי, העיר נותרה חצויה בשבועות הראשונים שלאחר תום הקרבות. ייתכן שראשי מערכות הביטחון התקשו להסתגל לאפשרות שהעיר תהפוך למאוחדת לאחר שנים של הפרדה ועוינות, והעדיפו להשאיר אותה מופרדת לזמן מה - ובלבד שיובטחו שליטה וביטחון בעיר שזה לא מכבר חוותה מלחמה בין שני חלקיה. אולם למרות עמדת מומחי הביטחון, כבר ב–29 ביוני, שלושה שבועות בלבד לאחר תום הלחימה ומייד לאחר החלטת הממשלה בדבר קביעת גבולות העיר, החליטו המנהיגים על הסרת המחסומים וגדרות התיל, והותרה תנועה חופשית בין שני חלקי העיר. עד אותו יום רק כמה יחידי סגולה, בעלי קשרים או פורעי חוק למיניהם הצליחו להתגנב ל"צד השני". בימים שקדמו להסרת המחסומים, אנשי חיל ההנדסה עשו עבודה מאומצת בפינוי מוקשים, וצוותי מחלקת התחזוקה של עיריית ירושלים פינו הררי פסולת ומבנים הרוסים מאזורי התפר.
המעבר המהיר מעיר חצויה שחומה חותכת אותה בלבה לעיר פתוחה ללא חומות וגדרות הוא אחד הרגעים המרתקים בתולדות התקופה. משה דיין היה מי שהאיץ את הסרת המחסומים, בניגוד לעמדתם של כל מומחי הביטחון ומפקדי המשטרה. הוא ראה בהסרת המחיצות פעולה הכרחית שנובעת מן ההחלטה על הגדרת הגבולות החדשים ואיחוד העיר. במפגש עם הנציגים של גופי הביטחון אמר דיין כי אם מבקשים לאחד את העיר אין להירתע מהתוצאה המעשית. שמואל טולידנו שהיה בתפקיד היועץ לענייני ערבים במשרד ראש הממשלה ואביו של בן כתתי אמנון, זכר את הישיבה ההיא בראשות דיין בראיון שקיימתי אתו ארבעים ותשע שנים לאחר מכן; כל המשתתפים סברו כי מסוכן לפתוח את העיר והציעו ממשל צבאי מוגבל - שיטה מוכרת שהונהגה בישראל באזורים שבהם היו ריכוזים ערבים עד שנת 1965. ודיין אמר: "תודה, שמעתי את עמדתכם."
עוזי בנזימן סיכם: "עמדתו הנחרצת של דיין גזרה על יהודי ירושלים וערבייה להיפגש פנים אל פנים שלושה שבועות בלבד לאחר שחדלו לירות אלה באלה."
טולידנו, שקודם למלחמה פעל בתוקף תפקידו לביטול הממשל הצבאי במדינת ישראל, העיר כי ערביי ירושלים זכו באופן מיידי לחופש תנועה שערביי ישראל המתינו לו במשך שבע–עשרה שנה.
ה–29 ביוני, היום שבו הוסרו המחיצות, היה יום מיוחד ובלתי צפוי. "פסטיבל של התפרקות ממתח המלחמה," תיאר תום שגב, "יהודים וערבים התערבבו אלה באלה." באותו יום המוני יהודים וערבים חצו רגלית את הקווים. זה היה יום רגוע באופן מפתיע. הסקרנות גברה על העוינות והחשש מהתפרצות אלימות התבדה. אליס שלוי הזדמנה באותו יום לרחוב יפו במרכז העיר ולא ידעה שהחומות הוסרו. היא נזכרת כיצד ראתה להפתעתה זרם של ערבים מגיע ממזרח העיר, לוחצים ידיים ליהודים, מתבוננים על נפלאות העיר המודרנית (יחסית), משתאים למראה הרמזורים שלא היו קיימים בעיר המזרחית. גם מוחמד סבאג משיח' ג'ראח זוכר את יום הסרת המחסומים ואת הזמנים הטובים שבאו אחריו. זמן קצר לאחר מכן משפחתו נסעה ליפו לראות את ביתה. ח'אלד ח'טיב, לעומת זאת, זוכר כי במשפחתו נמנעו ממגע עם הישראלים; הבית שגדל בו היה אנטי–ישראלי. שנים יעברו בטרם ייחשף למערב העיר.
ב–30 ביוני עיתון דבר דיווח בכותרת ראשית: "תנועת המונים בין העיר העתיקה והחדשה המחישה איחוד ירושלים." ובהמשך נאמר: "אתמול שבה ירושלים להיות עיר אחת - לא בכוח נאומים המוניים או החלטות מדיניות, אלא על ידי תנועת המונים."
עוזי נרקיס כתב בזיכרונותיו:
"החלה נדידת עמים מאסיבית בין שני חלקי העיר. יהודים נהרו מזרחה, מי להתרפק על אבני הכותל ומי לפקוד את הר הבית [...] או לקנות מציאות בחנויות הערביות. ערבים יצאו מערבה, לפשוט על השכונות קטמון, טלביה ואבו תור, להידפק על דלתות דירותיהם לשעבר, ואפילו לפגוש מכרים נושנים. לרגע היה דומה כאילו חזרנו לחיות בירושלים המעורבת של שנות המנדט הבריטי. שום תקרית לא נרשמה ביום ההוא. שום תחזית קודרת לא התממשה, באוויר עמדה תחושה אופטימית. העתיד נראה ורוד עד לבלי האמן."
ואלו דברי מירון בנבנשתי:
"המחזה שהתרחש תוך דקות ספורות תואר כ'פסטיבל השלום', כ'נדידת עמים' או כ'פלישה הדדית'. אלפי תושבים יהודים מילאו את סמטאות העיר העתיקה עד שחסמון כליל. מאות ערבים, בקבוצות קטנות וגדולות, עשו דרכם לאטם ברחובות מרכז העיר. יהודים עטו על חנויות העיר העתיקה ודלפקי השווקים וקנו מכל הבא ליד [...] מצב הרוח היה מרומם, כמו ביריד כפרי. יהודים וערבים שוחחו בערבית רצוצה, באנגלית ובתנועות ידיים. המגע האנושי היה ביישני קמעה, מנומס, חסר איבה [...] המבקרים הערבים במערב ירושלים היו הססניים יותר. הם הלכו לאטם, יד ביד, משפחות שלמות לבושות בגדי חג, וצפו לכל עבר [...] במשטרה לא נרשמה אותו יום שום תלונה."
חיים גורי היה ציורי יותר וכתב בעיתון למרחב ב–30 ביוני:
"ראינו יריד מוזר. אלפי יהודים וערבים מעורבים אלה באלה: תרבושים וכאפיות וכובעי טמבל ומגבעות מאה שערים שחורות. כפריות ערביות בשמלות צבעוניות רקומות. נערות עבריות במכנסיים הדוקים ובחולצות טריקו, ומבעד לאריג הדק צועקות חמודותיה של ישראל הצעירה, השאפתנית, הכובשת, השחצנית, השוברת לב בצבריותה הלוהטת, האצה לראות ולקנות."
אני זוכר את עצמי באותו יום עומד בפינת הרחובות המלך ג'ורג' ורמב"ן, ליד מלון המלכים, לא רחוק מביתי, וצופה בהמוני ערבים העולים מכיוון העיר העתיקה ברחוב אגרון בדרכם לעיר המערבית. חמישים שנה לאחר מכן אני עדיין נדהם מיכולתם של כלל תושבי ירושלים להכיל את היום הזה למרות משקעי העבר. הם נתנו לסקרנות ולתום הלב להוליך אותם. באותו יום לא נדרשו נהלים והגדרות משפטיות. הציבור נהג בספונטאניות וללא מגבלות. הסקרנות האפילה על העוינות והמגבלות הפורמאליות. ב–1989 כשחומת ברלין הופלה בידי ההמון, התמונות ששודרו משם העבירו תחושה דומה.
אך ההתרגשות הייתה כמו בירח דבש ולכן לא נמשכה לאורך זמן; יש לזכור שהתמונה לא הייתה מאוזנת - היה צד כובש וצד נכבש. הסיפוח הכפוי לא יכול היה להיעצר בנקודה הזו שבה ירושלים הייתה אך ורק מרחב לטיולים, קניות, ותצפיות אנושיות על ה"אחר". התעוררה שורה ארוכה של בעיות סבוכות שדרשה מענה משפטי, מנהלי ופוליטי ולא אחת גם אלתור ורגישות אנושית, למשל בנושא בעלות על רכוש במערב העיר אשר חלק משמעותי ממנו היה בעבר בבעלות ערבית. ואם לא די בכך, היה צורך להגדיר במהירות את דרכי הפעולה בנושאים מגוונים: הנגשת השירותים העירוניים, השימוש בתשתית הירדנית, הפעלת מערכת החינוך, סוגיית פתיחת החנויות בשבת במזרח העיר ועוד. אלה עדיין לא הוסדרו בימים ובשבועות הראשונים לאיחוד ובכל זאת - המציאות האנושית והאורבאנית החדשה בירושלים כבר יצאה לדרך.
יום הסרת החומות היה יום יוצא דופן וחגיגי בתולדות ירושלים, וביטא שאיפה כמוסה של התושבים למציאות אחרת. שני הצדדים התעוררו באותו יום מסיוט מתמשך, ולכמה שעות ראו אפשרות לקיום משותף. ההגדרות הפוליטיות נדחקו לשוליים. הקסם שהיה טמון ביום הזה לא חזר שנית. להיפך; מיום זה ואילך נוצקו חומות אחרות. לא היה ספק מי המנצח ומי המנוצח וההיררכיה הייתה בהתאם.
אבל אותו יום סיפק מרכיב חשוב שמסייע לפענח את הצופן הירושלמי: יהודים וערבים מסוגלים לחלוק ביניהם את המרחב המשותף, לנצל את ההזדמנות למגע ולקשר שנקרית בפניהם ולקיים אפילו מידה מסוימת של הרמוניה, גם כאשר המצב הגיאו–פוליטי מסביבם בעייתי ביותר והעתיד מעורפל.