macbroadcast´s blog


Digital Signal Compression & Video Encoding Research

Interesting everybody who was involved in a publicly funded and therefore “opensourceconferencing or de-encoding project during his university time in  the 90th , founded a comercial company and the sources are gone with the wind.

CU30/qVix  source  turns out to sightspeed

Tim Dorchey´s cuseeme turns into ivisit

Peter Parnes “mWeb Presentation Framework” turned into maratech, whitch was aquired from google. What did Jason Katz in the 90th except buying  HearMe and Firetalk and camfrog ? 😉
{EAV_BLOG_VER:d7bc890ac3111210}

Advertisements


A history of video conferencing (VC) technology
April 21, 2011, 4:01 pm
Filed under: ipv6, linux, openCU, society, streaming, Urheberrecht | Tags: , , ,

Picurephone, 1964

  • 1956: AT&T builds the first Picturephone test system
  • 1964: AT&T introduces Picturephone at the World’s Fair, New York
  • 1970: AT&T offers Picturephone for $160 per month
  • 1971: Ericsson demonstrates the first trans-atlantic video telephone (LME) call
  • 1973 Dec: ARPAnet packet voice experiments [1]
  • 1976 Mar: Network Voice Protocol (NVP), by Danny Cohen, USC/ISI
  • 1981 Jul: Packet Video Protocol (PVP), by Randy Cole, USC/ISI [2]
  • 1982: CCITT (forerunner of the ITU-T) standard H.120 (2 Mbit/s) video coding, by European COST 211 project
  • 1982: Compression Labs begins selling $250,000 VC system, $1,000 per hour lines
  • 1986: PictureTel’s $80,000 VC system, $100 per hour lines
  • 1987: Mitsubishi sells $1,500 still-picture phone
  • 1989: Mitsubishi drops still-picture phone
  • 1990: TWBnet packet audio/video experiments, vt (audio) and pvp (video) from ISI/BBN[3]
  • 1990: CCITT standard H.261 (p x 64) video coding
  • 1990 Dec: CCITT standard H.320 for ISDN conferencing
  • 1991: PictureTel unveils $20,000 black-and-white VC system, $30 per hour lines
  • 1991: IBM and PictureTel demonstrate videophone on PC
  • 1991 Feb: DARTnet voice experiments, Voice Terminal (vt) program from USC/ISI [4]
  • 1991 Jun: DARTnet packet video test between ISI and BBN.
  • 1991 Aug: UCB/LBNL’s audio tool vat releases for DARTnet use
  • 1991 Sep: First audio/video conference (H.261 hardware codec) at DARTnet
  • 1991 Dec: dvc (receive-only) program, by Paul Milazzo from BBN, IETF meeting, Santa Fe [5]
  • 1992: AT&T’s $1,500 videophone for home market
  • 1992 Mar: World’s first MBone audio cast (vat), 23rd IETF, San Diego

The MBone map

 

 

  • 1992 Jul: MBone audio/video casts (vat/dvc), 24th IETF, Boston [6]
  • 1992 Jul: INRIA Videoconferencing System (ivs), by Thierry Turletti from INRIA
  • 1992 Sep: CU-SeeMe v0.19 for Macintosh (without audio), by Tim Dorcey from Cornell [7]

 

 

  • 1992 Nov: Network Video (nv) v1.0, by Ron Frederick from Xerox PARC, 25th IETF, Washington DC [8]
  • 1992 Dec: Real-time Transport Protocol (RTP) v1, by Henning Schulzrinne
  • 1993 Apr: CU-SeeMe v0.40 for Macintosh (with multipoint conferencing)
  • 1993 May: Network Video (nv) v3.2 (with color video)
  • 1993 Oct: vic initial alpha, by Steven McCanne and Van Jacobson from UCB/LBNL[9]
  • 1993 Nov: VocalChat v1.0, an audio conferencing software for Novell IPX networks [10]
  • 1994 Feb: CU-SeeMe v0.70b1 for Macintosh (with audio) , audio code by Charley Kline‘s Maven[11]
  • 1994 Apr: CU-SeeMe v0.33b1 for Windows (without audio), by Steve Edgar from Cornell
  • 1995 Feb: VocalTec Internet Phone v1.0 for Windows (without video)
  • 1995 Aug: CU-SeeMe v0.66b1 for Windows (with audio)
  • 1996 Jan: Real-time Transport Protocol (RTP) v2, by IETF avt-wg[12]
  • 1996 Mar: ITU-T standard H.263 (p x 8) video coding for low bit-rate communication
  • 1996 Mar: VocalTec Telephony Gateway
  • 1996 May: ITU-T standard H.324 for POTS conferencing
  • 1996 Jul: ITU-T standard T.120 for data conferencing
  • 1996 Aug: Microsoft NetMeeting v1.0 (without video)
  • 1996 Oct: ITU-T standard H.323v1, by ITU-T SG 16[13]
  • 1996 Nov: VocalTec Surf&Call, the first Web to phone plugin
  • 1996 Dec: Microsoft NetMeeting v2.0b2 (with video) [14]
  • 1996 Dec: VocalTec Internet Phone v4.0 for Windows (with video)
  • 1997 Jul: Virtual Room Videoconferencing System (VRVS), Caltech-CERN project
  • 1997 Sep: Resource ReSerVation Protocol (RSVP) v1, by IETF rsvp-wg
  • 1998 Jan: ITU-T standard H.323 v2
  • 1998 Jan: ITU-T standard H.263 v2 (H.263+) video coding
  • 1998 Apr: CU-SeeMe v1.0 for Windows and Macintosh (with color video), from Cornell
  • 1998 May: Cornell’s CU-SeeMe development team has completed their work and has gone on to other projects
  • 1998 Oct: ISO/IEC standard MPEG-4 v1, by ISO/IEC JTC1/SC29/WG11 (MPEG)
  • 1999 Feb: Session Initiation Protocol (SIP) makes proposed standard, by IETF mmusic-wg[15]
  • 1999 Apr: Microsoft NetMeeting v3.0b (with gatekeeper)

 

  • 1999 Aug: ITU-T H.26L Test Model Long-term (TML) project , by ITU-T SG16/Q.6 (VCEG)
  • 1999 Sep: ITU-T standard H.323 v3
  • 1999 Oct: NAT compatible version of iVisit, v2.3b5 for Windows and Mac
  • 1999 Oct: Media Gateway Control Protocol (MGCP) v1, IETF
  • 1999 Dec: Microsoft NetMeeting v3.01 service pack 1 (4.4.3388)
  • 1999 Dec: ISO/IEC standard MPEG-4 v2
  • 2000 May: Columbia SIP user agent sipc v1.30
  • 2000 Oct: Samsung releases the first MPEG-4 streaming 3G (CDMA2000-1x) video cell phone
  • 2000 Nov: ITU-T standard H.323 v4
  • 2000 Nov: MEGACO/H.248 Protocol v1, by IETF megaco-wg and ITU-T SG 16
  • 2000 Dec: Microsoft NetMeeting v3.01 service pack 2 (4.4.3396))
  • 2000 Dec: ISO/IEC Motion JPEG 2000 (JPEG 2000, Part 3) project, by ISO/IEC JTC1/SC29/WG1 (JPEG)
  • 2001 Jun: Windows XP Messenger supports the SIP
  • 2001 Sep: World’s first trans-atlantic tele gallbladder surgery (operation Lindbergh)
  • 2001 Oct: NTT DoCoMo sells $570 3G (WCDMA) mobile videophone
  • 2001 Oct: TV reporters use $7,950 portable satellite videophone to broadcast live from Afghanistan
  • 2001 Oct: Microsoft NetMeeting v3.01 (4.4.3400) on XP
  • 2001 Dec: JVT video coding (H.26L and MPEG-4 Part 10) project, by ITU-T SG16/Q.6 (VCEG) and ISO/IEC JTC1/SC29/WG 11 (MPEG)
  • 2002 Jun: World’s first 3G video cell phone roaming
  • 2002 Dec: JVT completes the technical work leading to ITU-T H.264
  • 2003 May: ITU-T recommendation H.264 advanced video coding
  • 2010 Chatroulette ?

Sources : Wall Street Journal (27 February 1996), The MBone FAQ, rem-conf listserv, The MBone listserv, CU-SeeMe listserv, RTP: Historical Notes, and few PostScripts (*.ps).

Notes and References

[1] Danny Cohen, “Specifications for the Network Voice Protocol (NVP)”, RFC 741, Internet Engineering Task Force, November 1977.
“The major objective of ARPA’s Network Secure Communications (NSC) project is to develop and demonstrate the feasibility of secure, high-quality, low-bandwidth, real-time, full-duplex (two-way) digital voice communications over packet-switched computer communications networks. The Network Voice Protocol (NVP), implemented first in December 1973, and has been in use since then for local and transnet real-time voice communication over the ARPANET.”

[2] Randy Cole, “PVP – A Packet Video Protocol”, Internal Document, USC/ISI, July 1981.
“The Packet Video Protocol (PVP) is a set of extensions to the Network Voice Protocol (NVP-II) and consists mostly of a data protocol for transmission of video data. No specific changes to the NVP-II protocol are necessary for the PVP.”

[3] Eve M. Schooler, “A Distributed Architecture for Multimedia Conference Control”, ISI research report ISI/RR-91-289, November 1991.
“Voice Terminal (VT) program and Packet Video Program (PVP) were originally implemented on a BBN Butterfly multiprocessor. VT and PVP digitize and packetize data, using the Netowrk Voice Protocol (NVP) for audio and the Packet Video Protocol (PVP) for video. They transmit this data across the network using the experimental Stream Protocol (SP) and the Terrestrial Wideband Network (TWBnet).”

[4] DARTnet : A trans-continental IP network of about a dozen research sites connected by T1 trunks.
November 1988, small group (MIT, BBN, UDel, ISI, SLI, PARC, LBL) led by Bob Braden of USC/ISI proposes testbed net to DARPA. This becomes DARPA Research Testbed Net (DARTnet).
DARTnet has since evolved to CAIRN, which presently connects 27 institutions in the US and Britain.

[5] Tim Dorcey, “CU-SeeMe Desktop VideoConferencing Software”, Connexions, Volume 9, No.3, March 1995.
“In fact, it was Paul Milazzo’s demonstration of such a tool in 1991 that inspired development of CU-SeeMe.”

[6] The video used for the July 1992 Internet Engineering Task Force (IETF) was the Desktop Video Conferencing (DVC) program from BBN, written by Paul Milazzo and Bob Clements.
They have made available a receive-only program, but they retain a proprietary interest in the version that is capable of sending.
This program has since become a product, called PictureWindow.

[7] “When development of CU-SeeMe began in July 1992, the only real-time videoconferencing software for the Internet required expensive hardware which severely limited the number of potential senders and receivers. Working with Richard Cogger in the summer of 1992, Tim Dorcey wrote the original version of CU-SeeMe.”
URL: http://cu-seeme.cornell.edu
As the Macintosh did not have IP multicast support, CU-SeeMe took a more traditional approach and developed a multipoint server (Reflector) that CU-SeeMe clients could connect to.

[8] For the November 1992 IETF and several events since then, they have used two other programs.
The first is the Network Video (nv) program from Ron Frederick at Xerox PARC.
Also available from INRIA is the IVS program written by Thierry Turletti.
Van Jacobson, “Old timers might remember that the first, binary-only, release of nv happened 24 hours before the November 1992 IETF where it was first used.”

[9] vic (vi/deo c/onfernece) was inspired by nv. Portions of vic (the ordered dither, the nv-format codec, and some of the video capture code) were derived from the nv source code.
An early version of vic was used by the Xunet research community to carry out distributed meetings in Fall 1993.
vic change history at http://www-nrg.ee.lbl.gov/vic/CHANGES.html

[10] In 1991, 5 high school friends established ClassX, a start-up software company, at Raanana, Israel.
2 years later, 4 members of them joined VocalTec and they have developed the VocalChat v1.0-2.5, and the Internet Phone.
Ofer Shem Tov, “VocalChat early version was introduced first time in PCEXPO end of June 1993 in New York. It did half duplex calls over Novell IPX networks. VocalChat v1.0 was released in Comdex Fall, November 1993, in Las Vegas, it was a finished version of the PCEXPO product. First long distance call was done on Bell South Novell network from Atlanta to Miami. VocalChat 2.02 LAN and WAN were released in June 1994 and included voice mail, address book, TCP/IP support and support of VocalTec Compression Card (VCC) for low bandwidth links.
VocalChat GTI (Gateway To the Internet) was released in October 1994. It was focused on the Internet and required the VCC card.”

[11] Charley Kline, “I got annoyed at the Fall 1992 IETF when told that the only serious platform for multimedia conferencing was a hefty Unix workstation. I figured a Macintosh has better audio processing ability than a Sun (true!), so set about to write an audio conferencing tool for the Macintosh that would interoperate with the popular vat program for Unix.”
URL: http://spiffy.ci.uiuc.edu/~kline/cvk-ido.html

[12] Henning Schulzrinne, “Real-time Transport Protocol (RTP) is the Internet-standard protocol for the transport of real-time data, including audio and video. It can be used for media-on-demand as well as interactive services such as Internet telephony. RTP consists of a data and a control part. The latter is called RTP Control Protocol (RTCP).”
RTP has its roots in the early work done using Network Voice Protocol 2 (NVP-II) with vat, vt and nevot in 1991, which in turn has its roots in the Network Voice Protocol (NVP) experiences in the early 1970s.

[13] H.323 : “Visual telephone systems and equipment for Local Area Networks which provide a non-guaranteed Quality of Service.” (original title)
“Packet-based multimedia communications systems.” (revised title in H.323 v2 drafts)
4 main H.323 network components; Terminals, Gateways, Gatekeepers, and Multipoint Control Units (MCUs).
H.320 (N-ISDN), H.321 (B-ISDN, ATM), H.322 (GQoS LAN), H.323 (H.320 over LAN), H.324 (SCN), H.324 M (Mobile).

[14] Toby Nixon, “Microsoft NetMeeting version 2.0 and below uses an alternative call setup procedure that is permitted for combined H.323/T.120 terminals. Because NetMeeting was originally a T.120-based product (without H.323 support), it sets up the T.120 (data conference) call first, and then the H.323 (audio and video conference) call.”
Current versions of NetMeeting are not compliant with the H.323 standard as they do not attempt to register with a gatekeeper, a required function.

[15] SIP is a simple signaling protocol for Internet conferencing and telephony.
H.323 is an ITU-T standard, while SIP is the IETF approach.

The pioneering video conferencing tools :

  • CU-SeeMe
    from Cornell University
    platform : Apple Macintosh
  • DVC
    from BBN
    platform : Sun SPARC
  • IVS
    from INRIA
    platform : Sun SPARC, HP, SGI and DEC stations
  • NV
    from Xerox PARC
    platform : Sun SPARC, SGI and DEC stations

Video Conferencing Info page



Chatroulette Enlists Shawn Fanning In The Fight Against The Masturbators

Russian website Chatroulette, founded byAndrey Ternovskiy, is perhaps most well known as a place to watch men expose their genitals.

But that hasn’t stopped up to a million people a day from visiting the site. And it has been featured on both the Daily Show and South Park.

And wow has Ternovskiy been courted by Silicon Valley and other investors. SGN founderShervin Pishevar helped bring him to Palo Alto and get set up in an apartment. In May theNew Yorker talked about how Russia’s DST was having him followed when he first visited the U.S. And we’ve heard rumors of angel investors and venture capitalists circling Ternovskiy like a hawk.

The problem is the site is quickly losing its appeal as more and more people are turned off by the sheer number of people exposing themselves or worse on the site. The brand is becoming permanently associated (with help from those Daily Show and South Park features) with the more disgusting parts of humanity.

Can Chatroulette become something more? Look for feature changes soon that will try to send all those penises to the background. The service may add software that can quickly scan video to determine if a penis is being shown. And users that are consistently quickly skipped over (presumably because they are exposing themselves or otherwise being disgusting) can be flagged as well. With those and other changes Chatroulette may be able to put people who actually want to talk to each other in touch much more often.

And that’s where real growth might happen. “There just isn’t anywhere on the Internet for you to meet new people anymore,” says one investor that wants in on Chatroulette. “The potential for online dating, which is largely what pushed early Facebook growth, is unlimited.”

But Ternovskiy’s caution may doom the site. He has rebuffed most offers for help, say our sources, and investors and advisors are starting to give up. “If he doesn’t make a dramatic move soon to clean up the service, the brand will be permanently tarnished,” says another interested investor.

One person that Ternovskiy does seem to trust is Napster founder Shawn Fanning, who is currently hard at work on his most recent startup Path. Fanning is an advisor to Chatroulette, he confirms, and has been working closely with Ternovskiy for the last month or so. “I’m fascinated by Chatroulette and Andrey,” he told me yesterday, “and I want to help him any way I can.” Fanning stresses that the advisory role is informal, uncompensated and that he works with a number of other entrepreneurs as well.

It isn’t clear yet what happens next for Chatroulette. Ternovskiy will either push on independently and try to grow and clean up the site on his own, or he’ll embrace the Silicon Valley ecosystem and get other people and investors involved.

It’s clear that people are fascinated by the concept of talking to strangers from the relative safety of their computer screens, and Chatroulette satisfies some basic human need to connect to others. But sadly it also satisfies the basic human need of some people to show the world their penis. And that parade of penises is driving everyone else away. Chatroulette needs to decide what it wants to be when it grows up, and it needs to decide soon. Otherwise it will be nothing more than the punchline of a joke, and even that will grow old quickly.

Watch our interview with Ternovskiy here.



QuickTime Media Layer – 1998
November 13, 1998, 9:27 pm
Filed under: howto | Tags: , , , ,

White Pine Licenses Quicktime 3 for Inclusion With CU-SeeMe Conferencing

 
 

Unter dem Begriff QuickTime Media Layer (QTML) werden verschiedene Softwarebausteine und technologische Konzepte der Firma Apple Computer zusammengefaßt, die Multimedia-Anwendungen am Computer ermöglichen. Durch die verschiedenen Software-Komponenten wird z.B. das Aufnehmen, Wiedergeben, Manipulieren von Audio und Video oder die Navigation durch fotorealistische, virtuelle Räume ermöglicht. Weitere Komponenten sind für den Einsatz des Computers als Videokonferenz-System (ISDN, LAN, WAN, Internet) und die Integration von 3D-Animationen (Trickfilm) entwickelt worden.

Zunächst nur für Macintosh Computer unter dem Mac-OS-Betriebssystem des Herstellers verfügbar, liegen inzwischen Portierungen für eine Reihe weiterer Betriebssysteme, wie z.B. Microsoft Windows 3.1, Microsoft Windows`95, MS-Windows NT, OS/2 von IBM sowie für verschiedene UNIX-Derivate, vor. Obwohl es sich beim QuickTime Media Layer um eine proprietäre Rahmenarchitektur handelt, hat sie sich inzwischen durch ihre (kostenlose) Verfügbarkeit für viele, häufig von Anwendern eingesetzte Betriebssysteme, zu einem De-fakto-Standard für die Integration neuer Medien-Typen entwickelt.

5.1 QuickTime Systemerweiterung

5.1.1 Konzepte

Das Unternehmen stellte der Öffentlichkeit QuickTime als umfassendes Konzept für die Behandlung zeitbasierter Daten erstmals im Juni 1991 vor. 1 Seitdem wurde dieses Konzept durch die Herausgabe neuer Versionen erweitert und verbessert. Portabilität und ein offenes technologisches Konzept sind für QuickTime richtungweisend. Damit ist QuickTime auch an zukünftige Betriebssysteme leicht anzupassen und kann technologische Weiterentwicklungen z.B. im Bereich der Kompressionstechnologien für Bild und Ton integrieren.

QuickTime ist eine Erweiterung des Betriebssystems eines Computers. Konkret bedeutet dies die Möglichkeit für jedes Programm, welches QuickTime unterstützt, mit zeitbasierten Datenstrukturen genauso wie mit anderen Daten (Text, Grafik) umgehen zu können; d.h. es besteht die Möglichkeit zeitbasierte Daten, wie Video, Ton, Lauftext oder 3D-Animation, in die von einem Programm erzeugten Dokumente mit einbinden zu können und diese Daten kopieren, ausschneiden, einsetzen, editieren und kontrollieren zu können. Es spielt dabei keine Rolle, ob es sich bei der Applikation um eine Textverarbeitung, Datenbank oder um ein Programm für einen anderen Zweck handelt. Die Anwendungsbereiche für QuickTime sind folglich kaum begrenzt.

Movies und Media Data Structures

QuickTime bedient sich der Movie-, d.h. Film-Metapher, um zeitbasierte Daten zu beschreiben. QuickTime speichert zeitbasierte Daten in Objekten, die als QuickTime movie bezeichnet werden. Ein einzelnes QuickTime movie kann mehr als einen Strom von Daten enthalten. Diese können parallel und sequentiell angeordnet sein. Somit ist ein movie nicht das Medium, sondern es ist das organisierende Prinzip.

Der Film-Metapher folgend, wird ein Daten-Strom als track (Spur) bezeichnet. Ein track enthält jedoch nicht die eigentlichen Quell-Daten (Ton, Video), sondern nur Referenzen auf die eigentlichen Film-Daten, die als Bilder oder Töne auf Festplatten, CD-ROMs oder anderen Speichermedien vorliegen können. Die Referenzen eines track werden als media 2(Medium) dieses track bezeichnet. Ein track kann immer nur einen media Typ enthalten, der auf die entsprechenden media data verweist.

Components

QuickTime besteht aus components (Komponenten). Eine component ist eine code resource, die durch den Component Manager registriert wird. Der code einer component kann als eine systemweite resource verfügbar sein oder aber auch nur lokal, innerhalb einer bestimmten resource für ein bestimmtes Programm. Jede QuickTime component unterstützt ein definiertes Set an Eigenschaften und bietet eine spezifische, funktionelle Schnittstelle, auf die andere Programme zurückgreifen können.

QuickTime ist in diesem Sinne nicht ein einzelnes Stück” Software, sondern QuickTime ist eine Sammlung von über 175 verschiedenen Software-Komponenten, die – für den Benutzer unsichtbar – ihre Arbeit verrichten. Jede einzelne component bietet einen speziellen Service. Components sind z.B. für die Wiedergabe eines movie, die Aufnahme eines movie oder auch die Kompression und Dekompression eines Bildes zuständig.

Als Komponenten-Architektur bietet QuickTime einige Vorteile. Entwickler können z.B. auf eine component zurückgreifen, die Kompressions-Services bietet, ohne über alle Sevices dieser component genau informiert sein zu müssen. Auch kann ein Entwickler selbst neue components schreiben, die mit QuickTime funktional zusammenarbeiten. Prinzipiell kann QuickTime wegen seiner Komponenten-Architektur ständig durch neue oder erweiterte components den Bedürfnissen im Umgang mit zeitbasierten Daten angepaßt werden.

Kompression

Bild-Daten benötigen viel Speicherplatz. Noch mehr Platz benötigen natürlich Bild-Sequenzen wie jene, die in einem QuickTime movie enthalten sind. Um die Anforderungen an den benötigten Speicherplatz zu minimieren, müssen Bild- bzw. Bewegtbild-Dateien komprimiert werden.

Der Image Compression Manager bietet einem Programm eine Schnittstelle zur Kompression und Dekompression von Bildern und Bewegtbildern, die unabhängig von bestimmten Geräten oder Algorithmen funktioniert.

5.1.2 QuickTime Architektur

QuickTime umfaßt zwei Manager”: die Movie Toolbox und den Image Compression Manager. Außerdem ist QuickTime auf den Component Manager und einige weitere components angewiesen. In der Abbildung 14 auf Seite 69 wird das Zusammenspiel dieser Manager bei der Wiedergabe eines QuickTime movie gezeigt. Die nächsten Abschnitte gehen näher auf die verschiedenen Manager ein.

Movie Toolbox

Durch die Movie Toolbox werden dem Anwender standardisierte Werkzeuge, Fenster und Bedienelemente zum Erstellen, Bearbeiten und Abspielen von Bewegtbild-Dateien (QuickTime movies) zur Verfügung gestellt. Als konsistente Benutzerschnittstelle können alle Programme auf durch QuickTime definierte Symbole und Funktionen, wie z.B. für Vor-/Zurückspulen, Lautstärkereglung, Start/Stop, Kopieren, Ausschneiden, Einsetzen, Film-Datei-Dialogbox etc., zurückgreifen.

Image Compression Manager

Der Image Compression Manager ist eine universelle Schnittstelle zwischen verschiedenen Anwendungsprogrammen und dem für die Daten verwendeten Kompressionsalgorithmus. Er erkennt quasi, um welchen Kompressionsalgorithmus es sich bei einem movie handelt und wird neue Kompressoren, die zukünftig entwickelt werden, ebenso erkennen können. Der Image Compression Manager verrichtet seine Arbeit in Zusammenarbeit mit dem Component Manager.

ABBILDUNG 14: Wiedergabe eines QuickTime movies

Component Manager

Der Component Manager schließlich ist sowohl für die selbständige Einbindung von Gerätetreibern (z.B. von Videokarten) als auch für die Bereitstellung der benötigten Module zur Kompression und Dekompression der Daten zuständig. Beispiel: Der Treiber einer Videokarte, deren Hardware die JPEG-Kompression 3 unterstützt, wird zum Abspielen eines Videofilms durch den Component Manager automatisch unterstützt. Unterstützt die Hardware der Karte ein derartiges Kompressionsverfahren nicht, so wird durch den Component Manager ein eigenes Software-Modul zur Dekomprimierung der Daten aktiviert.

5.1.3 QuickTime Kompressoren

QuickTime stellt für die Kompression und Dekompression von Filmsequenzen ein Set verschiedener Kompressoren bzw. Dekompressoren als Software-Komponenten zur Verfügung. Wie aus obigem Beispiel hervorgeht, werden hierdurch keine Hard- oder Software-Lösungen von Dritt-Anbietern ausgeschlossen, die eventuell bessere Kompressoren anbieten. Einige der Kompressoren, die nach der Installation der QuickTime Systemerweiterung dem Anwender grundsätzlich zur Verfügung stehen, werden in den nächsten Abschnitten beschrieben.

Photo Compressor

Dieser Kompressor stammt aus der Welt der Fotografie und wurde 1991 durch Experten, der Joint Photographic Experts Group, als JPEG-Methode zum ISO-Standard deklariert. Der Algorithmus erlaubt eine Kompression von 24-bit 4 Farbbildern im Bereich von 5:1 bis 50:1 – je nach Kompressionsgrad ohne sichtbaren Qualitätsverlust. Er funktioniert auf der Basis der Discrete-Cosinus-Transformation (DCT). DCT ist ein Verfahren, welches für die Unterscheidung von Redundantem und nicht Redundantem in einem Bild verantwortlich ist. Unter redundanter Bild-Information versteht man den Teil der Information, der sich im Bild wiederholt. Die DCT übernimmt die Aufgabe, bei der Rücktransformation die Original-Information wiederzugewinnen.

Dennoch ist der Verlust bedeutender Bild-Daten bei der JPEG-Methode möglich, weil neben der DCT auch ähnliche Helligkeits- und Farbwerte zusammengefaßt werden (können). Dies bezeichnet man als Quantisierung. Der Grad der Quantisierung ist wählbar und entscheidet somit über die erreichbare Kompressionsrate 5 . Eine verlustfreie Kompression, d.h. ohne Quantisierung, erlaubt etwa eine Kompressionsrate von 10:1 bis 25:1. Apple’s Implementierung des JPEG-Kompressions-Algorithmus ermöglicht maximal eine Kompression von 50:1. Mit anderen Worten, eine Filmsequenz von etwa 100 MB Größe könnte mit diesem Kompressor auf maximal 2 MB verdichtet werden.

Da der JPEG-Kompressor in erster Linie für Einzelbilder und nicht für Bewegtbilder erschaffen worden ist, erfolgt die Kompression bzw. Dekompression langsamer als bei dem weiter unten beschriebenen Video Compressor, der von Apple speziell für Film-Sequenzen entwickelt wurde. Die Kompressionsgeschwindigkeit hängt darüber hinaus nicht nur vom Kompressionsverfahren ab, sondern natürlich auch von der CPU 6 , wobei hier gilt: Je leistungsfähiger ein Prozessor ist, desto höher ist auch die erreichbare Kompressionsgeschwindigkeit (und damit auch die Anzahl der Einzelbilder pro Sekunde, die bei der Wiedergabe/Aufnahme bei konstanter Bildgröße erreicht werden kann).

Apple Animation Compressor

Der Animation Compressor ist eine Weiterentwicklung des Algorithmus, welcher auf dem RLE-Verfahren 7 basierend, beim Macintosh für die Speicherung und Komprimierung von PICT-Dateien 8 verwendet wird. Das Mac-OS komprimiert seit jeher synthetische, am Computer erstellte, Bilder im PICT-Format nach der RLE-Methode. Da Animationen genau genommen Sequenzen einzelner synthetischer Computerbilder sind, lag es nahe, einen Kompressionsalgorithmus auf der Basis des RLE-Verfahrens zu entwickeln. Dieser Algorithmus bietet sich allerdings nicht für digitalisiertes Video von Echtwelt-Szenen 9 an, da er für Farbstreuungen, wie sie hierbei auftreten, nicht geeignet ist. Dagegen kann man ihn z.B. für die Animation von am Computer erstellten Geschäftsgrafiken gut einsetzen. Der Animation Compressor arbeitet sowohl loss-less (verlustfrei) als auch lossy (verlustbehaftet) – je nach gewünschter Bildqualität. Er unterstützt Computer-Animationen mit einer Farbtiefe zwischen 1 bis 32 Bit.

Apple Video Compressor

Der Video Compressor, eine Eigenentwicklung der Firma Apple, ist – wie der Name schon verrät – für Live-Video und bereits digitalisierte Video-Sequenzen ausgelegt. Er erlaubt die Dekomprimierung und das Abspielen von 24-Bit-Farbe QuickTime movies von CD-ROM oder Festplatte ohne zusätzliche Hardware in Echtzeit (min. 10 Bilder/s) bei Kompressionsraten zwischen 5:1 und 25:1. Ebenso kann mit seiner Hilfe Video in Echtzeit komprimiert werden, wobei die Bildrate (Bilder/s) von der Leistung der CPU abhängt. Konkret bedeutet das derzeit: Mit einer Kompressionsrate von ca. 5:1 wird bei einer Bildauflösung von 160×120 Punkten (Kreditkartengröße) und 12 Bildern/s ein Datendurchsatz von 80 KByte/s erreicht. Zwar benötigt man für wirklich fließende Bewegung eine Bildrate von 25 Frames/s, und auch die Projektionsfläche von der Größe einer Kreditkarte ist noch kein berauschendes Erlebnis. Aber immerhin lassen sich bei dem genannten Datendurchsatz auch bei kleineren Festplatten schon längere Filmsequenzen abspeichern. Selbst für Wiedergabe von Video über lokale Netzwerke (Ethernet) kann dieser Kompressor wegen des erzielbaren, geringen Datendurchsatzes noch eingesetzt werden.

Graphics Compressor

Der Graphics Compressor ist für Bild-Dateien mit einer Farbtiefe von bis zu 8-Bit ausgelegt und erreicht im Vergleich zum Animation Compressor eine höhere Datenreduktion. Somit ist er besonders für die Dekomprimierung von Bild-Daten geeignet, die von einer CD-ROM kommen, weil letztere ein relativ langsames Speichermedium ist (geringer Datendurchsatz, langsame Zugriffszeit).

5.1.4 QuickTime Dateiformat

Durch QuickTime wird das Dateiformat movie (.MOV) definiert. Das movie-Format ist von Apple offengelegt worden, wodurch QuickTime Dokumente auch auf anderen Rechnern abgespielt werden können. Es bietet unter anderem:

  • Anordnung von Ton und Bild in mehreren Spuren
  • Trennung der Zeit-Daten von Ton- und Bild-Daten. Unabhängig von der Leistungsfähigkeit der eingesetzten CPU bleiben Ton & Bild synchronisiert. Bei schwächerer CPU läuft der Ton kontinuierlich, während einige Frames übersprungen werden.
  • Ein Poster”-Bild, welches jedes beliebige Einzelbild des Films sein kann. Ist ein QuickTime movie z.B. Layout-Bestandteil eines Dokuments, kann das Poster-Bild dieses movies mit dem Text ausgedruckt werden.

5.1.5 Wichtige Merkmale ab der Version 2.5

Im Spätsommer 1996 begann Apple mit der Auslieferung der QuickTime Systemerweiterung Version 2.5 – zunächst nur für die Macintosh Plattform. Sie bietet eine Reihe von Detailverbesserungen, die in den nächsten Abschnitten kurz vorgestellt werden. Die wichtigsten Verbesserungen sind:

  1. Bessere Unterstützung für high-end Videoproduktionen (Videoschnittsysteme für TV-Stationen)
  2. Auslieferung mit der im Punkt Das World Wide Web (WWW)” auf Seite 29 ausführlich beschriebenen Netscape Navigator Software, die der QuickTime Technologie zu einer stärkeren Schlüsselposition für Multimedia im Internet verhelfen soll.
  3. Integration zweier Motion-JPEG Codecs
  4. Integration des MPEG-1 Codecs für die Wiedergabe und das Editieren von plattformübergreifend einsetzbaren MPEG-Video- bzw. Ton-Dateien
  5. Unterstützung von Multiprozessor-Systemen, d.h. Computer, die über mehr als einen Hauptprozessor verfügen
  6. Einführung einer separaten Spur zur Speicherung komplexer 3D-Modelle
  7. Hinzunahme eines API 10 zur Entwicklung neuer Instrumente und virtueller” Synthesizer.

Video-Profis erleichtert die neue Version das Konvertieren zwischen verschiedenen Frame-Raten. Beispiel: Video-Material, das für das amerikanische Fernsehsystem NTSC aufbereitet werden soll, muß mit 30 Frames/s (Einzelbilder pro Sekunde) digitalisiert werden. Der fertig geschnittene Beitrag liegt als digitales Video mit 30 Frames/s in Form einer QuickTime-Datei vor und kann so auf das professionelle Equipment (Video-Recorder) eines Senders im NTSC-Format überspielt werden. Der gleiche Beitrag soll in Deutschland ebenfalls im Fernsehen ausgestrahlt werden. Hierzulande kommt jedoch das PAL-System zum Einsatz, welches mit 25 Frames/s arbeitet. QuickTime erlaubt nun die einfache Konvertierung von 30 auf 25 Frames/s und erspart dem Produzenten somit Zeit und Kosten, die entstünden, wenn er das gesamte Ausgangsmaterial erneut mit der für PAL typischen Bildwiederholrate digital erfassen und schneiden müßte.

Für den semi-professionellen bzw. privaten Anwender bietet der Markt inzwischen eine Reihe von preisgünstigen Erweiterungskarten, mit denen sich Video und Ton digital erfassen läßt. Diese Karten basieren allesamt auf dem Motion-JPEG-Verfahren, das eine, ursprünglich von Apple initierte 11 , Erweiterung des JPEG-Kompressionsverfahrens für Bewegtbild-Dateien ist. Die Kompression und Dekompression der Bild- und Ton-Daten wird von den auf diese Aufgabe zugeschnittenen Prozessoren, die auf diesen Karten zum Einsatz kommen, geleistet. In der Praxis traten Probleme auf, wenn eine Motion-JPEG-Datei mit der Karte eines Herstellers erstellt wurde, die dann auf einem Computer-System mit einer Motion-JPEG-Karte eines anderen Herstellers wiedergegeben werden sollte. Als Ursache dieser Inkompatibilität wurden die auf den Karten verwendeten unterschiedlichen Kompressions-Chips verantwortlich gemacht. Obwohl alle Karten nach dem Motion-JPEG-Verfahren arbeiten, unterscheiden sich die von ihnen erzeugten Dateien in der Organisation der Daten. Dieses Problem hatte Apple erkannt und nahm zu dessen Lösung Gespräche mit sämtlichen Herstellern von Video-Digitalisierer-Karten auf. Man einigte sich auf ein Austauschformat, welches in zwei Varianten (Typ A und Typ B) Eingang in die QuickTime-Software der Version 2.5 gefunden hat. QuickTime 2.5 kann beide Formate lesen und zwischen ihnen konvertieren. Im Gegenzug versprachen Dritt-Anbieter von Karten zur Video-Digitalisierung Codecs anzubieten, die eine Konvertierung zwischen den proprietären Formaten und einem der beiden Motion-JPEG-Dateiformate erlauben.

Die QuickTime MPEG-Extension wird als separater Software-Baustein geliefert und erlaubt im Zusammenspiel mit der QuickTime Systemerweiterung die Wiedergabe von MPEG-1-Dateien. Da MPEG ein herstellerunabhängiges Dateiformat für zeitbasierte Daten und gleichzeitig eine Methode zur Datenkompression darstellt, ist es auf verschiedenen Computern und Betriebssystemen einsetzbar. 12 Wegen dieser Eigenschaften finden sich zahlreiche MPEG-Ton- und MPEG-Video-Dokumente im Internet. Auch die vor einigen Jahren von der Firma Philips eingeführte CD-Interactive (CD-I) basiert auf MPEG-1. Die CD-I-Technologie wurde für den Consumer-Markt entwickelt und gestattet über ein gesondert anzuschaffendes CD-I-Abspielgerät das Betrachten von MPEG kodierten Filmen auf einem handelsüblichen Fernseher. Power Macintosh-User können Dank der QuickTime MPEG-Erweiterung eine CD-I einfach in das CD-ROM-Laufwerk ihres Computers einlegen und die Filme auf ihrem Computer-Monitor betrachten. Die Anschaffung eines zusätzlichen Abspielgerätes entfällt damit.

QuickTime movies können ab der neuen QuickTime-Version 2.5 außer Ton-, Video-, Text- (Untertitel”), MIDI- (Dateiformat für elektronische Musikinstrumente) nun auch 3D-Spuren enthalten. Damit leistet QuickTime inzwischen deutlich mehr als nur die Integration von Audio und Video – es wird zum universellen Container für zeitbasierte Daten am Computer.

Im Zuge der Internet-Euphorie wurde QuickTime auch für den Einsatz innerhalb lokaler und globaler Netze optimiert. Ein QuickTime movie muß z.B. nicht mehr erst per Download komplett auf die Festplatte des lokalen Rechners übertragen werden, um anschließend mit einem Hilfsprogramm betrachtet werden zu können. Vielmehr ist es nun möglich, ein QuickTime movie als integrativen Bestandteil in das Layout einer Web-Seite einzubetten. Ruft ein Web-Surfer eine entsprechende Seite auf, kann er mit der Wiedergabe des Videos bereits beginnen, noch bevor der Film komplett übertragen wurde. Allerdings ist diese Technik nicht mit den weiter oben erläuterten streaming-Technologien zu verwechseln, d.h., wer z.B. nur über ein Modem Zugang zum Internet hat, muß noch immer mit langen Wartezeiten rechnen, bevor er mit der Wiedergabe eines QuickTime-Movies aus einer Web-Seite heraus beginnen kann. Die auch unter dem Begriff fast-start bekannte Technik ist dennoch für Anwender mit schnellem Netz-Zugang und innerhalb von Intranetzen eine interessante – und bisher nicht vorhandene – Erweiterung der QuickTime-Architektur. Als streaming-Technik bietet Apple die in den nächsten Abschnitten erläuterte QuickTime Conferencing Technik an.

5.2 QuickTime Conferencing

QuickTime Conferencing (QTC) ist ein neues Produkt der QuickTime-Familie, das Entwicklern hilft, ihre Programme so zu erweitern, daß Ton, Video und Daten in Echtzeit über Netzwerke zwischen Anwendern ausgetauscht werden können. Die nächsten Abschnitte sollen einen Überblick verschaffen, wie QTC eingesetzt werden kann. Es werden einige Komponenten beschrieben, auf die Entwickler zurückgreifen können, um die Vorteile von QTC auszunutzen.

QuickTime Conferencing wird mit einigen Power Macintosh Computern (die einen Videoeingang besitzen) und einigen Hardware-Produkten ausgeliefert. QTC kann an Entwickler lizensiert werden, um es zusammen mit eigenen Programmen auszuliefern. Seitens Apple enthalten jene Geräte, denen QTC beigelegt wird, auch das einfache Videokonferenz Programm Apple Media Conferencing.

5.2.1 Grundsätzliche Eigenschaften

QuickTime Conferencing stellt eine Plattform zur Erstellung von Macintosh-Software dar, die Audio und Video über Netze empfangen und senden sowie Daten zwischen vernetzten Computern austauschen kann. QTC unterstützt einfache Zwei-Weg-Audio-Kommunikation und einer, dem Video-Telefon” entsprechenden, Verbindungsart neben anderen Modellen. Mit QTC stellt Apple Computer eine Basistechnologie bereit, die Entwicklern eine funktionelle Erweiterung ihrer eigenen Programme gestattet, so daß Echtzeit-Medien über eine Reihe von verschiedenen Netzwerk-Typen (TCP/IP, AppleTalk) verteilt werden können.

Somit wird die Möglichkeit eröffnet Multi-User-Anwendungen um Ton und Video auf einfache Art zu bereichern. Die Möglichkeiten werden nicht auf konventionelle Telefon-Anwendungen beschränkt. Stellen Sie sich zum Beispiel ein Ausbildungssystem an einer Universität vor, welches vielen Studenten die Teilnahme an einer Vorlesung (früh am Morgen um 8:00 Uhr) von zu Hause aus erlaubt. Auch Anwendungen, wie etwa ein Fahr- oder Flugsimulator oder die gleichzeitige Bearbeitung eines Dokuments (shared document) durch mehrere Teilnehmer, sind auf Basis von QTC grundsätzlich vorstellbar. Es handelt sich nicht etwa um eine Zukunftsvision, sondern diese Möglichkeiten sind technisch realisierbar.

QTC greift auf viele Funktionen zurück, die durch die QuickTime Systemerweiterung zur Verfügung gestellt werden und teilt im Component Manager (vgl. Component Manager” auf Seite 69 ) eine architektonische Basis mit QuickTime. QTC bedient sich des Image Compression Manager (vgl. Image Compression Manager” auf Seite 68 ) für die Kompression und Dekompression von Video, der sequence grabber component zur Erfassung von Audio und Video sowie der Movie Toolbox (vgl. Movie Toolbox” auf Seite 68 ) für die Aufnahme von Video-Strömen als QuickTime movies auf die Festplatte. Wenn neue Funktionen und Verbesserungen einer neuen QuickTime-Version hinzugefügt werden, können sie i.d.R. auch sofort von QTC verwendet werden. Wird die QuickTime Systemerweiterung z.B. um neue Komponenten zur Kompression/Dekompression von Audio und Video erweitert, stehen diese auch automatisch QTC zur Verfügung.

Konferenz Konfigurationen

Die QTC zugrundeliegende Metapher für Echtzeit-Medien-Verbindungen entspricht der einer Konferenz. Konferenzen sind relativ flexibel und können auf verschiedene Art und Weise konfiguriert sein. Konferenzen zeichnen sich durch einen, einige oder viele Teilnehmer aus, die symmetrisch oder asymmetrisch verbunden sein können. Wie aus derAbbildung 15 auf Seite 78 ersichtlich wird, können Verbindungen eine von drei Formen annehmen:

  • Punkt-zu-Punkt (point-to-point/person-to-person): für eine Verbindung zwischen zwei Teilnehmern
  • Multipunkt (multipoint/many-to-many): für virtuelle Treffen und Gruppenanwendungen
  • Einer-an-viele/Übertragung (one-to-many/broadcast): zur Übertragung eines Teilnehmers an viele Teilnehmer.

ABBILDUNG 15: Drei Arten von Konferenz-Verbindungen

Damit können:

  • Teilnehmer Ton, Video oder Daten senden oder empfangen
  • einzelne Medien-Typen während einer Konferenz hinzugefügt, entfernt oder gewechselt werden
  • Mitglieder einer Konferenz diese jederzeit verlassen oder ihr beitreten
  • verschiedene Konferenzen zu einer Konferenz zusammengeschaltet werden
  • Daten an einen oder an alle Teilnehmer gesendet werden.

Netzwerk-, Protokoll- und Medien-Unabhängigkeit

QTC ist von dem verwendeten Netzwerk, Protokoll und den Medien unabhängig. Dies bedeutet, daß Programme nichts Spezifisches über ein bestimmtes Netzwerk wissen müssen, um eine QTC-Konferenz aufzubauen. QTC unterstützt seit der Version 1.0.2 TCP/IP- und AppleTalk-Netzwerke. Ab QTC-Version 1.5 werden auch ISDN und 28,8 Kbps Modem-Verbindungen 13 unterstützt. In Zukunft soll auch der Betrieb über ATM-Topologien 14 möglich sein. QTC unterstützt ein neues, für Echtzeit-Medien geeignetes, Netzwerk-Protokoll namens MovieTalk und unterstützt außerdem auch Industriestandard-Protokolle wie den ITU H.320 15 Standard und die Standards, wie sie im Multicast Backbone (vgl.Das Multicast Backbone (MBONE) Netz” auf Seite 106 ) des Internet Verwendung finden.

Die Medien, die zwischen den Konferenzteilnehmern fließen, werden in einen Strom oder mehreren eines bestimmten Medien-Typs organisiert. QTC unterstützt ab der Version 1.0.2 Ton- und Video-Ströme, die mit jedem verfügbarem Ton- bzw. Video-Codec (de-)komprimiert werden können. Zukünftige QTC-Versionen werden auch andere Medien-Typen, wie z.B. Text, MIDI oder 3D unterstützen und damit eine bei QuickTime movies bereits vorhandene Funktionalität ausnutzen können. 16

Konferieren in der Praxis

Die QTC-Benutzerschnittstelle enthält einige typische Elemente, die man in einem Konferenzprogramm erwarten würde. So erscheint z.B. jeder Konferenzteilnehmer in einem eigenen Fenster, das über einen stream controller (Strom-Kontrolleiste) verfügt, der von der Idee her mit einem QuickTime movie controller (der Kontrolleiste eines QuickTime movies) vergleichbar ist.

Wegen der starken Ähnlichkeit zwischen stream controller und movie controller kann ein Benutzer, der bereits Erfahrung im Umgang mit einer von beiden Schnittstellen hat, dieses Wissen auf die andere übertragen. QTC wartet mit einer standardisierten Benutzerschnittstelle auf, die es Anwendern ermöglicht zu entscheiden, wen sie anrufen wollen bzw., wen sie an einer QTC Konferenz partizipieren lassen wollen.

5.2.2 QuickTime Conferencing Components

Der Aufbau von QuickTime Conferencing basiert – ähnlich wie bei QuickTime – auf einer Reihe von Komponenten, die durch den Component Manager verwaltet werden. Apple stellt ein Basis-Set von Komponenten zur Verfügung, die es dem Anwender erlauben, Daten mit anderen auszutauschen und komprimierte Audio- und Video-Daten über verschiedene Netzwerke zu senden und zu empfangen. Die einzelnen Komponenten dieses Sets sind Gegenstand der nächsten Abschnitte und werden dort näher erläutert.

Es gibt drei Haupttypen von QTC-Komponenten, über die Entwickler informiert sein müssen, wenn ihre eigenen Programme die QTC-Technologie unterstützen sollen: die conference component (Konferenz-Komponente), die stream controller component (Strom-Kontroll-Komponente) und die browser component (Browser-Komponente). 17 Neben den drei genannten existieren noch eine Reihe weiterer Komponenten, auf die weiter unten auch kurz eingegangen wird.

Die modulare Architektur von QTC gestattet Entwicklern das Hinzufügen, Erweitern oder Austauschen von Eigenschaften und Komponenten. Will ein Entwickler z.B. die Verwendung eines neuen Netzwerk-Multimedia-Protokolls in seinem QTC-Produkt integrieren, so kann er eine neue transport component (Transport-Komponente) entwickeln, die durch den Component Manager erkannt werden muß. Ein Programm mit QTC-Unterstützung kann diese Komponente dann erkennen und sie in einer Konferenz benutzen. Auch die funktionelle Erweiterung bereits vorhandener Komponenten ist durch einen Entwickler möglich.

Conference Component

Der conference component (Konferenz-Komponente) fällt in einer QTC-Konferenz die Schlüsselrolle zu. Sie agiert als zentrales Hub (Mittelpunkt, Drehscheibe) und erledigt einen Großteil der Arbeit, indem sie die zahlreichen Eingangs- und Ausgangsprozesse einer Konferenz delegiert. Sie ist verantwortlich für die Überwachung der verschiedenen Netzwerke (im Hinblick auf QTC relevante Daten-Ströme), für die Tätigung oder Annahme eines Anrufes, das Managen und Verschmelzen zahlreicher Konferenzen und noch eine Reihe anderer Funktionen. Die conference component bietet außerdem einige Funktionen auf höherer Ebene, wie z.B. die Aufnahme von Daten-Strömen, die Handhabe von Benutzeraktionen und sogar die Erstellung und Verwaltung von Konferenz-Fenstern.

Programme können durch einen Aufruf der conference component, letztere eine Reihe von Aufgaben erledigen lassen, die den Aufbau, das Management und Beenden von Konferenzen betreffen. Ein Programm kann einen Befehl an die conference component ausgeben, daß diese in den verschiedenen Netzwerken nach einem eingehenden Anruf lauscht” oder, um einen anderen Teilnehmer anzurufen.

Conference components kreieren conference events (Konferenz-Ereignisse), wenn sie Veränderungen einer Konferenz-Situation dem Anwendungsprogramm mitteilen müssen. Beispiel: Wenn ein eingehender Anruf einer bestehenden Konferenz signalisiert wird, muß die conference component ein Ereignis des Typs mtIncomingCallEvent generieren, um das Anwendungsprogramm über den Anruf zu informieren. Applikationen rufen die component routine (Komponenten-Routine) MTConferenceGetNextEvent periodisch auf, um die Ereignisse von der conference component zu erhalten. Dieser Vorgang ist vergleichbar mit dem Aufruf, der system routine (System-Routine) WaitNext-Event durch die Applikation, um user- und system events (Anwender- und Systemereignisse) vom Event Manager zu erhalten. 18

Als Reaktion auf diese conference events arbeiten die Anwendungsprogramme mit der conference component zusammen, um ordnungsgemäß zu antworten – z.B., indem sie ein neues Fenster bilden, um einen neuen Konferenzteilnehmer anzuzeigen oder um Nachrichten an andere Konferenzteilnehmer zu senden.

Stream Controller Component

Stream controller sind für die Kontrolle der QTC-Medien-Ströme durch die Beeinflussung des default user interface (Standard-Benutzerschnittstelle) verantwortlich, d.h. sie sorgen für die Anzeige auf dem Bildschirm bzw. die Ausgabe über die Lautsprecher. Die conference component ist für die Erschaffung und das Management von stream controller components verantwortlich. Anwendungsprogramme erhalten von der conference component Referenzen (Verweise) auf die stream controllers, um informiert zu sein, wo und wie die Medien ausgegeben werden.

Der stream controller ähnelt dem QuickTime movie controller optisch. Er besitzt Buttons (Bedienungsknöpfe) zur Fluß-Kontrolle der Medien, zur Veränderung der Größe des sichtbaren Teils des Stroms und zur Anpassung des Lautstärkepegels. Der stream controller fügt einige utility buttons (Hilfsschaltknöpfe) hinzu, die ein gewöhnlicher movie controller nicht besitzt: Einen snap-shot button, mit dem eine Momentaufnahme/Einzelbild des gerade im controller angezeigten Bildes (des Video-Stroms) erstellt werden kann und einen record button (Aufnahmeknopf), mit dem ein Benutzer die Medien-Ströme eines stream controller aufzeichnen kann. Für die eigentliche Handhabung eines Einzelbildes oder eines aufgezeichneten Films ist die conference component oder das Anwendungsprogramm verantwortlich, nachdem eine Initialisierung durch den stream controller erfolgt ist.

Controller, die für die Medien-Ströme des Senders zuständig sind, werden als source controller bezeichnet und weisen ein etwas anderes Aussehen und Verhalten als die für den Empfang zuständigen sink controller auf. Dies wird aus der Abbildung 16 auf Seite 83 ersichtlich.

ABBILDUNG 16: Source- und sink controller Interface zur Kontrolle der Medien-Ströme

Browser Component

Um einen Anruf zu tätigen oder einen anderen Teilnehmer an einer Konferenz zu beteiligen, muß der Anwender den anderen Teilnehmer, den es anzurufen gilt, bestimmen können. Browser components stellen für Anwender eine einfache Möglichkeit dar, im Netzwerk nach anderen Teilnehmern zu suchen und diese zu identifizieren.

Für die unterschiedlichen Netzwerktypen – wie z.B. TCP/IP oder Apple Talk – bestehen jeweils spezifische browser components, die dem Benutzer die Eingabe einer netzwerkspezifischen Adresse gestatten. Die von den browser components erzeugte Benutzerschnittstelle ähnelt in der Bedienung den Benutzerschnittstellen für andere Netzwerkdienste, wie sie für das Mac-OS typisch sind. In der Abbildung 17 auf Seite 84 sieht man die Benutzeroberfläche der TCP/IP browser component und in Abbildung 18 auf Seite 84 sieht man die Benutzeroberfläche der AppleTalk browser component.

ABBILDUNG 17: TCP/IP browser

ABBILDUNG 18: Apple Talk browser

Andere QuickTime Conferencing Components

Außer den drei in den letzten Abschnitten ausführlicher beschriebenen components werden durch QTC noch viele andere components definiert und eingesetzt. Viele dieser components dürften für Entwickler interessant sein, die z.B. neue Netzwerk-Typen oder Medien-Protokolle unterstützen wollen. Wiederum andere components könnten für Entwickler interessant sein, um beispielsweise bessere Kontrollmöglichkeiten über eine Konferenz in ihrem Produkt zu realisieren. Einige dieser components werden nunmehr kurz angesprochen.

Stream director components :

Sie sind für das Management der Medien-Ströme, die zwischen den Konferenzteilnehmern fließen, verantwortlich. Stream directors werden in zwei Typen unterteilt: source stream directors und sink stream directors. Source stream directors arbeiten mit Medien-Quellen wie QuickTime sequence grabbers 19 zusammen, um die über das Netzwerk zu versendenden Audio- und Video-Daten zu erfassen. Sink stream directors sind für den Aufbau und die Ausgabe eingehender Medien-Daten verantwortlich, d.h. Video an den Bildschirm und Ton an die Lautsprecher zu leiten. Conference components und controller components übernehmen die meisten Funktionen für das Management und die Kontrolle von stream directors.

Transport components :

Sie sind für die Implementierung des Netzwerkprotokolls zuständig, welches sich um die Kommunikation der MedienDaten, Formate und Kontroll-Informationen kümmert. Apple liefert das aus Eigenentwicklung entstandene MovieTalk als Standard QTC-Protokoll aus, welches in Form einer tranport component implementiert ist. Der Hersteller bietet außerdem ein Hardware-Kit für seine Power Macintosh Computer an, das u.a. aus einer Erweiterungskarte besteht, mit der Videokonferieren über ISDN nach dem ITU H.320 Standard-Protokoll möglich ist. Auch in diesem Falle wird die Funktionalität über eine transport component erweitert. Entwickler, die neue Medien-Protokolle unterstützen wollen, können neue transport components schreiben, die die Kontroll-Meldungen einer Konferenz in für das neue Protokoll verständliche Meldungen übersetzen und umgekehrt.

Network components :

Sie beinhalten den für einen bestimmten Netzwerktyp spezifischen Code. Entwickler erhalten von Apple mit der Software Developement Kit QTC in der Version 1.0.2, welches network components für AppleTalk und TCP/IP bietet. Zukünftige Versionen von QTC werden das neue OpenTransport 20 Netzwerk-Interface neben anderen Schnittstellen enthalten. Network components können Zugriff auf Multicast-Dienste in einigen verteilten Netzwerken bieten, so daß Medien-Daten an multiple Empfänger versendet werden können, ohne daß diese Daten hierzu mehrfach versendet werden müßten. Die conference component kann von Multicast-Netzwerk-Diensten automatisch Gebrauch machen, wenn diese zur Verfügung stehen. QTC unterstützt Multicasting in AppleTalk-Netzen. Für Multicasting über das MBONE 21 im Internet bietet Apple Computer ebenfalls network components an, ohne diese gegenwärtig offiziell zu unterstützen. Dies macht insofern auch Sinn, weil das MBONE unter Internetspezialisten ohnehin eher als ein Hack” zur Überwindung technischer Barrieren und damit als ein aktueller Forschungsgegenstand betrachtet wird.

Recorder components :

Sie verrichten ihre Arbeit im Zusammenspiel mit stream directors und bieten Mechanismen für die Aufnahme und Speicherung der gesendeten oder empfangenen Medien-Ströme einer Konferenz auf die Festplatte. Apple bietet eine recorder component, mit der die Medien-Ströme (Video, Audio) als ein QuickTime movie aufgenommen werden können, wobei mittels der stream directors die Medien-Ströme mehrerer Teilnehmer gleichzeitig aufgenommen und in der erzeugten QuickTime movie Datei enthalten sind. Spielt man das zuvor aufgenommene QuickTime movie zu einem späteren Zeitpunkt noch einmal ab, so ermöglicht dies die erneute Betrachtung der zu einem früheren Zeitpunkt abgehaltenen Videokonferenz mit allen ihren Teilnehmern.

Die QTC-Software besteht noch aus einer Reihe anderer components, darunter player components, flow control components u.a., die für Entwickler zur Erweiterung der QTC-Software interessant sind, um z.B. neue Netzwerke, Protokolle oder Daten- bzw. Medien-Typen zu unterstützen. In der Abbildung 19 auf Seite 87 werden einige QTC components gezeigt, die typischerweise zusammenarbeiten und allesamt Bestandteil der conference component sind.

Obwohl QuickTime Conferencing eine im Detail noch wesentlich komplexere Technologie darstellt, bilden die in den letzten Abschnitten gemachten Ausführungen zusammen ein Modell, mit dem die technischen Abläufe und der technische Aufbau von Netzwerk-Videokonferenz-Systemen am PC gut veranschaulicht werden können. QuickTime Conferencing stellt eine interessante und relativ junge Teilarchitektur für die Medien-Konvergenz dar, die als Bestandteil des QuickTime Media Layer auf die QuickTime Systemerweiterung zurückgreift und das Zusammenspiel mit anderen Soft- und Hardware-Erweiterungen darüber hinaus offen läßt.

ABBILDUNG 19: Zusammenspiel verschiedener QTC-components mit der conference component

Im Frühjahr 1997 wurde die QuickTime Conferencing Technik in QuickTime Streaming umbenannt. Der neue Begriff trägt der Tatsache, daß Audio, Video und andere Daten in Netzwerken als Daten-Ströme übertragen werden, besser Rechnung. Einige konzeptionelle Änderungen sind hinsichtlich der noch in Entwicklung befindlichen Version 3.0 der QuickTime Systemerweiterung geplant.

Wegen der generellen Plattformunabhängigkeit aller Techniken des QuickTime Media Layer und der Unterstützung von internationalen und freien, d.h. herstellerunabhängigen Standards, ist QuickTime als Rahmenarchitektur den meisten anderen proprietären Lösungen für verteiltes Multimedia – also Netzwerk-Multimedia-Anwendungen – vorzuziehen. Eine Portierung der QuickTime Conferencing Software auf die Microsoft Windows 3.x und `95 Betriebsysteme wurde durch die Firma Intelligence at Large vorgenommen. 22 In einer Pressemitteilung vom 29.10.1996 heißt es: QuickTime Conferencing is a multiplatform industry standard for online multimedia communication and collaboration. With the availability of QTC for Windows, developers of Windows applications will be able to create conferencing tools for use over the Internet that interact with Macintosh-based QTC applications. Thus, users everywhere will be able to take advantage of the multiplatform capabilities inherent in QuickTime Conferencing technology.” 23 IAL Präsident Cartwright Reed wird in dieser Pressemitteilung mit den Worten zitiert: `This is an important step toward adding real-time communications capabilities to Internet and Intranet applications, […] QTC for Windows will make the various operating system pieces that QTC provides for the Mac available on Windows so that developers can easily incorporate video and audio communications in their Windows applications. That’s an enabling story.'” 24

5.3 QuickTime VR

QuickTime VR erörtert eine neue Technik, mit der fototechnisch oder durch den Einsatz von 3D-Modelling Software realitätsnahe Erlebnisse in virtueller Umgebung ermöglicht werden. Virtuelle Räume können durchwandert und mit Objekten kann interagiert werden. Diese virtuellen Welten liegen als QuickTime VR movie Dateien vor und können im World Wide Web global angeboten werden. QuickTime VR ist ein weiterer und sehr interessanter Teil des QuickTime Media Layers und wird im folgenden sowohl aus Benutzer- als auch Entwickler-Perspektive erläutert. 25

5.3.1 Vorstellung von QuickTime VR

Apple’s QuickTime VR Technologie bedeutet einen Durchbruch in zweierlei Hinsicht. Erstens handelt es sich um ein System, welches Macintosh- und Windows-Anwendern räumliche Interaktion nur mit Hilfe eines gewöhnlichen PCs und Maus, Trackball oder Tastatur ermöglicht. Die Anschaffung teurer Hardware und anderer Peripherie entfällt somit. Zweitens basiert QuickTime VR auf einer innovativen 360°-Panorama Fotografietechnik, die VR-gemäße Erfahrung von Real-World Räumen und Objekten bietet. Statt einen, mittels 3D-Modelling-Software gerenderten Kölner Dom, kann man den echten Kölner Dom erleben – fototechnisch aufgenommen für ein sehr realistisch anmutendes Erlebnis. Falls dennoch gewünscht, gestattet QuickTime VR auch die Erstellung von Szenen, die auf am Computer erstellten Bildern bzw. Objekten beruhen. Viele 3D-Modelling-Programme, die für Apple Power Macintosh Computer angeboten werden, unterstützen den Export der erstellten 3D-Szenen als QuickTime VR movie.

QuickTime VR schafft so bisher noch nicht vorhandene VR-Erlebnisse durch den Gebrauch von zwei neuen Techniken:

  • Eine panoramic movie (Panorama-Film) Technologie befähigt den Anwender Räume zu erforschen. Dieser Ansatz kann zum Beispiel für die Erstellung einer VR-Szene verwendet werden, welche die Straße des 17. Junis zeigt. Der Anwender kann sich zwischen dem Brandenburger Tor und dem Großen Stern bewegen, sich dort umschauen (im 360° Winkel), weiter zum Schloß Bellevue wandern, um sich dann ins Innere des Schlosses zu begeben und einen Eindruck vom Wohnsitz des deutschen Präsidentenehepaars zu bekommen. Möchte der Anwender die Goldelse” am großen Stern kennenlernen, kann er nach oben bzw. unten blicken und sich auch heranzoomen.
  • Eine objekt movie (Objekt-Film) Technologie gestattet es dem Benutzer Objekte interaktiv zu begutachten bzw. zu untersuchen. Diese Fähigkeit erlaubt so z.B. einen Fernseher rundum zu drehen, um auch die Anschlüsse an der Rückseite des Gerätes erblicken zu können. Auch eine Drehung kopfüber läßt sich so realisieren. Man nimmt eine Sache virtuell in die Hand und könnte auch ein viel schwereres Objekt, welches normalerweise nicht so einfach zu drehen ist, wie z.B. ein Sportwagen, spielend bewegen.

Mit QuickTime VR können die Panorama- und Objekt-Film Technologien so kombiniert werden, daß das Erlebnis mit dem Erlebnis des realen Ortes vergleichbar ist. Während der Benutzer seine Szenenansicht verändern kann – nach rechts oder links, oben oder unten, nah oder fern – bleibt die korrekte Betrachteransicht erhalten, und es entsteht hierdurch die Illusion, als würde man sich umschauen. Objekte können aufgegriffen, manipuliert und von allen Winkeln betrachtet werden, während die Perspektive unverändert bleibt. Pixelgenaue Bereiche (hot spots) erlauben dem Anwender auf eine designierte Stelle einer Szene zu klicken, um hierdurch verschiedenste, durch den Entwickler festzulegende, Medien-Typen aufzurufen. Beispielsweise kann so ein Video- oder Audio-Clip, eine Graphik oder auch ein anderes QuickTime VR Objekt movie, geladen werden.

Möglichkeiten mit QuickTime VR

Die QuickTime VR Technologie eröffnet nahezu grenzenlose Einsatzmöglichkeiten für VR Erlebnisse. Einige sollen hier nur stichwortartig genannt werden:

  • Bildung: Ermöglicht eine Wanderung durch eine Weltstadt oder das Lernen von Verhaltensweisen einiger Vögel, indem man durch einen Wald wandert.
  • Ingenieurwesen: Erlaubt das Analysieren eines Flugzeuges oder die Besichtigung eines noch nicht entstandenen Gebäudes.
  • Museen: Ermöglicht die Besichtigung eines Museums, das man nicht persönlich besuchen kann.
  • Kommerz: Gestattet einen schnellen Überblick eines Einkaufszentrums oder eines Vergnügungsparks.
  • Architektur: Ermöglicht die Besichtigung einer Wohnung und bietet verschiedene Einrichtungsmöglichkeiten.
  • Reisen: Ermöglicht den virtuellen Besuch ferner Länder.
  • Spiele: Ermöglicht die Untersuchung eines Tatortes in einem Detektivspiel.

QuickTime VR Software

Die QuickTime VR Software Technologie beinhaltet zwei Komponenten:

  • Die run-time Software enthält die Funktionalität, die die Anwender für ihre QuickTime VR Erlebnisse an ihren Personal-Computern benötigen. Zur Zeit sind diese run-time Versionen für Macintosh- und Windows-Plattformen verfügbar. Entwickler können diese run-time Software mit ihren QuickTime VR Titeln ausliefern – müssen hierfür jedoch eine Lizenzvereinbarung mit Apple Computer eingehen.
  • Die QuickTime VR Autoren-Werkzeuge sind für erfahrene, multi-disziplinäre Fotografie- und Multimedia-Entwickler-Teams ausgelegt, um mit ihrer Hilfe aufregend neue Produkte in Form von CD-ROM Titeln oder VR Movies, die im World Wide Web betrachtet werden können, zu erstellen.

Detaillierte Angaben über die System-Anforderungen in bezug auf die run-time Software und die Autoren-Werkzeuge erfolgen im Gliederungspunkt Run-Time Software und Autoren-Werkzeuge” auf Seite 94 .

QuickTime VR verwendet qualitativ hochwertige Fotos zur Repräsentation eines Raumes. Dies führt zusammen mit anderen Innovationen zu erheblichen Vorteilen gegenüber bereits existierenden VR Technologien. Diese Vorteile werden zuerst aus Anwender- und dann aus Entwicklersicht beschrieben.

Vorteile für VR Benutzer

Überlegener Realismus:

QuickTime VR´s Rückgriff auf Panorama-Fotografie zur Erfassung von Echt-Welt-Räumen bietet ein unbekanntes VR-Erlebnis. Die Software erstellt die korrekte Perspektive jeder Ansicht einer Szene in Echtzeit, wodurch der User die Illusion erhält, wirklich dort zu sein und sich umschauen zu können. Auf gleiche Art und Weise behält QuickTime VR die korrekte Perspektive in komplexen, gerenderten Szenen bei. QuickTime VR Objekt movies geben dem User in einer Szene die Möglichkeit Dinge aufheben, drehen und untersuchen zu können.

Einfache Bedienung:

Die Ansicht einer beliebigen Szene oder eines beliebigen Objektes geschieht bei QuickTime VR mit Hilfe eines intuitiven User-Interfaces. Früher wurden VR-Szenen, welche Echt-Welt-Räume wiedergeben, häufig unter dem Einsatz von Videotechniken erstellt. Hierbei wurde die Ansicht des Anwenders durch die Aufnahmesequenz des Videos festgelegt und somit eingeschränkt. Bei QuickTime VR besitzen die User die Freiheit, sich einfach nach vorne und hinten bewegen zu können, nach oben und unten oder nach links und rechts zu gucken oder an und ab zu zoomen. In jedem Falle bleibt dies Sache des Anwenders.

Verfügbarkeit und Kompatibilität:

Die meisten VR-Systeme erfordern vom Benutzer die gesonderte Anschaffung spezieller Hardware und Accessoires. Da QuickTime VR auf den meisten Macintosh und Windows basierten PCs läuft, ist es für eine viel größere Usergruppe erhältlich. Es werden keine speziellen Hardwareanschaffungen oder Accessoires nötig.

Vorteile für VR Entwickler

Hochwertige Vorlagen:

Panoramic images (Panorama Bilder) für real-world scenes (Echt-Welt Szenen) werden mittels eines 35mm-Fotoapparates und eines speziellen Stativs erfaßt. Teure Panorama-Kameras oder aufwendige Videoproduktionen erübrigen sich somit. Wegen der höheren Auflösung, die Fotofilm gegenüber Video bietet, erhalten QuickTime VR Szenen kräftigere Farben und schärfere Details. Außerdem lassen sich 35mm-Kameras gegenüber Panorama-Kameras flexibler einsetzen, da für sie wesentlich mehr Objektive und Filter erhältlich sind.

Hohe Leistung:

QuickTime VR enthält einen neuen, revolutionären Anti-Verzerrungs-Algorithmus, der zum ersten Mal die nötige Leistung für auf Fotos basierende, realistische Erfahrungen erbringt. Der Algorithmus korrigiert Verzerrungen beim Schwenken bzw. Drehen, so daß horizontale Linien glatt und in richtiger Perspektive erscheinen. Die Performance ist unabhängig von der Komplexität der Szene: Ein Schwenk erscheint visuell nahtlos, da keine Ränder der einzelnen Fotos sichtbar sind.

Kleine Dateigröße:

Eine einzige 360°-Ansicht per Video aufgenommen, würde Dutzende Megabytes Speicherplatz erfordern. Hingegen kann der QuickTime VR Prozeß eine komplette, fotografische 360°-Repräsentation mit nur 540 Kilobyte erfassen. Gerenderte Szenen benötigen sogar noch weniger Speicher.

Flexible Interaktion:

Die in QuickTime VR implementierten hot spots erlauben Entwicklern jede Stelle einer 360°-Szene mit Interaktion zu versehen. Wenn ein Nutzer einen hot spot anklickt, können eine Reihe von Medien-Typen gestartet werden:

  • ein Einzelbild (still-image)
  • eine Audio-Datei
  • eine Textanzeige
  • einen Videoclip
  • eine andere QuickTime VR Szene oder -Objekt.

Ergänzung zur QuickTime Familie:

QuickTime ist zur Zeit für Macintosh- und Windows-PCs erhältlich und spielt darüber hinaus in anderen Konsumenten-Produkten, wie Spielekonsolen und interaktivem Fernsehen, eine Rolle. Da QuickTime VR ebenfalls zur QuickTime Produktfamilie gehört, können QuickTime VR Titel auf ca. 10 Millionen 26 QuickTime-fähigen Maschinen weltweit abgespielt werden. Dies ermöglicht den Autoren für eine große Zielgruppe zu entwickeln.

5.3.2 Run-Time Software und Autoren-Werkzeuge

Apple lizenziert Entwicklern die QuickTime VR run-time Software (für Macintosh und Windows) und die Autoren-Werkzeuge (nur für Macintosh). Die QuickTime VR Produktentwicklung erfolgt am Macintosh. Das Ergebnis läuft dann sowohl auf dem Macintosh als auch unter Windows. Dies gibt Entwicklern Zugriff auf den riesigen Markt der Benutzer von Personal-Computern.

Die QuickTime VR Autoren-Werkzeuge bestehen aus mehreren CD-ROMs und einer umfangreichen Dokumentation, die den Produktionsprozeß (auch im Zusammenspiel mit Autoren-Software von Drittherstelllern) beschreibt. Ein auch gesondert erhältliches Video mit dem Titel Photographing QuickTime VR Scenes” erläutert anschaulich die notwendige Planung einer Szene und das Fotografieren von Panoramen.

Benötigtes Wissen für QuickTime VR Projekte

Die Durchführung von QuickTime VR Projekten erfordert Erfahrung und Wissen in einer Reihe von Fachgebieten. Typischerweise wird man für die Entwicklung eines QuickTime VR Titels ein Team von professionellen Multimedia-Entwicklern zusammenstellen, wobei jedes Mitglied ein Spezialist einer Teildisziplin sein sollte. Zu den erforderlichen Fähigkeiten gehören unter anderem:

  • Fotografisches Wissen für die Aufnahme von Panoramen und Objekten
  • Macintosh-Wissen bezüglich des Umgangs mit den QuickTime VR Entwickler-Werkzeugen
  • Know-how über Bildbearbeitung für die Nachbearbeitung der Aufnahmen
  • Kenntnisse im Umgang mit dem kommandozeilenorientierten Macintosh Programmer’s Workshop (MPW) Entwicklungssystem
  • Kenntnisse im Umgang mit HyperCard und der Programmiersprache HyperTalk zur Komposition von QuickTime VR Szenen
  • Multimedia-Projektmanagement Erfahrung
  • Kenntnisse im Umgang mit den Programmiersprachen Lingo (Macromedia Direktor) oder HyperTalk (HyperCard).

Systemanforderungen

Die QuickTime VR run-time Software unterstützt sowohl Macintosh- als auch Windows-Systeme, d.h. auf beiden Plattformen können QuickTime VR Titel wiedergegeben werden. Die run-time Software läuft mit erhöhter Geschwindigkeit auf PowerPC-Systemen. Die Tabelle 6 gibt Auskunft über die Systemanforderungen für die Wiedergabe von QuickTime VR Szenen für die jeweilige Plattform.

TABELLE 6: Minimale Systemanforderungen für die QuickTime VR Wiedergabe
Gegenstand Macintosh Windows
System Macintosh mit min. 68030@25 MHz Prozessor PC mit min. 80386@33 MHz Prozessor
Monitor-Grafik 8-bit Video, 256 Farben, (16-bit vorzugsweise) 8-bit Video, 256 Farben, (16-bit vorzugsweise)
RAM Speicher 8 MB 8MB
CD-ROM Double-Speed CD-ROM für CD-ROM-Titel Double-Speed CD-ROM für CD-ROM-Titel
QuickTime min. Version 2.0 min. Version 2.0
System Software min. System 7.1 min. Windows 3.1

Die QuickTime VR Entwickler-Werkzeuge können mit Macintosh- (680×0 CPU) und Power Macintosh Systemen (PowerPC CPU) eingesetzt werden. Tabelle 7 auf Seite 96 nennt die minimalen Anforderungen für den Einsatz der QuickTime VR Werkzeuge.

TABELLE 7: Minimale Systemanforderungen für den QuickTime VR Entwicklungsprozeß
Gegenstand 680×0 basierte Systeme Power-PC Systeme
System CPU 68040@33 MHz mit FPU jeder Power Macintosh
Monitor 16-bit Video, tausende Farben 16-bit Video, tausende Farben
System Software min. System 7.0.1 min. System 7.1.2
RAM min. 40 MB min. 40 MB
CD-ROM Double-Speed CD-ROM bei Nutzung von Bildern von Photo CD Double-Speed CD-ROM bei Nutzung von Bildern von Photo CD
Festplatten Platz ca. 10 MB pro Panorama (bei Verwendung von Photo CD); ca. 5 MB pro Objekt ca. 10 MB pro Panorama (bei Verwendung von Photo CD); ca. 5 MB pro Objekt
HyperCard min. Version 2.2 min. Version 2.2
QuickTime min. Version 2.0 min. Version 2.0
ResEdit (Editor) min. Version 2.1.1 min. Version 2.1.1
MPW (Compiler) min. Version 3.2 min. Version 3.2

5.3.3 QuickTime VR Entwicklungsprozeß

Der QuickTime VR Entwicklungsprozeß erfordert ein erfahrenes und multidisziplinäres Team, sollen qualitativ hochwertige Titel entstehen. Je nach gestellten Anforderungen und in Abhängigkeit von den Zielvorgaben des Projekts, kann der Entwicklungsprozeß etwas variieren. Typischerweise besteht der Entwicklungsprozeß jedoch aus vier grundsätzlichen Schritten:

  1. Planung des Multimedia-Projekts
  2. Aufnahme der Fotos oder das Rendern von computergenerierten 3D-Bildern
  3. Digitalisierung der Motive für den Einsatz auf einem Macintosh Computer, auf dem QuickTime VR Autoren-Werkzeuge installiert sind
  4. Erstellung und Komposition der VR-Szene

In den nachfolgenden Abschnitten werden diese Schritte im Detail erörtert:

Planung

Der erste Schritt der Erstellung eines Multimedia-Titels mit QuickTime VR ist die Projektplanung. Während der Planungsphase bestimmt man, welche Arten von VR-Erlebnissen der anvisierten Zielgruppe geboten werden sollen. So muß z.B. entschieden werden, ob für das Projekt reale oder computergenerierte Motive vorzuziehen sind. Auch über die Anzahl der Panorama-Standpunkte – die nodes – muß entschieden werden. Eine größere Anzahl von nodes in einer Szene stellt eine erhöhte Freiheit für die Navigation des Nutzers dar. Zusätzlich muß entschieden werden, ob bzw. inwiefern VR-Objekte im Film enthalten sein sollen, die der Anwender aufgreifen oder manipulieren kann. Häufig stellen die hier zu treffenden Entscheidungen einen Zielkonflikt zwischen kreativen Vorlieben und Grenzen der verfügbaren Ressourcen dar. Soll eine recht komplexe Echtwelt-Szene von fotografischen Vorlagen entstehen, müssen einige Schritte vorher unternommen werden:

  • Erstellung eines Grundrißplans zur Festlegung des Szenen-Layouts und Determinierung der einzelnen nodes
  • Markierung der Standorte der nodes mit Reißzwecken oder ähnlichem zur Vereinfachung der fotografischen Erfassung
  • Erstellung eines Szenen-Handbuchs, welches jedem mit der Fotoerfassung bzw. beschäftigten Team-Mitglied zur Verfügung steht
  • Erstellung eines Storyboards von jeder einzelnen Szene
  • Erstellung einer Datenbank, anhand derer alle einzelnen Schritte bis zur Fertigstellung des Projekts abgehakt werden können.

Eine sorgfältige – möglicherweise recht zeitaufwendige – Planung ist empfehlenswert, da sie sich in den weiteren Produktionsstadien bezahlt machen wird.

Erfassen und Rendern von Motiven

QuickTime VR Titel können entweder durch die fotografische Erfassung von Echtwelt-Räumen und -Objekten oder durch gerenderte Modelle mit Hilfe entsprechender Software entstehen. Die Entscheidung für Fotos oder Modelle hängt vollkommen von der gewünschten VR-Erfahrung ab, die man produzieren will. Die Fotografie- und Rendering-Techniken variieren je nachdem, ob man ein Panorama oder ein Objekt erstellen will. Wie die Motive erstellt werden, hat keinen Einfluß auf die Wiedergabegeschwindigkeit des Titels.

Panoramen:

Eine Panorama-Fotografie repräsentiert die Sicht, welche man sehen würde, wenn man sich an einem bestimmten Punkt (node) befindet und sich um diesen Punkt herum drehen würde. Bis jetzt benötigte man für ein solches Motiv eine teure Panorama-Kamera. Mit QuickTime VR kann man eine 360°-Panorama-Ansicht erstellen, indem man eine Serie von sich leicht überlappenden Motiven mit einer 35mm-Kamera und einem speziellen Stativ erfaßt. Alternativ können auch Video-Camcorder, Panorama- oder Digital-Kameras eingesetzt werden.

Neben der besseren Verfügbarkeit und der höheren Bildqualität von 35mm-Kameras, erlauben letztere auch eine bessere Kontrolle des Panorama-Motivs. Belichtungswerte können mit größerer Genauigkeit gehandhabt werden. Spezielle Objektive und Filter können für eine Vielzahl von Effekten eingesetzt werden. Zum Beispiel ist der Einsatz eines Weitwinkel-Objektivs vorteilhaft zur Erfassung von Umgebungen, wie kleine Räume oder weite Landschaften.

Für die Erfassung von Fotos wird ein speziell ausgestattetes Stativ benötigt. Das Stativ-Design ist wichtig für die erfolgreiche Produktion von QuickTime VR Fotos und wird in der Produktdokumentation und im Trainingsvideo von QuickTime VR genau beschrieben.

Um ein Panorama zu erfassen, positioniert man ein Stativ an einem node. Man kann dann die 360°-Sicht fotografieren, indem man die Kamera nach dem ersten Foto um einen vorher berechneten Winkel rotiert. An dieser Stelle wird das nächste Foto geschossen. Dieser Schritt wird solange wiederholt, bis man einen kompletten Kreis an Fotos erstellt hat. Die Anzahl der Fotografien ist abhängig von dem verwendeten Objektiv und der Ausrichtung. Es ist empfehlenswert, daß sich die Bilder zu etwa 30-50% überlappen, falls eines der Fotos nichts geworden ist. Die Abbildung 20 auf Seite 99 illustriert den fotografischen Prozeß.

ABBILDUNG 20: Fotografischer Prozeß zur Erfassung eines Panoramas

Wenn man sich entscheidet, eine QuickTime VR Szene mittels gerenderter Motive zu erstellen, kann ein gewöhnliches Modelling-Programm für die Generierung einer gerenderten 360°-Ansicht der Szene eingesetzt werden.

Objekte:

Man kann Echtwelt-Objekte mit Hilfe von Video-, Foto- oder Digital-Kameras erstellen. Die empfohlene Technik ist die Erfassung der Objekt-Einzelbilder in einer Sequenz unter Zuhilfenahme eines Koordinatensystems und einer motorisierten Halterung. Dadurch wird sichergestellt, daß alle möglichen Objekt-Ansichten, an denen man interessiert ist, erfaßt werden. Diesen Ansatz soll die Illustration unten verdeutlichen. HPAN zeigt die horizontalen Kamerapositionen, an denen Einzelbilder erfaßt werden. VPAN stellt entsprechend die vertikalen Kamerapositionen dar, an denen Einzelbilder erfaßt werden.

ABBILDUNG 21: Fotografische Erfassung eines Objekts

Die Dateigröße für ein VR-Objekt ist abhängig von der Anzahl der aufgenommenen Einzelbilder. Für gewöhnlich beträgt sie zwischen 200-400 Kilobyte pro horizontalen Schwenk (HPAN) für das Objekt – mit 36 erfaßten Einzelbildern (VPAN) in jedem Schwenk. Sollen Objekte aus computergenerierten Motiven bestehen, können sämtliche Kamerapositionen (Blickpunkte) mit Hilfe eines 3D-Programms errechnet werden.

Digitalisierung der Fotos

Um einen QuickTime VR Film eines fotografierten Panoramas zu erstellen, müssen die Fotos zur Weiterverarbeitung an einem Macintosh-System digitalisiert werden. Hierbei greift man entweder auf einen Scanner zurück oder läßt von den Negativen eine Foto-CD erstellen.

Für ein Echtwelt-Objekt, welches mit einer Videokamera erfaßt wurde, kann die Digitalisierung und Speicherung der Bilder durch Software, die die QuickTime-XCMD (XCMD = External Command) Suite unterstützt, verwendet werden. Für ein Objekt, das mit einem gewöhnlichem Fotoapparat erfaßt wurde, kann die Digitalisierung analog den Panorama-Fotografien – durch einen Scanner oder eine Foto-CD – erfolgen.

Erstellung und Komposition einer VR-Szene

Der QuickTime VR Herstellungsprozeß greift auf eine Reihe innovativer Software-Elemente von Apple zurück. Diese Programme automatisieren einen Großteil der Arbeit und nehmen sie dem Entwickler ab. Die nachfolgenden Abschnitte geben einen Überblick darüber, wie die einzelnen Schritte des Herstellungsprozesses unter Einsatz eines Macintosh-Systems und der QuickTime VR Kompositions-Software erfolgen.

Verschmelzung der Bilder durch Zusammennähen”:

Ein unter der MPW-Shell zum Einsatz kommendes Hilfsprogramm näht” bzw. verschmelzt die individuell digitalisierten Fotos oder gerenderten Bilder eines Panoramas in eine einzige nahtlose” 360°-Panorama-PICT-Datei. Abbildung 22 A auf Seite 101 zeigt drei per Hand überlappend positionierte Fotos, so daß sie so gut wie möglich zusammenpassen.Abbildung 22 B zeigt diese drei Fotos, nachdem sie zu einem Teil-Panorama verschmolzen wurden. Besonders zu beachten ist in Abbildung 22 A, daß sich die Fotos nicht exakt zusammenfügen. Dies wird insbesondere bei den horizontalen Linien sichtbar. In Abbildung 22 B erkennt man, wie die Software in nahezu perfekter Weise die einzelnen Fotos zusammenfügt.

ABBILDUNG 22: Manuell zusammengefügte Fotos

Abbildung 23 auf Seite 102 zeigt ein Beispiel einer 360°-Panorama-PICT-Datei, die aus dem Verschmelzen von Fotos eines Geschäfts entstanden ist. Eine QuickTime VR Panorama-Szene erreicht bei einer Standardauflösung nach der Kompression etwa eine Größe von 540 Kilobyte.

Die Software kann einzelne Fotos automatisch zusammennähen und verschmelzen. Es ist aber auch möglich, die Software in einem interaktiven Modus zu betreiben, wodurch der Entwickler eine verbesserte Kontrolle über das endgültig zusammengenähte Motiv erhält. Nachdem eine Panorama-PICT-Datei erstellt wurde, kann sie mit handelsüblichen Retusche- bzw. Malprogrammen nachbearbeitet werden. Zum Beispiel kann man so Objekte hinzufügen, entfernen oder verändern und die QuickTime VR Szene auf diese Art und Weise manipulieren.

Der Verschmelzungsprozeß kann obsolet werden, wenn man statt Fotos gerenderte Motive verwendet. Viele Modelling-Programme können eine Szene automatisch als Panorama-Ansicht ausgeben. 27

ABBILDUNG 23: 360°- Panorama- PICT-Datei nach dem Verschmelzen”
Erzeugung von Hot Spots:

Die QuickTime VR Technologie erlaubt die Definition interaktiver Objekte innerhalb einer Szene. Sie können an pixelgenauen Stellen, sogenannten hot spots, eingerichtet werden. Hot spots können eine Reihe von Aktionen starten. Hierzu gehören das Anzeigen eines Fotos, die Wiedergabe eines Video- oder Audioclips, die Darstellung von Text oder auch das Aufrufen eines QuickTime VR Objekts. Hot spots lassen sich mit Hilfe handelsüblicher Malprogramme erstellen. Die Abbildung 24 illustriert den interaktiven hot spot eines Objekts in einer Beispielszene eines Geschäfts.

ABBILDUNG 24: Auswahl eines interaktiven hot spot in einer QuickTime VR Szene

Durch die Kombination interaktiver Objekte mit Szenen, ermöglicht QuickTime VR eine einzigartige Erfahrung, die sich annähernd so gestaltet als wäre man direkt vor Ort.

Zusammenfügung:

Ein anderes, unter der MPW-Shell zum Einsatz kommendes Werkzeug, fügt die einzelnen Panorama-PICT-Dateien bei gleichzeitiger Kompression zusammen und unterteilt sie in Sektionen, die als tiles (Bausteine) bezeichnet werden. Es stehen verschiedene Kompressoren zur Verfügung – je nach Ausgangsmaterial (Foto, Video, Grafik) ist der eine oder andere Kompressions-Algorithmus vorzuziehen. Die Software fügt den komprimierten Output linear in QuickTime-MooV-Dateien zusammen, die Baustein für Baustein wiedergegeben werden können (siehe Abbildung 25 ).

ABBILDUNG 25: Zusammenfügung von PICT-Dateien in MooV-Dateien
Erstellung eines Single-Node Panoramic Movies:

Nachdem die PICT-Dateien komprimiert wurden, erstellt die QuickTime VR Software, durch die Ausführung verschiedener MPW-Skripte, ein single-node panoramic movie, welches die vorher definierten interaktiven hot spots mit einbindet. Weiterhin kann das resultierende single-node panoramic movie angepaßt werden. So kann z.B. die Fenstergröße für das zu betrachtende Panorama definiert werden. Ein anderes Beispiel wäre die Festlegung des Zoom-Faktors, der dem Betrachter zur Verfügung steht.

Erstellung von Multi-Node Scenes:

Das Werkzeug für die Bearbeitung von Szenen ist ein grafischer HyperCard-Stapel, der die Erstellung von multi-node scenes erlaubt. Diese Szenen-Editor-Software operiert in drei Modi:

  • Node Mode (Node-Modus) erlaubt das Hinzufügen, Löschen und Positionieren eines nodes in einer Szene.
  • Link Mode (Link-Modus) ermöglicht die Erstellung von Verknüpfungen zwischen nodes, die dem Anwender das Navigieren innerhalb der Szene gestatten.
  • Mit dem Object Mode (Objekt-Modus) kann man interaktive Objekte mit nodes verknüpfen, so daß sie in der Szene aufgegriffen bzw. untersucht werden können.

Die Abbildung 26 zeigt eine multi-node scene, welche mit dem Szenen-Editor erschaffen wurde. In diesem Beispiel wurde ein Grundrißplan im PICT-Format in den Szenen-Editor eingefügt, um das Positionieren und Verknüpfen der nodes zu vereinfachen.

ABBILDUNG 26: Editierung einer Szene zur Erstellung eines QuickTime VR Titels

Nachdem die nodes und Objekte miteinander verbunden wurden, exportiert der Szenen-Editor die nötigen Daten und Routinen, welche für die endgültige Erstellung der VR-Szene gebraucht werden.

Das resultierende QuickTime VR Movie

Die endgültige QuickTime VR movie-Datei kann auf Macintosh und Windows basierten Personal-Computern wiedergegeben werden. Insofern sind QuickTime VR Titel von einer sehr großen Gruppe von Anwendern zu verwenden. Die Dateigröße ist abhängig von der enthaltenen Anzahl der nodes. Als Richtwert kann man für eine QuickTime VR movie von 500-700 Kilobyte pro node ausgehen.

5.3.4 Geschätzte Produktionskosten

Für viele Entwickler dürften die geschätzten Produktionskosten für die Entwicklung eines QuickTime VR Titels von Interesse sein. Aus diesem Grund bietet der Hersteller Apple Computer einen Budget-Überblick für seinen kleinen Beispiel-Titel Apple Company Store” an. Dieser Titel wurde von Apple zur Illustration der QuickTime VR Entwickler-Dokumentation entwickelt.

Ein Teil des Entwicklungsprozesses beinhaltet die Budgetierung und die Erfassung der Produktionskosten. Letztere werden sich stark unterscheiden je nach Umfang der Produktion, dem Equipment und dem Rückgriff auf Spezialisten. Wichtig ist auch zu beachten, daß sich die Lohnkosten neben anderen Kosten von Land zu Land unterscheiden. Apple beziffert als Richtlinie zur Vereinfachung einer Schätzung der Produktionskosten eine Summe von 500-1000 US-$ pro Panorama-Node in einem Titel. 28

Die Produktion des Apple Company Store Mini-Titels nahm ein neunköpfiges Team acht Wochen in Anspruch. Dieser Zeitraum umfaßt:

  • die Planung und den Zugang zum Laden
  • Fotografieren der Panoramen, Erstellung eines interfaces mit Hilfe des Autoren-Programms Macromedia Director zur Steuerung des Demos
  • Erstellung eines CD-ROM Masters und weiterer Kopien.

TABELLE 8: Budgetüberblick für Beispielprojekt Apple Company Store”
Posten Kosten
Projekt Manager $  10.000,-
Grafik Designer $   3.700,-
Spezialist für navigierbare Objekte $  3.000,-
Produktionsassistent für Scans $  1.000,-
Produktionsassistent für Vernähen und Node-Links $  2.500,-
Macromedia Director/Lingo (Autoren Software) Programmierer $   6.000,-
Fotograf + Material $  3.000,-
Media Services $      200,-
Sonstige Ausgaben (geschätzt) $      800,-
Cover Art Design, CD-ROM Mastering und Vervielfältigung keine Ang.
Gesamtkosten (ohne Vervielfältigung, da variabel) $  30.600,-


1. APPLE COMPUTER: Vorsprung durch Medienintegration. Broschüre. München 1991, S. 5

2. Apple benutzt den Begriff media für eine Daten-Struktur, die Informationen enthält, die die Daten für ein track in einem Movie beschreiben. Die eigentlichen Film- oder Ton-Daten bezeichnet Apple als media data.

3. Kompressionsmethode für Bild-Dateien, von der Joint Photographic Experts Group 1991 zum ISO-Standard erklärt.

4. 24-bit Farbe 16,7 Mio. Farben, 16-bit Farbe 32.768 Farben, 8-bit Farbe 256 Farben

5. Die Kompressionsrate gibt das Verhältnis der Größe der originalen Bild-Datei zur Größe der komprimierten Datei an.

6. Central Processing Unit = CPU = Hauptprozessor

7. RLE = Run Lenght Encoding. Bezeichnung für ein Kompressionsverfahren, bei dem ein Bild zeilenweise abgetastet wird und mehrere farbidentische, nebeneinander liegende Bildpunkte kompakt bezüglich Farbe/Anzahl beschrieben werden ( -> 5).

8. PICT ist ein Dateiformat für Bilder, die mit Hilfe von Grafikprogrammen am Computer erstellt wurden. Es wird von fast allen Grafikprogrammen für die Apple Macintosh Plattform unterstützt.

9. Der Begriff dient hier zur Abgrenzung von Zeichentrick-Szenen als Kunstwelt-Szenen.

10. API = Application Programming Interface = Programmierschnittstelle

11. Motiton-JPEG ist bislang kein als ISO-Standard festgelegtes Verfahren.

12. MPEG ist ein durch die Motion Pictures Experts Group festgelegter ISO-Standard für Kompression und Dateiformat von Bewegtbild-Dateien.

13. Modem-Verbindungen sind nur zur Teilnahme an Audiokonferenzen geeignet.

14. ATM = Asynchronous Transfer Mode. ATM ist ein Übertragungsverfahren, welches auf asynchronem Zeit-Multiplexing unter der Verwendung von Datenpaketen fester Länge basiert. Vgl. KYAS, Othmar: ATM-Netzwerke: Aufbau, Funktion, Performance. Bergheim 1993, S. 49

15. H.320 ist ein Standard für ISDN-Videokonferenz-Systeme, der aus einem Set anderer Standards für Audio-, Video- und Datenübertragung (G.711, G.723, G.728, H.261, T.120) besteht.

16. QuickTime Movies können ab der QuickTime Version 2.5 außer Ton und Video auch MIDI, Text und 3D-Animationen als separate Spuren enthalten.

17. Vgl. APPLE COMPUTER: Inside Macintosh. QuickTime Conferencing. Developer Press. Cupertino, CA/USA 1995, S. 1-9 ff. [!]

18. Vgl. BACKLETTER, Dean: Connecting Users With QuickTime Conferencing. In: develop. The Apple Technical Journal. June 1996, S. 36

20. OpenTransport ist ein Netzwerk-API unter dem Mac-OS.

22. Nähere Informationen zu IAL: Online in Internet: URL: http://www.ialsoft.com/, [Stand: 25.03.1997].

23. INTELLIGENCE AT LARGE, INC.: Apple Partner Brings Key Quicktime Components To PCs. TeleCon XVI, Anaheim–Oct. 29, 1996. Online in Internet: URL: http://www.ialsoft.com/company/pr/QTCW1096.html, [Stand: 25.03.1997].

24. INTELLIGENCE AT LARGE, INC.: Apple Partner Brings Key Quicktime Components To PCs. TeleCon XVI, Anaheim–Oct. 29, 1996. Online in Internet: URL: http://www.ialsoft.com/company/pr/QTCW1096.html, [Stand: 25.03.1997].

25. Die Ausführungen der nächsten Abschnitte basieren auf den praktischen Erfahrungen des Autors als Entwickler und dem publizierten White Paper” von APPLE COMPUTER, INC.: QuickTime VR. An Overview of Apple’s QuickTime VR Technology, 1995. Auch online in Internet: URL: http://qtvr.quicktime.apple.com/dev/qtvrtech.html, [Stand: 11.04.1997].

26. Vgl. APPLE COMPUTER, INC.: QuickTime VR. An Overview of Apple’s QuickTime VR Technology. Cupertino, CA/USA1995, S. 5

27. Kommt eine Panorama-Kamera zum Einsatz, entfällt auch hier die Notwendigkeit zum Verschmelzen.

28. APPLE COMPUTER INC.: QuickTime VR. An Overview of Apple’s QuickTime VR Technology. Cupertino, CA/USA 1995, S. 17